Historical inference based on semi-supervised learning

Lee, Dong-gi,Lee, Sangkuk,Kim, Myungjun,Shin, Hyunjung Elsevier 2018 expert systems with applications Vol.106 No.-

<P><B>Abstract</B></P> <P>In the past, most historical research has been manually carried out by exploring historical facts reading between the lines of documents. Nowadays, historical big data has become electronically available and advances in machine learning techniques allow us to analyze the vast amount of historical data. From a historical perspective, making inferences about political stances of historical figures is important for grasping historical rivalries and power structures of an era. Thus, in this paper, we propose an approach to the systematic inference of power mechanisms based on a human network constructed from historical data. In this network, humans are linked according to the degree of kinship using genealogy records, and identified by political stances on agendas recorded in the annals of a dynasty as a political force. And then, a machine learning algorithm, semi-supervised learning, classifies humans who cannot identify political stances as political forces that reflect the links of the networks. The data consist of the genealogy of the Andong Gwon clan, a record of family relations of 10,243 people from the 10th to 15th century Korea, and the Annals of the Joseon Dynasty, a historical volume that describes historical facts of the Joseon Dynasty for 472 years and is composed of 1894 fascicles and 888 books. From the data, we construct a human network based on a historically meaningful period (1443–1488), and classify people into two political forces using the proposed method. We suggest that this machine learning approach to historical study could be utilized as a potent reference tool devoid of the subjectivism of human experts in the field of history.</P> <P><B>Highlights</B></P> <P> <UL> <LI> We propose a framework of classifying people in history into rivalry power groups (parties). </LI> <LI> The proposed method employs graph-based semi-supervised learning. </LI> <LI> To create a network from genealogy, we propose a method for converting the tree structure to a network. </LI> <LI> We devise a labeling method using historical records on political decisions. </LI> <LI> The paper is a pioneering work of machine learning applied to history, which can help people infer the unrevealed facts in history. </LI> </UL> </P>

NPR기반 누락 교통자료 추정기법 개발 및 적용

장현호,이태경,이영인,원제무,한동희 대한교통학회 2010 대한교통학회지 Vol.28 No.3

ITS (Intelligent transportation systems) collects real-time traffic data, and accumulates vest historical data. But tremendous historical data has not been managed and employed efficiently. With the introduction of data management systems like ADMS (Archived Data Management System), the potentiality of huge historical data dramatically surfs up. However, traffic data in any data management system includes missing values in nature, and one of major obstacles in applying these data has been the missing data because it makes an entire dataset useless every so often. For these reasons, imputation techniques take a key role in data management systems. To address these limitations, this paper presents a promising imputation technique which could be mounted in data management systems and robustly generates the estimations for missing values included in historical data. The developed model, based on NPR (Non-Parametric Regression) approach, employs various traffic data patterns in historical data and is designated for practical requirements such as the minimization of parameters, computational speed, the imputation of various types of missing data, and multiple imputation. The model was tested under the conditions of various missing data types. The results showed that the model outperforms reported existing approaches in the side of prediction accuracy, and meets the computational speed required to be mounted in traffic data management systems. 지능형 교통체계는 실시간 교통자료를 수집하고 방대한 양의 이력자료를 축적한다. 그러나 방대한 이력자료는 효율적으로 관리/이용되지 않고 있는 실정이다. ADMS와 같은 자료관리시스템이 도입되면서, 이력자료의 잠재적 활용성은 급격히 증대되고 있다. 그러나 자료관리스템의 교통자료는 다량의 누락자료를 포함하고 있다. 누락자료는 장기간에 걸쳐 빈번하게 교통자료를 이용할 수 없게 하기 때문에, 이력자료를 활용하는데 있어 주된 장애요인 중 하나이다. 따라서 누락자료 추정기법은 자료관리시스템에서 주요한 역할을 수행하게 된다. 이러한 한계를 극복하기 위하여, 본 연구에서는 자료관리스템에 탑재가 용이하며 이력자료에 포함된 누락자료를 추정하기 위한 누락자료 추정모형을 개발하였다. 개발모형은 비모수회귀식(NPR)을 기반으로 개발되었으며, 이력자료의 다양한 교통자료 패턴을 이용하고 현실적인 요구사항(변수 최소화, 연산속도, 다양한 형태의 누락자료 보정, 다중대체)을 충족하도록 설계되었다. 모형의 평가는 다양한 누락자료 형태의 상태에서 수행되었으며, 자료관리시스템에 탑재되기 위해 요구되는 정확도, 연산 수행속도에서 기존에 보고된 모형보다 우수한 성능을 보였다.

역사 데이터 내러티브

최원재(Choi, Won-jae) 동국역사문화연구소 2020 동국사학 Vol.68 No.-

This study examined a new role of history (or history research) which was little focused in terms of data science before. We are living in the data era where data is a core in industry, business, and study, and no doubt, anyone should be data literate to live in this data-centred society. However, it does not mean everyone ought to become a computer scientist or computer programmer. History will be where data literacy is taught and experienced with its historical thinking that derives from interpreting big data and small data we can encounter in history or history research. A history researcher comes across the moment when ‘Aha!’ occurs to him or her in researching historical events or episodes from analyzing contexts and weaving them, and it is insight and intuition that is required to whoever deals with data. Historical research results in insight and intuition. History research is not where the past remained only in the past but where data is analyzed and interpreted with insight and intuition of a data researcher who dives into finding a new fact and pursuing after its novel interpretation. By doing so, anyone who is involved in historical research can be literate in data. Data literacy is not limited in the computer field as simply thought. From a broad scope, its bounds are getting expanded to where interpretational insight in data can be harvested, and digital data curation is recommended for a specific way to realize data literacy. Digital data curation calls for both computer skills and interpretational insight or intuition. It is the very best thing in getting the narrative shaped which a researcher explores in the way the data-oriented society welcomes. Digital data curation is hopefully expected to be placed in a curriculum of historical research. 이 연구의 목적은 데이터 시대에 역사학의 새로운 역할에 대해 고찰하는 데 있다. 데이터가 본격적으로 산업의 주재료가 된 지금은 누구나 데이터를 재료로 첨단기술을 활용해 일하고 더 나아가 새로운 비즈니스 모델을 만들어낼 수 있는 데이터 활용 역량을 키울 수 있어야 한다. 데이터 리터러시가 필요에서 ‘필수’인 시대로 접어들었다. 이러한 역량을 이끌 수 있는 학문으로 역사학을 꼽을 수 있다. 역사학은 그 시작점이 데이터가 바탕이 되는 데이터 과학이다. 그리고 역사학에서 요구하는 역사적 사고는 데이터 리터러시 역량과 다르지 않다. 역사 연구에서 펼쳐지는 역사적 사고는 데이터를 수집·정리하고 분석하는 것을 넘어 데이터를 해석할 수 있는 직관과 통찰을 기를 수 있는 토대를 마련해준다. 역사적 사고는 역사적사건과 사실을 분석하고 사건·사실의 상황 맥락을 파악하고 해석하는 사고(思考)를 포함하는데 이런 해석의 과정에서 직관력과 통찰력을 기를 수 있는 것이다. 역사는 데이터베이스의 학문이며 역사 연구는 데이터 해석의 과정이다. 다시 말해 역사는 데이터를 해석하여 활용할 수 있는 데이터 내러티브 능력이 발현될 수 있는 영역이다. 역사적 사고력을 데이터 리터러시로 완성시킬 수 있는 구체적으로 방법으로 디지털 데이터 큐레이션이 있다. 디지털 데이터 큐레이션은 구현하고자 하는 내용을 기획하여 이에 맞는 데이터를 디지털 기술로 데이터베이스화하고 여기서 다시 데이터를 추출·연결하여 디지털적으로 재구성하는 내러티브 기법이다. 디지털 데이터 큐레이션을 원활히 구현하기 위해서는 데이터를 엮어가는 사고력과 디지털 기술 응용력이 모두 요구된다. 역사학에서 배울 수 있는 역사적 사고가 디지털 기술과 융합되면 앞으로 데이터 활용에 요구되는 직관력과 컴퓨터 기술을 모두 습득하게 될 것이다. 역사학은 데이터 중심 시대에 더이상 지난 세월의 사료를 읽고 교훈을 얻는 과거에 머물러 있는 학문이 아니다. 디지털 데이터 큐레이션 속에서 구현되는 역사적 사고는 역사적 데이터를 확인하고 그 데이터 사이의 맥락(관계성)을 짚어가는 데 필수적인 직관력을 길러 내러티브할 수 있는 데이터 과학의 주요 분야로 역사학을 본격적인 데이터 과학의 하나로 규정할 수 있을 것이다. 본 연구자는 역사학 커리큘럼에 디지털 데이터 큐레이션을 포함할 것을 제안한다. 본 연구는 독립운동가 김동수 선생 가문 디지털 큐레이션에서 발견한 스토리를 연구 사례로 들어 디지털 데이터 내러티브인 역사 디지털 큐레이션의 구체적인 연구 과정을 설명한다.

효율적인 차량 이력 데이터 저장을 위한 유사 궤적 저장 기법

한경복,곽호영 한국콘텐츠학회 2006 한국콘텐츠학회논문지 Vol.6 No.1

오늘날 무선 인터넷과 소형 이동 통신 기기 보급의 확산과 GPS 활용도의 급증으로 시간 변화에 따라 위치 정보가 연속적으로 변화하는 이동 객체의 연구가 활발히 이루어지고 있다. 그 중에서 차량 이동 객체에 대한 연구는 첨단 교통 정보 시스템, 차량 추적 시스템, 물류 수송 시스템에서 활용되고 있다. 이들 시스템들은 차량 이동에 대한 이력 데이터를 관리함으로서 과거의 차량 위치, 미래의 차량 위치 예측, 최적 경로, 최단 경로를 탐색 할 때 유용하게 사용되고 있다. 뿐만 아니라 물류 수송 계획과 차량 배차에도 차량 이력 데이터가 활용되고 있다. 이러한 차량 이력 데이터는 일정한 시간 간격을 갖고 저장되는데, 같은 패턴이 반복되는 차량 이력 데이터를 갖는 경우도 존재한다. 예를 들어, 특정 구간을 반복적으로 운행하는 차량일 경우에는 거의 유사한 경로로 운행을 한다. 이런 반복적인 운행경로를 일정 시간 간격 마다 차량 이력 데이터로 저장하면 많은 중복 데이터가 발생함으로써 저장 공간의 낭비를 유발한다. 따라서 본 논문에서는 이런 반복적인 운행경로를 갖는 차량에 대하여 이력 데이터를 효율적으로 저장할 수 있는 유사 궤적을 이용한 차량 이력 데이터 저장 기법을 제안하고자 한다. Since wireless Internet services and small mobile communication devices come into wide use as well as the use of GPS is rapidly growing, researches on moving object, whose location information shifts sequently in accordance with time interval, are being carried out actively. Especially, the researches on vehicle moving object are applied to Advanced traveler information system, vehicle tracking system, and distribution transport system. These systems are very useful in searching previous positions, predicted future positions, the optimum course, and the shortest course of a vehicle by managing historical data of the vehicle movement. In addition, vehicle historical data are used for distribution transport plan and vehicle allocation. Vehicle historical data are stored at regular intervals, which can have a pattern. For example, a vehicle going repeatedly around a specific section follows a route very similar to another. If historical data of the vehicle with a repeated route course are stored at regular intervals, many redundant data occur, which result in much waste of storage. Therefore this thesis suggest a vehicle historical data store scheme for vehicles with a repeated route course using similar trajectory which efficiently store vehicle historical data.

고속도로 통행시간 예측을 위한 과거 통행시간 이력자료 구축에 관한 연구 (지점 검지기를 중심으로)

김동호,노정현,박동주,박지형,김한수 대한교통학회 2008 大韓交通學會誌 Vol.26 No.5

The objective of this study is to propose methods for determining optimal representative value and the optimal size of historical data for reliable travel time forecasting. We selected values with the smallest mean of forecasting errors as the optimal representative value of travel time pattern data. The optimal size of historical data used was determined using the CVMSE (Cross Validated Mean Square Error) method. According to the results of applying the methods to point vehicle detection data of Korea Highway Corporation, the optimal representative value were analyzed to be median. Second, it was analyzed that 60 days’ data is the optimal size of historical data usedfor travel time forecasting. 고속도로에서의 지점검지체계로부터 수집․가공․처리된 과거 통행시간 이력자료를 이용한 통행시간 예측시, 사용되는 대표값과 과거 데이터량에 따라 예측의 정확성이 결정되나 이에 대한 체계적인 연구가 없는 실정이다. 따라서 본 연구의 목적은 신뢰성 있는 통행시간 예측을 위해 통행시간 이력자료의 적정 대표값과 과거 데이터량을 결정하기 위한 방법론을 제시하였다. 과거 통행시간 이력자료의 적정 대표값은 예측오차의 평균이 가장 적은 대표값을 선정할 수 있으며, 적정 과거 데이터량은 비슷한 속성을 가진 과거 통행시간 이력자료의 개별간의 차이 또는 집단 간의 차이를 최소화하는 CVMSE(Cross Validated Mean Square Error)방법을 이용하여 결정할 수 있다. 한국도로공사의 고속도로 지점검지기 자료에 적용한 결과, 적정 대표값은 중앙값으로 분석되었으며, 통행시간 예측을 위한 적정 과거 데이터량은 60일로 분석되었다.

인공지능 시대의 사전과 데이터 ‒ 한국역사인물사전(데이터)을 위한 탐색 ‒

김바로 단국대학교 동양학연구원 2021 東洋學 Vol.- No.84

This paper concludes that the future of the artificial intelligence era dictionary is in the ‘machine readable data’, which is a collection of various things in a way that computers can understand for human beings and arranged in a certain order and commentary on each of them. In order to explore the possibility of transition to the data of dictionary studies, researcher examined the advantages and disadvantages of labeled data, parallel corpus data, and squad data released on AIHUB, an artificial intelligence integration platform. In data design and data construction in the specialized domain area, it was decided that it could inherit the research results of existing dictionary studies. And researcher searched the structure and contents of semantic data, another artificial intelligence data to overcome the limitations of data for deep learning, and decided that the results of existing dictionaries could be fully utilized in ontology design and semantic data construction. Based on this, for practical case study, data for deep learning and semantic data through ontology design were experimentally constructed on the theme of Korean historical character dictionary. First, researcher constructed and experimented with the learning data of object name identification (NER) based on the annals data of the Joseon Dynasty using the object name identification (NER) method of deep learning. The problem that object identification of object name identification (NER) through deep learning only identifies the attribute of the object and does not recognize the uniqueness of the object is confirmed. Therefore, the possibility of semantic data was examined through experimental ontology design to build semantic data as knowledge that has various uniqueness through the relationship with the object’s time, space, and characters. In conclusion, if the concept and understanding of machine-readable data can be added in traditional dictionary studies, it is considered to be competitive enough in both deep learning data and semantic data through ontology. 본 논문은 인공지능 시대 사전의 미래는 인간을 위해서 컴퓨터가 이해할 수 있는 방식으로 여러 가지 사항을모아 일정한 순서로 배열하고 그 각각에 해설을 붙인 내용인 ‘기계가독형 데이터’에 있다고 판단했다. 사전학의데이터학으로의 전환 가능성을 타진하기 위해서, 인공지능 통합 플랫폼인 AIHUB에 공개된 레이블드 데이터, 병렬코퍼스(말뭉치) 데이터, 스쿼드 데이터의 구조와 내용의 장단점을 살펴보았다. 데이터 설계와 전문 도메인영역의 데이터 구축에서는 충분히 기존 사전학의 연구 성과를 계승할 수 있다고 판단했다. 그리고 딥러닝을 위한 데이터의 한계를 타파하기 위한 또 다른 인공지능 데이터인 시맨틱 데이터의 구조와 내용에 대해서 탐색했고, 기존 사전학의 연구 성과가 온톨로지 설계와 시맨틱 데이터 구축에서 충분히 활용될 수 있다고 판단했다. 이를 토대로 실제적인 사례 연구를 위해서, 한국역사인물사전을 주제로 딥러닝을 위한 데이터와 온톨로지설계를 통한 시맨틱 데이터를 각각 실험적으로 구축했다. 우선 딥러닝의 객체명식별(NER) 방법을 활용하여, 조선왕조실록데이터를 토대로 하는 객체명식별(NER) 학습 데이터를 구축하고 실험했다. 딥러닝을 통한 객체명식별(NER)의 객체 식별이 객체의 속성만을 식별할 뿐, 객체의 고유성을 인지하지 못한다는 문제를 확인했다. 이에 객체의 시간, 공간, 인물 등과의 관계를 통한 다양한 고유성을 내재하고 있는 지식으로서의 시맨틱데이터를 구축하기 위한 실험적인 온톨로지 설계를 통해서 시맨틱 데이터의 가능성을 살펴보았다. 결론적으로 전통적인 사전학에서 기계가독형 데이터에 대한 개념과 이해가 더해질 수 있다면 딥러닝을 위한 데이터와 온톨로지를 통한 시맨틱 데이터 모두에서 충분히 경쟁력이 있다고 본다.

조선시대 무과 급제자 정보화 사례 연구 - 집단지성에 의한 사료의 복원

양창진 동양고전학회 2014 東洋古典硏究 Vol.0 No.56

새로운 지식창출 수단으로서의 집단지성은 인터넷 시대의 핵심 화두가 되고 있다. 그러나 집단지 성이 모든 부분에서 유용한 것은 아니다. 이 논문에서는 집단지성을 활용하여 흩어져 있는 역사 자료를 수집하고 원형을 복원하는 부분에 초점을 맞추어 그 복원 가능성 및 복원 과정에서 참여 자의 가치관과 이해관계에 따른 왜곡 가능성을 최소화 할 수 있는 방안을 살펴보았다. 역사 자료를 복원하는 것은 역사 연구뿐만 아니라 역사적 사실을 밝히는 기초가 된다. 과거에는 이것이 열정을 가진 몇 몇 연구자 개인의 역량에 많은 부분을 의존하였다. 때문에 연구의 진척이 느릴 뿐 아니라 복원되어 축적되는 정보의 양에도 한계가 있을 수밖에 없었다. 또한 그 결과를 검 증하기도 쉽지 않았다. 그러나 인터넷을 통해 수많은 연구자 및 관심 있는 일반인들이 사료의 복원이라는 하나의 주제에 협업을 할 수 있게 됨으로써 역사 자료의 복원은 양과 질 면에서 더욱 탄력을 받을 수 있는 환경 이 되었다. 이 논문에서는 이러한 다수의 협업에 의한 사료 복원 사례로 한국역대인물종합정보DB의 무과 급제자 정보 복원 과정을 고찰하였다. 고찰해 본 결과 이용자들은 자료의 직접 제공, 자료 소장처 제보, 자료 내용 속의 급제기록 제보 등의 방법으로 참여하여 흩어져 있던 상당수의 사료를 복원하였고, 복원된 사료의 정확성도 매우 신뢰할 수 있음을 확인 하였다. 그리고 이 복원 과정이 더욱 효율적으로 이루어지기 위해서는 이 용자들의 적극성, 운영자의 전문성, DB의 신뢰성이 덧붙여져야 함을 확인하였다. A Collective intelligence as a means of creation of new knowledge is a keyword in the internet era. However, all parts of the collective intelligence is not useful. This paper examined the process of scattered historical data restoration by use of collective intelligence. and conditions for effective restoration. A restoration of historical data is the basis of research and uncovering the historical facts. In the past, some passionate researchers restored the historical data. However, its progress was slow and the amount of the restored data was not much. Moreover, the restoration itself was not easy even to verify the results. The internet made a number of researchers and the general public collaborate for restoration of historical data. Due to the collective intelligence of the internet, a possibility of historical data restoration increased. This paper examined the restoration process of the military examination roster(武科及第者) in Korean Historical Figures DB(韓國歷代人物綜合情報). The passionate users took part in the restoration in such a way to donate the old documents and inform the location of originals and articles of military examination. The results of the restoration were reliable. And this paper confirmed that passionate participants, competent and professional operators, and reliable focal point(Internet Community) should be added in order to more accurately restore the data.

Fuel Consumption Prediction and Life Cycle History Management System Using Historical Data of Agricultural Machinery

이정승,김수경 한국데이터전략학회 2022 Journal of information technology applications & m Vol.29 No.5

This study intends to link agricultural machine history data with related organizations or collect them through IoT sensors, receive input from agricultural machine users and managers, and analyze them through AI algorithms. Through this, the goal is to track and manage the history data throughout all stages of production, purchase, operation, and disposal of agricultural machinery. First, LSTM (Long Short-Term Memory) is used to estimate oil consumption and recommend maintenance from historical data of agricultural machines such as tractors and combines, and C-LSTM (Convolution Long Short-Term Memory) is used to diagnose and determine failures. Memory) to build a deep learning algorithm. Second, in order to collect historical data of agricultural machinery, IoT sensors including GPS module, gyro sensor, acceleration sensor, and temperature and humidity sensor are attached to agricultural machinery to automatically collect data. Third, event-type data such as agricultural machine production, purchase, and disposal are automatically collected from related organizations to design an interface that can integrate the entire life cycle history data and collect data through this.

대용량 과거 교통 이력데이터 관리를 위한 방법론 설계

우찬일,전세길 (사)디지털산업정보학회 2010 디지털산업정보학회논문지 Vol.6 No.2

Historical archived traffic data management system enables a long term time-series analysis and provides data necessary to acquire the constantly changing traffic conditions and to evaluate and analyze various traffic related strategies and policies. Such features are provided by maintaining highly reliable traffic data through scientific and systematic management. Now, the management systems for massive traffic data have a several problems such as, the storing and management methods of a large volume of archive data. In this paper, we describe how to storing and management for the massive traffic data and, we propose methodology for logical and physical architecture, collecting and storing, database design and implementation, process design of massive traffic data.

교통정보 이력자료 분석을 위한 통합 교통 데이터베이스의 설계 및 구축

이민수,최옥주,맹보현 한국정보과학회 2009 데이타베이스 연구 Vol.25 No.3

현재 한국도로공사에서 운영하는 고속도로 교통관리시스템(FTMS: Freeway Traffic Management System)과 우회도로 교통정보시스템(ARTIS: Alternative Route Traffic Information System)은 차량검지장치(VDS), 차량번호인식장치(AVI), 그리고 CCTV를 통해 실시간 교통자료를 수집하고, 도로전광표지(VMS) 등 다양한 매체로 교통정보를 제공한다. 이러한 운영계 시스템은 매일 도로에서 수집되는 엄청난 양의 교통자료를 가공하여 실시간으로 교통정보를 제공하는데에만 목적을 두고 있으므로 최소한의 교통자료만을 저장하고 있다. 또한 교통자료가 여러 운영계 시스템으로 분산되어 있어 연구자가 다양하고 대량의 과거 교통자료를 가공하여 비교 분석을 하는데 어려움이 있다. 본 논문에서는 여러 운영계 시스템으로부터 대용량의 교통자료를 하나의 통합 교통 데이터베이스로 구축하여 교통정보 이력자료를 연구할 수 있는 환경을 제안한다. 제안된 통합 교통 데이터베이스는 차량검지장치 자료, 차량번호인식장치 자료, 고속도로 통행료수납(TCS) 자료, 고속도로 전자통행료수납(HI-PASS) 자료, 돌발상황 자료, 도로전광표지 자료에 대한 통합 모델을 제시하고 실제 대용량 데이터베이스 구축으로 교통이력자료에 대한 분석이 가능토록 하였다. 본 시스템과 같은 대규모의 통합 교통 데이터베이스는 새로운 시도이며 실험을 통해 시스템의 자료처리나 질의 처리에서도 매우 좋은 성능을 보여준다. The current Freeway Traffic Management System (FTMS) and Alternative Route Traffic Information System (ARTIS) operated by Korea Expressway Corporation are the systems which gather the traffic data in real-time through Vehicle Detecting System (VDS), Auto Vehicle Identification (AVI) and CCTV, and provide information on traffic through various media such as Variable Message System, etc. Such operational systems aim to provide real-time information and only save the minimum required traffic data. The various traffic data are also dispersed into a number of operational systems. Hence, it is very difficult for a researcher to compare and analyze the various historical traffic data. In this study, we propose an integration model to build an integrated traffic database which integrates data from Vehicle Detecting Systems, Auto Vehicle Identification Systems, Toll Collection System (TCS), Highway Auto Toll Payment System (HI-PASS), Events, Variable Message System (VMS). This work is a pioneering work in such an area, and we actually implement the database and verify that it provides superior performance in terms of data and query processing capabilities.