실시간 공간 빅데이터 분석을 위한 복합 이벤트 처리 시스템 설계 및 응용

윤수식,최형주,김정은,이재길 한국정보과학회 2015 데이타베이스 연구 Vol.31 No.3

Spatial big data processing has attracted significant attention due to the proliferation of Internet of Things(IoT) technology and mobile devices. Furthermore, the demand for real-time processing has been increasing since the importance of ubiquitous computing has become widely recognized. However, existing method for spatial big data processing, such as SpatialHadoop, is not suitable for real-time processing because it is based on batch processing, which collects input data as sets of records and then processes each set as a unit. In addition, Complex Event Processing(CEP) engines, such as Esper and Drools, do not have sufficient ability to handle horizontal scalability and spatial operation. Also, distributed real-time computation system, such as Storm, is inadequate to analyze the complex relations or conditions of information generated from diverse sources. In this paper, a design and application process for a complex event processing system for real-time spatial big data is proposed. First, Storm is adopted as a distributed system for horizontal scalability. Then, the Drools CEP engine is combined with a bolt (a logical unit of Storm). Additionally, spatial data types and operators are defined and implemented in the Drools engine. Finally, system architecture based on real-world applications is introduced, focusing on complex event processing for a freight car case. 최근 IoT 기술의 발달과 모바일 디바이스의 대중화로 공간 정보를 포함하는 데이터가 급격하게 증가함에 따라 공간 빅데이터 처리 기술이 많은 관심을 받고 있다. 또한, 유비쿼터스 컴퓨팅의 중요성이 널리 인식되면서 실시간 데이터 처리에 대한 수요가 증가하고 있다. 하지만, 기존의 SpatialHadoop과 같은 공간 빅데이터 처리 방법은 수집된 데이터를 일괄적으로 처리하는 배치 처리 방식으로 일정량 이상의 데이터를 수집한 후에야 분석이 가능하기 때문에 실시간 처리에는 불리하다. 또한, Esper나 Drools와 같은 복합 이벤트 처리 엔진은 수평적 확장이 불가능하기 때문에 대용량 데이터 처리에 한계가 있으며, 공간 정보 처리 능력도 결여되어있다. 마지막으로 Storm과 같은 실시간 분산 처리 시스템은 다양한 종류의 데이터들에 대한 복합적인 관계 분석 능력이 미흡하다. 본 논문에서는 공간 빅데이터의 실시간 분석을 위한 복합 이벤트 처리 시스템 설계 및 응용에 대해 기술한다. 먼저, 대용량의 실시간 데이터 처리를 위한 수평적 확장을 위해 Storm을 분산 처리 시스템으로 도입하였다. 그리고 복합 이벤트 처리를 위해 Drools 엔진을 Storm의 논리적 단위인 볼트와 결합하였다. 또한, 공간 데이터 처리를 위해 Drools 엔진에 공간 데이터 타입과 연산자를 구현하였다. 마지막으로, 설계한 시스템을 실제 응용인 “화물차 복합 이벤트”에 적용한 결과를 제시하였다.

ASKG: 실시간 공간 빅데이터 스트림 분산 처리를 위한 적응적 공간 키 그룹핑

윤수식(Susik Yoon),이재길(Jae-Gil Lee) 한국정보과학회 2017 한국정보과학회 학술발표논문집 Vol.2017 No.06

실시간 공간 빅데이터 스트림 분산 처리를 위한 부하 균형화 방법

윤수식(Susik Yoon),이재길(Jae-Gil Lee) Korean Institute of Information Scientists and Eng 2017 정보과학회논문지 Vol.44 No.11

A variety of sensors is widely used these days, and it has become much easier to acquire spatial big data streams from various sources. Since spatial data streams have inherently skewed and dynamically changing distributions, the system must effectively distribute the load among workers. Previous studies to solve this load imbalance problem are not directly applicable to processing spatial data. In this research, we propose Adaptive Spatial Key Grouping (ASKG). The main idea of ASKG is, by utilizing the previous distribution of the data streams, to adaptively suggest a new grouping scheme that evenly distributes the future load among workers. We evaluate the validity of the proposed algorithm in various environments, by conducting an experiment with real datasets while varying the number of workers, input rate, and processing overhead. Compared to two other alternative algorithms, ASKG improves the system performance in terms of load imbalance, throughput, and latency.

침붕처리한 저탄소강의 표면특성에 관한 연구

김수식,김한삼,윤영식 대한금속재료학회(대한금속학회) 1996 대한금속·재료학회지 Vol.34 No.4

In order to improve the mechanical properties and the corrosion resistance, paste boronizing was carried out in the temperature range of 700℃∼1050℃. Mechanical properties were measured by the microhardness and abrasion tests, and corrosion resistance was examined by potentio dynamic polarization test. The microhardness and wear resistance were increased with the increase of the boronizing temperature. The microhardness of boronized samples was about 1600Hv, which is approximately ten times higher than those of the low carbon steel. The increase of microhardness can be attributed to the formation of borides such as FeB and Fe₂B within the samples. The wear resistance of the boronized samples also were 5 times higher than that of the low carbon steel. Annealing of the samples enhanced the wear resistance and the corrosion resistance significantly, but did not enhance the microhardness. The activation energy for boronizing on the low carbon steel measured as 227 kJ/㏖ below 874℃ and 117kJ/㏖ above 874℃

침붕처리한 저탄소강의 알루미늄 확산처리에 관한 연구

윤영식(Y.S. Youn),김한삼(H.S. Kim),김수식(S.S. Kim) 한국표면공학회 1996 한국표면공학회지 Vol.29 No.2

저탄소강의 Boronizing 처리에 관한 여구

윤영식,김수식,김한삼 대한금속재료학회 1995 대한금속재료학회 학술대회 개요집 Vol.1995 No.0

교통사고 다발자의 성격경향에 관한 연구 : 서울시내 일 버스회사를 대상으로

윤현상,송수식,이상연,백주희 大韓神經精神醫學會 1996 신경정신의학 Vol.35 No.5

본 연구는 교통사고 다발자의 성격경향에 대해 고찰하기 위하여 동일한 버스회사에 소속되어 있는 30세에서 50세 사이의 버스 운전자들 중에서 운전경력이 5년 이상, 각 검사에서 무응답이 10% 미만인 경우만을 포함시킨 87명을 대상으로 하였다. 접촉사고로 인한 물적 피해나 합의금이 5만원 이상, 또는 인사사고가 있었던 경우만 교통사고 회수에 포함시켰으며, 최근 3년 동안 3회이상의 사고를 낸 집단을 고사고군(32명), 1회에서 2회이상의 사고를 낸 집단을 중사고군(29명), 사고를 전혀 내지 않는 집단을 저사고군(26명)으로 분류하였으며, 인구통계학적인 검사와 염태호와 김정규(1990)가 한국 표준화한 16PF를 실시하여 다음과 같은 결과를 얻었다. 1) 교통사고 회수와 연령, 학력, 결혼 여부, 자녀수, 주거환경, 종교, 차종(좌석과 입석버스), 음주량 사이에 유의한 관련성이 없었으나 고사고군일수록 운전경력이 적은 경향을 보였다. 2) 각군간의 일차요인 비교에서 고사고군이 저사고군에 비하여 C요인(약한 자아강도), M요인(실제성), O요인(죄책감), Q₄요인(불안감)에서 유의한 차이를 보였으며, Q₃요인에서 유의한 차이를 보이진 않았으나, 약한 통제력의 경향을 보였다. 3) 각군간의 이차요인 비교에서 고사고군이 저사고군에 비하여 ANX요인(불안성)에서 유의한차이를 보였다. 4) 각군간의 예측요인 비교에서 고사고군이 저사고군에 비하여 A요인(냉정성), F요인(정열성), H요인(대담성), I요인(민감성), M요인(실제성), Q₃요인(약한 통제력)에서 유의한 차이를 보였다. 이상의 결과로 보아, 고사고군의 성격특징은 자아강도가 약하고, 실제적이고, 불안감, 죄책감이 강하고, 통제력이 약한 경향이 있으며, 성격특성으로는 불안이 심함을 알 수 있었다. 또한 실제적이고, 냉정하고, 정열적이고, 대담하고, 민감하며, 통제력이 약한 성격이 사고를 예측할 수 있는 성격요인으로 나타났다. This study was carried out for the purpose of providing the framework on personality trends of traffic accident-prone individuals. The personality trends were measured by means of Korean-standardized Cattell's 16 Personality Factors Questionnaire. For a compete investigation, detailed inquiries have been performed to bus drivers(87 persons) belonging to a bus transportation company, limited by the condition that drivers career was at least longer than five years and that the rate of no response to the questionnaire was less than 10 percent. The accidents were specially defined to several cases ; material damage and personal injury, and case that incurred below ￦50,000 worth of solatium. The subjects were classified into three groups : high accident group(32 persons), being composed of the drivers who have experienced three or more traffic accidents during the last three years, middle accident group(29 person), one or two accidents, and low accident group(26 persons), none. The results were as follows : 1) Age, education, marital status, number of children, dwelling state, religion, sort of bus("sitting bus" and "standing bus "), and alcohol drinking amount were not correlated with traffic accident frequency. But there was a tendency that high traffic accident group had a low driving career comparing with low accident group. 2) In first stratum source traits, high traffic accident group demonstrated highly significanct differences in C-factor(unstableness), M-factor(praxernia), O-factor(guilt-proneness), Q₄-factor (tension, anxiety), and slightly significant differing tendency in Q₃-factor(self-conflict) compared with low accident group. 3) In second stratum source traits, high traffic accident group demonstrated highly significant difference in ANX-factor(anxiety) compared with low accident group. 4) In predictable source traits, high traffic accident group demonstrated highly significant differences in A-factor(coolness), F-factor(surgency), H-factor(boldness), I-factor(tender-mindedness), M-factor(autia), Q₃-factor(self-conflict) compared with low accident group. In conclusion, the above-mentioned findings suggest that personality characteristics of the high accident group are unstableness, praxernia, anxiety, and guilt-proneness, and tendency to self-conflict. And they showed personality traits like high anxiety. Moreover, the personality traits such as praxernia, coolness, surgency, boldness, tender-mindedness, and self-conflict personality were shown to be contributing factors to predict traffic accidents.

침붕처리한 저탄소강의 알루미늄확산처리에 관한 연구

윤영식,김수식,김한삼 대한금속재료학회 1996 대한금속재료학회 학술대회 개요집 Vol.1996 No.0

그래프 분할 기반 RETE 네트워크 분산 처리

최형주,윤수식,이재길 한국정보과학회 2017 데이타베이스 연구 Vol.33 No.2

A RETE network is the main component of a production rule engine, which is mainly used for complex event processing to detect predefined rules against data stream and perform a corresponding action. Recently, the demand for complex event processing of stream data has increased due to advancements in Internet of Things, social media, and smartphone applications. At the same time, with growing size and input rate of stream data, the needs for a distributed processing is also increasing. The previous research on a distributed processing of a RETE network did not show efficient resource distribution and did not consider the cost of network usage. To deal with these problems, we proposed a distributed processing of a RETE network based on graph partitioning. More specifically, by recursively applying a bisection spectral graph partitioning algorithm on a RETE network, we distributed fair resources into each server and minimized the overall network usage. Performance experiments using three types of real data sets results better performances in terms of runtimes, degree of imbalance, and total network usage compared to the alternative algorithms. RETE 네트워크는 생성 규칙 엔진 (production rule engine)의 주요 구성요소로서, 입력되는 데이터 스트림에서 정의된 규칙을 빠르게 탐지한 후 대응되는 행동을 수행하는 복합 이벤트 처리 (complex event processing)를 위해 널리 사용되고 있다. 최근 사물인터넷의 발전, 소셜 미디어 및 모바일 기기의 대중화로 인해 스트림 데이터에 대한 복합 이벤트 처리의 수요가 증가하고 있으며, 특히 입력 스트림의 양과 속도가 증가함에 따라 클라우드 환경에서의 분산 처리의 필요성 또한 함께 대두되고 있다. RETE 네트워크를 분산 처리하고자한 기존의 연구에서는 다양한 계산량을 가지는 규칙들을 효율적으로 분배하지 못했고, 분산 처리에 사용된 서버간의 네트워크 전송량 또한 고려하지 못했다. 본 논문에서는 이와 같은 문제를 해결하기 위해 그래프 분할 기법을이용하여 RETE 네트워크를 분산 처리하는 방법을 제안한다. Bisection spectral graph partitioning을 재귀적으로 적용하여 각 서버에 계산량을 효율적으로 분배하고, 서버간 네트워크 사용량 또한 최소화하였다. 세 종류의실제 데이터를 사용하여 기존 연구 대비 본 방법이 처리시간, 불균형 정도, 네트워크 사용량 관점에서 우수함을 확인하였다.

딥러닝을 이용한 다변량 시계열 데이터의 결측치 처리에 관한 연구 조사

이영준,윤수식,이재길 한국정보과학회 2019 데이타베이스 연구 Vol.35 No.3

Multivariate time series data has been widely used for various applications (e.g. prediction and outlier detection) across many industries such as meteorology, transportation, and manufacturing. However, missing values in multivariate time series data significantly reduce the usability of the data. There have been many efforts to overcome this problem, but most of the previous studies do not effectively consider the two most important characteristics of multivariate time series data: (1) the correlation between variables and (2) the temporal dependency. This paper introduces the recent deep learning-based approaches which show better performances on processing missing values by taking into account these two characteristics. According to the mechanism of the model, the introduced studies can be categorized into either a discriminative model or a generative model. This paper explains the basic mechanism of each model, as well as its strengths and weaknesses. The limitations of the models and possible future research directions are also discussed. 다변량 시계열 데이터는 기상, 교통, 제조 등 다양한 산업에서 예측 및 이상 탐지 등의 여러 응용을 위해 활발히 활용된다. 하지만 여러 원인에 의해 발생하는 다변량 시계열 데이터 내의 결측치는 데이터의 품질과 활용도를 크게 떨어뜨린다. 따라서 다변량 시계열 데이터 내에서의 결측치를 처리하기 위한 다양한 연구가 시도되었다. 하지만 대부분의 기존 방법들은 다변량 시계열 데이터의 가장 중요한 두 가지 특징인 변수 간 상관관계와 시간상의 의존관계를 제대로 반영하지 못하였다. 본 논문에서는 위 두 가지 특징을 효과적으로 고려하여 결측치 처리 성능을 크게 향상한 딥러닝 기반의 최근 연구들을 소개한다. 제시된 모델들은 크게 확정적 모델과 생성 모델로 구분된다. 본 논문은 각 모델의 특징을 기반으로 작동방식과 장단점을 자세하게 설명한다. 그리고 딥러닝을 이용한 방법들의 한계점을 지목하며 향후 연구 방향에 대하여 토의한다.