다변량 스트림 데이터 축소 기법 평가

정훈조,서성보,최경주,박정석,류근호,Jung, Hung-Jo,Seo, Sung-Bo,Cheol, Kyung-Joo,Park, Jeong-Seok,Ryu, Keun-Ho 한국정보처리학회 2006 정보처리학회논문지D Vol.13 No.7

센서 네트워크는 애플리케이션 분야에 따라 데이터 특성과 사용자의 요구사항이 다양함에도 불구하고, 현존하는 스트림 데이터 축소 연구는 데이터의 본질적인 특징보다 특정 축소 기법의 성능 향상 측면에 중점을 두고 있다. 이 논문은 계층/분산형 센서 네트워크 구조와 데이터 모델을 소개하고, 선택적으로 축소 기법을 적용하기 위해 데이터 특성과 사용자의 요구에 적합한 다변량 데이터 축소 기법을 비교 평가한다. 다변량 데이터 축소 기법의 성능을 비교 분석하기 위해, 우리는 웨이블릿, HCL(Hierarchical Clustering), SVD(Singular Value Decomposition), 샘플링과 같은 표준화 된 다변량 축소 기법을 이용한다. 실험 데이터는 다차원 시계열 데이터와 로봇 센서 데이터를 사용한다. 실험 결과 SVD와 샘플링 기법이 상대 에러 비율과 수행 성능 측면에서 웨이블릿과 HCL기법에 비해 우수하였다. 특히 각 데이터 축소 기법의 상대 에러 비율은 입력 데이터 특성에 따라 다르기 때문에 선택적으로 데이터 축소 기법을 적용하는 것이 좋은 성능을 보였다. 이 논문은 다차원 센서 데이터가 수집되는 센서 네트워크를 디자인하고 구축하는 응용 분야에 유용하게 활용될 것이다. Even though sensor networks are different in user requests and data characteristics depending on each application area, the existing researches on stream data transmission problem focus on the performance improvement of their methods rather than considering the original characteristic of stream data. In this paper, we introduce a hierarchical or distributed sensor network architecture and data model, and then evaluate the multivariate data reduction methods suitable for user requirements and data features so as to apply reduction methods alternatively. To assess the relative performance of the proposed multivariate data reduction methods, we used the conventional techniques, such as Wavelet, HCL(Hierarchical Clustering), Sampling and SVD (Singular Value Decomposition) as well as the experimental data sets, such as multivariate time series, synthetic data and robot execution failure data. The experimental results shows that SVD and Sampling method are superior to Wavelet and HCL ia respect to the relative error ratio and execution time. Especially, since relative error ratio of each data reduction method is different according to data characteristic, it shows a good performance using the selective data reduction method for the experimental data set. The findings reported in this paper can serve as a useful guideline for sensor network application design and construction including multivariate stream data.

함수형 자료를 통한 함수형 데이터 분석과 다변량 데이터 분석 비교

안경민 한국데이터정보과학회 2022 한국데이터정보과학회지 Vol.33 No.5

함수형 데이터 분석 (Functional data analysis)이란 함수들로 이루어진 자료를 분석하는 이론이다. 특히 시간에 따라 측정되고 관측된 데이터 분석에 있어서 함수형 데이터 분석은 기존의 단순히 점들로 이루어진 다변량 데이터 분석 (Multivariate data analysis)과 다른 접근을 필요로 한다. 즉, 함수형 데이터 분석은 힐베르트 (Hilbert) 공간에서 데이터를 다루기 때문에, 기존의 유클리디안 공간에서 다루어 왔던 다변량 데이터 분석과 이에 맞게 쓰이는 여러 통계 방법론들을 동일하게 적용할 수 없기에 재정의를 해야 한다. 이러한 이유로 함수형 데이터 분석의 다양한 통계 방법론들은 다변량 데이터 분석의 방법론들과 비교했을 때 서로 다른 분석 및 예측 결과를 낳았고, 특히 함수형 자료에 있어서는 월등히 좋은 결과를 도출해 냈다. 하지만 이러한 함수형 자료에 왜 함수형 데이터 분석이 적용되어야 하는지, 그리고 다변량 데이터 분석이 적용되었을 때 그 결과와 성능에 있어서 어떤 차이가 있는지는 크게 다룬 논문이 없다. 따라서 본 논문에서는 다양한 함수형 자료를 이용해서 함수형 데이터 분석과 다변량 데이터 분석을 적용했을 때의 결과와 성능을 회귀 모형을 이용하여 비교 및 분석한다.

딥러닝을 이용한 다변량 시계열 데이터의 결측치 처리에 관한 연구 조사

이영준,윤수식,이재길 한국정보과학회 2019 데이타베이스 연구 Vol.35 No.3

Multivariate time series data has been widely used for various applications (e.g. prediction and outlier detection) across many industries such as meteorology, transportation, and manufacturing. However, missing values in multivariate time series data significantly reduce the usability of the data. There have been many efforts to overcome this problem, but most of the previous studies do not effectively consider the two most important characteristics of multivariate time series data: (1) the correlation between variables and (2) the temporal dependency. This paper introduces the recent deep learning-based approaches which show better performances on processing missing values by taking into account these two characteristics. According to the mechanism of the model, the introduced studies can be categorized into either a discriminative model or a generative model. This paper explains the basic mechanism of each model, as well as its strengths and weaknesses. The limitations of the models and possible future research directions are also discussed. 다변량 시계열 데이터는 기상, 교통, 제조 등 다양한 산업에서 예측 및 이상 탐지 등의 여러 응용을 위해 활발히 활용된다. 하지만 여러 원인에 의해 발생하는 다변량 시계열 데이터 내의 결측치는 데이터의 품질과 활용도를 크게 떨어뜨린다. 따라서 다변량 시계열 데이터 내에서의 결측치를 처리하기 위한 다양한 연구가 시도되었다. 하지만 대부분의 기존 방법들은 다변량 시계열 데이터의 가장 중요한 두 가지 특징인 변수 간 상관관계와 시간상의 의존관계를 제대로 반영하지 못하였다. 본 논문에서는 위 두 가지 특징을 효과적으로 고려하여 결측치 처리 성능을 크게 향상한 딥러닝 기반의 최근 연구들을 소개한다. 제시된 모델들은 크게 확정적 모델과 생성 모델로 구분된다. 본 논문은 각 모델의 특징을 기반으로 작동방식과 장단점을 자세하게 설명한다. 그리고 딥러닝을 이용한 방법들의 한계점을 지목하며 향후 연구 방향에 대하여 토의한다.

딥러닝 기반 다변량 시계열 데이터 보정기법

정한석,김한준 한국정보과학회 2023 데이타베이스 연구 Vol.39 No.2

This paper proposes a correction method to improve the quality of multivariate time series data by using a deep learning-based anomaly detection model and a prediction model that considers the relationship between variables. Multivariate time series data should be considered not only for its temporal characteristics but also for the relationships between variables. In order to consider these characteristics, this paper proposes an attention-based LSTM prediction model that trains a correlation matrix to consider the relationship between variables in the model training process, and uses this model to correct multivariate time series data. First, we detect anomalies in the data using an existing study, the LSTM-based VAE-GAN anomaly detection model, and predict the corresponding windows that are detected as anomalies with the prediction model proposed in this paper. Then, we forward the predicted windows to the generator of the anomaly detection model, which is trained to generate normal-like windows, and perform the correction by replacing the abnormal windows with the generated windows. 본 논문은 딥러닝 기반 이상탐지 모델과 변수들 간의 관계를 고려하는 예측모델을 이용하여 다변량 시계열 데이터의 품질을 개선하는 보정기법을 제안한다. 다변량 시계열 데이터는 시간적 특성뿐만 아니라 변수들 간의 관계가 동시에 고려되어야 한다. 이러한 특성을 고려하기 위해 본 논문에서는 모델 학습 과정에서 변수들 간의 학습을 위해 상관계수 행렬을 학습하는 Attention 기반 LSTM 예측모델을 제안하고, 이 모델을 이용하여 다변량 시계열 데이터 보정을 수행한다. 먼저 기존 연구인 LSTM 기반 VAE-GAN 이상탐지 모델을 이용하여 데이터 내에 존재하는 이상값을 탐지하고, 본 논문에서 제안하는 예측모델로 이상으로 탐지된 해당 윈도우를 예측한다. 그 다음, 예측된 윈도우를 정상 윈도우를 잘 생성하도록 학습된 이상탐지 모델의 생성자에 전달하여 재생성한 윈도우로 이상 윈도우를 대체함으로써 보정을 수행한다.

벡터자기회귀(VAR)을 이용한 감마선량 이상상황 예측

권기현,이형봉 한국디지털콘텐츠학회 2022 한국디지털콘텐츠학회논문지 Vol.23 No.6

Gamma rays are very dangerous to the human body and are contained in natural or artificial substances. The gamma dose can be continuously measured to determine whether there is an abnormality in the release of radioactive material in a certain space. Some weather-related information is correlated with gamma doses in space, and the dataset used to predict gamma doses requires that a multivariate data model be constructed with gamma ray measurements and multivariate amounts of weather data. The Vector Auto Regression (VAR) model extends the univariate auto regression model to multivariate time series data, making it one of the most widely used probabilistic process models for analyzing the interdependence of multivariate time series, and is useful for explaining and predicting the behavior of time series. In this paper, we use the public data gamma dose and weather data, and confirmed that it is possible to predict anomalies of spatial gamma doses according to weather changes through the VAR multivariate data model. 감마선은 인체에 매우 위험하며 천연 또는 인공 물질에 포함되어 있다. 감마선량을 지속적으로 측정하여, 일정 공간 내 방사성 물질 방출의 이상 여부를 확인할 수 있다. 일부 날씨 관련 정보는 공간 내 감마선량과 상호 상관 관계가 있으며, 감마선량 예측에 사용되는 데이터세트는 감마선 측정값과 날씨 데이터의 다변량 데이터 모델을 구성하는 것이 필요하다. VAR(Vector Auto Regression) 모델은 일변량 자기 회귀 모델을 다변량 시계열 데이터로 확장하여, 다변량 시계열의 상호 의존성을 분석하기 위해 가장 널리 사용되는 확률적 프로세스 모델 중 하나이며 시계열의 동작을 설명하고 예측하는 데 유용하다. 본 논문에서는 공공데이터인 감마선량과 날씨 데이터를 활용하고, VAR 다변량 데이터 모델을 통해 기상 변화에 따른 공간 감마선량의 이상 상황 예측이 가능함을 확인하였다.

Subset 샘플링 검증 기법을 활용한 MSCRED 모델 기반 발전소 진동 데이터의 이상 진단

홍수웅,권장우 중소기업융합학회 2022 융합정보논문지 Vol.12 No.1

본 논문은 전문가 독립적 비지도 신경망 학습 기반 다변량 시계열 데이터 분석 모델인 MSCRED(Multi-Scale Convolutional Recurrent Encoder-Decoder)의 실제 현장에서의 적용과 Auto-encoder 기반인 MSCRED 모델의 한계인, 학습 데이터가 오염되지 않아야 된다는 점을 극복하기 위한 학습 데이터 샘플링 기법인 Subset Sampling Validation을 제시한다. 라벨 분류가 되어있는 발전소 장비의 진동 데이터를 이용하여 1) 학습 데이터에 비정상 데이터 가 섞여 있는 상황을 재현하고, 이를 학습한 경우 2) 1과 같은 상황에서 Subset Sampling Validation 기법을 통해 학습 데이터에서 비정상 데이터를 제거한 경우의 Anomaly Score를 비교하여 MSCRED와 Subset Sampling Validation 기법을 유효성을 평가한다. 이를 통해 본 논문은 전문가 독립적이며 오류 데이터에 강한 이상 진단 프레임워 크를 제시해, 다양한 다변량 시계열 데이터 분야에서의 간결하고 정확한 해결 방법을 제시한다. This paper applies an expert independent unsupervised neural network learning-based multivariate time series data analysis model, MSCRED(Multi-Scale Convolutional Recurrent Encoder-Decoder), and to overcome the limitation, because the MCRED is based on Auto-encoder model, that train data must not to be contaminated, by using learning data sampling technique, called Subset Sampling Validation. By using the vibration data of power plant equipment that has been labeled, the classification performance of MSCRED is evaluated with the Anomaly Score in many cases, 1) the abnormal data is mixed with the training data 2) when the abnormal data is removed from the training data in case 1. Through this, this paper presents an expert-independent anomaly diagnosis framework that is strong against error data, and presents a concise and accurate solution in various fields of multivariate time series data.

Data Governance 평가를 위한 속성지표 연구

장경애 ( Kyoung-ae Jang ),김우제 ( Woo-je Kim ) 한국정보처리학회 2017 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.6 No.2

데이터 거버넌스는 연구초기 단계의 영역이므로 개념정의와 구성요소 정립에 연구가 집중되어 있다. 그러나 데이터 거버넌스의 도입에 대한의사결정을 돕기 위해서 데이터 거버넌스의 평가에 관한 연구 또한 필요하다. 본 연구는 데이터 거버넌스 프레임워크에서 데이터 거버넌스를 평가하기 위한 속성지표에 관한 연구이다. 이를 위하여 RGT와 Laddering기법을 적용하여 전문가 인터뷰를 실시하였고, 이 결과를 제3자 차원의 검증을 위해서 설문과 통계적인 검증분석을 실시하였다. 통계적인 분석에는 크론바하 알파 계수, MANOVA, 상관분석을 실시하였다. 이를 통해서 데이터 거버넌스 속성지표를 데이터 통제영역에는 8개의 속성지표, 데이터 품질영역에 16개의 속성지표, 데이터 조직영역에 7개의 속성지표를 도출하였다. 또한 AHP기법을 적용하여 속성지표의 가중치와 우선순위를 선별하였다. 이 연구결과는 데이터 거버넌스의 개념정립과 구성요소의 명확한 이해 및 기업의 거버넌스 도입과 운영의 기초자료로 활용될 것이다. The academic research on data governance is still in its infancy and focused on the definition of concept and components. However, we need to study of evaluation on data governance to help make decision of establishment. The purpose of this paper is to develop of attribute index in data governance framework. Therefore, in this paper, we used RGT (repertory grid technique) and Laddering techniques for experts interview and survey for validation of disinterested third party experts and analysis statistically. We completed data governance attribute index which is composed of data compliance area including 8 components, data quality area including 16 components and data organization area including 7 components. Moreover, the evaluation attributes is prioritized and ranked using the AHP. As a result of the study, this paper can be used for the base line data in introducing and operating data governance in an IT company.

다변량 시계열데이터 집단 상호간의 주성분 정보 비교를 통한 이상 예측

박찬영,김창욱 한국경영과학회 2013 한국경영과학회 학술대회논문집 Vol.2013 No.5

모니터링 시스템에서 계측되는 다변량 시계열 데이터를 분석하여 시스템의 상태가 변화했는지를 탐지하는 현재까지의 방법은 각 변수별로 시계열 데이터의 특징을 단일 값으로 요약하고 요약된 변수 값을 분류모형에 입력하여 이상 유무를 추정하는 방식이었다. 그러나 이 방법은 시계열 데이터를 요약하는 과정에서 데이터의 구조적 특징이 손실되는 단점이 있다. 본 논문은 시계열 데이터를 모두 사용하는 이상탐지 방법을 제안한다. 템플릿 시계열 데이터 집단과 테스트 시계열 데이터 집단이 주어졌을 때 각 데이터 군을 주성분 분석을 통해서 주성분 공간내의 score 분포로 표현하고 두 분포의 특징(주성분간의 사이각, 고유값의 비율, score 평균값의 비율)을 비교해서 거리 척도로 표현하고 Hampel 값을 이용하여 이상 여부를 탐지한다. 세 종류의 다변량 시계열 데이터를 대상으로 실험을 한 결과 본 연구에서 제안한 방법은 우수한 이상탐지 성능을 보였다.

다변량 시계열데이터 집단 상호간의 주성분 정보 비교를 통한 이상 예측

박찬영,김창욱 대한산업공학회 2013 대한산업공학회 춘계학술대회논문집 Vol.2013 No.5

모니터링 시스템에서 계측되는 다변량 시계열 데이터를 분석하여 시스템의 상태가 변화했는지를 탐지하는 현재까지의 방법은 각 변수별로 시계열 데이터의 특징을 단일 값으로 요약하고 요약된 변수 값을 분류모형에 입력하여 이상 유무를 추정하는 방식이었다. 그러나 이 방법은 시계열 데이터를 요약하는 과정에서 데이터의 구조적 특징이 손실되는 단점이 있다. 본 논문은 시계열 데이터를 모두 사용하는 이상탐지 방법을 제안한다. 템플릿 시계열 데이터 집단과 테스트 시계열 데이터 집단이 주어졌을 때 각 데이터 군을 주성분 분석을 통해서 주성분 공간내의 score 분포로 표현하고 두 분포의 특징(주성분간의 사이각, 고유값의 비율, score 평균값의 비율)을 비교해서 거리 척도로 표현하고 Hampel 값을 이용하여 이상 여부를 탐지한다. 세 종류의 다변량 시계열 데이터를 대상으로 실험을 한 결과 본 연구에서 제안한 방법은 우수한 이상탐지 성능을 보였다.

다변량 지구과학 데이터와 가우시안 혼합 모델을 이용한 공간 분포 추정

김호림,유순영,윤성택,김경호,이군택,이정호,허철호,류동우 대한자원환경지질학회 2022 자원환경지질 Vol.55 No.4

지구과학 데이터(지오데이터)의 공간 이질성, 희소성 및 고차원성으로 인해 공간 분포 추정에 어려움이 있다. 따라서 지구과학의 많은 응용 분야에서 지오데이터의 고유 특성을 고려할 수 있는 공간 추정 기법이 필요하다. 본 연구에서는 기계 학습 알고리즘 중 하나인 가우시안 혼합 모델(Gaussian Mixture Model; GMM)을 이용하여 공간 예측 방법을 제공하고자 하였다. 제안된 기법의 성능을 검증하기 위해, 옛 제련소 부지에서 휴대용 X선 형광분석기(PXRF) 및 유도결합플라즈마-원자방출분광법(ICPAES)을 이용하여 분석된 토양 농도 자료를 활용하였다. ICP-AES를 이용해 분석된 As와 Pb를 주변수로 하고, 나머지 자료는 보조변수로 활용하였다. 다차원의 보조변수 중 중요 변수를 선별하기 위해 랜덤포레스트 기반의 변수선택법을 적용하였다. ICPAES 및 PXRF를 통해 구축된 다변량 데이터를 사용한 GMM의 결과를 단변량 및 이변량 데이터를 사용한 정규 크리깅(Ordinary Kriging; OK) 및 정규 공동크리깅(Ordinary Co-Kriging; OCK)의 결과와 비교하였다. GMM의 결과는 OK 및 OCK의 결과보다 낮은 평균 제곱근 편차(RMSE; 비소는 최대 0.11 및 납은 0.33까지 향상)와 높은 상관관계(r; 비소는 최대 0.31 및 납은 0.46까지 향상)를 제공하였다. 이는 GMM을 사용할 경우 토양 오염의 범위 해석의 성능을 향상시킬 수 있음을 지시한다. 본 연구는 다변량 공간추정 접근법이 복잡하고 이질적인 지질 및 지구 화학 자료의 특징을 이해하는 데 효과적으로 적용될 수 있음을 증명하였다.