딥러닝 기반 다변량 시계열 데이터 보정기법

정한석,김한준 한국정보과학회 2023 데이타베이스 연구 Vol.39 No.2

This paper proposes a correction method to improve the quality of multivariate time series data by using a deep learning-based anomaly detection model and a prediction model that considers the relationship between variables. Multivariate time series data should be considered not only for its temporal characteristics but also for the relationships between variables. In order to consider these characteristics, this paper proposes an attention-based LSTM prediction model that trains a correlation matrix to consider the relationship between variables in the model training process, and uses this model to correct multivariate time series data. First, we detect anomalies in the data using an existing study, the LSTM-based VAE-GAN anomaly detection model, and predict the corresponding windows that are detected as anomalies with the prediction model proposed in this paper. Then, we forward the predicted windows to the generator of the anomaly detection model, which is trained to generate normal-like windows, and perform the correction by replacing the abnormal windows with the generated windows. 본 논문은 딥러닝 기반 이상탐지 모델과 변수들 간의 관계를 고려하는 예측모델을 이용하여 다변량 시계열 데이터의 품질을 개선하는 보정기법을 제안한다. 다변량 시계열 데이터는 시간적 특성뿐만 아니라 변수들 간의 관계가 동시에 고려되어야 한다. 이러한 특성을 고려하기 위해 본 논문에서는 모델 학습 과정에서 변수들 간의 학습을 위해 상관계수 행렬을 학습하는 Attention 기반 LSTM 예측모델을 제안하고, 이 모델을 이용하여 다변량 시계열 데이터 보정을 수행한다. 먼저 기존 연구인 LSTM 기반 VAE-GAN 이상탐지 모델을 이용하여 데이터 내에 존재하는 이상값을 탐지하고, 본 논문에서 제안하는 예측모델로 이상으로 탐지된 해당 윈도우를 예측한다. 그 다음, 예측된 윈도우를 정상 윈도우를 잘 생성하도록 학습된 이상탐지 모델의 생성자에 전달하여 재생성한 윈도우로 이상 윈도우를 대체함으로써 보정을 수행한다.

Bayesian latent factor regression for multivariate functional data with variable selection

노희상,최태련,박진수,정연승 한국통계학회 2020 Journal of the Korean Statistical Society Vol.49 No.3

In biomedical research, multivariate functional data are frequently encountered. Majority of the existing approaches for functional data analysis focus on univariate functional data and the methodology for multivariate functional data is far less studied. Particularly, the problem of investigating covariate effects on multivariate functional data has received little attention. In this research, we propose a fully Bayesian latent factor regression for studying covariate effects on multivariate functional data. The proposed model obtains a low-dimensional representation of multivariate functional data through basis expansions for splines and factor analysis for the basis coefficients. Then, the latent factors specific to each functional outcome are regressed onto covariates accounting for residual correlations among multiple outcomes. The assessment of covariate effects is conducted based on the marginal inclusion probability for each covariate, which is calculated a posteriori by assigning a stochastic search variable selection (SSVS) prior to the regression coefficients. To better control for the false discovery rate, we propose a multivariate SSVS prior that allows for a set of coefficients to be zero simultaneously. We illustrate the proposed method through a simulation study and an application to the air pollution data collected for 13 cities in China.

An Intelligent Fault Diagnosis Method for Imbalanced Nuclear Power Plant Data Based on Generative Adversarial Networks

Dai Yuntao,Peng Lizhang,Juan Zhaobo,Liang Yuan,Shen Jihong,Wang Shujuan,Tan Sichao,Yu Hongyan,Sun Mingze 대한전기학회 2023 Journal of Electrical Engineering & Technology Vol.18 No.4

In the fault diagnosis problem, where sample data of fault cases are imbalanced, data generation and expansion are performed based on a generative adversarial network to obtain balanced data for training. Combining a gated recurrent neural network and an autoencoder model, the GRU-BEGAN model for generating multiple time series data is proposed for the intelligent fault diagnosis of imbalanced nuclear power plant data. To guarantee the consistency of the probability distribution between the generated data and real data, the K-L losses are included as a part of the loss function of the generator. At the same time, the potential feature vector of the real data obtained by the discriminator encoder is introduced as a hidden variable in the generator, and the similarity between the generated data and the real data is controlled by introducing the hidden variables according to the probability to make the generated data diverse. For the imbalanced fault dataset of the nuclear power plant thermal–hydraulic systems, the proposed GRU-BEGAN model is used to expand the original data to obtain a balanced state. Then, a 1D-CNN fault diagnosis model is established based on a convolutional neural network. The experimental results show that the fault diagnosis accuracy of the total test data is improved by 1.45% after data expansion, and the fault diagnosis accuracy of the minority sample is improved by 6.8% after data expansion.

벡터자기회귀(VAR)을 이용한 감마선량 이상상황 예측

권기현,이형봉 한국디지털콘텐츠학회 2022 한국디지털콘텐츠학회논문지 Vol.23 No.6

Gamma rays are very dangerous to the human body and are contained in natural or artificial substances. The gamma dose can be continuously measured to determine whether there is an abnormality in the release of radioactive material in a certain space. Some weather-related information is correlated with gamma doses in space, and the dataset used to predict gamma doses requires that a multivariate data model be constructed with gamma ray measurements and multivariate amounts of weather data. The Vector Auto Regression (VAR) model extends the univariate auto regression model to multivariate time series data, making it one of the most widely used probabilistic process models for analyzing the interdependence of multivariate time series, and is useful for explaining and predicting the behavior of time series. In this paper, we use the public data gamma dose and weather data, and confirmed that it is possible to predict anomalies of spatial gamma doses according to weather changes through the VAR multivariate data model. 감마선은 인체에 매우 위험하며 천연 또는 인공 물질에 포함되어 있다. 감마선량을 지속적으로 측정하여, 일정 공간 내 방사성 물질 방출의 이상 여부를 확인할 수 있다. 일부 날씨 관련 정보는 공간 내 감마선량과 상호 상관 관계가 있으며, 감마선량 예측에 사용되는 데이터세트는 감마선 측정값과 날씨 데이터의 다변량 데이터 모델을 구성하는 것이 필요하다. VAR(Vector Auto Regression) 모델은 일변량 자기 회귀 모델을 다변량 시계열 데이터로 확장하여, 다변량 시계열의 상호 의존성을 분석하기 위해 가장 널리 사용되는 확률적 프로세스 모델 중 하나이며 시계열의 동작을 설명하고 예측하는 데 유용하다. 본 논문에서는 공공데이터인 감마선량과 날씨 데이터를 활용하고, VAR 다변량 데이터 모델을 통해 기상 변화에 따른 공간 감마선량의 이상 상황 예측이 가능함을 확인하였다.

Subset 샘플링 검증 기법을 활용한 MSCRED 모델 기반 발전소 진동 데이터의 이상 진단

홍수웅,권장우 중소기업융합학회 2022 융합정보논문지 Vol.12 No.1

본 논문은 전문가 독립적 비지도 신경망 학습 기반 다변량 시계열 데이터 분석 모델인 MSCRED(Multi-Scale Convolutional Recurrent Encoder-Decoder)의 실제 현장에서의 적용과 Auto-encoder 기반인 MSCRED 모델의 한계인, 학습 데이터가 오염되지 않아야 된다는 점을 극복하기 위한 학습 데이터 샘플링 기법인 Subset Sampling Validation을 제시한다. 라벨 분류가 되어있는 발전소 장비의 진동 데이터를 이용하여 1) 학습 데이터에 비정상 데이터 가 섞여 있는 상황을 재현하고, 이를 학습한 경우 2) 1과 같은 상황에서 Subset Sampling Validation 기법을 통해 학습 데이터에서 비정상 데이터를 제거한 경우의 Anomaly Score를 비교하여 MSCRED와 Subset Sampling Validation 기법을 유효성을 평가한다. 이를 통해 본 논문은 전문가 독립적이며 오류 데이터에 강한 이상 진단 프레임워 크를 제시해, 다양한 다변량 시계열 데이터 분야에서의 간결하고 정확한 해결 방법을 제시한다. This paper applies an expert independent unsupervised neural network learning-based multivariate time series data analysis model, MSCRED(Multi-Scale Convolutional Recurrent Encoder-Decoder), and to overcome the limitation, because the MCRED is based on Auto-encoder model, that train data must not to be contaminated, by using learning data sampling technique, called Subset Sampling Validation. By using the vibration data of power plant equipment that has been labeled, the classification performance of MSCRED is evaluated with the Anomaly Score in many cases, 1) the abnormal data is mixed with the training data 2) when the abnormal data is removed from the training data in case 1. Through this, this paper presents an expert-independent anomaly diagnosis framework that is strong against error data, and presents a concise and accurate solution in various fields of multivariate time series data.

Multivariate control median test for the right censored data

Park, Hyo-Il 淸州大學校 産業經營硏究所 1997 産業經營硏究 Vol.20 No.2

In this paper, we propose a control median test for the multivariate and right censored data. In order to simplify our arguments, to b e p with, we deal with the bivariate data. Because of the involvement of censoring distribution function into the null covariance matrix m some complicated way, we consider the large sample approximation. Finally, we mention briefly the extension to the multivariate data.

다변량 t-선형모형을 이용한 조세재정 패널데이터 분석

구동현(Donghyun Koo),이근백(Keunbaik Lee) 한국데이터정보과학회 2022 한국데이터정보과학회지 Vol.33 No.1

경시적 자료는 여러 분야에서 많이 수집되어 왔다. 하지만 대부분의 경시적 연구들은 다변량 반응변수를 가짐에도 불구하고, 이들 반응변수들을 각각의 단변량으로 한정하여 분석하였다. 이러한 이유로 다변량 경시적 자료에서 가지는 다른 반응변수 간의 상관관계를 올바르게 추정할 수 없었고, 이로 인하여 평균모수에 대한 추정량에 편향이 생길 수 있었다. 이를 해결하기 위하여 다변량 경시적 자료를 분석하기 위한 모형들이 제안되었다. 이 논문에서 다변량 경시적 자료분석을 위한 대표적인 모형인 Lee 등 (2020a)의 다변량 선형모형과 Rhee (2020)의 다변량 t 선형모형을 이용하여 조세패널 자료를 분석한다. 조세패널 자료는 다변량 경시적 자료이며, 반응변수로 세액절감금액, 연간소비금액, 연간저축금액을 고려하였다. 이 응답변수들은 가처분소득에 기반한 가계의 주된 재정건전성 관련 지표들로 이들 간의 상관관계를 고려한 다변량 선형모형 및 t 선형모형을 적합한 결과, 두 모형의 적합결과가 연구문헌과는 일부 다른 결과가 도출되었다. 이는 본 패널자료의 경시적 자료구조를 충실히 반영하기 위해 다변량 경시적 모형을 사용했기 때문이며, 나아가 t 선형모형이 오차항을 t-분포를 가정함으로써 이상치에 강건한 특성을 지닌다는 것에 연유한다. 소득공제의 관점에서 반응변수가 세액절감금액일때 총소득공제금액, 소득공제비율, 고소득가구여부와의 연관성에 초점을 맞추어 모형을 해석하였으며, 특히 조세재정분야의 정책제언 측면에서 가구의 소득 규모에 따라 소득공제제도의 운용을 달리함으로써 가계의 세액절감효과를 유도할 수 있을 것이라는 결론을 도출하었다. 세액절감 금액이 반응변수일때 유의미한 공변량들로는 총소득공제금액, 소득공제 비율, 고소득가구여부, 교호작용, 교육수준이 있었으며, 연간소비금액이 반응변수일때에는 자가여부를 제외한 모든 공변량들이 유의하였다. 연간저축금액의 경우 소득공제비율을 제외한 모든 공변량이 유의한 것으로 나타났다. Most of the longitudinal studies have analyzed data treating as univariate longitudinal data, even though they were multivariate longitudinal data. For this reason, the estimates of mean parameters can be biased because the univariate longitudinal analysis ignores the correlations between other outcomes To solve this problem, multivariate linear models have been proposed (Lee et al., 2020a; Rhee, 2020). In this paper, tax panel data are analyzed using the multivariate linear model and the multivariate t linear models. In the data, retrenched amount of tax liability, annual household expenditure, and annual household savings were considered as response variables, which are the main indicators of financial soundness of households based on disposable income. From the perspective of income deduction, the model was interpreted focusing on the relationship between total income deduction amount, income deduction ratio, and high-income households, and it was concluded that the household tax reduction effect could be induced by varying the household’s income size. When the retrenched amount of tax liability was a response variable, significant covariates included total income deduction amount, income deduction ratio, high-income household status, interaction, and education level. In addition, most of the covariates were significant in the case of annual expenditure and annual savings.

딥러닝을 이용한 다변량 시계열 데이터의 결측치 처리에 관한 연구 조사

이영준,윤수식,이재길 한국정보과학회 2019 데이타베이스 연구 Vol.35 No.3

Multivariate time series data has been widely used for various applications (e.g. prediction and outlier detection) across many industries such as meteorology, transportation, and manufacturing. However, missing values in multivariate time series data significantly reduce the usability of the data. There have been many efforts to overcome this problem, but most of the previous studies do not effectively consider the two most important characteristics of multivariate time series data: (1) the correlation between variables and (2) the temporal dependency. This paper introduces the recent deep learning-based approaches which show better performances on processing missing values by taking into account these two characteristics. According to the mechanism of the model, the introduced studies can be categorized into either a discriminative model or a generative model. This paper explains the basic mechanism of each model, as well as its strengths and weaknesses. The limitations of the models and possible future research directions are also discussed. 다변량 시계열 데이터는 기상, 교통, 제조 등 다양한 산업에서 예측 및 이상 탐지 등의 여러 응용을 위해 활발히 활용된다. 하지만 여러 원인에 의해 발생하는 다변량 시계열 데이터 내의 결측치는 데이터의 품질과 활용도를 크게 떨어뜨린다. 따라서 다변량 시계열 데이터 내에서의 결측치를 처리하기 위한 다양한 연구가 시도되었다. 하지만 대부분의 기존 방법들은 다변량 시계열 데이터의 가장 중요한 두 가지 특징인 변수 간 상관관계와 시간상의 의존관계를 제대로 반영하지 못하였다. 본 논문에서는 위 두 가지 특징을 효과적으로 고려하여 결측치 처리 성능을 크게 향상한 딥러닝 기반의 최근 연구들을 소개한다. 제시된 모델들은 크게 확정적 모델과 생성 모델로 구분된다. 본 논문은 각 모델의 특징을 기반으로 작동방식과 장단점을 자세하게 설명한다. 그리고 딥러닝을 이용한 방법들의 한계점을 지목하며 향후 연구 방향에 대하여 토의한다.

다변량 경시적 자료분석을 위한 다변량 선형모형의 비교연구

이지현,이근백 한국데이터정보과학회 2024 한국데이터정보과학회지 Vol.35 No.1

다변량 경시적 자료에서 반복 측정된 자료들 사이에는 상관관계가 존재한다. 이 상관관계를 설명하기 위한 공분산 행렬은 양정치성을 만족해야하고, 모수의 수가 많아서 추정하기가 쉽지 않다. 이러한 문제를 해결하기 위해 자기회귀 구조(AR)를 가정한 공분산 행렬을 가지는 다변량 정규 선형 모형(MNLM)을 가정한 방법이 제안되었다. 이 모형은 이상치에 민감한 단점이 있다. 따라서 이상치에 강건하며 결측치가 있는 불완전한 자료에서도 강건하게 평균모수를 추정하기 위해 다변량 t 분포를 이용한 다변량 t 선형 모형(MTLM)이 제안되었다. 본 논문에서는 다양한 상황 하에서의 모의실험을 통해 MNLM과 MTLM의 평균모수 추정에 대하여 비교해보고자 한다. There are correlations between repeated outcomes measured in multivariate longitudinal data. The covariance matrix to explain the correlations must satisfy the positive definiteness. However it is not easy to estimate due to the high dimension of the matrix. To address this problem, multivariate normal linear models (MNLMs) with an autoregressive covariance matrix has been proposed. In the MNLMs, the estimation of the mean parameters is sensitive to outliers. Therefore, multivariate t linear model (MTLMs) using a multivariate t distribution has been proposed to robustly estimate the mean parameter even for outliers and incomplete data with missing values. In this paper, we compare the average parameter estimation of MNLM and MTLM through simulations under various circumstances.

다변량 확률분포함수의 추정을 위한 MKDE-ebd 개발

강영진,노유정,임오강 한국전산구조공학회 2019 한국전산구조공학회논문집 Vol.32 No.1

In engineering problems, many random variables have correlation, and the correlation of input random variables has a great influence on reliability analysis results of the mechanical systems. However, correlated variables are often treated as independent variables or modeled by specific parametric joint distributions due to difficulty in modeling joint distributions. Especially, when there are insufficient correlated data, it becomes more difficult to correctly model the joint distribution. In this study, multivariate kernel density estimation with bounded data is proposed to estimate various types of joint distributions with highly nonlinearity. Since it combines given data with bounded data, which are generated from confidence intervals of uniform distribution parameters for given data, it is less sensitive to data quality and number of data. Thus, it yields conservative statistical modeling and reliability analysis results, and its performance is verified through statistical simulation and engineering examples.