딥러닝 기반 다변량 시계열 데이터 보정기법

정한석,김한준 한국정보과학회 2023 데이타베이스 연구 Vol.39 No.2

This paper proposes a correction method to improve the quality of multivariate time series data by using a deep learning-based anomaly detection model and a prediction model that considers the relationship between variables. Multivariate time series data should be considered not only for its temporal characteristics but also for the relationships between variables. In order to consider these characteristics, this paper proposes an attention-based LSTM prediction model that trains a correlation matrix to consider the relationship between variables in the model training process, and uses this model to correct multivariate time series data. First, we detect anomalies in the data using an existing study, the LSTM-based VAE-GAN anomaly detection model, and predict the corresponding windows that are detected as anomalies with the prediction model proposed in this paper. Then, we forward the predicted windows to the generator of the anomaly detection model, which is trained to generate normal-like windows, and perform the correction by replacing the abnormal windows with the generated windows. 본 논문은 딥러닝 기반 이상탐지 모델과 변수들 간의 관계를 고려하는 예측모델을 이용하여 다변량 시계열 데이터의 품질을 개선하는 보정기법을 제안한다. 다변량 시계열 데이터는 시간적 특성뿐만 아니라 변수들 간의 관계가 동시에 고려되어야 한다. 이러한 특성을 고려하기 위해 본 논문에서는 모델 학습 과정에서 변수들 간의 학습을 위해 상관계수 행렬을 학습하는 Attention 기반 LSTM 예측모델을 제안하고, 이 모델을 이용하여 다변량 시계열 데이터 보정을 수행한다. 먼저 기존 연구인 LSTM 기반 VAE-GAN 이상탐지 모델을 이용하여 데이터 내에 존재하는 이상값을 탐지하고, 본 논문에서 제안하는 예측모델로 이상으로 탐지된 해당 윈도우를 예측한다. 그 다음, 예측된 윈도우를 정상 윈도우를 잘 생성하도록 학습된 이상탐지 모델의 생성자에 전달하여 재생성한 윈도우로 이상 윈도우를 대체함으로써 보정을 수행한다.

Bayesian latent factor regression for multivariate functional data with variable selection

노희상,최태련,박진수,정연승 한국통계학회 2020 Journal of the Korean Statistical Society Vol.49 No.3

In biomedical research, multivariate functional data are frequently encountered. Majority of the existing approaches for functional data analysis focus on univariate functional data and the methodology for multivariate functional data is far less studied. Particularly, the problem of investigating covariate effects on multivariate functional data has received little attention. In this research, we propose a fully Bayesian latent factor regression for studying covariate effects on multivariate functional data. The proposed model obtains a low-dimensional representation of multivariate functional data through basis expansions for splines and factor analysis for the basis coefficients. Then, the latent factors specific to each functional outcome are regressed onto covariates accounting for residual correlations among multiple outcomes. The assessment of covariate effects is conducted based on the marginal inclusion probability for each covariate, which is calculated a posteriori by assigning a stochastic search variable selection (SSVS) prior to the regression coefficients. To better control for the false discovery rate, we propose a multivariate SSVS prior that allows for a set of coefficients to be zero simultaneously. We illustrate the proposed method through a simulation study and an application to the air pollution data collected for 13 cities in China.

특징 요약을 통한 공기조화 시뮬레이션 데이터의 혼합형 다변량 시계열 군집화 품질 향상

서하린,서영균 한국정보과학회 2025 정보과학회논문지 Vol.52 No.5

기존 다변량 시계열 데이터 군집 분석 방법은 정보의 손실을 초래하여 군집화 성능 및 해석 가능성이 저하되는 문제가 있다. 더욱이, 대부분의 기존 기법들은 수치형 변수에 초점을 맞추고 있어, 실-세계에서 흔한 혼합형 다변량 시계열 데이터셋에 적용하기 어렵다. 이러한 문제를 해결하기 위해, 본 논문은 시계열 데이터를 대표적인 특징으로 요약하여 해석 가능성을 높이는 새로운 혼합형 다변량 시계열 데이터 군집 분석 기법을 제안한다. 제안하는 기법은 혼합된 형을 갖는 다변량 시계열 데이터를 군집화하기 위해 특징을 요약한다는 점에서 기존 방법과 근본적으로 다르다. 우리는 두 개의 공기조화 시뮬레이션 데이터셋(MZVAV-1과 MZVAV-2-1)에 대해 세 개의 군집화 평가 지표를 사용하여 제안된 방법을 기존 기법과 비교 평가하였다. 실험 결과 제안한 방법은 MZVAV-1에서 지표-클러스터 개수 조합의 61% 이상, MZVAV-2-1에서 40% 이상의 군집화 품질에서 기존 기법보다 우수한 성능을 보였다. 이러한 결과는 제안한 방법이 혼합형 시계열 데이터를 위한 군집화 성능 및 해석 가능성을 상당히 개선할 수 있음을 확인시켜 준다. Existing approaches for multivariate time series data clustering analysis often result in significant information loss, thereby reducing both clustering performance and interpretability. Moreover, most existing techniques primarily focus on numerical variables, making them less effective for real-world datasets that often include both numerical and categorical variables. To address these problems, this paper proposes a novel clustering technique for mixed-type multivariate time series data, enhancing interpretability by summarizing the data into representative features. The proposed technique is fundamentally different from existing methods in that it summarizes features to cluster mixed-type multivariate time series data. We evaluated the proposed method against existing techniques using three clustering evaluation metrics on two HVAC simulation datasets (MZVAV-1 and MZVAV-2-1). Experimental results showed that the proposed method outperformed existing techniques in clustering quality for over 61% of metric–cluster count combinations on MZVAV-1, and over 40% on MZVAV-2-1. These findings confirmed that the proposed technique could significantly improve clustering performance and interpretability for mixed-type time-series data.

An Intelligent Fault Diagnosis Method for Imbalanced Nuclear Power Plant Data Based on Generative Adversarial Networks

Dai Yuntao,Peng Lizhang,Juan Zhaobo,Liang Yuan,Shen Jihong,Wang Shujuan,Tan Sichao,Yu Hongyan,Sun Mingze 대한전기학회 2023 Journal of Electrical Engineering & Technology Vol.18 No.4

In the fault diagnosis problem, where sample data of fault cases are imbalanced, data generation and expansion are performed based on a generative adversarial network to obtain balanced data for training. Combining a gated recurrent neural network and an autoencoder model, the GRU-BEGAN model for generating multiple time series data is proposed for the intelligent fault diagnosis of imbalanced nuclear power plant data. To guarantee the consistency of the probability distribution between the generated data and real data, the K-L losses are included as a part of the loss function of the generator. At the same time, the potential feature vector of the real data obtained by the discriminator encoder is introduced as a hidden variable in the generator, and the similarity between the generated data and the real data is controlled by introducing the hidden variables according to the probability to make the generated data diverse. For the imbalanced fault dataset of the nuclear power plant thermal–hydraulic systems, the proposed GRU-BEGAN model is used to expand the original data to obtain a balanced state. Then, a 1D-CNN fault diagnosis model is established based on a convolutional neural network. The experimental results show that the fault diagnosis accuracy of the total test data is improved by 1.45% after data expansion, and the fault diagnosis accuracy of the minority sample is improved by 6.8% after data expansion.

다변량 경시적 자료분석을 위한 다변량 선형모형의 비교연구

이지현,이근백 한국데이터정보과학회 2024 한국데이터정보과학회지 Vol.35 No.1

다변량 경시적 자료에서 반복 측정된 자료들 사이에는 상관관계가 존재한다. 이 상관관계를 설명하기 위한 공분산 행렬은 양정치성을 만족해야하고, 모수의 수가 많아서 추정하기가 쉽지 않다. 이러한 문제를 해결하기 위해 자기회귀 구조(AR)를 가정한 공분산 행렬을 가지는 다변량 정규 선형 모형(MNLM)을 가정한 방법이 제안되었다. 이 모형은 이상치에 민감한 단점이 있다. 따라서 이상치에 강건하며 결측치가 있는 불완전한 자료에서도 강건하게 평균모수를 추정하기 위해 다변량 t 분포를 이용한 다변량 t 선형 모형(MTLM)이 제안되었다. 본 논문에서는 다양한 상황 하에서의 모의실험을 통해 MNLM과 MTLM의 평균모수 추정에 대하여 비교해보고자 한다. There are correlations between repeated outcomes measured in multivariate longitudinal data. The covariance matrix to explain the correlations must satisfy the positive definiteness. However it is not easy to estimate due to the high dimension of the matrix. To address this problem, multivariate normal linear models (MNLMs) with an autoregressive covariance matrix has been proposed. In the MNLMs, the estimation of the mean parameters is sensitive to outliers. Therefore, multivariate t linear model (MTLMs) using a multivariate t distribution has been proposed to robustly estimate the mean parameter even for outliers and incomplete data with missing values. In this paper, we compare the average parameter estimation of MNLM and MTLM through simulations under various circumstances.

딥러닝을 이용한 다변량 시계열 데이터의 결측치 처리에 관한 연구 조사

이영준,윤수식,이재길 한국정보과학회 2019 데이타베이스 연구 Vol.35 No.3

Multivariate time series data has been widely used for various applications (e.g. prediction and outlier detection) across many industries such as meteorology, transportation, and manufacturing. However, missing values in multivariate time series data significantly reduce the usability of the data. There have been many efforts to overcome this problem, but most of the previous studies do not effectively consider the two most important characteristics of multivariate time series data: (1) the correlation between variables and (2) the temporal dependency. This paper introduces the recent deep learning-based approaches which show better performances on processing missing values by taking into account these two characteristics. According to the mechanism of the model, the introduced studies can be categorized into either a discriminative model or a generative model. This paper explains the basic mechanism of each model, as well as its strengths and weaknesses. The limitations of the models and possible future research directions are also discussed. 다변량 시계열 데이터는 기상, 교통, 제조 등 다양한 산업에서 예측 및 이상 탐지 등의 여러 응용을 위해 활발히 활용된다. 하지만 여러 원인에 의해 발생하는 다변량 시계열 데이터 내의 결측치는 데이터의 품질과 활용도를 크게 떨어뜨린다. 따라서 다변량 시계열 데이터 내에서의 결측치를 처리하기 위한 다양한 연구가 시도되었다. 하지만 대부분의 기존 방법들은 다변량 시계열 데이터의 가장 중요한 두 가지 특징인 변수 간 상관관계와 시간상의 의존관계를 제대로 반영하지 못하였다. 본 논문에서는 위 두 가지 특징을 효과적으로 고려하여 결측치 처리 성능을 크게 향상한 딥러닝 기반의 최근 연구들을 소개한다. 제시된 모델들은 크게 확정적 모델과 생성 모델로 구분된다. 본 논문은 각 모델의 특징을 기반으로 작동방식과 장단점을 자세하게 설명한다. 그리고 딥러닝을 이용한 방법들의 한계점을 지목하며 향후 연구 방향에 대하여 토의한다.

Data-driven multivariate regression-based anomaly detection and recovery of unmanned aerial vehicle flight data

Yang Lei,Li Shaobo,Li Chuanjiang,Zhu Caichao 한국CDE학회 2024 Journal of computational design and engineering Vol.11 No.2

Flight data anomaly detection is crucial for ensuring the safe operation of unmanned aerial vehicles (UAVs) and has been extensively studied. However, the accurate modeling and analysis of flight data is challenging due to the influence of random noise. Meanwhile, existing methods are often inadequate in parameter selection and feature extraction when dealing with large-scale and high-dimensional flight data. This paper proposes a data-driven multivariate regression-based framework considering spatio-temporal correlation for UAV flight data anomaly detection and recovery, which integrates the techniques of correlation analysis (CA), one-dimensional convolutional neural network and long short-term memory (1D CNN-LSTM), and error filtering (EF), named CA-1DCL-EF. Specifically, CA is first performed on original UAV flight data to select parameters with correlation to reduce the model input and avoid the negative impact of irrelevant parameters on the model. Next, a regression model based on 1D CNN-LSTM is designed to fully extract the spatio-temporal features of UAV flight data and realize parameter mapping. Then, to overcome the effect of random noise, a filtering technique is introduced to smooth the errors to improve the anomaly detection performance. Finally, two common anomaly types are injected into real UAV flight datasets to verify the effectiveness of the proposed method

Multivariate control median test for the right censored data

Park, Hyo-Il 淸州大學校 産業經營硏究所 1997 産業經營硏究 Vol.20 No.2

In this paper, we propose a control median test for the multivariate and right censored data. In order to simplify our arguments, to b e p with, we deal with the bivariate data. Because of the involvement of censoring distribution function into the null covariance matrix m some complicated way, we consider the large sample approximation. Finally, we mention briefly the extension to the multivariate data.

다변량 t-선형모형을 이용한 조세재정 패널데이터 분석

구동현(Donghyun Koo),이근백(Keunbaik Lee) 한국데이터정보과학회 2022 한국데이터정보과학회지 Vol.33 No.1

경시적 자료는 여러 분야에서 많이 수집되어 왔다. 하지만 대부분의 경시적 연구들은 다변량 반응변수를 가짐에도 불구하고, 이들 반응변수들을 각각의 단변량으로 한정하여 분석하였다. 이러한 이유로 다변량 경시적 자료에서 가지는 다른 반응변수 간의 상관관계를 올바르게 추정할 수 없었고, 이로 인하여 평균모수에 대한 추정량에 편향이 생길 수 있었다. 이를 해결하기 위하여 다변량 경시적 자료를 분석하기 위한 모형들이 제안되었다. 이 논문에서 다변량 경시적 자료분석을 위한 대표적인 모형인 Lee 등 (2020a)의 다변량 선형모형과 Rhee (2020)의 다변량 t 선형모형을 이용하여 조세패널 자료를 분석한다. 조세패널 자료는 다변량 경시적 자료이며, 반응변수로 세액절감금액, 연간소비금액, 연간저축금액을 고려하였다. 이 응답변수들은 가처분소득에 기반한 가계의 주된 재정건전성 관련 지표들로 이들 간의 상관관계를 고려한 다변량 선형모형 및 t 선형모형을 적합한 결과, 두 모형의 적합결과가 연구문헌과는 일부 다른 결과가 도출되었다. 이는 본 패널자료의 경시적 자료구조를 충실히 반영하기 위해 다변량 경시적 모형을 사용했기 때문이며, 나아가 t 선형모형이 오차항을 t-분포를 가정함으로써 이상치에 강건한 특성을 지닌다는 것에 연유한다. 소득공제의 관점에서 반응변수가 세액절감금액일때 총소득공제금액, 소득공제비율, 고소득가구여부와의 연관성에 초점을 맞추어 모형을 해석하였으며, 특히 조세재정분야의 정책제언 측면에서 가구의 소득 규모에 따라 소득공제제도의 운용을 달리함으로써 가계의 세액절감효과를 유도할 수 있을 것이라는 결론을 도출하었다. 세액절감 금액이 반응변수일때 유의미한 공변량들로는 총소득공제금액, 소득공제 비율, 고소득가구여부, 교호작용, 교육수준이 있었으며, 연간소비금액이 반응변수일때에는 자가여부를 제외한 모든 공변량들이 유의하였다. 연간저축금액의 경우 소득공제비율을 제외한 모든 공변량이 유의한 것으로 나타났다. Most of the longitudinal studies have analyzed data treating as univariate longitudinal data, even though they were multivariate longitudinal data. For this reason, the estimates of mean parameters can be biased because the univariate longitudinal analysis ignores the correlations between other outcomes To solve this problem, multivariate linear models have been proposed (Lee et al., 2020a; Rhee, 2020). In this paper, tax panel data are analyzed using the multivariate linear model and the multivariate t linear models. In the data, retrenched amount of tax liability, annual household expenditure, and annual household savings were considered as response variables, which are the main indicators of financial soundness of households based on disposable income. From the perspective of income deduction, the model was interpreted focusing on the relationship between total income deduction amount, income deduction ratio, and high-income households, and it was concluded that the household tax reduction effect could be induced by varying the household’s income size. When the retrenched amount of tax liability was a response variable, significant covariates included total income deduction amount, income deduction ratio, high-income household status, interaction, and education level. In addition, most of the covariates were significant in the case of annual expenditure and annual savings.

다변량 확률분포함수의 추정을 위한 MKDE-ebd 개발

강영진,노유정,임오강 한국전산구조공학회 2019 한국전산구조공학회논문집 Vol.32 No.1

In engineering problems, many random variables have correlation, and the correlation of input random variables has a great influence on reliability analysis results of the mechanical systems. However, correlated variables are often treated as independent variables or modeled by specific parametric joint distributions due to difficulty in modeling joint distributions. Especially, when there are insufficient correlated data, it becomes more difficult to correctly model the joint distribution. In this study, multivariate kernel density estimation with bounded data is proposed to estimate various types of joint distributions with highly nonlinearity. Since it combines given data with bounded data, which are generated from confidence intervals of uniform distribution parameters for given data, it is less sensitive to data quality and number of data. Thus, it yields conservative statistical modeling and reliability analysis results, and its performance is verified through statistical simulation and engineering examples.