시계열 분류 모델의 성능 향상을 위한 시계열 데이터 증강 및 대조 학습 기반 사전 훈련 기법

김수희,이기용 한국정보과학회 2022 정보과학회 컴퓨팅의 실제 논문지 Vol.28 No.11

Recently, as time series classification using deep learning has been actively studied, securing large amounts of data is becoming more important. However, securing a large amount of time series data in which labels exist is often difficult. Therefore, in this paper, we proposed an effective data augmentation and contrastive learning-based pre-training technique to improve the performance of time series classification models. The proposed time series data augmentation technique can create new data of different lengths while maintaining the measurement interval and characteristics of the original time series data. In addition, the proposed pre-training technique for time series classification models can improve the performance of the time series classification model. Using the time series data generated by the proposed augmentation technique, it can pre-train the time series classification model to distinguish similar and dissimilar time series data. As a result of applying the proposed time series data augmentation and the pre-training technique to user activity recognition model, the accuracy of the model was improved by up to 18%p. 최근 딥러닝을 이용한 시계열 데이터 분류가 활발히 연구되면서 대량의 데이터 확보가 더욱 중요해지고 있다. 하지만 레이블(label)이 존재하는 시계열 데이터를 대량으로 확보하는 것은 많은 경우 쉽지 않은 일이다. 따라서 본 논문은 시계열 분류 모델의 성능을 향상시키기 위한 시계열 데이터의 효과적인 데이터 증강 기법과 그를 이용한 대조 학습 기반 사전 훈련 기법을 제안한다. 제안하는 시계열 데이터 증강 기법은 원 시계열 데이터의 측정 간격 및 특성을 유지하면서 길이가 다른 새로운 데이터를 생성한다. 또한 제안하는 시계열 분류 모델 사전 훈련 기법은 제안 증강 기법으로 생성된 시계열 데이터를 활용하여 시계열 분류 모델이 유사한 시계열 데이터와 유사하지 않은 시계열 데이터를 구분할 수 있도록 학습시킴으로써 시계열 분류 모델의 성능을 향상시킨다. 제안하는 시계열 데이터 증강 기법 및 사전 훈련 기법을 사용자 행동 분류 모델에 적용한 결과 모델의 정확도를 최대 18%p 향상시킴을 확인하였다.

Research on data augmentation algorithm for time series based on deep learning

Shiyu Liu,Hongyan Qiao,Lianhong Yuan,Yuan Yuan,Jun Liu 한국인터넷정보학회 2023 KSII Transactions on Internet and Information Syst Vol.17 No.6

Data monitoring is an important foundation of modern science. In most cases, the monitoring data is time-series data, which has high application value. The deep learning algorithm has a strong nonlinear fitting capability, which enables the recognition of time series by capturing anomalous information in time series. At present, the research of time series recognition based on deep learning is especially important for data monitoring. Deep learning algorithms require a large amount of data for training. However, abnormal sample is a small sample in time series, which means the number of abnormal time series can seriously affect the accuracy of recognition algorithm because of class imbalance. In order to increase the number of abnormal sample, a data augmentation method called GANBATS (GAN-based Bi-LSTM and Attention for Time Series) is proposed. In GANBATS, Bi-LSTM is introduced to extract the timing features and then transfer features to the generator network of GANBATS.GANBATS also modifies the discriminator network by adding an attention mechanism to achieve global attention for time series. At the end of discriminator, GANBATS is adding averagepooling layer, which merges temporal features to boost the operational efficiency. In this paper, four time series datasets and five data augmentation algorithms are used for comparison experiments. The generated data are measured by PRD(Percent Root Mean Square Difference) and DTW(Dynamic Time Warping). The experimental results show that GANBATS reduces up to 26.22 in PRD metric and 9.45 in DTW metric. In addition, this paper uses different algorithms to reconstruct the datasets and compare them by classification accuracy. The classification accuracy is improved by 6.44%-12.96% on four time series datasets.

서로 다른 특성의 시계열 데이터 통합 프레임워크 제안 및 활용

황지수(Jisoo Hwang),문재원(Jaewon Moon) 한국방송·미디어공학회 2022 방송공학회논문지 Vol.27 No.6

With the development of the IoT industry, different types of time series data are being generated in various industries, and it is evolving into research that reproduces and utilizes it through re-integration. In addition, due to data processing speed and issues of the utilization system in the actual industry, there is a growing tendency to compress the size of data when using time series data and integrate it. However, since the guidelines for integrating time series data are not clear and each characteristic such as data description time interval and time section is different, it is difficult to use it after batch integration. In this paper, two integration methods are proposed based on the integration criteria setting method and the problems that arise during integration of time series data. Based on this, integration framework of a heterogeneous time series data was constructed that is considered the characteristics of time series data, and it was confirmed that different heterogeneous time series data compressed can be used for integration and various machine learning.

시계열 데이터베이스에서 순위를 지원하는 서브시퀀스 매칭을 위한 시각화 툴

이성진(Sung-Jin Lee),이진수(Jinsoo Lee),조훈(Hune Cho),한욱신(Wook-Shin Han) 한국정보과학회 2011 정보과학회논문지 : 데이타베이스 Vol.38 No.2

시계열 데이터(time-series data)는 연속적인 데이터를 고정된 시간 간격으로 샘플링한 실수 값들의 연속을 의미한다. 시계열 데이터의 예로는, 음악 및 동영상 데이터, 심전도 데이터, 주식 그래프 등의 데이터가 있다. 시계열 데이터는 다시 데이터베이스에 저장 되어있는 데이터 시퀀스(data sequence)와, 사용자에 의해 주어지는 질의 시퀀스(query sequence)로 분류된다. 시계열 데이터베이스(time-series database)에서 순위를 지원하는 서브시퀀스 매칭 방법(ranked subsequence matching)은 데이터 시퀀스와 질의 시퀀스가 주어졌을 때, 질의 시퀀스의 길이와 같은 데이터 시퀀스의 서브시퀀스(subsequence)들 중에서 질의 시퀀스와 가장 유사한 상위 k개의 서브시퀀스들을 찾는 것이다. 본 논문의 목적은 사용자가 매칭 방법에 대한 인식과 이해가 부족하더라도 기존의 콘솔 기반의 매칭 프로그램을 보다 쉽게 사용할 수 있도록 이용성을 향상시키기 위하여 시각화 툴을 개발하는 것이다. 구체적으로, 5가지 시각화(visualization) 기능을 제공하는 사용자 인터페이스를 구현하였다. 구현된 사용자 인터페이스를 통해 사용자가 기존의 매칭 프로그램을 보다 쉽고 간편하게 사용할 수 있도록 기여한다. Time-series data are sequences of real numbers, sampling a sequential data into the fixed time intervals. Common examples of time-series data are the music data, video data, electroncardiogram data, and the data of stock graphs. A time-series data can be classified into the data sequence stored in a database and the query sequence received by users. For querying a time-series database, a ranked subsequence matching program is used to find top-k subsequences which are the most similar to the query sequence from the data sequence. The goal of this paper is to develop a visualization tool which can improve and facilitate the usage of the ranked subsequence matching program of the existing console based systems, in spite of the insufficient user’s recognition and understanding about the matching method. Specifically, the proposed tool provides five different visualization functions in the user interface which can help user easily exploit the matching program.

순환신경망 기법을 이용한 스파 플랫폼의 시계열데이터 필터링에 관한 연구

유승열,이재철,이종현,황호진,이순섭 한국마린엔지니어링학회 2019 한국마린엔지니어링학회지 Vol.43 No.1

There is growing interest in the numerous techniques focused on analyzing vast quantities of measurement data in real time for the development of smart ships along with the development of asset integrity management systems for offshore platforms. To analyze the measurement data in real time, data filtering is used to eliminate the noise in the data and then extract the necessary information to perform a comprehensive data analysis. In the traditional shipbuilding and offshore industry, spectrum-based filtering methods are used because the corresponding data is saved for a certain period and subsequently analyzed. These methods are not suited to the present situation in which real-time data is required to be analyzed. Therefore, a new method for data filtering is required. The objective of this study is to filter data in real time using a recurrent neural network algorithm, which is a deep learning model used for learning time series data. In order to filter the measured mooring tension value of the spa platform in real time, a filtering model comprising a recurrent neural network algorithm was designed, and the results of the data filtering process were verified to confirm the possibility of real- time filtering. 스마트 선박 (Smart ship)의 개발과 해양 플랫폼의 예지보전 시스템 및 자산 관리 시스템 개발을 위해 방대한 양의계측 데이터를 실시간으로 분석할 수 있는 기술에 대한 관심이 높아지고 있다. 이러한 계측 데이터를 실시간으로 분석하기 위해서는 계측 데이터의 노이즈를 제거하고 필요한 정보를 추출하여 분석에 용이한 형태로 데이터를 가공하는 과정인 데이터 필터링이 반드시 선행되어야 한다. 기존의 조선 해양 산업에서는 일정기간 이상 데이터를 저장한 후 이에대한 분석을 실시하여 스펙트럼 기반의 필터링 기법을 많이 이용하였다. 이러한 방법은 실시간 데이터를 분석해야 하는현 상황에는 적합하지 않아 실시간 데이터를 필터링하기 위한 새로운 기법이 필요한 실정이다. 본 논문에서는 시계열데이터를 학습하기 위한 딥 러닝 모델인 순환신경망 알고리즘을 이용하여 실시간으로 전송되는 데이터를 필터링하고자하였다. 실시간으로 계측되는 스파 플랫폼의 계류 장력 값을 필터링하기 위해 순환신경망 알고리즘을 이용한 필터링 모델을 설계하고 그 결과값을 확인하여 실시간 필터링 가능 여부를 확인하였다. 최종적으로 실시간으로 전송되는 데이터를 필터링 하기 위해 순환신경망 알고리즘을 사용하는 것이 적합하다는 것을 확인하였다.

The Design of the Multi-Scale Data Fusion Algorithm Based on Time Series Analysis

Chunxia Wang 보안공학연구지원센터 2016 International Journal of Database Theory and Appli Vol.9 No.12

Time series is an indicator at different times on different values, arranged in chronological sequence. The basic idea of the multi-scale analysis by orthogonal transformation, and it is such as wavelet transform signal decomposition analysis on different scales. The timing analysis method is achieved through the model method. The process parameters of the dynamic data time-domain analysis method is a parametric model to fit the observed data, and then use this model to analyze the observational data and produce data system. The paper presents the design of the multi-scale data fusion algorithm based on time series analysis. Finally, the advantages of the new algorithm are elaborated from the estimation accuracy and simulation demonstrated the effectiveness of the new algorithm.

적대적 훈련 기반의 시계열 데이터 증강 기법

신광훈,김도국 한국정보과학회 2023 정보과학회논문지 Vol.50 No.8

Recently, time series data are being generated in various industries with advancement of the Internet of Things (IoT). Accordingly, demands for time series forecasting in various industries are increasing. With acquisition of a large amount of time-series data, studies on traditional statistical method based time-series forecasting and deep learning-based forecasting methods have become active and the need for data augmentation techniques has emerged. In this paper, we proposed a novel data augmentation method for time series forecasting based on adversarial training. Unlike conventional adversarial training, the proposed method could fix the hyperparameter about the number of adversarial training iterations and utilize blockwise clipping of perturbations. We carried out various experiments to verify the performance of the proposed method. As a result, we were able to confirm that the proposed method had consistent performance improvement effect on various datasets. In addition, unlike conventional adversarial training, the necessity of blockwise clipping and the hyperparameter value fixing proposed in this paper were also verified through comparative experiments.

카오스 이론 기반 시계열의 내재적 패턴분석: 룰렛과 KOSPI200 지수선물 데이터 대상

이희철 ( Heechul Lee ),김홍곤 ( Honggon Kim ),김희웅 ( Hee-woong Kim ) 한국지식경영학회 2021 지식경영연구 Vol.22 No.4

각 산업에서 대량의 데이터가 생산되면서, 빠른 경영 의사결정을 위해 시계열 패턴 예측 연구가 수많이 진행되고 있다. 하지만 데이터에 내재된 불확실성으로 인해 비선형 시계열 데이터의 특정 패턴을 예측하는 데 한계가 존재하고, 기업경영의 전략적 의사결정 어려움이 존재한다. 또한, 최근 수십 년간 불규칙한 랜덤워크 모형의 시계열 데이터 예측을 위해 산업의 목적에 맞는 금융시장 데이터를 대상으로 다양한 연구가 진행되고 있지만, 특정 규칙을 예측하고 지속가능의 기업목적 달성 어려움이 있다. 본 연구에서는 룰렛 데이터와 금융시장 데이터를 Chaos 분석기법을 이용하여 예측 결과를 비교분석하고 유의미한 결과를 도출하였다. 그리고, 본 연구는 카오스 분석이 시계열 자료를 분석하는데 있어 새로운 방법을 모색하는데 유용함을 확인하였다. 룰렛 게임의 특성을 한국 주가지수 선물의 시계열과 비교 분석하여 추세가 확인되는 경우 예측력을 높일 수 있다는 점을 도출하였으며, 불확실성이 높고 랜덤워크가 존재하는 비선형 시계열 데이터가 특정한 패턴을 가지고 있는지 판단하는데 의의가 있다. As a large amount of data is produced in each industry, a number of time series pattern prediction studies are being conducted to make quick business decisions. However, there is a limit to predicting specific patterns in nonlinear time series data due to the uncertainty inherent in the data, and there are difficulties in making strategic decisions in corporate management. In addition, in recent decades, various studies have been conducted on data such as demand/supply and financial markets that are suitable for industrial purposes to predict time series data of irregular random walk models, but predict specific rules and achieve sustainable corporate objectives There are difficulties. In this study, the prediction results were compared and analyzed using the Chaos analysis method for roulette data and financial market data, and meaningful results were derived. And, this study confirmed that chaos analysis is useful for finding a new method in analyzing time series data. By comparing and analyzing the characteristics of roulette games with the time series of Korean stock index future, it was derived that predictive power can be improved if the trend is confirmed, and it is meaningful in determining whether nonlinear time series data with high uncertainty have a specific pattern.

BST-IGT Model: Synthetic Benchmark Generation Technique Maintaining Trend of Time Series Data

Kyung Min Kim(김경민),Jong Wook Kwak(곽종욱) 한국컴퓨터정보학회 2020 韓國컴퓨터情報學會論文誌 Vol.25 No.2

본 논문에서는 시계열 데이터를 기반으로 합성 벤치마크를 생성하는 기법을 소개한다. IoT 기기에서 측정되는 많은 데이터는 시간에 따른 수치 변화를 측정하는 시계열적 특성이 있다. 하지만 긴 기간 동안 측정되는 데이터를 일반화된 시계열 데이터로 모델링하기 힘든 문제점이 존재한다. 이런 문제를 개선하기 위해 본 논문에서는 BST-IGT 모델을 소개한다. BST-IGT 모델은 전체 데이터를 시계열 모델링이 쉬운 구간으로 분리하여 생성 데이터를 템플릿으로 수집하고 이를 기반으로 특성을 공유하거나 변형되는 새로운 합성 벤치마크를 생성한다. 제안된 모델링 기법을 이용하여 신규 벤치마크를 생성한 결과, 기존 데이터의 통계적 특성을 유지하는 합성 벤치마크와 다른 벤치마크와의 혼합으로 여러 특성을 가지는 벤치마크의 생성을 수행할 수 있었다. In this paper, we introduce a technique for generating synthetic benchmarks based on time series data. Many of the data measured on IoT devices have a time series characteristic that measures numerical changes over time. However, there is a problem that it is difficult to model the data measured over a long period as generalized time series data. To solve this problem, this paper introduces the BST-IGT model. The BST-IGT model separates the entire data into sections that can be easily time-series modeled, collects the generated data into templates, and produces new synthetic benchmarks that share or modify characteristics based on them. As a result of making a new benchmark using the proposed modeling method, we could create a benchmark with multiple aspects by mixing the composite benchmark with the statistical features of the existing data and other benchmarks.

교차 어텐션 신경망을 이용한 강수 유무 예측 및 유효 데이터 도출

박선배,유도식 한국지능시스템학회 2024 한국지능시스템학회논문지 Vol.34 No.1

Time series data processing is a field that uses the time series correlation of datafor predicting and analyzing current and future situations, and research is beingconducted in various fields. Recently, research in the field of feature selection whichderive valid data from a large amount of data and filter unnecessary data has beencontinuously conducted. In this paper, we propose ‘cross attention neural network’designed based on the attention submodule of the transformer neural network fortime series prediction and derive valid data. The proposed algorithm is a neuralnetwork that calculates the attention of the main and auxiliary time series and thenperform time series prediction based on this attention table. Further, the proposedalgorithm can efficiently derive valid data by that learning with the whole data,then comparing the output values of whole data with the output values of inputtingpartial data. Through a simulation predicting the presence or absence ofprecipitation using weather dataset, the prediction performance of the proposedalgorithm is compared and verified with the prediction performance of LSTM. Andthen, we show that performance is maintained for the results of whole data usingwhile reducing input data by the deriving method for valid data. 시계열 데이터 처리는 데이터의 시계열성을 이용하여 현재, 미래의 상황을 예측 및 분석하는분야로 다양한 분야에서 연구가 진행되고 있다. 최근에는 딥러닝을 이용한 시계열 데이터처리 연구가 활발히 진행되고 있다. 최근에는 수많은 데이터들 중 유효한 데이터를 도출하는 특징선택 분야에 대한 연구도 꾸준히 진행되고 있다. 본 논문에서는 시계열 예측과 유효데이터 도출을 위하여 트랜스포머 신경망의 어텐션 서브모듈을 기반으로 설계한 ‘교차 어텐션 신경망’을 제안한다. 제안하는 알고리즘은 주 시계열과 보조 시계열의 어텐션을 연산한 뒤, 시계열 예측을 진행하는 신경망이다. 또한 제안하는 알고리즘은 전체 데이터로 학습한 뒤, 일부 데이터 입력시의 출력값과 비교하여 유효 데이터를 효율적으로 도출할 수 있다. 강수 유무를 예측하는 시뮬레이션을 통해 제안하는 알고리즘의 예측성능을 LSTM의 예측성능과 비교 검증하고, 유효 데이터 도출을 통해 입력 데이터를 줄이면서도 성능을 유지하는것을 보인다.