결측값을 포함한 센서 스트림에 대한 어텐션 메커니즘 및 합성곱 신경망 기반의 패턴 분류 기법 = Pattern Classification based on Attention Mechanism and CNN for Sensor Stream Data including Missing Values

다국어 초록 (Multilingual Abstract)

Analysis for IoT stream data collected from various sensors is a typical non-linear analysis problem, and recently, deep learning techniques including convolutional neural networks have been applied to these problems in various ways. In addition, the IoT sensor stream data often includes missing data, that is, loss data due to a communication failure between the sensor and the server or a hardware defect of the sensor during the collection process, and such loss data reduces the accuracy of analysis. Meanwhile, among the various sensor stream data, the analysis of traffic volume data collected through the loop coil sensor is used for urban planning, traffic engineering, and implementation of various traffic and location-based services. However, during the process of collecting traffic data through the loop coil sensor, missing values ​​are often generated. In this paper, we propose a method to increase the accuracy of pattern classification of sensor stream data containing missing values. The proposed method compensates for the loss of accuracy due to missing values ​​assigning weights to non-loss data by applying attention mechanism to the pattern classification model based on the convolutional neural network. In this paper, the proposed pattern classification method is applied to traffic volume data measured by loop coil sensors that frequently generate missing values, and it was confirmed through experiments that the proposed method can improve the accuracy of pattern classification for sensor stream data including missing values.

국문 초록 (Abstract)

다양한 센서로부터 수집된 IoT 스트림 데이터 분석은 대표적인 비선형 분석 문제로, 최근 이러한 문제들의 해결에 합성곱 신경망(Convolutional Neural Network, CNN)을 비롯한 딥러닝 기법들을 다방면으로 적용하고 있다. 또한, IoT 센서 스트림 데이터는 그 수집 과정에서, 센서와 서버 간의 통신 장애 또는 센서의 하드웨어적 결함 등으로 인한 결측값 즉, 손실 데이터를 포함하는 경우가 많으며, 이러한 손실 데이터는 분석의 정확도를 감소시킨다. 한편, 다양한 센서 스트림 데이터 중, 루프 센서를 통해 수집된 교통량 데이터 분석은 도시 계획, 교통 공학, 다양한 교통 및 위치 기반 서비스의 구현 등에 활용된다. 그러나 루프 센서를 통한 교통량 데이터 수집 과정에서 결측값이 발생하는 경우가 많다. 본 논문에서는 이렇게 결측값이 포함된 센서 스트림 데이터의 패턴 분류 정확도를 높이기 위한 기법을 제안한다. 제안하는 기법은 합성곱 신경망 기반의 패턴 분류 모델에 어텐션 메커니즘(Attention Mechanism)을 도입하여 비손실 데이터에 대한 가중치를 부여함으로써 결측값으로 인한 정확도의 손실을 보완한다. 본 논문에서는 결측값의 발생이 잦은 루프 센서 기반의 교통량 데이터를 대상으로 제안하는 패턴 분류 기법을 적용하였고, 제안하는 기법이 결측값을 포함한 센서 스트림 데이터에 대한 패턴 분류 정확도를 향상시킬 수 있음을 실험을 통해 확인하였다.

참고문헌 (Reference)

1 E. Bengio, "onditional Computation in Neural Networks for faster models, arXiv:1511.06297 [cs]"

2 C. -L. Liu, "Time Series Classification With Multivariate Convolutional Neural Network" 66 (66): 4788-4797, 2019

3 N. Ramakrishnan, "Network Traffic Prediction Using Recurrent Neural Networks" 187-193, 2018

4 J. Qiu, "Nei-TTE : Intelligent Traffic Time Estimation Based on Fine-Grained Time Derivation of Road Segments for Smart City" 16 (16): 2659-2666, 2020

5 R. H. Lees, "Loop sensing apparatus for traffic detection"

6 S. Latif, "Intelligent traffic monitoring and guidance system for smart city" 1-6, 2018

7 B. Wang, "Inner Attention based Recurrent Neural Networks for Answer Selection" 1288-1297, 2016

8 Z. Yang, "Hierarchical Attention Networks for Document Classification" 1480-1489, 2016

9 S. Kumar, "Energy Load Forecasting using Deep Learning Approach-LSTM and GRU in Spark Cluster" 1-4, 2018

10 D. Bahdanau, "End-to-end attention-based large vocabulary speech recognition" 4945-4949, 2016

11 M.-T. Luong, "Effective Approaches to Attention-based Neural Machine Translation, arXiv:1508.04025 [cs]"

12 A. V, G. P, V. R, "DeepAirNet : Applying Recurrent Networks for Air Quality Prediction" 132 : 1394-1403, 2018

13 H. Ismail Fawaz, "Deep learning for time series classification : a review" 33 (33): 917-963, 2019

14 J. C. B. Gamboa, "Deep Learning for Time-Series Analysis, arXiv:1701.01887 [cs]"

15 M. Mohammadi, "Deep Learning for IoT Big Data and Streaming Analytics : A Survey" 20 (20): 2923-2960, 2018

16 B. Zhao, "Convolutional neural networks for time series classification" 28 (28): 162-169, 2017

17 "Caltrans PeMS > State of California > Overview > Dashboard"

18 S. Hershey, "CNN architectures for large-scale audio classification" 131-135, 2017

19 U. S. Shanthamallu, "A brief survey of machine learning methods and their sensor and IoT applications" 1-8, 2017

20 S. Chambon, "A Deep Learning Architecture for Temporal Sleep Stage Classification Using Multivariate and Multimodal Time Series" 26 (26): 758-769, 2018