머신러닝을 이용한 미세먼지 예측 연구

김삼용 한국데이터정보과학회 2023 한국데이터정보과학회지 Vol.34 No.5

미세먼지란, 대기 중에 떠다니거나 흩날려 내려오는 입자상물질인 먼지 중 입자의 지름이 10㎍ 이하인 먼지를 말하며, 으로 표기하기도 한다. 이러한, 미세먼지는 매우 작은 크기로, 코나 기관지에서 걸러지지 않고 몸속에 스며들어 천식과 폐질환 또는 면역세포의 작용을 통해 염증을 일으키기도 한다. 최근 한국이 세계적으로 미세먼지 농도가 가장 높은 국가인 것이 밝혀졌는데, 미세먼지는 건강뿐 아니라 생태계 및 농작물에도 직접적인 영향을 미치기 때문에 정확한 예보 시스템을 통한 대책 마련을 강구하는 것이 중요하다. 따라서, 본 논문에서는 기상청이 제공하는 기상 데이터와 에어코리아에서 제공하는 대기오염물질 데이터를 이용하여 미세먼지 농도의 머신러닝 예측 성능 비교를 하고자 하였다. 지역으로는 황사의 유입 경로인 산둥반도와 가장 인접한 인천광역시의 데이터를 추출하였고, 인천시의 다양한 기상 요인 및 대기오염물질들의 상관관계 확인 후, 모형을 구축하였다. 모형으로는 MLP, RNN, LSTM, GRU 그리고 CNN을 사용하였고, 기본적인 하이퍼파라미터와 단일층으로 구성하여 예측 성능을 비교하였다. 그 후, GRU1 (단일층) 모형에 층을 추가한 GRU2 모형을 새롭게 구성하여 가장 예측 성능이 좋았던 GRU1 모형과 비교해보았다. 예측 성능은 테스트 데이터에서 MAE와 RMSE로 평가하였다. 대부분 비슷한 예측 성능을 보였지만, GRU1 모형이 MAE 8.80, RMSE 14.61로 다른 모형들에 비해 가장 성능이 우수하다는 것을 확인할 수 있었다. 가장 예측 성능이 낮은 모형은 MLP 모형이며, 그 뒤로는 RNN, LSTM, GRU2, CNN 순으로 예측 성능이 우수하였다. Fine dust refers to dust with a particle diameter of less than 10μg among dust, which is a particulate matter floating or flying down in the atmosphere, and is also referred to as PM10. These fine dust is very small in size and permeates the body without being filtered from the nose or bronchial tubes, causing inflammation through asthma, lung disease, or the action of immune cells. Recently, it was found that Korea has the highest concentration of fine dust in the world, and it is important to take measures through an accurate forecast system because fine dust directly affects not only health but also ecosystems and crops. Therefore, this paper attempted to compare machine learning prediction performance of fine dust concentration using weather data provided by the Korea Meteorological Administration and air pollutant data provided by Air Korea. As for the region, data from Incheon Metropolitan City, which is the closest to the Shandong Peninsula, the inflow path of yellow dust, were extracted, and a model was built after confirming the correlation between various weather factors and air pollutants in Incheon. MLP, RNN, LSTM, GRU, and CNN were used as models, and predictive performance was compared by organizing basic hyperparameters and single layers. After that, the GRU2 model, which added layers to the GRU1 (single layer) model, was newly constructed and compared with the GRU1 model with the best prediction performance. Prediction performance was evaluated by MAE and RMSE in test data. Most of them showed similar predictive performance, but it was confirmed that the GRU1 model had the best performance compared to other models, with MAE 8.80 and RMSE 14.61. The model with the lowest prediction performance was the MLP model, followed by RNN, LSTM, GRU2, and CNN.

구조적 압축을 통한 FPGA 기반 GRU 추론 가속기 설계

채병철 한국정보통신학회 2022 한국정보통신학회논문지 Vol.26 No.6

To deploy Gate Recurrent Units (GRU) on resource-constrained embedded devices, this paper presents a reconfigurable FPGA-based GRU accelerator that enables structured compression. Firstly, a dense GRU model is significantly reduced in size by hybrid quantization and structured top-k pruning. Secondly, the energy consumption on external memory access is greatly reduced by the proposed reuse computing pattern. Finally, the accelerator can handle a structured sparse model that benefits from the algorithm-hardware co-design workflows. Moreover, inference tasks can be flexibly performed using all functional dimensions, sequence length, and number of layers. Implemented on the Intel DE1-SoC FPGA, the proposed accelerator achieves 45.01 GOPs in a structured sparse GRU network without batching. Compared to the implementation of CPU and GPU, low-cost FPGA accelerator achieves 57 and 30x improvements in latency, 300 and 23.44x improvements in energy efficiency, respectively. Thus, the proposed accelerator is utilized as an early study of real-time embedded applications, demonstrating the potential for further development in the future. 리소스가 제한된 임베디드 장치에 GRU를 배포하기 위해 이 논문은 구조적 압축을 가능하게 하는 재구성 가능한 FPGA 기반 GRU 가속기를 설계한다. 첫째, 조밀한 GRU 모델은 하이브리드 양자화 방식과 구조화된 top-k 프루닝에 의해 크기가 대폭 감소한다. 둘째, 본 연구에서 제시하는 재사용 컴퓨팅 패턴에 의해 외부 메모리 액세스에 대한 에너지 소비가 크게 감소한다. 마지막으로 가속기는 알고리즘-하드웨어 공동 설계 워크플로의 이점을 얻는 구조화된 희소 GRU 모델을 처리할 수 있다. 또한 모든 차원, 시퀀스 길이 및 레이어 수를 사용하여 GRU 모델에 대한 추론 작업을 유연하게 수행할 수 있다. Intel DE1-SoC FPGA 플랫폼에 구현된 제안된 가속기는 일괄 처리가 없는 구조화된 희소 GRU 네트워크에서 45.01 GOPs를 달성하였다. CPU 및 GPU의 구현과 비교할 때 저비용 FPGA 가속기는 대기 시간에서 각각 57배 및 30배, 에너지 효율성에서 300배 및 23.44배 향상을 달성한다. 따라서 제안된 가속기는 실시간 임베디드 애플리케이션에 대한 초기 연구로서 활용, 향후 더 발전될 수 있는 잠재력을 보여준다.

러시아 해외정보기관의 역할과 안보 인식의 변화: 해외정보국(SVR)과 정보총국(GRU)의 정보활동을 중심으로

이영형 한국국가정보학회 2018 국가정보연구 Vol.11 No.1

Along with the collapse of Soviet Union, KGB was divided into Federal Security Service(FSB) and Foreign Intelligence Service(SVR). Main Intelligence Directorate(GRU) has continued the role without any huge change. A close look at the role of intelligence agencies gathering overseas information shows that there has been change in awareness of national security in Russia. When looking at the role of SVR and GRU in Russia, we can see the difference in awareness of national security at a time of Yeltsin Administration and Putin Administration. We can see that SVR and GRU’s overseas intelligence activities of Yeltsin Administration was likely to focus on political and military security in no active way but Putin Administration has been more interest in political and military security and economic security in gathering overseas information. This reality makes us see awareness of security of that time. As national security issues have been raised in various areas, intelligence collection activities have been expanded to various areas including economic, industrial technology and security area from focus on political and military area. Past career of directors of SVR and GRU shows then overseas intelligence activities and security situation of Russia. A look at the career of SVR director will be helpful in understanding policy direction of President who appoints them and make us guess core role of SVR. It makes us guess of gathering overseas information while taking more interest in economic security than political and military security area. And GRU’s overseas intelligence activities make us guess the security level that Russia is facing. 소련 해체와 함께, KGB가 연방보안국(FSB)과 해외정보국(SVR)으로 분리되었다. 정보총국(GRU)은 큰 폭의 변화 없이 그 역할을 계속해 오고 있다. 이들 중에서 해외정보를 수집하고 있는 정보기관의 역할을 조사하게 되면, 러시아의 안보인식이 변화되고 있음을 알 수 있다. 러시아의 SVR과 GRU의 역할을 중심으로 본다면, 옐친시기와 푸틴시기의 안보 인식에서 차이를 보인다. 옐친 시기 SVR과GRU의 해외정보 활동은 미온적인 수준의 정치 및 군사안보에 초점이 맞추어진경향이 강했고, 푸틴이 집권하는 2000년 이후부터는 보다 적극적인 정치 및 군사안보와 경제안보에 보다 많은 관심을 갖고 해외정보수집에 나서고 있음을 알수 있다. 이러한 현실은 당시의 안보 인식을 엿볼 수 있도록 한다. 국가안보 문제가 다양한 분야에서 제기되고 있기 때문에, SVR이 담당하는 정보수집 활동은 정치 및 군사영역 중심에서 경제 및 산업기술, 안보영역 등 다양한 분야로 확장되었다. SVR과 GRU 국장의 과거 경력에서도 러시아의 당시 해외 첩보 활동 및 안보 상황을 엿볼 수 있도록 한다. SVR 국장의 경력은 임명권자인 대통령의 정책 방향을 이해하는 데 도움을 주고, SVR의 핵심 역할을 짐작할 수 있도록 한다. 정치 및 군사안보 영역에서 경제안보에 보다 많은 관심을기울이면서 해외정보 수집이 이루어지고 있음을 짐작하도록 한다. 그리고 GRU 의 해외 첩보 활동을 보면, 러시아가 당면한 안보 수준을 짐작할 수 있도록 한다.

딥 러닝 기반의 제스처 인식 시스템

한영환 한국재활복지공학회 2022 재활복지공학회논문지 Vol.16 No.1

This paper proposes a hand gesture recognition method using dynamic image data as input. The proposed technique obtains skeleton information on major parts of the hand. It applies a deep learning model to recognize hand gestures. For this, a model combining LSTM+GRU and a model combining GUR+GRU were proposed. In order to use the deep learning model, each model was trained by constructing a data set and then hand gestures were recognized for the general public. As a result of the experiment, it was confirmed that real-time recognition is possible without the help of a specific sensor or wearable device. For 11 hand gestures, the average recognition rate of the LSTM+GRU model was 93.81% and the average recognition rate of the GRU+GRU model was 91.27%. The proposed hand gesture recognition system is expected to be sufficiently applied in fields such as virtual reality, device control and rehabilitation cares. 본 논문은 동영상 데이터를 입력으로 하는 손 제스처 인식 기법을 제안한다. 제안된 기법은 손 골격의 주요 부위의 정보를 얻고 이를 기반으로 딥러닝 모델을 적용해 손 제스처를 인식한다. 이를 위해LSTM+GRU를 결합한 모델과 GUR+GRU를 결합한 모델을 제안하였다. 딥 러닝 모델을 사용하기 위해, 데이터 셋을 구성하여 각각의 모델을 학습한 후, 일반인을 대상으로 손 제스처를 인식하였다. 실험결과, 특정한 센서나 웨어러블 기기의 도움 없이 실시간 인식이 가능함을 확인하였다. 11개의 손 제스처에 대해 LSTM+GRU 모델의 평균 인식률 93.81%, GRU+GRU 모델의 평균 인식률 91.27%를 얻었다. 제안된 손 제스처 인식 시스템은 가상 현실, 장치 제어, 재활 치료와 같은 분야에 충분히 응용될 수 있을 것으로 기대된다.

GRU 기반의 도시부 도로 통행속도 예측 모형 개발

김호연,이상수,황재성 한국ITS학회 2023 한국ITS학회논문지 Vol.22 No.1

This study collected various data of urban roadways to analyze the effect of travel speed change, and a GRU-based short-term travel speed prediction model was developed using such big data. The baseline model and the double exponential smoothing model were selected as comparison models, and prediction errors were evaluated using the RMSE index. The model evaluation results revealed that the average RMSE of the baseline model and the double exponential smoothing model were 7.46 and 5.94, respectively. The average RMSE predicted by the GRU model was 5.08. Although there are deviations for each of the 15 links, most cases showed minimal errors in the GRU model, and the additional scatter plot analysis presented the same result. These results indicate that the prediction error can be reduced, and the model application speed can be improved when applying the GRU-based model in the process of generating travel speed information on urban roadways. 본 연구에서는 도시부 도로의 다양한 자료를 수집하여 통행속도 변화에 대한 영향을 분석하였고, 이와 같은 빅데이터를 활용하여 GRU 기반의 단기 통행속도 예측 모형을 개발하였다. 그리고 Baseline 모형과 이중지수평활 모형을 비교 모형으로 선정하여 RMSE 지표로 예측 오차를 평가하였다. 모형 평가 결과, Baseline 모형과 이중지수평활 모형의 RMSE는 평균 7.46, 5.94 값으로 각각 산출되었다. 그리고 GRU 모형으로 예측한 평균 RMSE는 5.08 값이 산출되었다. 15개 링크별로 편차가 있지만, 대부분의 경우 GRU 모형의 오차가 최소의 값을 나타내었고, 추가적인 산점도 분석 결과도 동일한 결과를 제시하였다. 이러한 결과로부터 도시부 도로의통행속도 정보 생성 과정에서 GRU 기반의 예측 모형 적용 시 예측 오차를 감소시키고 모형적용 속도의 개선을 기대할 수 있을 것으로 판단된다.

LSTM과 GRU를 활용한 도시공간 특성 기반의 평균기온 예측 모델: 강원도 원주시를 대상으로

이우섭,김형규 국토연구원 2021 국토연구 Vol.109 No.-

As the annual average temperature continues to rise due to climate change caused by global warming, the incidence of heat diseases and the number of deaths are also increasing, which is expected to require various alternatives and research. In this study, the average temperature rise-related variables are extracted through statistical analysis for Wonju City, where the average temperature increase rate and change are high, and the average temperature is predicted by utilizing deep learning-based LSTM and GRU based on the extracted variables. Three models were extracted through correlation and regression analysis for 26 variables collected based on prior research consideration, based on which LSTM and GRU analysis were conducted. The analysis showed the lowest MSE of LSTM – 0.4399(2.94°C), GRU – 0.4444(2.97°C) in the third model with 12 variables, with little MAE difference between validation and test data. This study is significant in that it extracted variables through statistical analysis and predicted average temperature rise using deep learning as a data acquisition method for adapting the annual average temperature rise problem. In addition, it is expected that urban space factors that affect the average temperature rise in Wonju City will be extracted along with predicting the trend of average temperature change, and appropriate measures will be prepared to take into account regional impact factors, not uniform climate change adaptation. 지구온난화로 인한 기후변화로 연평균기온이 계속해서 상승하는 추세를 보이면서 온열질환 발생률과 사망자 수도 증가하고 있어 이를 위한 다양한 대안과연구가 수행될 필요가 있다. 이에 본 논문에서는 연평균기온 상승률 및 변화량이 높은 원주시를 대상으로 통계분석을 통해 평균기온 상승 관련 변수를 추출하고, 추출된 변수를 토대로 딥러닝 기반의 LSTM과GRU를 활용하여 평균기온을 예측하자 한다. 선행연구 고찰을 토대로 수집한 26개의 변수에 대해 상관분석 및 회귀분석을 통해 3가지 모형을 추출하였고, 이를 바탕으로 LSTM과 GRU 분석을 진행하였다. 분석결과, 변수가 12개인 세 번째 모형에서 테스트 데이터 MSE가 LSTM – 0.4399(2.94°C), GRU – 0.4444 (2.97°C)로 가장 낮게 나타났고, 검증 데이터와 테스트 데이터 간의 MAE 차이가 거의 발생하지 않았다. 본 논문은 연평균기온 상승 문제 적응을 위한 데이터확보 방안으로 통계분석을 통해 변수를 추출하고, 딥러닝을 활용해 평균기온을 예측하였다는 점에서 의의가 있다. 또한, 평균기온 변화 추세 예측과 함께 원주시의 평균기온 상승에 영향을 미치는 도시공간 요소를 추출하여, 획일화된 기후변화 적응방안이 아닌지역별 영향 요소를 고려한 적절한 방안을 마련할 수있을 것으로 기대된다.

해양관측부위 자료 기반 딥러닝 기술을 활용한 해양 혼합층 수온 예측

고관섭 ( Kwan-seob Ko ),변성현 ( Seong-hyeon Byeon ),김영원 ( Young-won Kim ) 대한원격탐사학회 2022 大韓遠隔探査學會誌 Vol.38 No.3

최근 한반도 주역 해역의 수온이 꾸준히 증가하고 있다. 수온변화는 어업생태계에 영향을 미칠 뿐만 아니라 해양에서의 군사작전과도 밀접히 연관되어 있다. 본 연구는 딥러닝 기술을 기반으로 하는 다양한 예측모델을 통해 단기간 수온예측을 시도함으로써 어떠한 모델이 수온예측분야에 더욱 적합한지를 제시하는 것에 목적을 두었다. 예측을 위해 사용한 데이터는 국립수산과학원에서 해양 관측부이를 통해 관측한 2016년부터 2020년까지 동해 지역(고성, 양양, 강릉, 영덕)의 수온 데이터이다. 또한 예측을 위한 모델로는 시계열 데이터 예측에 우수한 성능을 보이는 Long Short-Term Memory (LSTM), Bidirectional LSTM 그리고 Gated Recurrent Unit (GRU) 기법을 사용하였다. 기존 연구가 LSTM만을 활용하였던데 반해 이번 연구에서는 LSTM 외에 다양한 기법을 적용함으로써 각 기법의 예측 정확도와 수행시간을 비교하였다. 연구결과, 1시간 예측을 기준으로 모든 관측지점에서 Bidirectional LSTM과 GRU 기법이 실제값과 예측값의 오차가 가장 적은 것으로 확인되었으며, 학습시간에 있어서는 GRU가 가장 빠른 것으로 확인되었다. 이를 통해, 예측 오차를 줄이면서 정확도를 향상하기 위한 수온예측에는 Bidirectional LSTM을 활용하고 대잠작전처럼 정확도 외에 실시간 예측이 필요한 분야에 있어서는 GRU 기법을 활용하는 방안이 더욱 적절할 것으로 판단된다. Recently, The sea water temperature around Korean Peninsula is steadily increasing. Water temperature changes not only affect the fishing ecosystem, but also are closely related to military operations in the sea. The purpose of this study is to suggest which model is more suitable for the field of water temperature prediction by attempting short-term water temperature prediction through various prediction models based on deep learning technology. The data used for prediction are water temperature data from the East Sea (Goseong, Yangyang, Gangneung, and Yeongdeok) from 2016 to 2020, which were observed through marine observation by the National Fisheries Research Institute. In addition, we use Long Short-Term Memory (LSTM), Bidirectional LSTM, and Gated Recurrent Unit (GRU) techniques that show excellent performance in predicting time series data as models for prediction. While the previous study used only LSTM, in this study, the prediction accuracy of each technique and the performance time were compared by applying various techniques in addition to LSTM. As a result of the study, it was confirmed that Bidirectional LSTM and GRU techniques had the least error between actual and predicted values at all observation points based on 1 hour prediction, and GRU was the fastest in learning time. Through this, it was confirmed that a method using Bidirectional LSTM wasrequired for water temperature prediction to improve accuracy while reducing prediction errors. In areas that require real-time prediction in addition to accuracy, such as anti-submarine operations, it is judged that the method of using the GRU technique will be more appropriate.

LoRa Device의 이동성을 고려한 GRU 기반 적응형 데이터 전송 속도 제어 알고리즘

정현호,유성은 제어·로봇·시스템학회 2022 제어·로봇·시스템학회 논문지 Vol.28 No.6

Long Range Wide Area Network (LoRaWAN), a representative technology of Low Power Wide Area Network (LPWAN), is a networking technology for the long-range Internet of Things. It features low power, a long distance, and low speed, and each device in LoRaWAN supports adaptive data rate (ADR) technology to save transmission power. For implementing ADR in LoRaWAN, a network server uses algorithms to reduce power consumption by minimizing the time LoRa Radio packets stay in the air and sends a medium access control (MAC) command frame to increase the data rate or adjust transmission power by referring to signal-to-noise ratio (SNR) values. However, because the existing ADR algorithm for the network server sets the appropriate data rate and transmission power based on the maximum SNR value of the recent 20 packets, it does not support mobile devices because the SNR values of the mobile devices vary over time depending on their speeds. This paper introduces an improved ADR, GRU-ADR, that infers the future SNR values using the deep-learning gated recurrent unit (GRU) model to set appropriate data rates and transmission power using the ADR function even in mobile devices. The simulation study based on the OMNeT++ simulator and the Framework for LoRa (FLoRa) shows that GRU-ADR outperforms the existing ADR in packet delivery ratio (PDR) and energy consumption. .

LSTM과 GRU 딥러닝 IoT 파워미터 기반의 단기 전력사용량 예측

이선민,선영규,이지영,이동구,조은일,박대현,김용범,심이삭,김진영 한국인터넷방송통신학회 2019 한국인터넷방송통신학회 논문지 Vol.19 No.5

In this paper, we propose a short-term power forecasting method by applying Long Short Term Memory (LSTM) and Gated Recurrent Unit (GRU) neural network to Internet of Things (IoT) power meter. We analyze performance based on real power consumption data of households. Mean absolute error (MAE), mean absolute percentage error (MAPE), mean percentage error (MPE), mean squared error (MSE), and root mean squared error (RMSE) are used as performance evaluation indexes. The experimental results show that the GRU-based model improves the performance by 4.52% in the MAPE and 5.59% in the MPE compared to the LSTM-based model. 본 연구에서는 Long Short Term Memory (LSTM) 신경망과 Gated Recurrent Unit(GRU) 신경망을Internet of Things (IoT) 파워미터에 적용하여 단기 전력사용량 예측방법을 제안하고, 실제 가정의 전력사용량 데이터를 토대로 예측 성능을 분석한다. 성능평가 지표로써 Mean Absolute Error (MAE), Mean Absolute Percentage Error (MAPE), Mean Percentage Error (MPE), Mean Squared Error (MSE), Root Mean Squared Error (RMSE) 를 이용한다. 실험 결과는 GRU 기반의 모델이 LSTM 기반의 모델에 비해 MAPE 기준으로 4.52%, MPE 기준으로5.59%만큼의 성능개선을 보였다.

Prophet와 GRU을 이용하여 단중기 전력소비량 예측

손남례(Nam Rye Son),강은주(Eun Ju Kang) 한국스마트미디어학회 2023 스마트미디어저널 Vol.12 No.11

빌딩에너지관리시스템(BEMS: Building Energy Management System)은 생산 및 소비되는 에너지를 효율적으로 관리하는 시스템이다. 그러나 건물 내 전력소비는 물리적인 특성상으로 인해 생산 및 소비가 일정하지 않아 안정적인 전력 공급이 필수적이다. 이에 따라 건물의 안정적인 전력 공급을 위해서는 정확한 건물 내 전력 소비 예측이 중요하다. 최근에는 시계열분석, 통계분석, 인공지능 등 다양한 방법을 이용하여 전력소비예측에 관한 연구가 진행되고 있다. 본 논문은 Prophet 모델의 장점과 단점을 분석하여 장점인 growth, seasonality, holidays를 선택하였고, Prophet 모델의 단점인 데이터의 복잡성과 외부변수(기후 데이터)의 제한성을 해결하기 위하여 GRU을 조합하여 단기(2일) 및 중기(7일, 15일, 30일) 전력소비량 예측 알고리즘을 제안한다. 실험결과, 제안한 방법은 기존 GRU 및 Prophet 모델보다 성능이 우수하였다. The building energy management system (BEMS), a system designed to efficiently manage energy production and consumption, aims to address the variable nature of power consumption within buildings due to their physical characteristics, necessitating stable power supply. In this context, accurate prediction of building energy consumption becomes crucial for ensuring reliable power delivery. Recent research has explored various approaches, including time series analysis, statistical analysis, and artificial intelligence, to predict power consumption. This paper analyzes the strengths and weaknesses of the Prophet model, choosing to utilize its advantages such as growth, seasonality, and holiday patterns, while also addressing its limitations related to data complexity and external variables like climatic data. To overcome these challenges, the paper proposes an algorithm that combines the Prophet model's strengths with the gated recurrent unit (GRU) to forecast short-term (2 days) and medium-term (7 days, 15 days, 30 days) building energy consumption. Experimental results demonstrate the superior performance of the proposed approach compared to conventional GRU and Prophet models.