장단기 메모리 네트워크와 최소 평균 제곱 적응 필터를 활용한 능동 진동 제어 기법의 시스템 식별 성능 비교 연구

정호진,김혜진,김형모,조해성,김중관 한국항공우주학회 2023 韓國航空宇宙學會誌 Vol.51 No.7

This paper presents a comparative study of active vibration control methods through system identification. The focus is on optimizing the transfer function coefficients of the Least Mean Squares (LMS) adaptive filter and the data-based identification and prediction algorithm for hidden state with Long-Short Term Memory (LSTM). To compare the performance of the two system identification methods, a simple low pass system is used, and both methods show appropriate system identification and prediction performance with 0.005, 0.008 RMSE value with training data and 21dB, 27dB PSD reduction compared to original test data, respectively. This paper also shows system identification and data prediction performed for the rotor hub and control surfaces of a medium-sized rotary-wing aircraft, Using ABAQUS data. The results showed that the LMS adaptive filter achieved a 0.035 RMSE value with training data and a 8.78dB PSD decrease compared to the original test data, indicating appropriate system identification and prediction performance. However, the long-term memory structure experienced overfitting during training, indicating the need for network structure optimization. 최소 평균 제곱 (least mean squares, LMS) 적응형 필터의 전달 함수 계수 최적화와 장단기 메모리의 데이터 기반 hidden state 식별 및 예측 알고리즘을 활용하여 시스템 식별을 통한 능동 진동 제어 방법에 대한 비교 연구를 수행하였다. 두 시스템 식별 방법의 비교를 위해 단순 저역 통과 시스템을 먼저 고려하였으며, 두 방법 모두 적절하게 시스템 식별을 수행하여 훈련 데이터는 각각 0.005, 0.008의 RMSE 값을 보였으며 시험 데이터는 원 신호 대비 21dB, 27dB의 PSD 감소 효과를 보여 적절한 예측 성능을 보였다. 마지막으로 ABAQUS를 활용하여 중형 회전익 항공기의 로터 허브와 조종석에 대한 시스템 식별 및 데이터 예측을 수행하였다. 그 결과 LMS 적응형 필터는 0.035의 RMSE 값, 원 신호 대비 8.78dB의 PSD 감소를 보여 적절한 시스템 식별과 예측 성능을 확인하였으나 장단기 메모리 구조는 훈련 중 과적합 현상이 발생하여 네트워크 구조 최적화가 필요함을 확인하였다.

장단기메모리를 활용한 선박 운임 예측 모델

김동균,최정석 해양환경안전학회 2021 해양환경안전학회 학술발표대회 논문집 Vol.2021 No.06

특징점과 장단기 메모리를 활용한 순환 신경망 기반 사고 감지 시스템

최원홍,권창덕,유병수,김민형,민준기 한국정보과학회 2023 정보과학회 컴퓨팅의 실제 논문지 Vol.29 No.7

사고 상황에서의 빠른 조치는 인적, 물적 손실을 최소화하는 가장 효과적인 방법이다. 그러나 관리 감독이 부족한 작업환경에서는 빠르게 사고를 감지하고 조치하기 어렵다. 이러한 문제를 해결하기 위해 인공지능을 활용한 낙상 감지 시스템이 개발되었다. 그러나 작업 현장의 특성상 낙상 감지만으로는 모든 사고를 감지하기에 부족하다. 따라서, 본 논문에서는 낙상뿐만 아니라 기절 등 분류 기준을 추가한 사고 감지 시스템을 제안한다. 본 연구에서는, 사고 발생 여부를 탐지할 수 있는 시스템을 구현하였다. 구현된 시스템은 우선 Mediapipe를 이용하여 영상에서 특징점을 추출하고, 장단기 메모리(Long Short Term Memory: LSTM)을 기반한 순환 신경망(Recurrent Neural Network: RNN)을 이용하여 사고를 식별하였다. 자체 실험 결과, 구현 시스템이 낙상 상태뿐만이 아닌 기절 상태 또한 사고로 감지하면서도 우수한 정확도를 보였다.

장단기 메모리를 이용한 수소 연료 전지 자동차의 에너지 관리 전략 연구

양동호(Dongho Yang),엄기백(Kiback Eom),김민재(Minjae Kim) 한국자동차공학회 2023 한국자동차공학회 학술대회 및 전시회 Vol.2023 No.11

유사하거나 동일한 폐수처리공정에서의 전이학습 적용 유무에 따른 심층학습 알고리즘의 성능 평가

김재일,서상익,안용태,기서진 대한환경공학회 2024 대한환경공학회지 Vol.46 No.3

"본 연구에서는 두 개의 인지도가 높은 심층학습 알고리즘을 사용하여 하나의 폐수처리공정에서 다른 폐수처리공정으로의 전이학습의 적용 가능성을 평가하였다. 구체적으로는, 전이학습을 위한 벤치마크 알고리즘으로4개및 3개의 은닉층으로 각각 구성된 합성곱 신경망과 장단기 메모리를 사용하였다. 심층학습과 전이학습을 위해 (진주와 청주시에 위치한) 동일한 처리공정을 가지는 2개의 폐수처리시설로부터 2018년부터 2022년까지 총 5년간의입력 데이터가 제공되었다. 모델의 성능 평가는 평균제곱오차를 기준으로 2개 심층학습과 더불어 2개의 다른 전이학습 적용 방법(사전 훈련된 모델에서 개발된 모든 은닉층을 사용하는 방법과 다수의 은닉층 중 마지막 은닉층만을 훈련에 사용하는 방법)을 채택하여 수행되었다. 평가 결과, 유량 및 생물화학적 산소요구량과 같은 종속 변수에관계없이 합성곱 신경망과 장단기 메모리의 성능은 상대적으로 유사한 것으로 조사되었으며, 다만 유량 변수의 낮은 변동성으로 인하여 생물화학적 산소요구량에 비해 유량 예측의 정확도가 다소 높은 것으로 평가되었다. 기존모델의 모든 은닉층을 사용한 전이학습 기법을 두 가지 벤치마크 알고리즘에 적용한 결과 두 알고리즘 모두 유량에 한정하여 예측 성능이 다소 향상되는 것으로 조사되었다. 또한, 다른 전이학습 기법을 사용한 경우에도 벤치마크 알고리즘의 예측 정확도에는 큰 변화가 없는 것으로 평가되었다. 전이학습의 잠재적인 활용 방안으로는 데이터부족으로 인해 심증학습 기반의 신규 예측 모델 개발이 어려운 타겟 도메인에 (소스 도메인에서 개발된) 기존 모델의 신속한 재사용이 포함될 수 있을 것으로 판단된다." "This study assessed the feasibility of transfer learning from one wastewater treatment process to another using two popular deep learning algorithms. Specifically, convolutional neural network (CNN) and long short-term memory (LSTM), which consisted of four and three hidden layers, respectively, were used as benchmark algorithms for transfer learning. Input data for both deep learning and transfer learning were provided from two wastewater treatment plants with identical treatment trains in series (located in Jinju and Cheongju City) over the five-year period from 2018 to 2022. Performance evaluation was also done not only against two deep learning algorithms but also against those adopting two transfer learning strategies, one for freezing all hidden layers developed from the pre-trained model and the other for training the last hidden layer only among multiple ones, with respect to Mean Squared Error (MSE). We found that the performance of both CNN and LSTM was relatively comparative regardless of dependent variables, discharge and biochemical oxygen demand (BOD), whereas the prediction accuracy of both algorithms was slightly higher for discharge than for BOD due to its low variability. When transfer learning which froze all hidden layers of the existing model was applied to two benchmark algorithms, the predictive performance of both algorithms was found to slightly improved only for discharge. Also, there was no measurable variation in the prediction accuracy of benchmark algorithms using the other transfer learning approach. Potential applications of transfer learning include the rapid reuse of the existing models (developed from source domains) for target domains which are hard to develop new prediction models due to the lack of data in deep learning."

간헐적 시계열자료를 활용한 인공지능 모델 기반 마산만 저층 용존산소 농도 장기 변화 예측

김수빈,이재성,김성한,김경태 한국해양환경·에너지학회 2024 한국해양환경·에너지학회지 Vol.27 No.3

최근 기후변화, 육상기원 오염원 증가, 생지화학적 및 물리적 요인 등으로 인해 해수 중 용존산소(dissolved oxygen, DO) 농도가 감소하여 빈산소 수괴(hypoxia water mass)가 발생하고 있다. 빈산소 수괴의 발생은 해양생태계를 급격히 변화시키고 사회·경제적인 피해를 가져올 수 있다. 해양 수질 및 생태계의 효율적인 관리를 위해 DO 농도 변화 예측과 빈산소 수괴 발생 영향인자를 파악할 필요가 있다. 이 연구에서는 최근 빈산소 수괴 발생이 우려되는 마산만 인근 연안의 저층 DO 농도를 예측하고자 한다. 해양환경측정망 및 어장환경모니터링 자료 중 조사일시, 수심, 투명도, 표층 및 저층의 수온, 염분, 수소이온농도, DO, 화학적산소요구량, 암모니아성질소, 아질산성질소, 질산성질소, 용존무기질소, 총질소, 용존무기인, 총인, 규산성규소, 부유물질, 엽록소 a 자료를 수집하여 결합하였다. 조위, 풍향, 풍속, 기온, 기압자료는 조위관측소, 유속, 유향자료는 해양관측부이에서 측정된 자료를 사용하였다. 일강수량 자료는 종관기상관측 자료를 활용하였고 일사량 자료는 해양수질자동측정망 자료에서 추출하였다. 유입 하천수질 자료는 수질측정망 자료, 하수처리시설 방류수 수질자료는 전국오염원조사 자료에서 수집하였다. 수집한 자료를 모두 결합하여 결측치를 제거하고 신경망(neural network) 모델 학습 기반 자료 합성(data synthesis) 방법을 이용하여 자료의 수를 증식(augmentation)시켰다. 자료의 비정상성(non-stationarity)을 경감하기 위해 경험웨이블릿변환(empirical wavelet transform)으로 자료를 분해(decomposition)하고 교차웨이블릿변환(cross wavelet transform)을 정규화하여 얻은 웨이블릿 긴밀도(wavelet coherence)를 비교하여 모델 입력변수를 선택하였다. 모델의 출력변수는 저층 DO 농도로 설정하였다. 랜덤포레스트회귀(random forest regression), 계절성 자기회귀누적이동평균(seasonal autoregressive integrated moving average), 장단기메모리(long short-term memory)신경망 알고리즘으로 모델 학습을 하였다. 모델의 성능 평가를 위해 평균제곱근오차(root mean squared error), 평균절대비오차(mean absolute percentage error), 수정 결정계수(adjusted coefficient of determination), 상관계수(correlation coefficient)를 사용하였다. 평가 결과 모델의 예측 성능이 상이하였으나 저층 DO 농도 변화가 급격한 구간에서는 성능이 낮았고 계절 변동성만 근사하게 예측하였다. 결과적으로 이 연구는 반폐쇄성 내만의 저층 DO 농도 변화에 영향을 미치는 인자를 확인하였고 향후 개선을 통해 실시간 빈산소 수괴 발생 예측을 통한 사전 경보, 해양환경 복원·규제 정책 지원, 연안오염총량관리 오염부하 삭감 이행평가 등에 활용될 수 있다. 나아가 기존 수치모델과 연계하였을 때 예측 결과에 대한 정밀한 이론적 해석이 가능하며 자료 처리 방식과 자료의 양과 질이 보완된다면 저층 DO 농도 변화의 정확한 예측이 가능할 것이다. Recently, climate change, the increase in land-based sources of pollution, and various biogeochemical and physical factors have led to a decrease in the concentration of dissolved oxygen (DO) in seawater, resulting in the formation of hypoxic water masses. The occurrence of hypoxic water masses can drastically alter marine ecosystems and lead to significant socio-economic damage. For the effective management of marine water quality and ecosystems, it is essential to predict changes in DO concentrations and identify the factors influencing the occurrence of hypoxic water masses. This study aims to predict the bottom DO concentrations in the coastal waters near Masan Bay, where the occurrence of hypoxic water masses has recently become a concern. Marine environmental data, hydroclimatic data, ocean current data, and land-based pollution source data were collected for model training. All collected data were combined, missing values were removed, and the data were augmented using a neural network model-based data synthesis method. To mitigate the non-stationarity of the data, the empirical wavelet transform (EWT) was used for data decomposition, and cross wavelet transform (CWT) was normalized to obtain wavelet coherence. These wavelet coherences were compared to select the model input variables. The output variable of the model was set to the bottom DO concentration. The model was trained using random forest regression, seasonal autoregressive integrated moving average (SARIMA), and long short-term memory (LSTM) neural network algorithms. To evaluate the performance of the model, root mean squared error (RMSE), mean absolute percentage error (MAPE), adjusted coefficient of determination (adjusted R²), and correlation coefficient were used. The evaluation results showed that the predictive performance of the models varied; however, the performance was lower in regions with abrupt changes in bottom DO concentrations, and the models only approximated the seasonal variability. In conclusion, this study identified the factors influencing changes in bottom DO concentrations in semi-enclosed coastal bays. Future improvements could enable real-time prediction of hypoxic water mass occurrences, providing early warnings and supporting marine environmental restoration and regulation policies, as well as evaluating the reduction of pollution loads in coastal total maximum daily load (TMDL) management. Furthermore, when integrated with existing numerical models, precise theoretical interpretation of the prediction results is possible. If the data processing methods and the quantity and quality of data are improved, accurate prediction of changes in bottom DO concentrations will be achievable.

Application of Informer for time-series NO2 prediction

Hye Yeon Sin(신혜연),Minchul Kang(강민철),Joonsung Kang(강준성) 한국컴퓨터정보학회 2023 韓國컴퓨터情報學會論文誌 Vol.28 No.7

본 논문에서는 딥러닝 시계열 예측 모형을 평가한다. 최근 연구에 따르면 이 모형은 ARIMA와 같은 기존 예측 모형보다 성능이 우수하다고 결론짓는다. 그 중 히든 레이어에 이전 정보를 저장하는 순환 신경망이 이를 위한 예측 모형 중 하나이다. 네트워크의 그래디언트 소실 문제를 해결하기 위해 LSTM은 데이터 흐름의 반대 방향으로 숨겨진 레이어가 추가되는 BI-LSTM과 함께 순환 신경망 내부의 작은 메모리로 사용된다. 본 논문은 서울의 2018년 1월 1일부터 2022년도 1월 1일까지의 NO2 자료에 대해 Informer의 성능을 LSTM, BI-LSTM, Transformer와 비교하였다. 이에 실제 값과 예측값 사이의 평균 제곱근 오차와 평균 절대 오차를 구하였다. 그 결과 Test 데이터 (2021.09.01.~2022.01.01.)에 대해 Informer는 다른 방법에 비해 가장 높은 예측 정확도 (가장 낮은 예측 오차: 평균 제곱근 오차: 0.0167, 평균 절대 오차: 0.0138)를 보여 타 방법에 비해 그 우수성을 입증하였다. Informer는 당초 취지와 부합되게 다른 방법들이 갖고 있는 장기 시계열 예측에 있어서의 문제점을 개선하는 결과를 나타내고 있다. In this paper, we evaluate deep learning time series forecasting models. Recent studies show that those models perform better than the traditional prediction model such as ARIMA. Among them, recurrent neural networks to store previous information in the hidden layer are one of the prediction models. In order to solve the gradient vanishing problem in the network, LSTM is used with small memory inside the recurrent neural network along with BI-LSTM in which the hidden layer is added in the reverse direction of the data flow. In this paper, we compared the performance of Informer by comparing with other models (LSTM, BI-LSTM, and Transformer) for real Nitrogen dioxide (NO2) data. In order to evaluate the accuracy of each method, mean square root error and mean absolute error between the real value and the predicted value were obtained . Consequently, Informer has improved prediction accuracy compared with other methods.

물리검층자료를 활용한 딥러닝 기반 수포화도 예측

지민수,권서윤,박가영,민배현,Nguyen Xuan Huy 한국자원공학회 2021 한국자원공학회지 Vol.58 No.3

This study develops a surrogate model to predict water saturation from well log data using neural-network-based deep learning algorithms. The model performance is evaluated by comparing the water saturation estimates obtained using deep learning algorithms and Archie’s law. The surrogate model evaluates the water saturation of a target reservoir using four well-log data types (density, porosity, resistivity, and gamma ray). Long Short-Term Memory (LSTM) is employed as the deep neural network algorithm, and its performance is compared with that of a multi-layer artificial neural network. Prediction via the LSTM based model showed outstanding results with the coefficient of determination above 0.7. Sensitivity analysis is conducted through sequence tuning, switching of well type, and k-fold cross-validation. The applicability of the model has been validated for the Volve oilfield in the North Sea and an offshore oilfield in Vietnam. 이 연구는 다양한 물리검층자료를 학습한 딥러닝 알고리듬을 이용하여 저류층의 수포화도를 예측하는 대리 모델을 구축한다. 딥러닝 알고리듬으로 계산한 수포화도 추정치를 Archie 방정식 결과와비교함으로써 개발 모델의 성능 평가를 수행하였다. 이 연구는 4가지 물리검층자료(밀도, 공극률, 비저항, 감마선)를 심층신경망의 입력인자로 활용하여 수포화도를 평가하였다, 심층신경망 기법으로는 장단기메모리학습법을 사용하였으며 전형적인 다층 인공신경망과의 비교를 통해 성능을확인하였다. 장단기메모리학습법을 기반으로 수포화도를 예측한 결과, 결정계수의 값이 0.7 이상으로 우수한 성능을 보이는 것으로 확인하였다. 모델의 민감도 분석으로는 시퀀스 조정, 유정 역할전환, k-폴드 교차검증을 시행하였다. 모델의 적용 가능성은 북해 Volve 유전과 베트남 해상 유전에적용하여 성능을 검증하였다.

양방향 장단기 기억과 시계열 교차검증을 이용한 철근 가격의 장기예측에 관한 연구

이용성(Lee, Yong-Seong),김경환(Kim, Kyung-Hwan) 대한건축학회 2022 대한건축학회논문집 Vol.38 No.5

This study proposes a long-term prediction method of rebar price using deep learning techniques such as a bidirectional long and short-term memory (Bi-LSTM), a recursive method, and a time series cross-validation. Among recurrent neural network (RNN) models, Bi-LSTM provides the best prediction performance for small time series data such as monthly rebar price when applied. The recursive method uses the short-term prediction result as an input value for predicting the next time point data, which can repeatedly be used for making long-term predictions. Time-series cross-validation enables more stable prediction accuracy by enhancing learning that may be lacking in small time series data. By applying these deep learning techniques, this study predicts the monthly rebar price for up to 5 months and compares it with the previous study. As a result, it has been found that the average accuracy increases, and the deviation of the predicted values decreases.

Application of Multifactor Model to Stock Market Index Prediction using Multi-Task Deep Learning

김하영,구형건,임준범,정계은,유재인 한국재무관리학회 2018 財務管理硏究 Vol.35 No.4

A multifactor model, extracting the common factors in returns and then tests whether expected returns are explained by the cross-sections of the loadings of security returns on the factors, have been popularly studied in cross-sectional return predictability in an efficient stock market. We deploy a long short-term memory (LSTM) networks in a multifactor model using individual stock returns in predicting out-of-sample return of the S&P 500 composite index from December, 2007 to December, 2010. We find that a LSTM network, a state-of-the art technique for sequence learning outperforms a factor regression by principal components. The outperformance, measured by the mean squared errors, is clear in predicting composite returns during the most recent financial crisis (January, 2008-June, 2009) when the LSTM is trained by data after dimensionality reduction by various autoencoders including denoising, and contractive autoencoder. Furthermore, we suggest a unique architecture of a multitasking network, consolidating an autoencoder and a LSTM network, resulting the best performance in application of a AE+LSTM network to a multifactor model.