하이브리드 딥러닝 기반 녹조 예측 모델 개발 = Development of hybrid deep learning models for harmful algal bloom forecasts

다국어 초록 (Multilingual Abstract)

Harmful algal blooms (HABs) are a critical issue in water quality and resource management. The accelerating climate crisis and anthropogenic eutrophication have led to a global increase in the frequency, duration, and magnitude of HABs. Therefore, proactive management is necessary to minimize socio-economic consequences associated with HABs, and to sustainably utilize water resources. A predictive model that can quantify the relationship between cyanobacteria abundance and environmental factors, and accurately forecast HABs prior to their occurrence, can be a useful tool for timely implementation of proactive measures.
Deep learning approaches show great applicability in forecasting HABs, which are interactively influenced by numerous environmental drivers. However, further efforts are required to improve limitations that hamper the benefits of adopting deep learning approaches as decision-support tools for proactive HAB management. In this study, hybrid deep learning models were developed to address the lack of explainability in black-box deep learning models, the limited temporal resolution due to insufficient monitoring frequency, and the difficulty in expanding spatial resolution due to varying monitoring schemes among different sites. The usefulness of the developed hybrid models was demonstrated by their applications at the Gangjeong·Goryeong weir section in the Nakdong River, South Korea, where HABs management is necessary for safe water supply.
Explainability is crucial to gain more insights for decision making in HABs management. In this study, reverse time attention (RETAIN) was adopted to improve explainability of HAB forecasts. RETAIN was applied to one-week forecasts of HABs for the study site using weekly basis data. Input features encompassing water quality, meteorological, and hydrological factors were used to forecast cyanobacteria cell counts. In addition, long short-term memory (LSTM) and gated recurrent unit (GRU) were adopted for comparisons of predictability with RETAIN.
RETAIN yielded a high degree of prediction accuracy with test R2 of 0.79, NSE of 0.78, RMSE of 1.93, and MAE of 1.41 on natural log scales. Despite similar predictability to LSTM and GRU, RETAIN could provide relative importance of environmental factors at both time- and feature-levels without the need for post-hoc explanation techniques. Cyanobacteria abundance, water temperature, and total nitrogen from the past week were most important features in forecasting HABs. Increases in mean contributions with increasing water temperature and weekly residence time were pronounced in summer than other seasons. Furthermore, the temporal patterns of mean contributions and their corresponding individual forecasts were highly correlated. The study results demonstrate the utility of RETAIN in terms of both predictability and explainability.
Insufficient monitoring frequency hindered the applicability of deep learning approach in forecasting HABs. To improve temporal resolution of HAB forecasts, this study developed a novel hybrid deep learning models by combining multiple feature engineering and attention mechanism. The hybrid deep learning models were applied to HABs forecast on a daily scale at the study site with varying forecast horizons (i.e., 7, 14, and 28 days). Input feature pertaining to meteorological, upstream and tributary water quality, and hydrological factors used to forecast cyanobacteria cell counts. Regardless of feature engineering and attention mechanisms, 7-day forecasts (NSE = 0.64–0.73, RMSE = 2.11–2.46; on natural log scale) were more accurate than 14-day (NSE = 0.55~0.62, RMSE = 2.51~2.72; on natural log scale) and 28-day (NSE = 0.48–0.57, RMSE = 2.68–2.94; on natural log scale). The prediction accuracy of hybrid models was higher when both feature engineering and attention mechanism explored the input sequence in the same direction.
Despite similar performance exhibited by RETAIN with backward recurrent imputation of time series (RETAIN–RITS_B) and dual-stage attention based recurrent neural network with forward RITS, explanations derived by former had clearer distinctions in the relative importance of different input features and time steps. The difference in explainability is consistent for 7-day forecasts in which both models yielded highest prediction accuracy. Therefore, RETAIN–RITS_B exhibited great suitability in supporting proactive HAB management. Moreover, the comprehensive investigation of the various mechanisms based on real-world application provided in this study can serve as a guideline for wide range of domains that could benefit from forecasting with enhanced temporal resolution.
Multi-site forecasts of HABs for upstream to downstream sections of river can effectively provide a useful basis for bloom management. In this study, the segment-wise node embedding mechanism was proposed to improve spatial resolution of HAB forecasts while reflecting hierarchical structure of river. Here, mechanisms from previously developed models were used as modules of the proposed embedding mechanism to overcome different monitoring schemes among sites. Consequently, node embedding network structure that encompassing water quality, algae monitoring sites and waste water treatment plant (WWTP) in study area were constructed. The node embedding network model was applied to 4-day forecasts of HABs for two sites in study area.
The model exhibited high prediction performance for forecast target sites with R2 of 0.64–0.71, NSE of 0.63–0.69, RMSE of 2.23–2.26, and MSE of 1.38~1.62 for test data on natural log scales. The node embedding network model can provide the importance of input features from linked nodes. The features linked from nearby nodes for segment consistently exhibited higher importance for all forecasts target sites. These results indicate that proposed embedding mechanism successfully distinguish the hierarchical structure of the upstream and downstream segment. Furthermore, the node embedding network model could provide simulations of cyanobacteria abundance on a daily scale according to the point source and weir operation scenarios based on network structure. The results of scenario analysis suggested that reduction of effluent total nitrogen concentration of WWTP and combined operation of upstream and downstream weirs were effective in managing HABs in the study area. These results demonstrate the remarkable usefulness of segment-wise node embedding mechanism in HAB management. Moreover, the proposed node embedding mechanism is applicable to various water bodies that require integrated analysis reflecting spatial characteristics.
The hybrid deep learning models developed in this study successfully addressed the limitations of current deep learning-based HAB forecasts. I expect that proposed hybrid deep learning models would be applicable to wide variety of water quality and resource management domains that can benefit from improved explainability, temporal resolution, and spatial resolution.

국문 초록 (Abstract)

유해남조류의 대발생으로 인한 녹조현상은 수질 및 수자원 관리의 중요한 관심사이다. 그러나 인간 활동에서 기인한 부영양화와 가속화되는 기후위기는 녹조현상의 범지구적인 증가를 촉진하고 있다. 따라서 녹조현상으로 인한 사회경제학적 피해를 최소화하고 안전한 수자원의 활용을 지속하기 위해서는 사전적 녹조 관리가 필요하다. 이러한 상황에서 유해남조류와 환경요인 간의 관계를 정량화할 수 있고 녹조 발생에 앞선 정확한 예측이 가능한 모델은 예방적 조치를 적시에 취하기 위한 유용한 의사결정 지원도구로 활용될 수 있다.
딥러닝은 다양한 환경요인의 상호복합적인 영향을 받는 녹조현상의 예측에 있어 높은 적용성을 보인다. 그러나 사전적 녹조 관리를 위한 정책 의사결정 지원도구로서 딥러닝 기반 모델이 제공할 수 있는 이점을 극대화하기 위해서는 새로운 모델링 시도가 요구된다. 본 연구에서는 블랙박스적 특성으로 인한 해석력의 부족, 불충분한 모니터링 빈도로 인한 예측 시간해상도의 제약, 그리고 상이한 모니터링 체계와 측정항목의 부조화로 인한 공간해상도 확장의 어려움을 개선하고자 다양한 형태의 하이브리드 딥러닝 모델들을 개발했다. 개발된 모델들의 활용도는 수자원의 안전한 공급을 위해 녹조 관리가 요구되는 낙동강 강정고령보 구간에 대한 적용을 통해 검토했다.
해석력은 녹조 관리에서 의사결정의 근거로써 활용될 수 있는 새로운 통찰을 얻기 위해 필수적이다. 따라서 첫 번째 연구에서는 녹조 예측 모델의 해석력을 개선하기 위해 시간 역순 어텐션(RETAIN, Reverse time attention)을 채택하여 일주 후 유해남조류 세포 수 예측 모델을 개발했다. 입력변수로는 주 단위로 통합된 수질, 기상, 그리고 수문변수를 활용했다. RETAIN의 예측 성능을 평가하기 위한 비교모델로는 LSTM(Long short-term memory)과 GRU(Gated recurrent unit)를 채택했다.
RETAIN은 일주 후 유해남조류 세포 수 예측에 있어 테스트 기간에 대해 로그 스케일에서 R2 0.79, NSE 0.78, RMSE 1.93, MAE 1.41의 우수한 예측 성능을 보였다. RETAIN은 비교모델인 LSTM 및 GRU와 유사한 예측 성능을 나타냄에 더해 별도의 사후해석 기법의 요구 없이 예측 결과에 대한 환경요인의 시점별 중요도를 제공할 수 있었다. 일주 후 유해남조류 세포 수를 예측하는 데 있어 당해 주차의 세포 수, 수온, 총 질소의 순으로 높은 변수 중요도를 나타냈다. 이때 환경요인 중 수온 및 주 평균 체류시간의 증가는 개별 예측값에 대한 해당 변수들의 기여도를 증가시켰으며, 이 같은 경향은 여름철에 더욱 뚜렷했다. 이처럼 RETAIN은 단일 프레임워크로 예측과 동시에 다각적 해석결과를 제공할 수 있었다. 따라서 녹조 관리를 위한 의사결정 지원도구로서 예측 성능과 해석력 측면 모두에서 높은 활용도를 보인다고 판단된다.
고빈도 모니터링 자료의 부재는 녹조 예측을 위한 딥러닝의 적용성을 저해한다. 이에 두 번째 연구에서는 녹조 예측의 시간해상도를 개선하기 위해 특징 가공 메커니즘(Feature engineering mechanism)과 어텐션 메커니즘을 연계하여 새로운 형태의 하이브리드 모델들을 개발했다. 개발된 여섯 종의 모델들은 다양한 예측 간격으로 연구대상지의 일 단위 유해남조류 세포 수 예측에 적용되었다. 입력변수로는 기상, 상류 및 유입지류 수질, 수문변수를 활용했다. 개발된 하이브리드 모델들은 모델을 구성하는 메커니즘에 상관없이 로그 스케일에서 7일 예측(NSE = 0.64~0.73, RMSE = 2.11~2.46)이 14일(NSE = 0.55~0.62, RMSE = 2.51~2.72)과 28일 예측(NSE = 0.48~0.57, RMSE = 2.68~2.94) 보다 높은 예측 성능을 나타냈다. 이때 모든 예측 간격에서 입력 시계열에 대한 특징 가공과 어텐션 메커니즘의 학습 체계가 합치할 때 예측 성능이 높았다,
동일한 방향으로 입력 시계열을 학습하는 RETAIN과 역방향 RITS (RITS_B, Backward recurrent imputation of time series), 그리고 듀얼 어텐션 기반 순환신경망(Dual-stage attention based recurrent neural network)과 정방향 RITS(Forward RITS)의 연계 모델은 유사한 예측 성능을 나타냈다. 그러나 RETAIN-RITS_B로부터 얻어진 변수 중요도 분석 결과가 입력변수의 변수 및 시점별 중요도를 더욱 뚜렷하게 구분할 수 있었다. 이러한 변수 중요도 분석 결과의 차이는 0.72 이상의 NSE와 2.11 이하의 RMSE로 두 모델 모두 가장 예측 성능이 높았던 7일 예측에서도 동일하게 나타났다. 따라서 7일 앞서 일 단위로 녹조 발생을 예측하고 대응전략 수립을 위한 의사결정 근거를 제공하는 데 있어 RETAIN-RITS_B가 가장 높은 적합도를 지닌다고 판단된다. 더 나아가 본 연구에서 제시한 실제 하천에 대한 적용을 기반으로 하는 메커니즘 간의 비교 결과는 시간해상도의 개선이 필요한 다양한 분야에서 가이드라인으로 활용될 수 있을 것으로 기대된다.
하천의 상·하류 구간을 아우르는 통합적인 녹조 예측 모델은 효율적으로 정책 의사결정을 지원할 수 있다. 따라서 세 번째 연구에서는 하천의 계층적인 구조를 반영하여 녹조 예측 모델의 공간해상도를 개선하기 위해 구획 단위의 절점 임베딩 메커니즘을 제안했다. 제안된 메커니즘은 잠재변수를 기반으로 측정망별로 추출된 정보를 네트워크의 형태로 연계하여 상류로부터 학습된 정보를 순차적으로 하류로 전달한다. 이때 앞 장에서 개발된 모델 내 메커니즘들을 상이한 모니터링 체계에 따른 측정항목의 부조화를 극복하기 위한 모듈로써 활용했다. 이를 통해 연구대상지 내 본류 및 유입지류 수질측정망, 조류모니터링 지점, 그리고 점오염원을 연계하여 절점 임베딩 네트워크 모델을 개발했다.
절점 임베딩 네트워크 모델은 최상류의 경계지점을 제외한 두 조류모니터링 지점들에 대한 4일 후 유해남조류 세포 수 동시예측에 적용되었으며, 로그 스케일에서 R2 0.64~0.71, NSE 0.63~0.70, RMSE 2.06~2.26, MAE 1.13~1.62의 우수한 예측 성능을 나타냈다. 변수 중요도 분석 결과는 모든 예측대상 지점에서 근접한 절점 혹은 구획에서 연계된 변수들의 높은 중요도를 제시했다. 이를 통해 개발된 모델이 상·하류의 계층적인 구조를 성공적으로 구분할 수 있음을 확인했다. 또한, 절점 임베딩 네트워크 모델은 연계 구조를 기반으로 점오염원 및 수리구조물 운영 시나리오 적용에 따른 일 단위 유해남조류 세포 수 모의 결과를 제공할 수 있었다. 시나리오 분석 결과는 점오염원의 방류수 총 질소 농도의 감축과 상·하류 수리구조물의 연계 운영이 연구대상지의 여름철 녹조 관리에 효과적임을 시사했다. 향후 광범위한 지역 혹은 수계 단위로 모델의 적용 범위를 확장한다면, 모델의 활용도를 더욱 증진할 수 있을 것으로 판단된다.
본 연구에서는 다양한 메커니즘을 채택, 연계 및 보완하여 사전적 녹조 관리에 있어 딥러닝 기반 모델이 제공할 수 있는 이점을 저해하는 걸림돌들을 효과적으로 극복할 수 있었다. 녹조 관리를 비롯하여 물환경관리 전반에 걸쳐 인공지능 기반 관리체계로의 전환이 이루어지고 있는 현시점에서 본 연구를 통해 개발된 하이브리드 딥러닝 모델들은 예측에 집중되어 있던 딥러닝의 활용 범위를 모델링의 목적 및 적용 분야에 따라 최적화된 의사결정 지원 시스템으로 확장하기 위한 기반이 될 수 있을 것으로 기대된다.

목차 (Table of Contents)

• 1. 서 론 1
• 1.1 연구배경 및 목적 1
• 1.2 연구내용 및 구성 5
• 2. 이론적 고찰 8
• 2.1 인공지능 기반 녹조 예측 8
• 2.2 해석력 개선 방안 26
• 2.3 시간해상도 개선 방안 33
• 2.4 공간해상도 개선 방안 39
• 3. 해석력 개선을 위한 어텐션 기반 모델 개발 46
• 3.1 서론 46
• 3.2 연구방법 49
• 3.2.1 연구대상지 및 자료 수집 49
• 3.2.2 어텐션 기반 녹조 예측 모델 개발 52
• 3.2.3 어텐션 기반 녹조 예측 모델 적용 65
• 3.2.4 모델 성능 평가 72
• 3.3 연구결과 및 고찰 73
• 3.3.1 연구대상지 내 녹조 발생의 시변패턴 73
• 3.3.2 입력자료에 대한 기초자료분석 75
• 3.3.3 일주 후 유해남조류 세포 수 예측 성능 평가 79
• 3.3.4 어텐션 가중치 기반 환경요인 중요도 분석 84
• 3.4 소결 95
• 4. 시간해상도 개선을 위한 특징 가공 연계 모델 개발 97
• 4.1 서론 97
• 4.2 연구방법 100
• 4.2.1 연구대상지 및 자료 수집 100
• 4.2.2 특징 가공-어텐션 연계 모델 개발 103
• 4.2.3 특징 가공-어텐션 연계 모델 적용 122
• 4.3 연구결과 및 고찰 129
• 4.3.1 입력변수의 시변패턴 및 모니터링 빈도 129
• 4.3.2 특징 가공 메커니즘 기반 미계측치 모델링 132
• 4.3.3 연계 모델의 일 단위 녹조 예측 성능 비교 135
• 4.3.4 연계 모델의 변수 중요도 분석 결과 비교 143
• 4.4 소결 155
• 5. 공간해상도 개선을 위한 구획 단위의 절점 임베딩 네트워크 모델 개발 158
• 5.1 서론 158
• 5.2 연구방법 161
• 5.2.1 연구대상지 및 자료 수집 161
• 5.2.2 구획 단위의 절점 임베딩 메커니즘 166
• 5.2.3 절점 임베딩 네트워크 모델 개발 171
• 5.2.4 절점 임베딩 네트워크 모델 적용 186
• 5.2.5 점오염원 및 수리구조물 운영 시나리오 구성 189
• 5.3 연구결과 및 고찰 193
• 5.3.1 유해남조류의 시변패턴 및 기초자료 분석 193
• 5.3.2 상·하류 동시예측 성능 평가 및 변수 중요도 분석 199
• 5.3.3 구획 단위의 절점 임베딩 구조 기반 시나리오 분석 206
• 5.4 소결 214
• 6. 결 론 217
• References 222
• Appendix 240
• Abstract 248