강화학습을 이용한 하천 녹조 발생 저감 모형 연구
Research on Algal Bloom Reduction Model in a River using Reinforcement Learning
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
과도한 조류 발생은 취수원 안전성 및 수생태 환경에 부정적인 영향을 미칠 수 있어 적극적인 관리가 필요하며, 최근 머신러닝 등 다양한 인공지능 기반 기술을 조류 관리에 적용하기 위한 연구가 지속되고 있다. 머신러닝은 학습 방법에 따라 지도학습, 비지도학습 및 강화학습으로 구분할 수 있으며, 다양한 지도학습 모형 등을 활용한 조류 발생의 예측 모형의 개발 등이 활발히 이루어지는 것과 다르게 강화학습 모형을 적용하는 연구는 아직 그 사례가 제한적이다. 본 연구에서는 이러한 강화학습을 이용하여 하천 조류 농도 저감을 위한 모형을 구축하였다. 모형의 입력자료로는 현장에서 측정된 다양한 수질 및 기상 인자를 활용하였으며, 조류 발생의 정량적 지표인 클로로필-a 농도를 저감하도록 강화학습 모형을 학습시켰다. 학습된 모형의 테스트 기간에 대해, 강화학습 적용 전후의 평균 클로로필-a 농도를 비교한 결과, 강화학습 적용을 통해 클로로필-a 농도가 개선됨을 확인하였으나 그 정도는 크지 않았다. 모형 결과에 대한 세부적인 해석을 위해 설명가능한 인공지능 기법의 대표적인 방법인 Shapley additive explanations analysis를 이용하여 강화학습 모형의 환경 구축에 활용된 변수들의 특성을 분석하고 향후 수질 관리 효율 향상을 위한 강화학습 모형의 적용 방향을 제시하였다.
Abstract
Excessive algal blooms can negatively affect the safety of water intake sources and aquatic ecosystems, necessitating proactive management efforts. In recent years, research has increasingly explored the application of artificial intelligence (AI)-based technologies, including machine learning (ML), for algal bloom management. ML techniques can be broadly categorized into supervised learning, unsupervised learning, and reinforcement learning. While many studies have focused on developing predictive models for algal blooms using various supervised learning approaches, applications of reinforcement learning remain relatively limited. In this study, a reinforcement learning model was developed to reduce algal concentrations in a river. The model was trained using various water quality and meteorological variables measured in the field monitoring stations, with the objective of minimizing chlorophyll-a concentration, a quantitative indicator of algal blooms. An evaluation of average chlorophyll-a concentrations before and after applying reinforcement learning during the testing period revealed an improvement, although the degree of reduction was not substantial. To further interpret the model’s outcomes, Shapley additive explanations (SHAP), a representative explainable AI technique, was used to analyze the contributions of variables involved in the reinforcement learning environment setup. Based on these analyses, future directions for improving the efficiency of water quality management through reinforcement learning models are proposed.