AIS 데이터를 활용한 DQN 기반 선박 항로 예측에서 탐험-활용 전략 분석
Analysis of Exploration-Exploitation Strategies in DQN-Based Vessel Route Prediction Using AIS Data
7
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
해운 산업의 성장에 따라, 선박의 항로 예측은 국제 해운 운용의 핵심 과제로 부상하고 있다. 그러나 해상 운항 환경은 다양한 비정형 요소에 의해 복잡하게 변화하여, 기존의 예측 모델로는 고도화된 경로 예측에는 한계가 있다. 최근, 이러한 한계를 극복하고자 자동식별장치(Automatic Identification System) 데이터를 기반으로 심층 강화학습(Deep Reinforcement Learning)을 이용한 경로 예측 연구들이 활발히 진행되고 있다. 우리는 이산형 행동 공간에서의 항로 탐색에 적합한 심층 Q-네트워크(Deep Q-Network)를 활용하여, 에이전트가 목적지까지의 최적 경로를 스스로 학습할 수 있도록 설계하였다. 이때, epsilon-greedy, Boltzmann, UCB(Upper Confidence Bound), Thompson Sampling 등 다양한 탐험 활용 전략의 사용에 따른 DQN의학습 안정성과 예측 성능에 미치는 영향을 분석하였다. 실험 결과를 통해 우리는 UCB 전략이 정량적 성능(평균 보상 목표 도달률 낮은 변동성)과 정성적 성능(최적 경로 수렴 및 직선적 경로 형성) 모두에서 가장 우수한 전략임을 보였다.
Abstract
With the growth of the maritime industry, vessel route prediction has emerged as a key challenge in international shipping operations. However, the maritime environment is influenced by numerous unpredictable factors, making it challenging for traditional models to predict vessel routes accurately. Recently, to overcome these limitations, there has been growing research on route prediction using Deep Reinforcement Learning (DRL) based on Automatic Identification System (AIS) data. We employ a Deep Q-Network (DQN), which is well-suited for finding routes in a discrete action space, allowing the agent to learn the optimal path to the destination independently. We also apply various exploration–exploitation strategies, such as epsilon-greedy, Boltzmann, Upper Confidence Bound, and Thompson Sampling, to examine how each strategy affects the learning stability and prediction performance of the DQN. According to the experimental results, we show that the UCB strategy outperform all others in both quantitative performance (average reward, goal-reaching rate, and low variance) and qualitative performance (convergence to the optimal path and formation of straight paths).