다중 리플레이 메모리를 활용한 향상된 심층 Q-학습: 휴리스틱 기반 접근법
Enhanced Deep Q-Learning with Multiple Replay Memories: A Heuristic-Based Approach
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
심층 Q-학습은 대표적인 심층 강화 학습 방법 중 하나이다. 심층 Q-학습을 기반으로 한 심층Q-네트워크는 리플레이 메모리에 저장된 기존 경험들을 재생함으로써 심층 Q-학습의 성능을 향상시켰다. 심층 Q-네트워크에서는 하나의 리플레이 메모리로부터 기존 경험들을 무작위로 추출하여학습을 수행한다. 본 논문에서는 심층 Q-학습의 성능을 더욱 향상시키기 위해 다중 리플레이 메모리를 활용하는 휴리스틱 기반 접근법을 제안한다. 구체적으로는 대상 문제에 대한 지식을 기반으로 경험을 분류하고 각각 해당 리플레이 메모리에 저장하며, 학습 시에는 각 리플레이 메모리로부터 일정 개수의 경험들을 무작위로 추출한다. Cart Pole, Mountain Car, Ball Avoider 문제를 대상으로 제안 기법과 기존 기법들에 대한 비교 실험을 수행한 결과, 제안한 기법을 통해 심층 Q- 학습의 성능을 크게 향상시킬 수 있음을 확인하였다.
Abstract
Deep Q-Learning (DQL) is a representative deep reinforcement learning method. Deep Q-Network (DQN), based on DQL, has improved the performance by replaying past experiences stored in a replay memory. In the DQN, past experiences are randomly sampled from a single replay memory for training. This paper proposes a heuristic-based approach using multiple replay memories to further enhance the performance of DQL. Specifically, experiences are categorized based on knowledge of the target problem and stored in their corresponding replay memories. During training, a fixed number of experiences are randomly sampled from each replay memory. The proposed method was applied to the Cart Pole, the Mountain Car, and the Ball Avoider problems, and comparative experiments were conducted to compare with existing methods. The experimental results show that the proposed method can significantly improve the performance of DQL.