에이전트 학습 속도 향상을 위한 Q-Learning 정책 설계
Q-Learning Policy Design to Speed Up Agent Training
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
강화학습의 기본적인 알고리즘으로 많이 사용되고 있는 Q-Learning은 현재 상태에서 취할 수 있는 행동의 보상 중 가장 큰 값을 선택하는 Greedy action을 통해 보상을 최대화하는 방향으로 에이전트를 학습시키는 기법이다. 본 논문에서는 Frozen Lake8*8 그리드 환경에서 Q-Learning을 사용하여 에이전트의 학습 속도를 높일 수 있는 정책에 관하여 연구하였다. 또한, Q-learning의 기존 알고리즘과 에이전트의 행동에 ‘방향성’이라는 속성을 부여한 알고리즘의 학습 결과 비교를 진행하였다. 결과적으로,본 논문에서 제안한 Q-Learning 정책이 통상적인 알고리즘보다 정확도와 학습 속도 모두 크게 높일 수 있는 것을 분석되었다.
Abstract
Q-Learning is a technique widely used as a basic algorithm for reinforcement learning. Q-Learning trains the agent in the direction of maximizing the reward through the greedy action that selects the largest value among the rewards of the actions that can betaken in the current state. In this paper, we studied a policy that can speed up agent training using Q-Learning in Frozen Lake 8×8grid environment. In addition, the training results of the existing algorithm of Q-learning and the algorithm that gave the attribute‘direction’ to agent movement were compared. As a result, it was analyzed that the Q-Learning policy proposed in this paper cansignificantly increase both the accuracy and training speed compared to the general algorithm.
참고문헌 (6)
- X. Wang, "The shortest path planning based on reinforcement learning", Journal of Physics: Conference Series, 1584, pp.012006~ (2020)
- R. S. Sutton, "Reinforcement learning: an introduction" (1998), MIT Press
- C. Watkins, "Q-learning", Machine Learning, 8, pp.279~292 (1992)
- V. Mnih, "Playing atari with deep reinforcement learning", Proceeding of the 2013 Conference on Neural Information Processing Systems Deep Learning Workshop (2013)
- J. Clifton, "Q-learning: theory and applications", Annual Review of Statistics and Its Application, 7, pp.279~301 (2020)
- "OpenAI Gym" (2016)[URL]