Q-learning을 이용한 이동 로봇의 실시간 경로 계획
Real-Time Path Planning for Mobile Robots Using Q-Learning
0
조회
0
다운로드
3
인용
0
참고문헌
키워드
초록
강화학습은 주로 순차적인 의사 결정 문제에 적용되어 왔다. 특히 최근에는 신경망과 결합한 형태로 기존에는 해결하지 못한 분야에서도 성공적인 결과를 내고 있다. 하지만 신경망을 이용하는 강화학습은 현장에서 즉각적으로 사용하기엔 너무 복잡하다는 단점이 있다. 본 논문에서는 학습이 쉬운 강화학습 알고리즘 중 하나인 Q-learning을 이용하여 이동 로봇의 경로를생성하는 알고리즘을 구현하였다. Q-table을 미리 만드는 방식의 Q-learning은 명확한 한계를 가지기 때문에 실시간으로Q-table을 업데이트하는 실시간 Q-learning을 사용하였다. 탐험 전략을 조정하여 실시간 Q-learning에 필요한 학습 속도를얻을 수 있었다. 마지막으로 실시간 Q-learning과 DQN의 성능을 비교하였다.
Abstract
Reinforcement learning has been applied mainly in sequential decision-making problems. Especially in recent years,reinforcement learning combined with neural networks has brought successful results in previously unsolved fields. However, reinforcement learning using deep neural networks has the disadvantage that it is too complex for immediateuse in the field. In this paper, we implemented path planning algorithm for mobile robots using Q-learning, one of theeasy-to-learn reinforcement learning algorithms. We used real-time Q-learning to update the Q-table in real-time sincethe Q-learning method of generating Q-tables in advance has obvious limitations. By adjusting the exploration strategy,we were able to obtain the learning speed required for real-time Q-learning. Finally, we compared the performance ofreal-time Q-learning and DQN.
참고문헌 (9)
- H. T. Cormen, "Introduction to Algorithms" (2001), MIT Press and McGrawHill
- S. Koenig, "D* lite", National Conference on Artificial Intelligence, 18, pp.476~483 (2002)
- S. Koenig, "Incremental A*", Advances in Neural Information Processing Systems, 14, pp.1539~1546 (2002)
- R. Sutton, "Reinforcement learning" (1996), MIT Press
- Y. Li, "Q-Learning Based Method of Adaptive Path Planning for Mobile Robot", IEEE International Conference on Information Acquisition, pp.983~987 (2006)
- D. Tamilselve, "Q Learning for Mobile Robot Navigation in Indoor Environment", IEEE International Conference on Recent Trends in Information Technology, pp.324~329 (2011)
- J. Muhammad, "An Improved Q-Learning Algorithm for an Autonomous Mobile Robot Navigation Problem", 2013 TAEECE, pp.239~243 (2013)
- Mnih, Volodymyr, "Playing Atari with Deep Reinforcement Learning", NIPS Deep Learning Workshop 2013, pp.1~9 (2013)
- Mnih, Volodymyr, "Human-level control through deep reinforcement learning", Nature, 518(7540), pp.529~533 (2015)