모바일 로봇의 실내 자율주행을 위한 심층 강화학습 기법
Deep Reinforcement Learning for Indoor Autonomous Navigation of Mobile Robot
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문에서는 모바일 로봇의 실내 자율 주행을 위해 심층강화학습 기반 알고리즘을 제안한다. 제안하는 방법은 off-policy 방식의 Soft Actor Critic(SAC) 알고리즘과 두 가지 경험 재사용 기법인 Prioritized Experience Replay(PER) 및 HindsightExperience Replay(HER)을 결합하여 학습 효율성과 안정성을 향상시키는 것을 목표로 한다. 특히, 정책의 수렴 정도가 낮은 초기시점부터 정책이 어느정도 수렴된 시점까지 학습 시점에 따라 경험 재사용 기법의 적용을 달리하여 정책 수렴의 안정성과 속도를개선한다. 제안한 방법은 Gazebo 시뮬레이션 환경에서 동적 장애물이 추가된 환경에 대해 기존 SAC 알고리즘과 비교하여 성능을평가하였으며, 목표 지점과 로봇 경로는 ROS(Robot Operation System)의 RVIZ 툴을 사용하여 시각화하였다. 실험 결과를 통해제안하는 기법의 유효성을 검증한다.
Abstract
In this paper, we propose a deep reinforcement learning-based algorithm for indoor autonomous navigation ofmobile robots, using the off-policy Soft Actor Critic(SAC) algorithm and two experience replay algorithms. Theexperience replay algorithms used in this paper are Prioritized Experience Replay(PER) and Hindsight ExperienceReplay(HER). By adjusting the application of experience replay techniques according to the learning stage, fromthe early phase where the policy is poorly converged to the later phase where the policy becomes relatively stable,the proposed algorithm improves the stability and speed of policy convergence. The effectiveness of the proposedmethod has been verified by comparing its performance with the conventional SAC algorithm in simulationenvironments created using the Gazebo tool, in an environment with dynamic obstacles. The target points androbot trajectories are visualized using the RVIZ tool in Robot Operating System (ROS). Experimental results verifythe effectiveness of the proposed method.