본문 바로가기
KERD
논문KCI 등재

휴먼형 로봇 손의 사물 조작 수행을 이용한 사람데모 결합 강화학습 정책 성능 평가

Evaluation of Human Demonstration Augmented Deep Reinforcement Learning Policies via Object Manipulation with an Anthropomorphic Robot Hand

김태성|류가현|오지헌|Patricio Rivera Lopez|박나현|Edwin Valarezo Añazco
한국정보처리학회|2021.05|정보처리학회 논문지 (The Transactions of the Korea Information Processing Society)|제10권 제5호|pp. 179-186

1

조회

0

다운로드

1

인용

0

참고문헌

키워드

강화학습Deep Reinforcement Learning최적화 방법Anthropomorphic Robot Hand휴먼형 로봇사람 데모Human DemonstrationPolicy Optimization
주제분류컴퓨터학

초록

로봇이 사람과 같이 다양하고 복잡한 사물 조작을 하기 위해서는 휴먼형 로봇 손의 사물 파지 작업이 필수적이다. 자유도 (Degree of Freedom,DoF)가 높은 휴먼형(anthropomorphic) 로봇 손을 학습시키기 위하여 사람 데모(human demonstration)가 결합한 강화학습 최적화 방법이 제안되었다. 본 연구에서는 강화학습 최적화 방법에 사람 데모가 결합한 Demonstration Augmented Natural Policy Gradient (DA-NPG)와 NPG의 성능비교를 통하여 행동 복제의 효율성을 확인하고, DA-NPG, DA-Trust Region Policy Optimization (DA-TRPO), DA-Proximal Policy Optimization(DA-PPO)의 최적화 방법의 성능 평가를 위하여 6 종의 물체에 대한 휴먼형 로봇 손의 사물 조작 작업을 수행한다. 학습 후 DA-NPG와 NPG를비교한 결과, NPG의 물체 파지 성공률은 평균 60%, DA-NPG는 평균 99.33%로, 휴먼형 로봇 손의 사물 조작 강화학습에 행동 복제가 효율적임을증명하였다. 또한, DA-NPG는 DA-TRPO와 유사한 성능을 보이면서 모든 물체에 대한 사물 파지에 성공하였고 가장 안정적이었다. 반면, DA-TRPO와 DA-PPO는 사물 조작에 실패한 물체가 존재하여 불안정한 성능을 보였다. 본 연구에서 제안하는 방법은 향후 실제 휴먼형 로봇에 적용하여휴먼형 로봇 손의 사물 조작 지능 개발에 유용할 것으로 전망된다.

Abstract

Manipulation of complex objects with an anthropomorphic robot hand like a human hand is a challenge in the human-centricenvironment. In order to train the anthropomorphic robot hand which has a high degree of freedom (DoF), human demonstrationaugmented deep reinforcement learning policy optimization methods have been proposed. In this work, we first demonstrate augmentationof human demonstration in deep reinforcement learning (DRL) is effective for object manipulation by comparing the performance ofthe augmentation-free Natural Policy Gradient (NPG) and Demonstration Augmented NPG (DA-NPG). Then three DRL policy optimizationmethods, namely NPG, Trust Region Policy Optimization (TRPO), and Proximal Policy Optimization (PPO), have been evaluated with DA(i.e., DA-NPG, DA-TRPO, and DA-PPO) and without DA by manipulating six objects such as apple, banana, bottle, light bulb, camera,and hammer. The results show that DA-NPG achieved the average success rate of 99.33% whereas NPG only achieved 60%. In addition,DA-NPG succeeded grasping all six objects while DA-TRPO and DA-PPO failed to grasp some objects and showed unstable performances.

참고문헌 (33)

  1. S. Kakade, "Natural Policy Gradient", Neural Information Processing systems (NIPS), 14, pp.1531~1538 (2001)
  2. J. Schulman, "Trust Region Policy Optimization", Proceedings of the 32nd International Conference on Machine Learning, PMLR 2015, 37, pp.1889~1897 (2015)
  3. , ~
  4. S. Gu, "Deep reinforcement learning for robotic manipulation with asynchronous off-policy updates", 2017 IEEE International Conference on Robotics and Automation (ICRA), pp.3389~3396 (2017)
  5. "2018", ~
  6. A. Gupta, "Learning dexterous manipulation for a soft robotic hand from human demonstrations", 2016 IEEE, 2016, 3786~3793
  7. C. Piazza, "A century of robotic hands", Annual Review of Control, Robotics, and Autonomous Systems, 2, pp.1~32 (2019)
  8. Zhou, Jianshu, "A soft-robotic approach to anthropomorphic robotic hand dexterity", IEEE Access, 7, pp.101483~101495 (2019)
  9. C. Piazza, "The SoftHand Pro-H : a hybrid bodycontrolled, electrically powered hand prosthesis for daily living and working", IEEE Robotics & Automation Magazine, 24(4), pp.87~101 (2017)
  10. A. Kargov, "Development of an anthropomorphic hand for a mobile assistive robot", IEEE In 9th International Conference on Rehabilitation Robotics, pp.182~186 (2005)
  11. N. Correll, "Analysis and observations from the first Amazon Picking Challenge", IEEE Transactions on Automation Science and Engineering, 15(1), pp.172~188 (2018)
  12. Kontoudis GP, "Opensource, anthropomorphic, underactuated robot hands with a selectively lockable differential mechanism:towards affordable prostheses", 2015 IEEE, 2015, 5857~5862[DOI]
  13. Jacobsen S, "Design of the Utah", M.I.T. dextrous hand, 1986, pp.3 (1986), 1520~1532[DOI]
  14. "2018. Shadow Dexterous Hand"[URL]
  15. A. Firouzeh, "Grasp mode and compliance control of an underactuated origami gripper using adjustable stiffness joints", IEEE, 2017, pp.22(5), 2165~2173
  16. Billard, "Trends and challenges in robot manipulation", Science, 364, pp.6446~ (2019)
  17. Chao, Ya, "Deep learning-based grasp-detection method for a five-fingered industrial robot hand", IET Computer Vision, 13(1), pp.61~70 (2018)
  18. N. Kohl, "Policy gradient reinforcement learning for fast quadrupedal locomotion", IEEE International Conference on Robotics and Automation, 2004. Proceedings. ICRA '04, 3, pp.2619~2624 (2004)
  19. A. Y. Ng, "Experimental Robotics IX" (2006), Springer
  20. V. Mnih, "Human-level control through deep reinforcement learning", Nature, 518(7540), pp.529~533 (2015)[DOI]
  21. D. Silver, "Mastering the game of Go with deep neural networks and tree search", Nature, 529(7587), pp.484~489 (2016)[DOI]
  22. Nicolas Heess, "Emergence of Locomotion Behaviours in Rich Environments", CoRR, abs, pp.1707.02286 (2017), ~
  23. E. Valarezo Añazco, "Natural object manipulation using anthropomorphic robotic hand through deep reinforcement learning and deep grasping probability network", Applied Intelligence, 51(2), pp.1041~1055 (2021)[DOI]
  24. Edwin Valarezo Añazco, "Human-like Object Grasping and Relocation for an Anthropomorphic Robotic Hand with Natural Hand Pose Priors in Deep Reinforcement Learning", Proceedings of the 2019 2nd International Conference on Robot Systems and Applications (ICRSA 2019), pp.46~50 (2019), Association for Computing Machinery
  25. Gao, Yang, "Reinforcement learning from imperfect demonstrations", arXiv preprint arXiv : 1802. 05313, ~ (2018)
  26. Vecerik, Mel, "Leveraging demonstrations for deep reinforcement learning on robotics problems with sparse rewards", arXiv preprint arXiv : 1707. 08817, ~ (2017)
  27. A. Nair, "Overcoming Exploration in Reinforcement Learning with Demonstrations", 2018 IEEE International Conference on Robotics and Automation (ICRA), pp.6292~6299 (2018)
  28. Hester, Todd, "Learning from demonstrations for real world reinforcement learning", ~ (2017)
  29. Osa, Takayuki, "Hierarchical reinforcement learning of multiple grasping strategies with human instructions", Advanced Robotics, 32(18), pp.955~968 (2018)
  30. "Leap Motion"[URL]
  31. E. Todorov, "MuJoCo : A physics engine for model-based control", 2012 IEEE, 2012, 5026~5033
  32. V. Kumar, "Fast, strong and compliant pneumatic actuation for dexterous tendon-driven hands", 2013 IEEE International Conference on Robotics and Automation, pp.1512~1519 (2013)
  33. Ahmed Hussein, "Imitation Learning : A Survey of Learning Methods", ACM Computing Surveys, 50(2), pp.1~35 (2017)

관련 논문AI추천

RGB-D 환경인식 시각 지능, 목표 사물 경로 탐색 및 심층 강화학습에 기반한 사람형 로봇손의 목표 사물 파지김태성, 류가현, 오지헌, 이진혁, 정진균, 정환석, Patricio Rivera Lopez한국정보처리학회 · 정보처리학회 논문지2022 · 제11권 제9호힘과 위치를 동시에 고려한 양팔 물체 조작 솜씨의 모방학습권우영, 서일홍, 하대근한국로봇학회 · 로봇학회 논문지2013 · 제8권 제1호시연에 의해 유도된 탐험을 통한 시각 기반의 물체 조작김두준, 송재복, 조현준한국로봇학회 · 로봇학회 논문지2022 · 제17권 제1호현실 세계에서의 로봇 파지 작업을 위한 정책/가치 심층 강화학습 플랫폼 개발김종복, 김태원, 박영빈, 박예성, 서일홍한국로봇학회 · 로봇학회 논문지2020 · 제15권 제2호백스터 로봇의 시각기반 로봇 팔 조작 딥러닝을 위한 강화학습 알고리즘 구현김성운, 김솔아, 최재식, 하파엘리마한국로봇학회 · 로봇학회 논문지2019 · 제14권 제1호안정 파지를 위한 16자유도 역구동 관절을 가지는 인간형 로봇 손 개발박성우, 박재한, 배지훈, 백문홍, 양현대한국로봇학회 · 로봇학회 논문지2011 · 제6권 제3호

이 간행물의 다른 논문 (4건)

자동화 균열 탐지 시스템을 위한 딥러닝 모델에 관한 연구황시정, 박은일, 지홍근, 김도건, 김지나, 류승기, 김영석pp. 161-168공유자전거 시스템의 이용 예측을 위한K-Means 기반의 군집 알고리즘김경옥, 이창환pp. 169-178AlphaPose를 활용한 LSTM(Long Short-Term Memory) 기반 이상행동인식배현재, 김진평, 장규진, 김영훈pp. 187-194멜로디 라인의 변곡점을 활용한 커버곡의 원곡 검색 알고리즘이보현, 김명pp. 195-200
원문 보기