MARLViz: 강화학습에서의 다중 에이전트 행동 이해를 돕기 위한시각화 시스템
MARLViz: A Visualization System for UnderstandingMulti-Agent Behaviors in Reinforcement Learning
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
다중 에이전트 강화 학습(Multi-Agent Reinforcement Learning, MARL)은 에이전트가 시행착오를 통해 최적의 정책을 상호 작용하고 학습하는 기계학습의 한 분야로, 여러 에이전트가 동시에 동일한 환경에서 상호 작용하고 학습하는 복잡한 시나리오를 처리한다. 이러한 복잡한 상호작용을 분석하고 이해하기는 어려운 일이며, 기존의 분석 방법으로는 이러한 복잡성을 충분히 분석에 반영하고 해석하는 데 한계가 있다. 이러한 문제를 해결하기 위해 우리는 MARL 환경에서 에이전트의 정책과 상호작용을 시각화하고 분석할 수 있는 시각화 시스템인 MARLViz를 제공한다. 이 시스템은 다양한 환경에서의 에이전트를 산점도로 나타내어 행동 차이를 요약적으로 보여주고 에이전트의 행동 패턴을 공간상에 시각화하는 열지도를 통해 사용자가 에이전트 간 복잡한 상호작용 패턴을 이해하고 비교할 수 있도록 설계되었다. 또한, MARLViz를 통해 에이전트들의 행동을 이해하기 위한 과업 수행을 효과적으로 수행할 수 있음을 보이기 위해 대표적인 분석 시나리오를 사례 연구의 형식으로 제시한다.
Abstract
Multi-Agent Reinforcement Learning (MARL) is a subfield of machine learning in which agents interact and learn optimal policies through trial and error in a shared environment, handling complex scenarios where multiple agents interact simultaneously. Analyzing and understanding these intricate interactions is a challenging task, and existing methods often fall short of adequately capturing and interpreting this complexity. To address this issue, we present MARLViz, a visualization system designed to visualize and analyze agent policies and interactions in MARL environments. MARLViz represents agents in various environments using scatterplots to provide a summary of behavioral differences and visualizes agents' behavioral patterns on a spatial heatmap, enabling users to understand and compare complex interaction patterns among agents. Furthermore, we demonstrate the effectiveness of MARLViz in comprehending agents' behavior through a case study, showcasing its capability in facilitating the understanding of task performance in MARL environments.
참고문헌 (17)
- Kaelbling, Leslie Pack, "Reinforcement learning : A survey", Journal of artificial intelligence research, 4, pp.237~285 (1996)
- Jeong-Min Shin, "Object Reactive Animation Generation Using Reinforcement Learning Based on Motion Synthesis Data", THE JOURNAL OF KOREAN INSTITUTE OF NEXT GENERATION COMPUTING, 20(1), pp.81~98 (2024)
- Tan, Ming, "Multi-agent reinforcement learning:Independent vs. cooperative agents", Proceedings of the tenth international conference on machine learning (1993)
- "Deep Q-Learning for Atari Breakout"[URL]
- Berges, Vincent-Pierre, "Reinforcement Learning for Atari Breakout", ~ (2018)
- Wei, Zhepei, "Autonomous agents in snake game via deep reinforcement learning", 2018 IEEE International conference on Agents (ICA) (2018), IEEE
- Wang, Junpeng, "Dqnviz : A visual analytics approach to understand deep q-networks", IEEE transactions on visualization and computer graphics, 25(1), pp.288~298 (2018)
- Saldanha, Emily, "ReLVis : Visual Analytics for Situational Awareness During Reinforcement Learning Experimentation", EuroVis, pp.43~47 (2019)
- Douglas, Nathan, "Towers of saliency : A reinforcement learning visualization using immersive environments", Proceedings of the 2019 acm international conference on interactive surfaces and spaces, pp.339~342 (2019)
- Jaunet, Theo, "DRLViz : Understanding decisions and memory in deep reinforcement learning", Computer Graphics Forum, 39(3), pp.49~61 (2020)
- Seng, Dewen, "Visual analysis of deep Q-network", KSII Transactions on Internet and Information Systems (TIIS), 15(3), pp.853~873 (2021)
- Ng, Andrew, "Sparse autoencoder", CS294A Lecture notes 72.2011, 1~19 (2011)
- Van Der Maaten, "Dimensionality reduction: A comparative review", Journal of Machine Learning Research, 10, pp.66~71 (2009)
- Yao, Zhewei, "Adahessian : An adaptive second order optimizer for machine learning", proceedings of the AAAI conference on artificial intelligence, 35(12) (2021)