멀티모달 맥락정보 융합에 기초한다중 물체 목표 시각적 탐색 이동
Multi-Object Goal Visual Navigation Based on Multimodal Context Fusion
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
MultiOn(Multi-Object Goal Visual Navigation)은 에이전트가 미지의 실내 환경 내 임의의 위치에 놓인 다수의 목표 물체들을 미리 정해준일정한 순서에 따라 찾아가야 하는 매우 어려운 시각적 탐색 이동 작업이다. MultiOn 작업을 위한 기존의 모델들은 행동 선택을 위해 시각적외관 지도나 목표 지도와 같은 단일 맥락 지도만을 이용할 뿐, 다양한 멀티모달 맥락정보에 관한 종합적인 관점을 활용할 수 없다는 한계성을가지고 있다. 이와 같은 한계성을 극복하기 위해, 본 논문에서는 MultiOn 작업을 위한 새로운 심층 신경망 기반의 에이전트 모델인 MCFMO(Multimodal Context Fusion for MultiOn tasks)를 제안한다. 제안 모델에서는 입력 영상의 시각적 외관 특징외에 환경 물체의 의미적 특징, 목표물체 특징도 함께 포함한 멀티모달 맥락 지도를 행동 선택에 이용한다. 또한, 제안 모델은 점-단위 합성곱 신경망 모듈을 이용하여 3가지 서로이질적인 맥락 특징들을 효과적으로 융합한다. 이 밖에도 제안 모델은 효율적인 이동 정책 학습을 유도하기 위해, 목표 물체의 관측 여부와 방향,그리고 거리를 예측하는 보조 작업 학습 모듈을 추가로 채용한다. 본 논문에서는 Habitat-Matterport3D 시뮬레이션 환경과 장면 데이터 집합을이용한 다양한 정량 및 정성 실험들을 통해, 제안 모델의 우수성을 확인하였다.
Abstract
The Multi-Object Goal Visual Navigation(MultiOn) is a visual navigation task in which an agent must visit to multiple object goalsin an unknown indoor environment in a given order. Existing models for the MultiOn task suffer from the limitation that they cannotutilize an integrated view of multimodal context because use only a unimodal context map. To overcome this limitation, in this paper,we propose a novel deep neural network-based agent model for MultiOn task. The proposed model, MCFMO, uses a multimodal contextmap, containing visual appearance features, semantic features of environmental objects, and goal object features. Moreover, the proposedmodel effectively fuses these three heterogeneous features into a global multimodal context map by using a point-wise convolutionalneural network module. Lastly, the proposed model adopts an auxiliary task learning module to predict the observation status, goal directionand the goal distance, which can guide to learn the navigational policy efficiently. Conducting various quantitative and qualitativeexperiments using the Habitat-Matterport3D simulation environment and scene dataset, we demonstrate the superiority of the proposedmodel.
참고문헌 (16)
- S. Wani, "Multion : Benchmarking semantic map memory using multi-object navigation", Advances in Neural Information Processing Systems(NeurIPS), 33, pp.9700~9712 (2020)
- P. Marza, "Teaching agents how to map : Spatial reasoning for multi-object navigation", Proceedings of the IEEE, 2022, 1725~1732
- S. Raychaudhuri, "Reduce, reuse, recycle : Modular multi-object navigation", arXiv preprint arXiv : 2304. 03696, ~ (2023)
- J. Kim, "Sgolam:Simultaneous goal localization and mapping for multiobject goal navigation", arXiv preprint arXiv : 2110. 07171, ~ (2021)
- P. Chen, "Learning active camera for multi-object navigation", Advances in Neural Information Processing Systems(NeurIPS), 35, pp.28670~28682 (2022)
- N. Savinov, "Semi-parametric topological memory for navigation", Proceedings of the International Conference on Learning Representations (ICLR) (2018)
- K. Chen, "Topological planning with transformers for vision-and-language navigation", Proceedings of the IEEE, 2021, 11276~11286
- D. S. Chaplot, "Neural topological slam for visual navigation", Proceedings of the IEEE, 2020, 12875~12884
- N. Kim, "Topological semantic graph memory for image-goal navigation", Proceedings of the 6th Conference on Robot Learning (PMLR), pp.393~402 (2023)
- S. Gupta, "Cognitive mapping and planning for visual navigation", Proceedings of the IEEE, 2017, 2616~2625
- D. S. Chaplot, "Object goal navigation using goal-oriented semantic exploration", Advances in Neural Information Processing Systems(NeurIPS), 33, pp.4247~4258 (2020)
- P. Chen, "Weakly-supervised multi-granularity map learning for vision-and-language navigation", Advances in Neural Information Processing Systems(NeurIPS), 35, pp.38149~38161 (2022)
- S. K. Ramakrishnan, "Poni : Potential functions for objectgoal navigation with interaction-free learning", Proceedings of the IEEE, 2022, 18890~18900
- K. Fang, "Scene memory transformer for embodied agents in long-horizon tasks", Proceedings of the IEEE, 2019, 538~547
- B. Mayo, "Visual navigation with spatial attention", Proceedings of the IEEE, 2021, 16898~16907
- A. Mousavian, "Visual representations for semantic target driven navigation", Proceedings of International Conference on Robotics and Automation (ICRA), pp.8846~8852 (2019)