사용자 상호작용 가능성을 고려한 Diffusion 기반 3D 실내 장면 생성
3D Indoor Scene Generation via Diffusion with User Interaction Awareness
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
3D 실내 장면 생성은 가상현실, 로봇 내비게이션, 인간-환경 상호작용 시뮬레이션 등 다양한 응용에서 중요한 역할을 하며, 객체 간의 구조적 정합성과 시각적 자연스러움이 핵심 요소로 여겨진다. 최근 Diffusion 모델 기반 접근이 복잡한 객체 배치를 안정적으로 생성하는 데 강점을 보이며 주목받고 있지만, 사용자의 손이 닿기 어려운 위치에 객체가 배치되는 등 실질적인 상호작용 가능성은 반영되지 않았다. 본 연구는 이러한 한계를 보완하고자, 인간의 손 도달 가능성을 정량화한 접근 가능성 맵을 구축하고, 이를 Diffusion 모델의 샘플링 과정에 보상 신호로 통합하는 새로운 장면 생성 방식을 제안한다. VPoser 와 SMPL-X 기반의 자세 샘플링을 통해 다양한 상호작용 맥락을 반영하였으며, 제안된 방식은 사람이 실제 상호작용 가능한 위치에 객체가 배치되도록 유도한다. 실험을 통해 제안 기법이 기존 모델보다 상호작용 가능성과 공간적 일관성 측면에서 우수한 성능을 보임을 확인하였다.
Abstract
3D indoor scene synthesis plays a crucial role in a wide range of applications, including virtual reality, robot navigation, and human- environment interaction simulations. While recent diffusion-based approaches have demonstrated strong capabilities in generating complex object arrangements with structural coherence and visual plausibility, they often fail to consider the user's actual ability to interact with the environment. Specifically, objects may be placed in locations that are difficult for a user to physically r each or manipulate. To address this limitation, we propose a novel scene generation framework that integrates human reachability into the diffusion sampling process. We construct a reachability map by quantitatively modeling the spatial accessibility of human hands using pose sampling based on VPoser and SMPL-X. This reachability information is then incorporated as a reward signal during sampling, guiding the model to generate object layouts that are more functionally usable. Experimental results demonstrate that our met hod outperforms prior diffusion-based models in terms of both interaction feasibility and spatial consistency, enabling the generation of 3D indoor scenes better aligned with real-world human use.