자동 적응 기반 메타버스 가상 휴먼 상호작용 기법
Automatic Adaptation Based Metaverse Virtual Human Interaction
1
조회
0
다운로드
4
인용
0
참고문헌
키워드
초록
최근 가상 휴먼은 국방, 의료, 산업, 유통, 문화, 엔터테인먼트 등 다양한 서비스 분야에서 교육, 훈련 정보 가이드, 홍보 전시 등 널리 활용되고있다. 또한, 가상 휴먼을 통해 원격지에 접속한 사용자와 상호작용하기 위한 메타버스 서비스가 급속히 확대 적용될 것으로 전망하고 있다. 메타버스환경 안에서 가상 휴먼(혹은 아바타)을 이용한 상호작용은 참여자가 현실 세계의 실제 친구와 대화하는 것처럼 자연스럽게 소통하는 방식으로운용이 되고, 이를 위해서는 사용자의 음성, 동작, 감정 등 다양한 입력을 기반으로 반응하는 가상 휴먼 상호작용 매핑 관계를 제작하여야 한다. 또한, 현실 세계의 변화에 동작하는 가상 휴먼의 경우 현실의 환경에 기반한 상호작용 동작이 되도록 지원하여야 한다. 하지만, 기존 가상 휴먼상호작용 방법은 미리 정해진 반응형 패턴을 제작하기 위해 수작업으로 동작 결과를 프로그래밍하여 구현되었다. 이러한 방법은 개발 기간이 상대적으로 많이 소요되고, 상호작용 수정이 쉽게 변경하지 못하는 단점이 있다. 또한, 실제 주변 환경의 영향에 의해 반응적으로 동작하는 상호작용을지원하기가 어렵다고 할 수 있다. 본 논문에서는 가상 휴먼의 직관적인 상호작용을 위해 음성, 동작, 감정 등 사용자의 멀티모달 입력과 주변 환경에대한 반응하는 가상 휴먼 제작 방법을 제시한다. 이를 위한 가상 휴먼 상호작용 저작도구를 통해 쉽고 빠르게 사용자와 반응하는 가상 휴먼의표현을 생성하고, 가상 휴먼이 자동 적응 기반으로 사용자 입력 및 주변 환경에 변화에 동작할 수 있도록 하였다.
Abstract
Recently, virtual human has been widely used in various fields such as education, training, information guide. In addition, it is expectedto be applied to services that interact with remote users in metaverse. In this paper, we propose a novel method to make a virtual human‘interaction to perceive the user's surroundings. We use the editing authoring tool to apply user’s interaction for providing the virtualhuman’s response. The virtual human can recognize users' situations based on fuzzy, present optimal response to users. With our interactionmethod by context awareness to address our paper, the virtual human can provide interaction suitable for the surrounding environmentbased on automatic adaptation.
참고문헌 (18)
- S. Gandhe, "Rapid prototyping and evaluation of dialogue systems for virtual humans", pp.2014
- H. Y. Song, "Virtual human interaction based on reinforcement learning", Proceeding of the Korea Institute of Information and Communication Engineering (2020)
- 신광성, "Physicality를 가지는 가상 휴먼에 관한 co-presence와 emotional response 영향 분석", 한국컴퓨터정보학회논문지, 24(1), pp.67~71 (2019), 한국컴퓨터정보학회[DOI]
- K. Otsuka, "MMSpace : Kinetically-augmented telepresence for small group-to-group conversations", IEEE Conference on Virtual Reality, pp.19~28 (2016)
- K. P. Tee, "Gesture-based attention direction for a telepresence robot : Design and experimental study", IEEE, 2014, 4090~4095
- D. Jo, "SpaceTime : Adaptive control of the teleported avatar for improved AR tele‐conference experience", Computer Animation and Virtual Worlds (CAVW), 26(3-4), pp.259~269 (2015)
- C. Breiteneder, "Teleport-an augmented reality teleconferencing environment", Eurographics Workshops, Virtual Environments and Scientific Visualization, pp.41~49 (2006)
- A. Maimone, "General-purpose telepresence with head-worn optical see-through displays and projector-based lighting", IEEE Conference on Virtual Reality, pp.23~26 (2013)
- S. Zhao, "Toward a taxonomy of copresence", Presence : Teleoperators and Virtual Environments, 12(5), pp.445~455 (2003)
- 김대환, "유사홀로그램 가시화 기반 가상 휴먼의 제스쳐 상호작용 영향 분석", 한국정보통신학회논문지, 24(10), pp.1390~1393 (2020), 한국정보통신학회[DOI]
- D. Jo, "Effects of virtual humans on co-presence", Proceeding of the International Conference on Future Information and Communication Engineering (2019)
- 신은지, "독거노인용 가상 휴먼 제작 툴킷", 한국정보통신학회논문지, 24(9), pp.1245~1248 (2020), 한국정보통신학회[DOI]
- J. -H. Chung, "Authoring toolkit for interaction with a virtual human", Proceeding of the Spring Conference on Korea Information Processing Society(KIPS) (2021)
- S. Scherer, "Perception markup language : Towards a standardized representation of perceived nonverbal behaviors", The 12th International Conference on Intelligent Virtual Agents(IVA) (2012)
- B. Lok, "Training with virtual operating room teammates to influence team behaviors", International Conference on Collaboration Technologies and Systems(CTS) (2016)
- E. Ho, "Spatial relationship preserving character motion adaptation", Proceedings of SIGGRAPH ACM Transactions on Graphics, 29(4), pp.33~ (2010)
- R. Al-Asqhar, "Relationship descriptors for interactive motion adaptation", Proceedings of 12th ACM SIGGRAPH, 2013, 45~53
- P. Ekman, "The nature of emotion: Fundamental questions" (1994), Oxford University Press