메타버스 대화의 몰입감 증진을 위한 대화 감정 기반 실시간 배경음악 시스템 구현
Real-time Background Music System for Immersive Dialogue in Metaverse based on Dialogue Emotion
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
메타버스 환경에서의 배경음악은 사용자의 몰입감을 증진시키기 위해 사용된다. 하지만 현재 대부분의 메타버스 환경에서는 사전에 매칭시킨 음원을 반복 재생하며, 이는 빠르게 변화하는 사용자의 상호작용 맥락에 어울리지 못해 사용자의 몰입감을 저해시키는 경향이 있다. 본 논문에서는 보다 몰입감 있는 메타버스 대화 경험을 구현하기 위해 1) 한국어 멀티모달 감정 데이터셋인KEMDy20을 이용하여 발화로부터 감정을 추출하는 회귀 신경망을 구현하고 2) 음원에 arousal-valence 레벨이태깅되어 있는 DEAM 데이터셋을 이용하여 발화 감정에 대응되는 음원을 선택하여 재생한 후 3) 아바타를 이용한 실시간 대화가 가능한 가상공간과 결합하여 몰입형 메타버스 환경에서 발화의 감정에 어울리는 배경음악을 실시간으로 재생하는 시스템을 구현하였다.
Abstract
To enhance immersive experiences for metaverse environements, background music is often used. However, the backgroun d music is mostly pre-matched and repeated which might occur a distractive experience to users as it does not align well with rapidly changing user-interactive contents. Thus, we implemented a system to provide a more immersive metaverse conversation experience by 1) developing a regre ssion neural network that extracts emotions from an utterance using KEMDy20, the Korean multimodal emotion dataset 2) s electing music corresponding to the extracted emotions from an utterance by the DEAM dataset where music is tagged with arousal-valence levels 3) combining it with a virtual space where users can have a real-time conversation with avatars.
참고문헌 (9)
- Sanders, Timothy, "Time perception, imm ersion and music in videogames", Proceedings of HCI 2010 24, pp.160~167 (2010)
- Weiss, Karl, "A survey of transfer learning", Journal of Big data, 3(1), pp.1~40 (2016)
- Russell, James A., "A circumplex model of affect", Journal of personality and social psychology, 39(6), pp.1161~ (1980)
- "KEMDy20"[URL]
- Na-Mo Bang, "MMM : Multi-modal Emotion Recognition in conversation with MLP-Mixer", 한국정보과학회 학술발표논문집, pp.2288~2290 (2022)
- June-Woo Kim, "Strategies of utilizing pre-trained text and speech m odel-based feature representation for multi-modal emotion re cognition", 한국정보과학회 학술발표논문집, pp.2282~2284 (2022)
- Baevski, Alexei, "wav2vec 2.0: A framework for self -supervised learning of speech representations", Advances in neural information processing systems, 33, pp.12449~12460 (2020)
- Conneau, Alexis, "Unsupervised cross-lingual represen tation learning for speech recognition", arXiv preprint arXi v:2006.13979, ~ (2020)
- "DEAM: Mediaeval database for emotional analysis in music" (2016)[URL]