본문 바로가기
KERD
논문KCI 등재

음성을 통한 감정 인식 기반의 가상 에이전트 감정적 반응 생성의 설계 및 구현

Design and Implementation of Emotional Reactions in Virtual Agents Based on Speech Emotion Recognition

박종일|남현길|이기섭|김강수
예술과 과학기술연구소 (Research Institute of Art and Technology)|2024.11|예술과 과학기술 (Journal of Art and Technology)|제20권 제4호|pp. 55-74

1

조회

0

다운로드

0

인용

0

참고문헌

키워드

emotion recognition감정 인식혼합현실mixed reality가상 에이전트virtual agents

초록

본 논문은 음성 기반 감정 인식 기술을 활용하여 가상 에이전트의 감정적 반응 시스템을 설계하고 구현하였다. 구현된 시스템은 사용자의 음성 톤과 발화 내용을 종합적으로 분석하여 감정 상태를 추정하고, 이를 바탕으로 가상 에이전트가 언어적 및 비언어적 반응을 제공한다. 이는 혼합현실(MR) 환경에서 사용자 경험을 혁신적으로 향상시키며, 정신건강 지원, 교육 및 훈련, 사회적 상호작용 강화와 같은 다양한 응용시나리오에서 실질적으로 활용될 수 있는 가능성이 있다. 다만, 본 연구는 사용자 실험 및 다양한 데이터셋 평가가 부족하며, 에이전트의 반응이 제한적인 사전 정의된 행동에 국한된다는 한계가 있다. 이러한 한계에도 불구하고, 본 연구는 가상 에이전트와의 정서적 상호작용을 강화하는 새로운 가능성을 제시하였으며, 향후 연구를 통해 더욱 발전된 상호작용 시스템으로 확장될 수 있는 기초를 마련하였다.

Abstract

This paper presents the design and implementation of a system that generates emotional responses in virtual agents using speech-based emotion recognition technology. By analyzing users’ speech tone and content, the system estimates emotional states in real-time and provides tailored linguistic and non-linguistic responses, strengthening the sense of emotional connection. The proposed system demonstrated its potential to significantly enhance user experiences in mixed reality (MR) environments and showcased practical applications in various scenarios, such as mental health support, education and training, and social interaction enhancement. However, limitations include the lack of user experiments and diverse dataset evaluations, as well as the restriction of agent responses to predefined behaviors. Despite these challenges, this study introduces new possibilities for enhancing emotional interactions with virtual agents and establishes a foundation for future advancements in interactive systems.

참고문헌 (50)

  1. 송근혜, "기술진화로 인한 인간과 기계의 사회적 관계 연구", 한국기술혁신학회, 추계학술대회 논문집 (2017)
  2. 이승경, "메타버스 사용자의 사회⋅심리적 특성이 아바타 커스터마이징에 미치는 영향", 사이버커뮤니케이션학보한국융합학회논문지, 40(2) (2019)
  3. 조윤희, "대화형 AI 에이전트와 공감적 소통을 위한 눈 형태 UI 디자인 제안", 석사, pp.2024
  4. 이은아, "가상현실과 몸 : 디지털 이미지와 수용자의 관계에 대한 연구", 박사, pp.2017
  5. 김한섭, "가상 에이전트의 형체를 활용한 원격 상담 시스템", 한국HCI학회 학술대회 (2023)
  6. 강동현, "장애인인식개선을 위한 가상현실 기반 시뮬레이터의 개발 및 정서의 영향에 관한 예비연구", 한국HCI학회학술대회 (2024)
  7. 최아영, "가상현실 에이전트와의 감성적 상호작용 기법", 한국컴퓨터그래픽스학회, 22(5) (2016)
  8. 박선영, "LLM 모델을 기반으로 한 개인화 NPC의 커뮤니케이션 확장성 고찰", 애니메이션연구, 19(4) (2023)
  9. 김정수, "몰입형 가상현실 기반 모의학습 프로그램이 지적장애학생의 의사소통 능력과학습태도에 미치는 효과 : 편의점을 중심으로", 한국콘텐츠학회논문지, 20(1), pp.0~ (2020)
  10. Ali, "Design of seamless multi-modal interaction framework for intelligent virtual agents in wearable mixed reality environment", Proceedings of the 32nd International Conference on Computer Animation and Social Agents (2019)
  11. Qazi, "Introducing VAIFU: A Virtual Agent for Introducing and Familiarizing Users in VR", 2023 4th International Conference on Computing, Mathematics and Engineering Technologies (iCoMET) (2023)
  12. Zadeh, "Adaptive Virtual Assistant Interaction through Real-Time Speech Emotion Analysis Using Hybrid Deep Learning Models and Contextual Awareness", International Journal of Advanced Human Computer Interaction, 1(1) (2023)
  13. Lee, "Social interactions and relationships with an intelligent virtual agent", International Journal of Human-Computer Studies, 150, pp.102608~ (2021)
  14. Wu, "Emotion Detection by Speech and Voice Tone", ~ (2011)
  15. 최순리, "가상현실을 활용한 가상 튜터의 유형과 설계 방법에 대한 인지와 감정 요소 탐색", 디지털콘텐츠학회논문지, 23(7) (2022)
  16. Ghachem, "Evaluation of a virtual agent in guiding users from the non-clinical population in self-attachment intervention", M, pp.2021
  17. 이승욱, "자동적 에이전트에 의한 온라인게임의 캐릭터 감정 표현", 한국컴퓨터게임학회논문지, 16 (2009)
  18. DeVault, "SimSensei Kiosk: A virtual human interviewer for healthcare decision support", Proceedings of the 2014 international conference on Autonomous agents and multi-agent systems (2014)
  19. Nam, "An emotionally responsive virtual parent for pediatric nursing education: A framework for multimodal momentary and accumulated interventions", 2022 IEEE International Symposium on Mixed and Augmented Reality (ISMAR) (2022)
  20. Ekman, "An argument for basic emotions", Cognition & emotion, 6(3-4) (1992)
  21. Chen, "Speechformer++: A hierarchical efficient framework for paralinguistic speech processing", IEEE, 2023, pp.31, ~
  22. (2019)[URL]
  23. Ekman, "Facial action coding system", Environmental Psychology &Nonverbal Behavior (1978)
  24. Bönsch, "Social VR: How personal space is affected by virtual agents’ emotions", 2018 IEEE conference on virtual reality and 3D user interfaces (VR), pp.199~206 (2018), IEEE
  25. Hortensius, "The perception of emotion in artificial agents", IEEE Transactions on Cognitive and Developmental Systems, 10(4), pp.852~864 (2018)
  26. Jicol, "Effects of emotion and agency on presence in virtual reality", Proceedings of the 2021 CHI conference on human factors in computing systems, pp.1~13 (2021)
  27. Katsarou, "A systematic review of voice-based intelligent virtual agents in EFL education", International Journal of Emerging Technologies in Learning (iJET), 18(10), pp.65~85 (2023)
  28. Linares-Garcia, "Voice-based intelligent virtual Agents(VIVA)to support construction worker productivity", Automation in Construction, 143, pp.104554~ (2022)
  29. Kondratova, "Voice interaction for training: Opportunities, challenges, and recommendations from HCI perspective", International Conference on Human-Computer Interaction, pp.59~75 (2020), Springer International Publishing
  30. Karyotis, "State of the Art in AI Applied to Ambient Intelligence", pp.48~67 (2017), IOS Press
  31. Daher, "Embodied conversational agent for emotional recognition training", Proceedings of ThinkMind, ACHI 2020: The Thirteenth International Conference on Advances in Computer-Human Interactions (2020)
  32. Milcent, "Using facial expressiveness of a virtual agent to induce empathy in users", International Journal of Human–Computer Interaction, 38(3), pp.240~252 (2022)
  33. Perez, "Combining cognition and emotion in virtual agents", Kybernetes, 46(06), pp.933~946 (2017)
  34. Beale, "Affective interaction: How emotional agents affect users", International journal of human-computer studies, 67(9), pp.755~776 (2009)
  35. Choi, "Affective interaction to emotion expressive VR agents", Journal of the Korea Computer Graphics Society, 22(5), pp.37~47 (2016)
  36. de Melo, "The effect of agency on the impact of emotion expressions on people’s decision making", 2013 Humaine Association Conference on Affective Computing and Intelligent Interaction. IEEE, pp.546~551 (2013)
  37. Becker, "Simulating the emotion dynamics of a multimodal conversational agent", tutorial and research workshop on affective dialogue systems, pp.154~165 (2004), Springer Berlin Heidelberg
  38. Selvarajah, "The use of emotions to create believable agents in a virtual environment", Proceedings of the fourth international joint conference on Autonomous agents and multiagent systems, pp.13~20 (2005)
  39. Guimarães, "The impact of virtual reality in the social presence of a virtual agent", Proceedings of the 20th ACM International Conference on Intelligent Virtual Agents, pp.1~8 (2020)
  40. Volonte, "Effects of language familiarity in simulated natural dialogue with a virtual crowd of digital humans on emotion contagion in virtual reality", 2021 IEEE Virtual Reality and 3D User Interfaces (VR). IEEE, pp.188~197 (2021)
  41. Cai, "Human behaviors modeling in multi-agent virtual environment", Multimedia Tools and Applications, 76, pp.5851~5871 (2017)
  42. Volante, "Effects of virtual human appearance fidelity on emotion contagion in affective inter-personal simulations", IEEE transactions on visualization and computer graphics, 22(4), pp.1326~1335 (2016)
  43. Fahim, "Do integral emotions affect trust? The mediating effect of emotions on trust in the context of human-agent interaction", Proceedings of the 2021 ACM Designing Interactive Systems Conference, pp.1492~1503 (2021)
  44. Wang, "Exploring virtual agents for augmented reality", Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems, pp.1~12 (2019)
  45. Pelachaud, C., "Modelling multimodal expression of emotion in a virtual agent", Philosophical Transactions of the Royal Society B : Biological Sciences, 364(1535), pp.3539~3548 (2009)

관련 논문AI추천

감정에 기반한 가상인간의 대화 및 표정 실시간 생성 시스템 구현김기락, 연희연, 은태영, 정문열(사)한국컴퓨터그래픽스학회 · 한국컴퓨터그래픽스학회논문지2022 · 제28권 제3호가상현실 에이전트와의 감성적 상호작용 기법최아영(사)한국컴퓨터그래픽스학회 · 한국컴퓨터그래픽스학회논문지2016 · 제22권 제5호감성 시스템을 이용한 지능형 NPC Agent 구현유길상, 이원형, 장현수, 조재준(사)한국컴퓨터게임학회 · 컴퓨터게임및콘텐츠논문지2009 · 제16호감성 에이전트를 위한 퍼지 정서 모델윤현중, 정성엽한국산업경영시스템학회 · 한국산업경영시스템학회지2014 · 제37권 제4호메타버스 대화의 몰입감 증진을 위한 대화 감정 기반 실시간 배경음악 시스템 구현김기락, 김나현, 이상아, 정문열(사)한국컴퓨터그래픽스학회 · 한국컴퓨터그래픽스학회논문지2023 · 제29권 제4호인공지능 대화형 에이전트의 감정 표현 발화를 위한 종결어미 활용 방안 제안최정민, 홍효림한국디자인트렌드학회 · 한국디자인포럼2022 · 제27권 제3호

이 간행물의 다른 논문 (3건)

ser-M 모델을 활용한 인플루언서 제이크 폴의 쇼비즈니스 성공 전략 분석주송현pp. 9-33마리안느 허쉬의 ‘포스트메모리’이론과 문화매개체의 역할 : 이주용의 작품을 통한 역사적 트라우마의 전승과 치유박계리pp. 35-53에너지 토크 콘서트의 교육적 효과와 사회적 인식 변화 - 다문화적 관점을 중심으로전현아, 김성희pp. 75-91
원문 보기