본문 바로가기
KERD
논문KCI 등재

Wishbowl: 버추얼 밴드 아이돌 Verse’day 뮤직비디오 및 몰입형 인터랙티브 공연 제작 사례 연구

Wishbowl: Production Case Study of Music Video and Immersive Interactive Concert of Virtual Band Idol Verse’day

이정진|김다예|이세빈|김경진
(사)한국컴퓨터그래픽스학회 (Korea Computer Graphics Society)|2024.07|한국컴퓨터그래픽스학회논문지 (Journal of the Korea Computer Graphics Society)|제30권 제3호|pp. 23-41

0

조회

0

다운로드

0

인용

0

참고문헌

키워드

Immersive ContentVirtual IdolVirtual Production몰입형 콘텐츠버추얼 프로덕션Virtual Concert버추얼 아이돌가상 콘서트

초록

최근 가상 아바타를 이용하여 가창과 안무를 표현하는 다양한 가상 아바타 음악 콘텐츠가 제작되고 있으며, 가상 아티스트들의 인기가 높아짐에 따라 오프라인에서도 가상 아바타 콘서트를 하는 사례도 등장하고 있다. 하지만 가상 아바타가 악기를 연주하는 밴드 콘텐츠의 제작 사례는 찾아보기 어려우며, 전면의 대형 스크린을 사용하는 오프라인 가상아바타 콘서트는 가상 현실 특유의 환상적인 연출과 높은 자유도를 활용하기 어렵다는 단점이 있다. 본 논문은 이러한제한점에 영감을 얻어, 가상 밴드 아이돌 Verse'day의 가상 아바타 밴드 콘텐츠 제작과 몰입형 인터랙티브 공연 제작사례를 소개한다. 먼저, 본 논문에서는 모션 캡쳐 시스템과 실시간 엔진을 활용해 밴드 연주 애니메이션과 뮤직비디오를 제작한 과정을 소개한다. 이어서, 오프라인 콘서트에서 프로젝션 매핑과 실시간 상호작용 응원봉을 사용해 몰입형인터랙티브 가상 아바타 공연을 제작한 사례를 소개한다. 마지막으로, 본 논문의 제작 사례를 바탕으로 향후 가상 아바타 음악 콘텐츠 제작을 위한 연구 방향을 제언하였다. 우리는 본 제작 사례가 향후 다양한 가상 아바타 음악 콘텐츠 제작과, 몰입형 인터랙티브 오프라인 가상 아바타 콘서트 제작에 영감을 줄 수 있을 것으로 기대한다.

Abstract

Recently, various virtual avatar music content that showcases singing and dancing have been produced, and as virtual artists gain popularity, offline virtual avatar concerts have also emerged. However, there are few examples of virtual avatar band content where avatars play instruments. In addition, offline virtual avatar concerts using large screens at the front are limited in their ability to utilize the fantastical effects and high degree of freedom unique to virtual reality. In this paper, inspired by these limitations of virtual avatar music content, we introduce the production case of virtual avatar band content and immersive interactive concert of virtual band idol Verse'day. Firstly, we present a case study on creating band performance animations and music videos using motion capture systems and real-time engines. Then, we introduce a production case of an immersive interactive concert using projection mapping technology and a light stick that allows real-time interaction in an offline concert. Finally, based on these production cases, we discussed the future research directions of developing virtual avatar music content creation. We expect that our production cases will inspire the creation of diverse virtual avatar music content and the development of immersive interactive offline virtual avatar concerts in the future.

참고문헌 (46)

  1. 김수현, "엔터테인먼트 영역에서의 메타버 스인식과 수용방식 연구 : 에스파(aespa) 팬덤 사례 를중심으로", 한국엔터테인먼트산업학회논문지, 15(7), pp.1~15 (2021), 한국엔터테인먼트산업 학회
  2. "PLAVE 플레이브"[URL]
  3. "MAVE: (메이브)"[URL]
  4. Z. Lu, "More kawaii than a real-person live streamer : Understanding how the otaku community engages with and perceives virtual youtubers", Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems, ser. CHI ’21 (2021), Association for Computing Machinery
  5. S. Lee, ""Ju. t’aime"my idol, my streamer : A case study on fandom experience as audiences and creators of vtuber concert", IEEE Access, 11, pp.31125~31142 (2023)
  6. S. Lee, "The effects of viewing formats and song genres on audience experiences in virtual avatar concerts", Proceedings of the 31st ACM International Conference on Multimedia, ser. MM ’23, pp.6978~6988 (2023), Association for Computing Machinery
  7. "Rock instrument market size, cagr, trends 2024–2030" (2023)[URL]
  8. "Silica gel, day6, the rose: Korean music tastes shift to rock" (2024)[URL]
  9. "Qwer은 어떻게 걸밴드를 대중문화 반열로올렸나" (2024)[URL]
  10. "플레이브→이세돌, 오프라인 콘서트 삼킨버추얼돌" (2024), 나혜인[URL]
  11. "’버추얼 아이돌’ 전성시대. . . ‘오프라인공연’에 팬 10만명 몰렸다" (2024), 고은이[URL]
  12. K. E. Onderdijk, "Concert experiences in virtual reality environments", Virtual Reality, 27(3), pp.2383~2396 (2023)
  13. "MetaHuman Creator" (2024)[URL]
  14. "Wave presents: Justin bieber – an interactive virtual experience" (2021)[URL]
  15. "Fortnite presents: Rift tour featuring ariana grande" (2021)[URL]
  16. S. Lee, "A simulcast system for live streaming and virtual avatar concerts", Journal of the Korea Computer Graphics Society, 29(2), pp.21~30 (2023)[DOI]
  17. Y. Kang, "Codemiko: an interactive vtuber experience", SIGGRAPH Asia 2021 Real-Time Live!, ser. SA ’21 (2021), Association for Computing Machinery
  18. A. Beacco, "Disturbance and Plausibility in a Virtual Rock Concert: A Pilot Study", 2021 IEEE Virtual Reality and 3D User Interfaces (VR), pp.538~545 (2021)
  19. T. Kyriakou, "Virtual instrument performances (vip): A comprehensive review", Computer Graphics Forum, 43(2), pp.e15065~ (2024)
  20. "Isegye festival" (2023)[URL]
  21. "Metaverse Live Entertainment - Worldwid" (2024)[URL]
  22. D. Swarbrick, "Corona concerts : The effect of virtual con-cert characteristics on social connection and kama muta", Frontiers in Psychology, 12, pp.2021~ (2021)
  23. F. Vandenberg, "Put your"hand emotes in the air : "twitch concerts as unsuccessful large-scale interaction rituals", Symbolic Interaction, 45(3), pp.425~448 (2022)
  24. C. Cruz-Neira, "Surround-screen projection-based virtual reality : the design and implementation of the cave", Proceedings of the 20th Annual Conference on Computer Graphics and Interactive Techniques, ser. SIGGRAPH ’93, pp.135~142 (1993), Association for Computing Machinery
  25. "메타버스로 탄생한 버추얼 아이돌 verse’day(벌스데이) 데뷔" (2022), 임해중[URL]
  26. (2024)[URL]
  27. "Perception neuron studio - professional and precise mocap suit" (2024)[URL]
  28. "Unreal engine" (2024)[URL]
  29. "Perception neuron studio gloves" (2024)[URL]
  30. "Perception neuron — axis studio motion capture software" (2024)[URL]
  31. "Perception neuron help center: Perception neuron studio" (2024)[URL]
  32. "Live link face for unreal engine" (2024)[URL]
  33. "Developing for arkit" (2024)[URL]
  34. "Ik rig editor" (2024)[URL]
  35. "Ik rig retargeting" (2024)[URL]
  36. "Retargeting bipeds with ik rigs" (2024)[URL]
  37. "Look at" (2024)[URL]
  38. "Creating visual effects" (2024)[URL]
  39. "Cine camera actor" (2024)[URL]
  40. "Sequencer overview" (2024)[URL]
  41. "Camera rigs" (2024)[URL]
  42. (2024)[URL]
  43. H. Yakura, "Enhancing participation experience in vr live concerts by improving motions of virtual audience avatars", 2020 IEEE International Symposium on Mixed and Augmented Reality (ISMAR), pp.555~565 (2020)
  44. W. Oshiro, "Evaluation of virtual audience synchronized with cheering motion of the user’s light stick during music concerts", HCI International 2024 Posters, pp.332~340 (2024), Springer Nature Switzerland
  45. "Rendering to multiple displays with ndisplay" (2024)[URL]
  46. J. Lee, "Screenx : Public immersive theatres with uniform movie viewing experiences", IEEE Transactions on Visualization and Computer Graphics, 23(2), pp.1124~1138 (2017)

관련 논문AI추천

라이브 스트리밍 및 가상 아바타 공연을 위한 동시 송출 시스템이근모, 이세빈, 이정진, 정승화, 한성규(사)한국컴퓨터그래픽스학회 · 한국컴퓨터그래픽스학회논문지2023 · 제29권 제2호Types and Characteristics of Idol Avatars in Metaverse Entertainment Platforms정혜균, 한정엽한국공간디자인학회 · 한국공간디자인학회 논문집2024 · 제19권 제2호실감 기술의 적용이 국내 아이돌 VR 콘서트 관람 경험에 미치는 상관관계 분석김동언, 김혜진예술디자인연구원 · 예술· 디자인학연구2025 · 제28권 제1호버추얼 아이돌 한･일 연구 동향 비교박은주한국일본근대학회 · 일본근대학연구2025 · 제88호한국 가상 아이돌 그룹의 콘텐츠에 나타난 디지털 기술 및 패션의 특징서승희, 설가예한국패션비즈니스학회 · 패션 비즈니스2023 · 제27권 제1호초소형 버추얼 프로덕션 환경에서 디지털 휴먼을 이용한 촬영 사례김유진, 박민수, 이수빈, 임재호, 장민정, 전상욱(사)한국컴퓨터그래픽스학회 · 한국컴퓨터그래픽스학회논문지2023 · 제29권 제3호

이 간행물의 다른 논문 (18건)

과수원 자율 주행을 위한 과수 줄 인식 및 2차원 지도 생성 방법김덕수, 윤호영pp. 1-8Origin-Destination 기반 시각화 도구의 개발 및 사회 문제 해결을 위한 사용자 연구황성진, 김한성, 차재혁, 이수기, 김광욱, 김창기pp. 9-22XR Hands를 통한 가상 객체들과의 상호 작용에 관한 연구김성기, 조범준pp. 43-49디퓨전 오토인코더의 시선 조작 데이터 증강을 통한 시선 추적김용규, 김영한, 박용준, 문강륜pp. 51-59메타 퀘스트 프로를 활용한 혼합현실 기반 가상 전기회로 실습교육 콘텐츠 제작정구현, 김종선, 조윤식, 김진모, 박에스더, 공수민, 노경빈pp. 61-69
원문 보기