RVC 알고리즘을 이용한 국악 판소리 음성 변환 연구 - 김소희 명창의 음성변환을 중심으로
Transforming the Traditional Korean Pansori Voice with RVC Algorithms
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구의 목적은 RVC 모델을 국악 판소리에도 적용가능한가를 김소희 명창의 음성을 변환하는 실험을 수행하여 검증하는 것으로 RVC 알고리즘을 사용하여 국악 판소리 음성을 다른 음성으로 변환하는 방법을 제안하고, 그 성능을 평가하였다. 두 실험 모두 김소희 명창의 음원파일에서 RVC 모델을 추출하였으며, 데이터셋은 아리랑, 《춘향가》, 상주아리랑, 구음, 운담풍경으로 구성되었다. 또한, 두 실험 모두 백아의 <첫사랑>, 아이유의 <바다>, 고교생 판소리 가수의 음원에 적용하여 변환 결과를 평가하였다. 실험 결과에 따르면, 2차 실험에서 음색 유사도와 자연스러움이 모두 향상되었으며, 학습 시간과 자원이 모두 감소되었다. 본 연구의 의미는 RVC 음성복제(voice cloning)가 판소리와 같은 전통 예술 장르에도 적용 가능한 음성변환 기술임을 입증하고 판소리와 다른 장르의 음성변환을 통해 새로운 예술적 표현과 창작의 가능성을 타진했다는 것이다.
Abstract
This study aims to assess the applicability of the RVC model to Korean traditional pansori by converting master Pansori artist Kim So-hee’s voice and evaluating its performance. Two experiments were conducted using Kim So-hee’s sound files and a dataset including various pansori pieces. The conversion results were tested with different sound sources. The second experiment showed improvements in tone similarity, naturalness, and efficiency in terms of learning time and resources. The study demonstrates that RVC voice cloning technology can be applied to traditional art forms like pansori, opening up new possibilities for artistic expression and creation through voice conversion across different genres.
참고문헌 (20)
- 김정태, "판소리 득음 연구", 박사, 국어국문학, pp.2011
- 박은지, "최근 인공지능 음악 생성기에 대한 심층 분석", 한국예술연구, (44) (2024), 한국예술연구소[DOI]
- 오원근, "음질 평가법의 표준과 연구 동향-전송 처리음 분야", 한국음향학회지, 32(3) (2013), 한국음향학회[DOI]
- "Real-time Detection of AI-Generated Speech for DeepFake Voice Conversion" (2023)[URL]
- Feffer, M., "DeepDrake ft. BTS-GAN and TayloRVC:An Exploratory Analysis of Musical Deepfakes and Hosting Platforms", HCMIR23:2nd Workshop on Human-Centric Music Information Research (2023), HCMIR Organizing Committee
- Peng, Z., "Singing Voice Conversion Between Popular Music and Chinese Opera Based on VITS", 2023 IEEE Intl Conf on Dependable, Autonomic and Secure Computing, Intl Conf on Pervasive Intelligence and Computing, Intl Conf on Cloud and Big Data Computing, Intl Conf on Cyber Science and Technology Congress (DASC, CBDCom, pp.CyberSciTech), 2023
- Pleshkova, S., "Development of speech recognition algorithm and labview model for voice command control of mobille robot motio", 2018 international conference on high technology for sustainable development (HiTech) (2018), IEEE
- "藝家를 찾아서 - 명창 김소희의 후손들: “백 년에 하나 날까 말까 한하늘이 내린 소리”" (2017)[URL]
- "｢명창 김소희의 판소리｣. 김영동교수의 고전 & Life"[URL]
- "한국민족문화대백과사전 - 판소리 창법"[URL]
- "GitHub - Render-AI/realistic-voice-cloning: A WebUI to create song covers with any RVC"[URL]
- "Realtime AI Voice Changer Using RVC (Retrieval-based Voice Conversion w./ w-okada)"[URL]
- "RVC Models - Download RVC Voice AI Models"[URL]
- "RVC Voice - Life4Tech"[URL]
- "RVC Voice Changer - voice.ai"[URL]
- "RVC-Project/Retrieval-based-Voice-Conversion-WebUI"[URL]