운율 및 감정 보존을 향상시키는 음색 변환 기법
Expressive voice conversion enhancing prosody and emotion consistency
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
한국어 음성 변환 작업에서는 음색만이 아닌 운율과 감정의 일관된 전달이 매우 중요하지만, 기존의 음색 변환(voice conversion, VC) 기술은 주로 화자의 음색만을 바꾸는 데 집중되어 있어, 한국어처럼 억양과 리듬이 의미 전달에 중요한 언어에서는 제한적인 성능을 보인다. 특히 대사 전달이 중요한 애니메이션 더빙이나 감정 표현이 중요한 콘텐츠에서 이 문제는 더욱 부각된다. 본 연구는 표현 음색 변환(expressive voice conversion, EVC) 모델을 새롭게 제안하여 이러한 문제를 해소하고자 한다. 제안된 모델은 TriAAN-VC 구조를 기반으로 하며, F0, 에너지, 그리고정서적 차원인 VAD(valence, arousal, dominance)를 통합한 운율 임베딩을 활용하여 한국어의 운율적 특징을 정교하게 반영한다. 또한, MixLN(mix layer normalization)을 통해 화자 인코더 내 운율 정보를 효과적으로 제거하여 화자고유 특성과 운율 사이의 간섭을 줄였다. 아울러, 감정 정보 학습을 위한 VAD 예측 모듈을 추가함으로써, 감정 표현력을 강화하였다. 한국어 화자 데이터를 대상으로 수행한 실험에서는 운율 보존 및 감정 전달 측면에서 기존EVC 모델을 상회하는 성능을 입증하였다. 특히 주관적 평가인 PMOS(prosody mean opinion score)에서 평균 4.11점을 기록하며, 보다 자연스럽고 감정 표현이 풍부한 한국어 음성을 생성함을 확인하였다. 본 연구는 한국어 음색 변환 기술의 정밀성과 표현력을 동시에 향상시킬 수 있는 방향성을 제시한다.
Abstract
In Korean voice-conversion tasks, not only converting speaker identity but also preserving prosody and emotional consistency is essential, as intonation and rhythm are crucial in conveying meaning in the language. However, conventional voice-conversion (VC) systems focus primarily on altering speaker timbre while overlooking expressive aspects such as prosody and emotion. This limitation becomes particularly problematic in applications such as animation dubbing or emotionally expressive voice generation, where nuanced delivery is critical. Hence, we propose a novel expressive voice-conversion (EVC) model. Our model is based on the triple adaptive attention normalization–VC framework and introduces a prosody embedding that combines F0, energy, and emotional attributes represented by valence, arousal, and dominance (VAD). This embedding captures the prosodic characteristics of Korean more precisely. Furthermore, we adopt mix-layer normalization to suppress prosodic information in the speaker encoder, thereby enhancing the separation of speaker identity and prosody. To further strengthen emotional expressiveness, a dedicated VAD predictor is incorporated to guide emotion learning. Experiments conducted on Korean speech data show that our model outperforms existing EVC systems in terms of prosody preservation and emotional delivery. Notably, our model achieves an average prosody mean opinion score of 4.11, thereby indicating the generation of natural and expressive Korean speech. This study demonstrates a promising direction for improving both accuracy and expressiveness in VC systems