딥러닝을 활용한 한국어 스피치 애니메이션 생성에 관한 고찰
A Study on Korean Speech Animation Generation Employing Deep Learning
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
딥러닝을 활용한 스피치 애니메이션 생성은 영어를 중심으로 활발하게 연구되어왔지만, 한국어에 관해서는 사례가 없었다. 이에, 본 논문은최초로 지도 학습 딥러닝을 한국어 스피치 애니메이션 생성에 활용해 본다. 이 과정에서, 딥러닝이 스피치 애니메이션 연구를 그 지배적 기술인음성 인식 연구로 귀결시킬 수 있는 중요한 효과를 발견하게 되어, 이 효과를 한국어 스피치 애니메이션 생성에 최대한 활용하는 방법을 고찰한다. 이 효과는 연구의 최우선 목표를 명확하게 하여, 근래에 들어 활발하지 않은 한국어 스피치 애니메이션 연구를 효과적이고 효율적으로 재활성화하는데 기여할 수 있다. 본 논문은 다음 과정들을 수행한다: (i) 블렌드쉐입 애니메이션 기술을 선택하며, (ii) 딥러닝 모델을 음성 인식 모듈과 표정코딩 모듈의 주종 관계 파이프라인으로 구현하고, (iii) 한국어 스피치 모션 캡처 dataset을 제작하며, (iv) 두 대조용 딥러닝 모델들을 준비하고(한 모델은 영어 음성 인식 모듈을 채택하고, 다른 모델은 한국어 음성 인식 모듈을 채택하며, 두 모델이 동일한 기본 구조의 표정 코딩 모듈을채택한다), (v) 두 모델의 표정 코딩 모듈을 음성 인식 모듈에 종속되게 학습시킨다. 유저 스터디 결과는, 한국어 음성 인식 모듈을 채택하여 표정코딩 모듈을 종속적으로 학습시킨 모델 (4.2/5.0 점 획득)이, 영어 음성 인식 모듈을 채택하여 표정 코딩 모듈을 종속적으로 학습시킨 모델 (2.7/5.0점 획득)에 비해 결정적으로 더 자연스러운 한국어 스피치 애니메이션을 생성함을 보여 주었다. 이 결과는 한국어 스피치 애니메이션의 품질이한국어 음성 인식의 정확성으로 귀결됨을 보여 줌으로써 상기의 효과를 확인해준다.
Abstract
While speech animation generation employing deep learning has been actively researched for English, there has been no prior workfor Korean. Given the fact, this paper for the very first time employs supervised deep learning to generate Korean speech animation. By doing so, we find out the significant effect of deep learning being able to make speech animation research come down to speechrecognition research which is the predominating technique. Also, we study the way to make best use of the effect for Korean speechanimation generation. The effect can contribute to efficiently and efficaciously revitalizing the recently inactive Korean speech animationresearch, by clarifying the top priority research target. This paper performs this process: (i) it chooses blendshape animation technique,(ii) implements the deep-learning model in the master-servant pipeline of the automatic speech recognition (ASR) module and the facialaction coding (FAC) module, (iii) makes Korean speech facial motion capture dataset, (iv) prepares two comparison deep learning models(one model adopts the English ASR module, the other model adopts the Korean ASR module, however both models adopt the same basicstructure for their FAC modules), and (v) train the FAC modules of both models dependently on their ASR modules. The user studydemonstrates that the model which adopts the Korean ASR module and dependently trains its FAC module (getting 4.2/5.0 points) generatesdecisively much more natural Korean speech animations than the model which adopts the English ASR module and dependently trainsits FAC module (getting 2.7/5.0 points). The result confirms the aforementioned effect showing that the quality of the Korean speechanimation comes down to the accuracy of Korean ASR.
참고문헌 (35)
- 장민정, "한국어 동시조음 모델에 기반한 스피치 애니메이션 생성", 한국컴퓨터그래픽스학회논문지, 26(3), pp.49~59 (2020), (사)한국컴퓨터그래픽스학회[DOI]
- S. L. Taylor, "Dynamic units of visual speech", Proceedings of the ACM SIGGRAPH, 2012, 275~284
- S. Taylor, "A deep learning approach for generalized speech animation", ACM Transactions on Graphics, 36(4), pp.1~11 (2017)
- Y. Zhou, "Visemenet : Audio-driven animator-centric speech animation", ACM Transactions on Graphics, 37(161), pp.1~10 (2018)
- Y. Zhou, "MakeltTalk : Speaker-aware talking-head animation", ACM Transactions on Graphics, 39(6), pp.1~15 (2020)
- H. X. Pham, "End-to-end learning for 3D facial animation from speech", Proceedings of the ACM International Conference on Multimodal Interaction, pp.361~365 (2018)
- D. Cudeiro, "Capture, learning, and synthesis of 3D speaking styles", Proceedings of the IEEE, 2019, 10093~10103
- A. Nagendran, "Avatar led interventions in the metaverse reveal that interpersonal effectiveness can be measured, predicted, and improved", Scientific Reports, 12(1), pp.21892~ (2022)
- "Clients"[URL]
- "Omniverse Audio2Face"[URL]
- "Wav2Lip"[URL]
- T. Ezzat, "Trainable videorealistic speech animation", ACM Transactions on Graphics, 21(3), pp.388~398 (2002)
- F. Shaw, "Expressive modulation of neutral visual speech", IEEE MultiMedia, 23(4), pp.68~78 (2016)
- A. Richard, "MeshTalk : 3D face animation from speech using crossmodality disentanglement", Proceedings of the IEEE, 2021, 1153~1162
- L. Xie, "Handbook of Human Motion", pp.2115~2144 (2018), Springer
- F. I. Parke, "A parametric model of human faces", PhD, pp.1974
- "Facial Expressions in Art, Science, and Technology"[URL]
- S. W. Kim, "A talking head system for Korean text", International Journal of Electrical and Computer Engineering, 3(2), pp.167~170 (2009)
- 김태은, "한글 문자 입력에 따른 얼굴 에니메이션", 한국전자통신학회 논문지, 4(2), pp.116~122 (2009), 한국전자통신학회
- 김탁훈, "애니메이션 캐릭터의 한국어 립싱크 연구 : 영어권 애니메이션의 립싱크 기법을 기반으로", 만화애니메이션연구, (13), pp.97~114 (2008), 한국만화애니메이션학회
- 오현화, "한국어 모음 입술독해를 위한 시공간적 특징에 관한 연구", 한국음향학회지, 21(1), pp.19~26 (2002), 한국음향학회
- H. J. Hyung, "Evaluation of a Korean lip-sync system for an android robot", Proceedings of the IEEE International Conference on Ubiquitous Robots and Ambient Intelligence, pp.78~82 (2016)
- 정일홍, "한국어 음소를 이용한 자연스러운 3D 립싱크 애니메이션", 디지털콘텐츠학회논문지, 9(2), pp.331~339 (2008), 한국디지털콘텐츠학회
- Y. -C. Wang, "Rule-based Korean grapheme to phoneme conversion using sound patterns", Proceedings of the Pacific Asia Conference on Language, Information and Computation, 2, pp.843~850 (2009)
- D. Povey, "The kaldi speech recognition toolkit", Proceedings of the IEEE 2011 Workshop on Automatic Speech Recognition and Understanding, pp.1~4 (2011)
- 임성민, "어텐션 기반 엔드투엔드 음성인식 시각화 분석", 말소리와 음성과학, 11(1), pp.41~49 (2019), 한국음성학회[DOI]
- M. McAuliffe, "Montreal forced aligner : Trainable textspeech alignment using kaldi", Proceedings of the International Speech Communication Association, pp.498~502 (2017)
- "ARFaceAnchor.BlendShapeLocation"[URL]
- R. D. Kent, "Coarticulation in recent speech production models", Journal of Phonetics, 5(2), pp.115~133 (1977)
- P. Edwards, "JALI : An animator-centric viseme model for expressive lip synchronization", ACM Transactions on Graphics, 35(4), pp.1~11 (2016)
- "Blender - a 3D modeling and rendering package"[URL]
- B. Fan, "Photo-real talking head with deep bidirectional LSTM", Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing, pp.4884~4888 (2015)
- "Facebook Models"[URL]
- "Face Cap - Motion Capture"[URL]
- "Zeroth-Korean"[URL]