메쉬 구조 비종속적 음성 기반 3차원 발화 애니메이션 생성
Mesh-Agnostic Audio-Driven 3D Facial Animation Generation
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구에서는 임의의 메쉬 구조를 가진 3차원 얼굴 모델에 대응 가능한 음성 기반 얼굴 발화 애니메이션 생성 방법을 제안 한다. 기존의 신경망 기반 연구는 템플릿 얼굴 모델의 메쉬 구조를 바탕으로 음성 입력과 애니메이션 간의 매핑을 학습하기 때문에 새로운 메쉬 구조를 가진 얼굴 모델에 적용하기 어렵다. 본 방법은 새로운 신경망 모델 Wav2Rig를 통해 메쉬 구조에 비종속적인 변형 전달 (mesh-agnoistic deformation transfer) 이 가능한 사전학습신경망 모델의 잠재공간과 음성 입력 간의 매핑을 학습하여 새로운 형태와 구조의 3차원 얼굴 모델에 대한 발화 애니메이션 생성을 가능케 한다. Wav2Rig는 음성입 력으로부터 해석 가능한 잠재코드 시퀀스를 생성하고, 사전학습신경망 모델은 각 잠재코드를 기반으로 대상 얼굴 모델을 변형하여 발화 애니메이션을 생성한다. 제안 기법은 학습된 메쉬 구조에 대해 높은 정확도를 달성함은 물론, 기존 방법으로는 불가능했던 다양한 메쉬 구조의 얼굴 모델에도 안정적으로 발화 애니메이션을 생성할 수 있음을 실험을 통해 검증하였다. 또한, Wav2Rig에서 생성되는 표현 잠재코드는 직관적인 애니메이션 조작을 가능하게 하며, wav2vec 2.0에서 추출된 음성 신호 특징중중간계층의 특징이 3차원 얼굴 발화 애니메이션성능 향상에 효과적임을 추가 분석을 통해 확인하였다.
Abstract
We present an end-to-end approach to animating a 3D face mesh with arbitrary shape and triangulation from a given speech audio. Previous approaches employ a neural network that can only drive a 3D face mesh in learned mesh structure, which limits the generalizability. To address this, our method leverages a pretrained mesh-agnostic deformation transfer model to enable the animation of a 3D face mesh with arbitrary shape and triangulation that are unseen during the training. Specifically, we design a mapping network Wav2Rig that produces a sequence of interpretable expression codes from the input audio. The pre-trained deformation network then deforms the target mesh according to the sequence of produced expression codes, resulting in a 3D facial animation. A set of experiments verifies that the proposed method achieves state-of-the-art results on the trained mesh topology and is capable of driving unseen 3D face meshes in different mesh topologies, which is impossible by previous methods. In addition, the interpretable expression codes from the Wav2Rig model enable easy manipulation of the generated facial animation. Lastly, we further delved into the analysis of audio features extracted from wav2vec 2.0 and found that the features from the middle layers of wav2vec 2.0 enhance the performance of audio-driven 3D facial animation.