페이셜 리그에 대한 페이셜 캡처 데이터의 다이렉트 리타겟팅 방법
Direct Retargeting Method from Facial Capture Data to Facial Rig
2
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
본 논문은 페이셜 캡처 데이터로부터 페이셜 리그에 대한 다이렉트 리타겟팅을 수행하는 새로운 방법론에 대하여 다룬다. 페이셜리그는프로덕션파이프라인에서아티스트가손쉽게페이셜애니메이션을제작하기위하여만들어진제작도구로서, 모션 캡처 등으로 생성된 얼굴 애니메이션 데이터를 페이셜 리그에 매핑할 경우 아티스트에게 친숙한 방식으로 손쉽게 수정, 편집할 수 있으므로 작업 능률을 크게 향상시킬 수 있다는 장점이 있다. 그러나, 페이셜 리그는 그 종류와 작동 방식이 매우다양하므로, 다양한 페이셜 리그에 대하여 강건하고 안정적으로 모션 데이터를 매핑할 수 있는 일반화된 방법을 찾기는 쉽지않다. 이를 위하여, 본 논문은 캡처된 얼굴 모션 중 몇 개의 대표적 표정에 대하여 아티스트가 페이셜 리그로 제작한 표정을예제로 학습시키는 데이터 기반 페이셜 리타겟팅 방식을 제안한다. 이를 통하여 우리는 아티스트가 페이셜 캡처 데이터를 기존애니메이션파이프라인의페이셜리그를활용하여손쉽게수정할수있도록할뿐아니라,수십수백개의대응점을일일이지정해 주어야 하거나 사람과 많이 다른 동물 및 괴물 형태의 얼굴에는 리타겟팅이 잘 이루어지지 않았던 기존 대응점 기반리타겟팅 방식의 한계점 또한 극복할 수 있었다. 본 논문의 결과물들은 우리의 방식이 제공하는 단순하면서도 직관적인 얼굴애니메이션 리타겟팅이 실제 애니메이션 프로덕션에서 얼마나 효율적으로 활용될 수 있는지를 보여준다.
Abstract
This paper proposes a method to directly retarget facial motion capture data to the facial rig. Facial rig is an essential tool in the production pipeline, which allows helping the artist to create facial animation. The direct mapping method from the motion capture data to the facial rig provides great convenience because artists are already familiar with the use of a facial rig and the direct mapping produces the mapping results that are ready for the artist’s follow-up editing process. However, mapping the motion data into a facial rig is not a trivial task because a facial rig typically has a variety of structures, and therefore it is hard to devise a generalized mapping method for various facial rigs. In this paper, we propose a data-driven approach to the robust mapping from motion capture data to an arbitary facial rig. The results show that our method is intuitive and leads to increased productivity in the creation of facial animation. We also show that our method can retarget the expression successfully to non-human characters which have a very different shape of face from that of human.
참고문헌 (17)
- Lance Williams, "Performance-driven facial animation", ACM SIGGRAPH Computer Graphics, 24(4), pp.235~242 (1990), Association for Computing Machinery (ACM)[DOI]
- B. Bickel, "Multi-scale capture of facial geometry and motion", ACM Transactions on Graphics (TOG), 26(3), pp.33~ (2007)
- E. Chuang, "Performance driven facial animation using blendshape interpolation", Computer Science Technical Report, Stanford University, 2(2), pp.3~ (2002)
- T. Baltruˇsaitis, "3d constrained local model for rigid and non-rigid facial tracking", Computer Vision and Pattern Recognition (CVPR), 2012IEEE Conference, pp.2610~2617 (2012), IEEE
- T. Weise, "Realtime performance-based facial animation", ACM Transactions on Graphics (TOG), 30(4), pp.77~ (2011), ACM
- Li Zhang, "Spacetime faces: High resolution capture for modeling and animation", ACM Transactions on Graphics, 23(3), pp.548~558 (2004), Association for Computing Machinery (ACM)[DOI]
- Yilong Liu, "Video-audio driven real-time facial animation", ACM Transactions on Graphics, 34(6), pp.182:1~182:10 (2015), Association for Computing Machinery (ACM)[DOI]
- K. S. Bhat, "High fidelity facial animation capture and retargeting with contours", Proceedings of the 12th ACM SIGGRAPH, 2013, 7~14[DOI]
- Q. Li, "Orthogonal-blendshape-based editing system for facial motion capture data", Computer Graphics and Applications, IEEE, 28(6), pp.76~82 (2008)
- Yeongho Seol, "Spacetime expression cloning for blendshapes", ACM Transactions on Graphics, 31(2), pp.14:1~14:12 (2012), Association for Computing Machinery (ACM)[DOI]
- V. Orvalho, "A facial rigging survey", Proc. of the 33rd Annual Conference of the European Association for Computer Graphics-Eurographics, pp.10~32 (2012)
- H. Pyun, "An example-based approach for facial expression cloning", Proceedings of the 2003 ACM SIGGRAPH, 2003, 167~176
- Z. Deng, "Animating blendshape faces by cross-mapping motion capture data", Proceedings of the 2006 symposium on Interactive 3D graphics and games, pp.43~48 (2006), ACM
- J. Song, "Characteristic facial retargeting", Computer Animation and Virtual Worlds, 22(2-3), pp.187~194 (2011)
- T. McLaughlin, "Character rigging, deformations, and simulations in film and game production", ACM SIGGRAPH 2011 Courses, pp.5~ (2011), ACM
- J. F. Cohn, "The handbook of emotion elicitation and assessment", pp.203~221 (2007)
- Keith Waters, "A muscle model for animation three-dimensional facial expression", ACM SIGGRAPH Computer Graphics, 21(4), pp.17~24 (1987), Association for Computing Machinery (ACM)[DOI]