변형 자동 인코더를 활용한 모션 스타일 이전
Motion Style Transfer using Variational Autoencoder
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문에서는 변형 자동 인코더 네트워크(variational autoencoder network)의 잠재 공간 내에 스타일 자동 인코더 네트워크를 적용하여 컨텐츠 캐릭터의 모션에 스타일 캐릭터 모션의 스타일 정보를 이전하는 프레임워크를 제안한다. 이 프레임워크를 사용하면 기존의 변형 자동 인코더를 통해 얻은 모션의 다양성을 스타일 캐릭터 모션의 스타일 정보를 이전하여 증가시킬 수 있다. 또한 입력 데이터 및 출력 데이터에 모션의 속도 정보를 포함시켜 이전 프레임의 모션에 속도를 적분하여 모션을 계산함으로써, 변형 자동 인코더로 인한 샘플링과 잠재 공간 내에서 스타일 정보가 이전된 새로운 잠재 변수의 디코더 네트워크를 통한 확장으로 발생할 수 있는 부자연스러운 동작을 개선할 수 있다.
Abstract
In this paper, we propose a framework that transfers the information of style motions to content motions based on a variational autoencoder network combined with a style encoding in the latent space. Because we transfer a style to a content motion that is sampled from a variational autoencoder, we can increase the diversity of existing motion data. In addition, we can improve the unnatural motions caused by decoding a new latent variable from style transfer. That improvement was achieved by additionally using the velocity information of motions when generating next frames.
참고문헌 (16)
- Unuma, Munetoshi, "Fou-rier principles for emotion-based human figure animation", Proceedings of the 22nd annual conference on Computer graphics and interactive techniques, pp.91~96 (1995)
- Bruderlin, Armin, "Motion signal pro-cessing", Proceedings of the 22nd annual conference on Com-puter graphics and interactive techniques, pp.97~104 (1995)
- Pullen, Katherine, "Motion capture as-sisted animation : Texturing and synthesis", Proceedings of the 29th annual conference on Computer graphics and interactive techniques, pp.501~508 (2002)
- Yumer, M. Ersin, "Spectral style transfer for human motion between independent actions", ACM Transac-tions on Graphics (TOG), 35(4), pp.1~8 (2016)
- Brand, Matthew, "Style machines", Proceedings of the 27th annual conference on Computer graphics and interactive techniques, pp.183~192 (2000)
- Min Jianyuan, "ACM SIGGRAPH symposium on Interactive 3D Graphics and Games, pp", Proceedings of the 2010 ACM SIGGRAPH symposium on Interactive 3D Graphics and Games, pp.39~46 (2010)
- Holden, Daniel, "Fast neural style transfer for motion data", IEEE computer graphics and applications, 37(4), pp.42~49 (2017)
- Gatys, Leon A., "A neural algorithm of artistic style", arXiv preprint arXiv : 1508. 06576, ~ (2015)
- Du, Han, "Stylistic Locomotion Modeling with Condi-tional Variational Autoencoder", Eurographics(Short Papers), pp.9~12 (2019)
- Bowden, Richard, "Learning statistical models of human motion", IEEE Workshop on Human Modeling, Analysis and Syn-thesis, CVPR (2000)
- Min, Jianyuan, "Motion graphs++ a com-pact generative model for semantic motion analysis and synthe-sis", ACM Transactions on Graphics(TOG), 31(6), pp.1~12 (2012)
- Holden, Daniel, "Learning motion manifolds with con-volutional autoencoders", SIGGRAPH Asia 2015 Technical Briefs, pp.1~4 (2015)
- Motegi Yuichiro, "Human motion generative model using variational autoen-coder", International Journal of Modeling and Optimization, 8(1) (2018)
- Habibie, Ikhsanul, "A recurrent variational autoencoder for human motion synthesis", 28th British Machine Vision Conference (2017)
- Fragkiadaki, Katerina, "Recurrent network models for human dynamics", Proceedings of the IEEE International Con-ference on Computer Vision, pp.4346~4354 (2015)
- Kingma, Diederik P., "Auto-encoding var-iational bayes", arXiv preprint arXiv : 1312. 6114, ~ (2013)