A Diffusion Model-based Game Character Synthesis using NullFace
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구에서는 source face와 target face를 합성해서 게임 캐릭터의 얼굴을 효과적으로 생성하기 위한 방법으로 target face의 특징을 제거한 nullface를 생성한 다음 source face의 얼굴의 특징을 적용해서 새로운 얼굴을 합성하는 기법을 제안한다. 이를 위해서 본 연구는 2 가지 모듈을 이용해서 수행된다. 첫 번째 모듈은 nullface를 생성하며, 두번째 모듈은 nullface에 source face의 특징을 적용해서 새로운 얼굴을 합성한다. 이 두 과정 모두 diffusion model에 기반한 방법론을 적용함으로써 효과적인 얼굴 합성 기법을 구현한다.
Abstract
This study proposes an effective method for synthesizing game character faces from both source face and target face by first creating a nullface, which removes the facial features of the target face, and then synthesizing a result face by applying the features of a source face to the nullface. The proposed approach synthesizes a face face using two distinct modules. The first module generates the nullface from the target face, while the second module synthesizes a new face by applying the features of the source face to the nullface. Both processes employs diffusion models to implement an efficient and effective face synthesis technique.
참고문헌 (10)
- Abdal, R, "Clip2StyleGAN: Unsupervised extraction of StyleGAN edit directions", Proc. of the Proc. of ACM SIGGRAPH 2022, pp.1~9 (2022)
- Patashnik, O, "StyleCLIP:Text-driven manipulation of StyleGAN imagery", Proc. of CVPR 2021, pp.2085~2094 (2021)
- Xia, W, "TEDIGAN: Text-guided diverse face image generation and manipulation", Proc. of the Proc. of CVPR 2021, pp.2256~2265 (2021)
- Gal, R, "StyleGAN-NADA: CLIP-guided domain adaptation of image generators", ACM ToG 2022, 41, pp.1~13 (2022)
- Avrahami, O, "Blended diffusion for text-driven editing of natural images", Proc. of CVPR 2022, pp.18208~18218 (2022)
- Kawar, B, "Imagic: Text-based real image editing with diffusion models", Proc. of CVPR 2022, pp.6007~6017 (2022)
- Kim, G, "DiffusionCLIP: Text-guided diffusion models for robust image manipulation", Proc. of CVPR 2022, pp.2426~2435 (2022)
- Ruiz, N, "Dreambooth:Fine tuning text-to-image diffusion models for subject -driven generation", Proc. of CVPR 2023, pp.22500~22510 (2023)