StyleGAN을 활용한 다각도 2D 이미지 생성 기반의3D 얼굴 특징점 추출 개선
Improving 3D Facial Feature Extraction based on Multi-angle 2D Image Generation using StyleGAN
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문은 StyleGAN Encoder를 활용하여 단일 2D 이미지로부터 다각도의 얼굴 이미지를 생성하고, 이를 기존 3D 얼굴 특징점추출 네트워크의 입력 구조에 통합하여 3D 모델의 정확성을 향상시키는 새로운 방법을 제안한다. 기존의 단일 이미지 기반 접근법은 입력 데이터의 제한으로 인해 각도에 따른 왜곡이나 정보 손실이 발생하는 한계가 있다. 이를 해결하기 위해, 본 연구에서는StyleGAN Encoder를 활용해 생성된 다각도의 이미지를 입력으로 사용함으로써 3D 얼굴 모델링의 정밀도와 안정성을 동시에 개선하였다. 제안된 방법은 다각도의 정보를 제공하는 생성 이미지를 기존 3D 얼굴 특징점 추출 네트워크의 입력 구조에 통합하는방식으로 구현되었다. 이렇게 생성된 다각도 이미지는 각기 다른 시점에서 얼굴의 구조적 특성을 포착할 수 있어 기존의 단일 이미지 입력보다 더욱 풍부한 정보를 제공한다. 또한, 입력 구조의 개선을 통해 다각도 데이터를 입력하여 3D 얼굴 특징점을 더욱 정교하게 생성한다. 실험은 NoW 데이터셋을 활용하여 진행되었으며, 생성된 3D 얼굴 모델과 Ground Truth 3D 모델 간의 mesh 거리를 비교하였다. 실험 결과, PRNet은 평균 1.99, 표준편차 1.90, 3DDFA 모델은 평균 1.87, 표준편차 1.82에 비해, 제안된 방법은 평균 1.71, 표준편차 1.65로 측정되었다. 이는 제안된 방법이 기존 접근법에 비해 3D 얼굴 모델링의 정밀성과 안정성을 개선하였음을 보여준다. 또한, 표준편차의 감소는 더욱 안정적으로 3D 얼굴 모델을 생성하여 성능 향상을 확인하였다.
Abstract
In this paper, we propose a novel method that utilizes the StyleGAN Encoder to generate multi-view facialimages from a single 2D image, integrating them into the input structure of an existing 3D facial landmarkextraction network to improve the accuracy of 3D modeling. Traditional single-image-based approaches arelimited by the input data, which can lead to distortions or information loss due to variations in angles. To addressthis limitation, this study improves both the precision and stability of 3D face modeling by using multi-viewimages generated via the StyleGAN Encoder. The proposed method integrates the generated multi-view images intothe input structure of the existing 3D facial landmark extraction network, providing richer information comparedto single-image inputs by capturing structural characteristics of the face from various viewpoints. Additionally, byimproving the input structure, the multi-view data allows for more precise generation of 3D facial landmarks. Experiments were conducted using the NoW dataset, comparing the mesh distance between the generated 3D facemodel and the ground truth 3D model. The experimental results showed that PRNet achieved an average meshdistance of 1.99 with a standard deviation of 1.90, while the 3DDFA model recorded an average of 1.87 with astandard deviation of 1.82. In comparison, the proposed method achieved an average mesh distance of 1.71 witha standard deviation of 1.65. These results demonstrate that the proposed approach improves the precision andstability of 3D face modeling compared to existing methods. Furthermore, the reduction in standard deviationindicates enhanced stability in generating 3D face models, confirming the performance improvements.
참고문헌 (9)
- Feng, Yao, "Joint 3d face reconstruction and dense alignment with position map regression network", Proceedings of the European conference on computer vision (ECCV) (2018)
- Guo, Jianzhu, "Towards fast, accurate and stable 3d dense face alignment", European Conference on Computer Vision (2020), Springer International Publishing
- Richardson, Elad, "3D face reconstruction by learning from synthetic data", 2016 fourth international conference on 3D vision (3DV) (2016), IEEE
- Chai, Zenghao, "Hiface: High-fidelity 3d face reconstruction by learning static and dynamic details", Proceedings of the IEEE, 2023, ~
- Richardson, Elad, "Encoding in style: a stylegan encoder for image-to-image translation", Proceedings of the IEEE, 2021, 2287~2296
- Blanz, Volker, "A morphable model for the synthesis of 3D faces", Seminal Graphics Papers: Pushing the Boundaries, pp.157~164 (2023)
- Sanyal, Soubhik, "Learning to regress 3D face shape and expression from an image without 3D supervisio", Proceedings of the IEEE, 2019, ~