고품질 합성 데이터를 활용한 YOLO 기반 얼굴 랜드마크 검출 및 실시간 안면 방향 추정
A Real-time Head Pose Estimation via YOLO-based Facial Landmark Detection using High-Fidelity Synthetic Data
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
데이터 수집 제약과 Sim2Real 간극은 안면 방향 추정 시스템 개발의 주요 과제이다. 본 연구는이 간극을 해소하고자 시각적 노이즈에 강건한 기하학적 랜드마크 정보를 핵심 특징으로 채택하였다. 방법론은 2단계 파이프라인으로 구성된다. 첫째, Unreal Engine과 MetaHuman을 활용하여대규모 합성 데이터셋을 구축한다. 둘째, 합성 데이터와 실제 BIWI 데이터를 혼합하여YOLOv11-pose 모델을 얼굴 랜드마크 검출기로 학습시키고, 랜드마크 좌표 기반으로 3축 각도Roll, Pitch, Yaw를 실시간 추정한다. 실제 BIWI 데이터셋 검증에서 안면방향추정 모델은Near-frontal 영역을 대상으로 한 검증에서 1.00도의 낮은 MAE를 보였으며, 최종 시스템은 웹캠 환경에서 21.2 FPS의 실시간 처리 속도를 보였다. 결론적으로, 합성 및 실제 데이터 결합과 랜드마크 기반은 정밀한 안면 방향 추정 기술의 실시간 적용 가능성을 제시한다.
Abstract
Data collection constraints and the Sim2Real gap are primary challenges in developing head pose estimation systems. This study adopts geometric landmark information, which is robust against visual noise, as a core feature to bridge this gap. The methodology consists of a two-stage pipeline. First, a large-scale synthetic dataset is constructed using Unreal Engine and MetaHuman. Second, the YOLOv11-pose model is trained as a facial landmark detector using a mixture of synthetic data and the real-world BIWI dataset. The system then estimates the three-axis angles—Roll, Pitch, and Yaw—in real-time based on the detected landmark coordinates. In evaluations using the BIWI dataset, the model achieved a low Mean Absolute Error (MAE) of 1.00° in the near-frontal region. Furthermore, the final system ensured a real-time processing speed of 21.2 FPS in a webcam environment. In conclusion, the integration of synthetic and real data with a landmark-based approach demonstrates the feasibility of precise, real-time head pose estimation.