대규모 멀티모달 언어 모델을 활용한 딥페이크 이미지 탐지 연구
Deepfake Image Detection via Multimodal Large Language Models
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
최근 딥페이크 이미지 생성 기술의 발달로 이를 악용하는 사례가 증가하고 있다. 그러나 기존의 딥페이크 탐지 기술은 대량의 학습 데이터와 장기간의 훈련이 필요하며, 새로운 딥페이크 생성 기술 유형에 대응하기 어렵고 설명 가능성이 부족하다는 한계를 지닌다. 본 연구에서는 대규모 멀티모달 언어 모델인 GPT-4o와 GPT-4o-mini를 활용하여 텍스트와 시각적 단서를 결합한 딥페이크 이미지 탐지 방식을 제안한다. 또한 제로샷, 퓨샷, 멀티턴 제로샷, 연쇄 추론, 자기 일관성 등의 프롬프트 엔지니어링 기법을 도입하여 모델의 탐지 성능을 평가하고 비교하였다. 실험 결과, GPT-4o-mini는 딥페이크 이미지 정확도가 최대 55.4%에 그쳐 초기 제로샷 성능이 낮게 도출되었으나, 멀티턴 제로샷 및 자기 일관성 등의 프롬프트 엔지니어링을 통해 딥페이크 탐지 정확도 90% 이상으로 크게 개선할 수 있음을 확인하였다. GPT-4o는 제로샷 기법만으로 AUC score 93.06%이상의 높은 탐지율을 보였고, 후처리된 이미지에서도 90% 이상의 탐지 성능을 나타내 강건성을 보였다. 아울러, 모델의 추론 과정을 투명하게 제시함으로써 탐지 결과에 대한 신뢰성을 높이고, 법적·윤리적 문제 해결에 기여할 수 있음을 확인하였다.
Abstract
Recent advances in deepfake image generation technology have led to a surge in malicious applications. However, existing deepfake detection methods often require large datasets and prolonged training periods, struggle to adapt to new types of deepfake generation, and lack explainability. In this study, we propose a deepfake image detection approach that combines textual and visual cues using large-scale multimodal language models, GPT-4o and GPT-4o-mini. We further introduce various prompt engineering techniques—such as zero-shot, few-shot, multi-turn zero-shot, chain-of-thought, and self-consistency—to evaluate and compare the detection performance of these models. Experimental results show that while GPT-4o-mini initially achieved a maximum detection accuracy of only 55.4% under zero-shot settings, its performance improved significantly to over 90% by employing multi-turn zero-shot and self-consistency prompts. Meanwhile, GPT-4o achieved an AUC score exceeding 93.06% even without additional training and maintained over 90% accuracy on post-processed images, demonstrating robust performance. Moreover, by transparently presenting the model’s reasoning process, we confirm that this approach can enhance the reliability of detection results and contribute to addressing legal and ethical challenges.