효율적인 딥페이크 이미지 탐지를 위한 CNN 및 ViT 통합 모델 개발
A Combined Model of CNN and ViT for Deepfake Image Detection
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
최근 딥페이크 기술이 고도화됨에 따라 이를 악용한 범죄 사례가 증가하고 있으며, 딥페이크 탐지 기술에 대한 연구의 중요성이 커지고 있다. 본 논문에서는 딥페이크 이미지를 생성하는 기술로는 GAN(Generative Adversarial Network), Autoencoder 등을 활용하였으며, 특히 딥페이크 탐지 성능을 개선하기 위해 CNN(Convolutional Neural Networks)과 ViT(Vision Transformer)를 결합한 CNN-ViT 기반 통합 모델을 제안하였다. CNN을 이용한 탐지 방식은 이미지의 지역적 특징을 학습하며, 딥페이크 이미지에서 나타나는 미세한 왜곡을 효과적으로 탐지할 수 있는 반면, ViT는 이미지를 패치 단위로 분할하여 전체적인 구조를 학습함으로써 전역적 패턴 간의 관계를 파악할 수 있다. CNN-ViT 모델의 성능 평가를 위해 EfficientNet-B0부터 B4까지의 CNN 아키텍처를 ViT와 결합하여 비교 실험을 수행하였다. 또한, 모델의 깊이에 따른 성능을 Precision, Recall, F1-score으로 비교하였고, weight decay, batch size, learning rate의 변화에 따라 탐지 성능에 미치는 영향을 분석하였다. 제안한 CNN-ViT 모델은 WildDeepfake와 FaceForensics++ 데이터셋에서 각각 82.75%, 60.84%의 탐지율을 기록하며 기존 모델 대비 우수한 성능을 보였다.
Abstract
Recently, as deepfake technology has become more advanced, the number of crimes exploiting it has increased, and the importance of research on deepfake detection technology has grown. In this paper, we used GAN (Generative Adversarial Network) and Autoencoder as technologies for generating deepfake images, and proposed a CNN-ViT-based integrated model that combines CNN(Convolutional Neural Networks) and ViT(Vision Transformer) to improve deepfake detection performance, The reason for this approach is that CNN-based detection methods effectively learn local image features and can detect subtle distortions commonly found in deepfake images. On the other hand, ViT has the advantage of capturing global pattern relationships by dividing the image into patches and learning its overall structure. To evaluate the performance of the CNN-ViT model, we performed comparative experiments by combining CNN architectures with ViT from EfficientNet-B0 to B4. In addition, we compared the performance according to the depth of the model with Precision, Recall, and F1-score, and analyzed the effects on the detection performance according to changes in weight decay, batch size, and learning rate. The proposed CNN-ViT model achieved detection rates of 82.75% and 60.84% on the WildDeepfake and FaceForensics++ datasets, respectively, demonstrating superior performance compared to existing models.