CatchAI : 실시간 오디오 딥페이크 탐지 어플리케이션
CatchAI : Real-Time Audio Deepfake Detection Application
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
최근 AI 음성 합성 기술의 발전과 보이스 클로닝 서비스의 확산으로 인해 오디오 딥페이크 위협이 증가하고 있으며, 이를 탐지하기 위한 실시간 대응 기술의 필요성이 대두되고 있다. 본 연구에서는 모바일 기기에서 외부 어플리케이션의 스트리밍 오디오를 실시간으로 캡처하고 딥페이크 여부를 탐지하는 어플리케이션을 구현하였다. 컴퓨팅 자원이 제한된 모바일 환경에서도 안정적인 성능을 제공하기 위해 사전 학습된 경량화된 AI 모델을 적용하고, 탐지 성능 향상과 실시간 응답성을 확보하기 위해 VAD(Voice Activity Detection)와 이동 평균(moving average) 기반 후처리 기법을 결합하였다. 또한 실시간 처리와 정확도 간의 균형을 고려하여 다양한 입력 길이 조건에서 성능을 측정하고, 실시간성과 신뢰도 측면에서 균형 잡힌 결과를 제공하는 구성을 도출하였다. 실험 결과, 제안한 어플리케이션은 2.1초의 입력 길이와 후처리 조합에서 Fake 탐지 정확도 64%, Real 탐지 정확도 89%를 기록하며, 실시간성과 탐지 성능을 동시에 충족할 수 있는 가능성을 입증하였다. 이를 통해 제안한 시스템은 모바일 기반 실시간 오디오 딥페이크 탐지에 실용적인 가능성을 입증하였다. 향후 연구에서는 다양한 환경 조건에서의 안정적인 탐지 성능 확보와 함께, 통화 보안, 음성 인증, 화상회의 등 다양한 응용 분야로의 확장 가능성을 고려한 실증적 연구가 필요하다.
Abstract
With the advancement of AI-based voice synthesis technologies and the growing prevalence of voice cloning services, the threat of audio deepfakes is increasing, highlighting the need for Real-Time Detection solutions. This study implements a mobile application capable of capturing streaming audio from external applications in real time and detecting deepfakes. To ensure stable performance in resource-constrained mobile environments, a pre-trained lightweight AI model is adopted, and post-processing techniques—Voice Activity Detection (VAD) and Moving Average—are combined to improve detection accuracy and real-time responsiveness. The system also evaluates performance across various input durations to identify a configuration that balances responsiveness and reliability. Experimental results show that the proposed application achieved 64% fake detection accuracy and 89% real speech detection accuracy with a 2.1-second input and post-processing, demonstrating its capability to satisfy both real-time and accuracy requirements. These findings confirm the practical feasibility of real-time mobile audio deepfake detection. Future work will focus on enhancing detection stability under diverse environmental conditions and extending the system to other applications such as call security, voice authentication, and video conferencing.