음향 변수를 활용한 딥페이크 음성 판별
Detection of AI-generated speech using acoustic parameters
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
보이스클로닝은 특정 화자의 목소리 특징을 추출하여 발화를 복제 및 생성, 즉 딥보이스(Deep Voice)를 생성하는AI 기술이다. 이전에는 사람이 듣기에 어색함이 있었지만, 최근 AI 기술이 빠르게 발전함에 따라 짧은 시간의 오디오 샘플만으로도 음성 복제가 가능해지면서 이는 보이스피싱 피해 사례로 이어지고 있다. 이에 본 연구에서는 보이스클로닝을 활용해 생성된 복제 발화를 판별하는 데에 유의한 음향음성학적 변수를 찾아내고자 하였다. 스펙트럼, 켑스트럼, 운율 총 20개의 음향 변수를 선정하여 2원 분산 분석과 로지스틱 회귀분석을 진행하였으며, 자연 발화와 복제 발화에 대한 유사도를 비교하기 위해 청지각 평가와 발화 간 수학적 거리 계산(유클리드, 마할라노비스) 을 진행하였다. 남성 발화의 경우 스펙트럼의 추세 회귀 기울기(tilt)와 발화 속도(speech rate), 여성 발화의 경우 평균 발화 세기(mean intensity)가 발화 구분에 유의한 변수였으며, 분류 모델은 각각 97.5%, 95%의 정확도를 보였다. 발화 간 유사도 비교 결과, 여성 발화의 경우 벡터값의 거리상 가장 가까운 발화와 인간이 유사하다고 느낀 발화가일치하였다.
Abstract
Voice cloning, also known as deep voice synthesis, is an artificial intelligence (AI) technology that extracts a speaker’s vocal characteristics to replicate and generate speech. Until recently, cloned speech often sounded unnatural to human listeners. However, with the rapid advancement of AI technology, it is now possible to replicate voices using only a short audio sample, leading to real-world misuse, such as voice-phishing scams. This study aimed to identify significant acoustic-phonetic variables that help distinguish between natural and cloned speech generated using voice cloning technology. A total of 20 acoustic variables were selected across the spectral, cepstral, and prosodic domains, and analyzed using a two-way ANOVA and logistic regression. Perceptual evaluations and mathematical distance measurements (Euclidean and Mahalanobis distances) were conducted to compare the similarities between natural and cloned utterances. For male speech, the tilt and speech rate were significant variables for classification, whereas for female speech, the mean speech intensity was significant, with classification accuracies of 97.5% and 95%, respectively. In the similarity comparison, for female speech, the utterance perceived by humans as the most similar to natural speech was also the one closest in distance.