자유대화의 음향적 특징 및 언어적 특징 기반의성인과 노인 분류 성능 비교
Comparison of Classification Performance Between Adult and Elderly Using Acoustic and Linguistic Features from Spontaneous Speech
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
사람은 노화과정에 따라 발화의 호흡, 조음, 높낮이, 주파수, 언어 표현 능력 등이 변화한다. 본 논문에서는 이러한 변화로부터 발생하는 음향적,언어적 특징을 기반으로 발화 데이터를 성인과 노인 두 그룹으로 분류하는 성능을 비교하고자 한다. 음향적 특징으로는 발화 음성의 주파수(frequency), 진폭(amplitude), 스펙트럼(spectrum)과 관련된 특징을 사용하였으며, 언어적 특징으로는 자연어처리 분야에서 우수한 성능을 보이고있는 한국어 대용량 코퍼스 사전학습 모델인 KoBERT를 통해 발화 전사문의 맥락 정보를 담은 은닉상태 벡터 표현을 추출하여 사용하였다. 본논문에서는 음향적 특징과 언어적 특징을 기반으로 학습된 각 모델의 분류 성능을 확인하였다. 또한, 다운샘플링을 통해 클래스 불균형 문제를해소한 뒤 성인과 노인 두 클래스에 대한 각 모델의 F1 점수를 확인하였다. 실험 결과로, 음향적 특징을 사용하였을 때보다 언어적 특징을 사용하였을때 성인과 노인 분류에서 더 높은 성능을 보이는 것으로 나타났으며, 클래스 비율이 동일하더라도 노인에 대한 분류 성능보다 성인에 대한 분류성능이 높음을 확인하였다.
Abstract
This paper aims to compare the performance of speech data classification into two groups, adult and elderly, based on the acousticand linguistic characteristics that change due to aging, such as changes in respiratory patterns, phonation, pitch, frequency, and languageexpression ability. For acoustic features we used attributes related to the frequency, amplitude, and spectrum of speech voices. As forlinguistic features, we extracted hidden state vector representations containing contextual information from the transcription of speechutterances using KoBERT, a Korean pre-trained language model that has shown excellent performance in natural language processingtasks. The classification performance of each model trained based on acoustic and linguistic features was evaluated, and the F1 scoresof each model for the two classes, adult and elderly, were examined after address the class imbalance problem by down-sampling. Theexperimental results showed that using linguistic features provided better performance for classifying adult and elderly than using acousticfeatures, and even when the class proportions were equal, the classification performance for adult was higher than that for elderly.
참고문헌 (20)
- 김정완, "노년층 의사소통능력에 대한 문헌연구", Communication Sciences and Disorders, 14(4), pp.495~513 (2009), 한국언어청각임상학회
- G. Gosztolya, "Identifying mild cognitive impairment and mild Alzheimer’s disease based on spontaneous speech using ASR and linguistic features", Computer Speech & Language, 53, pp.181~197 (2019)
- M. R. Morales, "Speech vs. text : A comparative analysis of features for depression detection systems", 2016 IEEE spoken language technology workshop (SLT) (2016), IEEE
- I. Vigo, "Speech-and languagebased classification of alzheimer’s disease : A systematic review", Bioengineering, 9(1), pp.27~ (2022)
- M. Ehghaghi, "Data-driven approach to differentiating between depression and dementia from noisy speech and language data", arXiv preprint arXiv : 2210. 03303, ~ (2022)
- S. H. Han, "Comparison of classification performance between adult and elderly using acoustic and linguistic features from spontaneous speech", Proceedings of the Korea Conference on Software Engineering (KCSE) 2023, 25, pp.117~118 (2023)
- F. Eyben, "Opensmile : The munich versatile and fast open-source audio feature extractor", Proceedings of the 18th ACM International Conference on Multimedia, pp.1459~1462 (2010)
- "KoBERT"[URL]
- F. Rangel, "Overview of the 3rd Author Profiling Task at PAN 2015", Conference and Labs of the Evaluation Forum (2015)
- A. Liesenfeld, "Predicting gender and age categories in English conversations using lexical, non-lexical, and turn-taking features", arXiv preprint arXiv : 2102. 13355, ~ (2021)
- J. Devlin, "Bert : Pre-training of deep bidirectional transformers for language understanding", arXiv preprint arXiv : 1810. 04805, ~ (2018)
- B. P. R. Guda, "Empathbert : A bert-based framework for demographic-aware empathy prediction", arXiv preprint arXiv : 2102. 00272, ~ (2021)
- B. Schuller, "Cross-corpus acoustic emotion recognition : Variances and strategies", IEEE Transactions on Affective Computing, 1(2), pp.119~131 (2010)
- F. Eyben, "The Geneva minimalistic acoustic parameter set(GeMAPS)for voice research and affective computing", IEEE Transactions on Affective Computing, 7(2), pp.190~202 (2015)
- B. Schuller, "The INTERSPEECH 2010 paralinguistic challenge", ~ (2010)
- F. Burkhardt, "Age classification : Comparison of human vs machine performance in prompted and spontaneous speech", Studientexte zur Sprachkommunikation: Elektronische Sprachsignalverarbeitung 2021, pp.35~42 (2021)
- T. Pires, "How multilingual is multilingual BERT?", arXiv preprint arXiv : 1906. 01502, ~ (2019)
- S. Lee, "Kr-bert : A small-scale korean-specific language model", arXiv preprint arXiv : 2008. 03979, ~ (2020)
- "자유대화 음성(일반남여)"[URL]
- "자유대화 음성(노인남여)"[URL]