음성데이터 증강을 통한 3D 특징 벡터 기반 신생아 울음소리 분류
Classification of Infant Crying Audio based on 3D Feature-Vector through Audio Data Augmentation
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
영아는 비언어적 의사 소통 방식인 울음이라는 수단을 사용한다[1]. 하지만 영아의 울음소리를파악하는 것에는 어려움이 따른다. 영아의 울음소리를 해석하기 위해 많은 연구가 진행되었다[2,3]. 이에 본 논문에서는 다양한 음성 데이터 증강을 통한 3D 특징 벡터를 이용한 영아의 울음소리 분류를 제안한다. 연구에서는 총 5개의 클래스 복통, 하품, 불편함, 배고픔, 피곤함(belly pain, burping, discomfort, hungry, tired)로 분류된 데이터 세트를 사용한다. 데이터들은 5가지 기법(Pitch, Tempo, Shift, Mixup-noise, CutMix)을 사용하여 증강한다. 증강 기법 중에서 Tempo, Shift, CutMix 기법을 적용하였을 때 성능의 향상을 보여주었다. 최종적으로 우수한 데이터 증강 기법들을 동시 적용한 결과 단일 특징 벡터와 오리지널 데이터를 사용한 모델보다 17.75%의 성능 향상을 도출하였다.
Abstract
Infants utilize crying as a non-verbal means of communication [1]. However, deciphering infant cries presents challenges. Extensive research has been conducted to interpret infant cry audios [2,3]. This paper proposes the classification of infant cries using 3D feature vectors augmented with various audio data techniques. A total of 5 classes (belly pain, burping, discomfort, hungry, tired) are employed in the study dataset. The data is augmented using 5 techniques (Pitch, Tempo, Shift, Mixup-noise, CutMix). Tempo, Shift, and CutMix augmentation techniques demonstrated improved performance. Ultimately, applying effective data augmentation techniques simultaneously resulted in a 17.75% performance enhancement compared to models using single feature vectors and original data.
참고문헌 (19)
- H. R Jang, "Acoustic characteristic of crying infants related to communicating intent", M.S, pp.2012
- Lichuan Liu, "Infant cry language analysis and recognition: an experimental approach", IEEE, 2019, pp.6(3), 778~788[DOI]
- Chunyan Ji, "A review of infant cry analysis and classification", EURASIP Journal on Audio, Speech, and Music Processing, 2021(1) (2021), Springer Science and Business Media LLC[DOI]
- 박경자, "보육의 특성에 따른 유아의 코티솔 패턴", 아동학회지, 28(6), pp.201~216 (2007), 한국아동학회
- P. S. Zeskind, "coustic features and auditory perceptions of the cries of newborns with prenatal and perinatal complications", Child Dev, 49(3), pp.580~589 (1978)
- T. Murry, "Acoustical characteristic of infant cries : fundamental frequency", Child Lang, 4(3), pp.321~328 (1977)
- "WhyCry Technology" (2019)[URL]
- "dunstan baby language"[URL]
- C . A. Bratan, "Dunstan Baby Language Classification with CNN", 2021International Conference on Speech Technology and Human-Computer Dialogue (SpeD), pp.2021~ (2021), IEEE
- 강민정, "조류 울음소리를 이용한 조류 분류 딥러닝 시스템 개발", 한국지식정보기술학회 논문지, 15(2), pp.195~203 (2020), 한국지식정보기술학회[DOI]
- 임신철, "음악 추천을 위한 다중 옥타브 밴드 기반 장르 분류기", 한국정보통신학회논문지, 15(7), pp.1487~1494 (2011), 한국정보통신학회
- 최효정, "데이터 증강기법을 이용한 음성 위조 공격 탐지모형의 성능 향상에 대한 연구", 응용통계연구, 34(3), pp.449~460 (2021), 한국통계학회
- 이승관, "딥 뉴럴 네트워크 기반의 음성 향상을 위한 데이터 증강", 멀티미디어학회논문지, 22(7), pp.749~758 (2019), 한국멀티미디어학회[DOI]
- YUAN YUAN Wang, "Speech synthesis based on PSOLA algorithm and modified pitch parameters", International Conference on Computational Problem-Solving, pp.296~299 (2010), IEEE
- 임재덕, "콘텐츠 분류를 위한 오디오 신호 특징 추출 기술", 전자통신동향분석, 24(6), pp.121~ (2009), 한국전자통신연구원[DOI]
- Junhee Park, "Design and Implementation of Attention Depression Detection Model Based on Multimodal Analysis", Sustainability, 14(6), pp.3569~ (2022), MDPI AG[DOI]
- "Donate a cry-corpus"[URL]