적은 양의 음성 및 텍스트 데이터를 활용한멀티 모달 기반의 효율적인 감정 분류 기법
Efficient Emotion Classification Method Based on Multimodal Approach Using Limited Speech and Text Data
1
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
본 논문에서는 wav2vec 2.0과 KcELECTRA 모델을 활용하여 멀티모달 학습을 통한 감정 분류 방법을 탐색한다. 음성 데이터와 텍스트 데이터를함께 활용하는 멀티모달 학습이 음성만을 활용하는 방법에 비해 감정 분류 성능을 유의미하게 향상시킬 수 있음이 알려져 있다. 본 연구는 자연어처리 분야에서 우수한 성능을 보인 BERT 및 BERT 파생 모델들을 비교 분석하여 텍스트 데이터의 효과적인 특징 추출을 위한 최적의 모델을선정하여 텍스트 처리 모델로 활용한다. 그 결과 KcELECTRA 모델이 감정 분류 작업에서 뛰어난 성능이 보임을 확인하였다. 또한, AI-Hub에 공개되어 있는 데이터 세트를 활용한 실험을 통해 텍스트 데이터를 함께 활용하면 음성 데이터만 사용할 때보다 더 적은 양의 데이터로도 더 우수한성능을 달성할 수 있음을 발견하였다. 실험을 통해 KcELECTRA 모델을 활용한 경우가 정확도 96.57%로 가장 우수한 성능을 보였다. 이는 멀티모달학습이 감정 분류와 같은 복잡한 자연어 처리 작업에서 의미 있는 성능 개선을 제공할 수 있음을 보여준다.
Abstract
In this paper, we explore an emotion classification method through multimodal learning utilizing wav2vec 2.0 and KcELECTRA models. It is known that multimodal learning, which leverages both speech and text data, can significantly enhance emotion classificationperformance compared to methods that solely rely on speech data. Our study conducts a comparative analysis of BERT and its derivativemodels, known for their superior performance in the field of natural language processing, to select the optimal model for effective featureextraction from text data for use as the text processing model. The results confirm that the KcELECTRA model exhibits outstandingperformance in emotion classification tasks. Furthermore, experiments using datasets made available by AI-Hub demonstrate that theinclusion of text data enables achieving superior performance with less data than when using speech data alone. The experiments showthat the use of the KcELECTRA model achieved the highest accuracy of 96.57%. This indicates that multimodal learning can offer meaningfulperformance improvements in complex natural language processing tasks such as emotion classification.
참고문헌 (16)
- M. Shin, "Data sampling strategy for Korean speech emotion classification using wav2vec2. 0", Proceedings of the Annual Conference of Korea Information Processing Society Conference (KIPS) 2023, 30(2), pp.493~494 (2023)
- A. Baevski, "wav2vec 2. 0 : A framework for self-supervised learning of speech representations", Advances in Neural Information Processing Systems, 33, pp.12449~12460 (2020)
- A., Vaswani, "Attention is all you need", Advances in Neural Information Processing Systems, 30 (2017)
- S. Yoon, "Multimodal speech emotion recognition using audio and text", 2018 IEEE Spoken Language Technology Workshop (SLT), pp.112~118 (2018), IEEE
- X, Zhang, "Multi-modal emotion recognition based on deep learning in speech, video and text", 2020 IEEE 5th International Conference on Signal and Image Processing (ICSIP), Signal and Image Processing (ICSIP), pp.328~333 (2020)
- J. Agarkhed, "Machine learning based integrated audio and text modalities for enhanced emotional analysis", 20235th International Conference on Inventive Research in Computing Applications (ICIRCA), pp.989~993 (2023), IEEE
- S. S. Hosseini, "Multimodal modelling of human emotion using sound, image and text fusion", Signal, Image and Video Processing, 18(1), pp.71~79 (2024)
- H. Koh, "Reflecting dialogue and pretrained information into multi modal emotion recognition: focusing on text and audio", The Korean Institute of Information Scientists and Engineers, pp.2136~2138 (2023)
- Y. -J. Kim, "Feature-based Emotion Recognition Model Using Multimodal Data", The Korean Institute of Information Scientists and Engineers, pp.2169~2171 (2023)
- T. Yoon, "CoKoME : Context modeling for Korean multimodal emotion recognition in conversation", The Korean Institute of Information Scientists and Engineers, pp.2100~2102 (2023)
- J. Lee, "Multi-modal emotion recognition in Korean conversation via Contextualized GNN", The Korean Institute of Information Scientists and Engineers, pp.2094~2096 (2023)