다중 도메인 융합을 통한 트랜스포머 기반 한국어 감정 인식 모델
Transformer Based Korean Emotion Recognition Model through Multi-domain Fusion
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 인공지능 감정 인식 성능 향상을 위해 다중 도메인 융합을 통한 트랜스포머 기반 감정 인식 모델을 제안한다. 제안하는 모델은 인코더및 트랜스포머 인코더를 통해 음성, 스펙트로그램, 텍스트 총 세 가지 도메인에서 감정 인식에 필요한 정보를 추출 및 압축하여 감정 인식 정확도를개선한다. 제안 모델의 감정 인식 성능을 평가하기 위해 Backbone 비교 실험과 학습 도메인 조합 비교 실험을 진행하였다. 실험 결과 ResNet50이Backbone에 가장 적합함을 확인하였고 세 가지 도메인 모두 감정 인식 성능 향상에 유효한 영향이 있음을 입증하였다. 세 가지 도메인을 모두학습한 모델은 Accuracy 0.9306, F1-Score 0.9306으로 다른 도메인 조합 모델보다 높은 성능을 보였다. 실험 결과는 다중 도메인 융합이 감정인식의 정밀도 향상에 기여함을 보여주며, 제안한 모델은 멀티모달 감정 인식 분야에서 실용적인 기반 모델로 활용될 수 있음을 입증하였다.
Abstract
This study proposes a transformer-based emotion recognition model that enhances performance through multi-domain fusion. Theproposed model extracts and compresses emotion-relevant information from three domains—audio, spectrogram, and text—using a featureencoder and a transformer encoder, thereby improving recognition accuracy. To evaluate the performance of the proposed model,experiments were conducted comparing different domain combinations and backbone architectures. The results demonstrate that all threedomains effectively contribute to improved emotion recognition performance, and that ResNet50 is the most suitable backbone. The modeltrained on all three domains achieved an accuracy of 0.9306 and an F1-score of 0.9306, outperforming models trained on other domaincombinations. These findings suggest that multi-domain fusion helps enhance the precision of emotion recognition and indicate thatthe proposed model can serve as a practical baseline for multimodal emotion recognition research.