인공지능을 이용한 인간의 감정 인식 연구
A Study on Emotion Recognition of Human Using Artificial Intelligence
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 인공지능(AI)이 인간의 감정을 인식할 수 있도록 음성, 표정, 텍스트 정보를 이용한 감정인식 모델을 개발하였다. 기쁨, 중립, 슬픔, 분노와 같은 인간의 감정을 예측하는 것은 인간의 복지, 소통, 의사결정을 향상시키는 공감적이고 적응적이며 지능적인 시스템을 개발하는 데 도움을 줄 수 있으므로 산업계와 학계 모두에서 매우 중요하다 할 수 있다. 본 연구에서는 AI 허브의 동영상 데이터 세트를 활용하여 기쁨, 중립, 슬픔, 분노의 4가지 감정을 학습하였고, 각 모달리티에 HuBERT, ArcFace, Llama3-8B 모델을 적용하였다. 연구에서 사용되는 데이터는 AI 허브의 감성 관련 동영상 데이터 세트를 참조하였으며, 이 데이터 세트는 감정인식, 개체 인식, 성별/나이 인식, 관계 분석, 멀티모달 영상 질의응답, 단일 발화 의도 분석, 복수 발화 의도 분석, 음성 인식 등을 포함하도록 준비하였다. 연구 결과 음성, 얼굴 및 표정에 비해 텍스트 모델이 전반적으로 높은 감정 예측 정확도를 보였다. 각모델의 최종 감정 예측 정확도는 음성 39%, 얼굴 41%, 텍스트 45%, 컨텍스트 39%를 기록하였다. 이는 트레이닝 데이터 외에 따로 준비한 테스트 데이터를 이용한 최종 감정에 대한 정답율이다. 본 연구는 컨텍스트를 추가 모달리티로 도입하여 그 가능성과 한계를 실증적으로 확인했다는 점에서 그 의의가 있다.
Abstract
This study developed an emotion recognition model using voice, facial expression, and text information to enable artificial intelligence (AI) to more accurately recognize human emotions. Predicting human emotions such as joy, neutrality, sadness, and anger is highly important in both industry and academia, as it helps build empathetic, adaptive, and intelligent systems that enhance human well-being, communication, and decision-making. In this study, a video dataset from AI Hub was utilized to train the model on four emotions—joy, neutrality, sadness, and anger—by applying the HuBERT, ArcFace, and Llama3-8B models to each modality. The data used in this research referred to the emotion-related video dataset provided by AI Hub, which includes resources for emotion recognition, entity recognition, gender/age identification, relationship analysis, multimodal video question answering, single-utterance intent analysis, multi-utterance intent analysis, and speech recognition. The results showed that the text-based model achieved overall higher emotion prediction accuracy compared to the voice and facial expression models. The final emotion prediction accuracies of each model were 39% for voice, 41% for face, and 45% for text. These figures represent the accuracy of emotion classification on the final test set, which was prepared separately from the training data. This study is significant in that it demonstrates the importance of emotion recognition models and empirically verifies both the potential and limitations of incorporating context as an additional modality.