음성-영상 특징 추출 멀티모달 모델을 이용한 감정 인식 모델 개발
Development of Emotion Recognition Model Using Audio-video Feature Extraction Multimodal Model
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
감정으로 인해 생기는 신체적 정신적인 변화는 운전이나 학습 행동 등 다양한 행동에 영향을 미칠 수 있다. 따라서 이러한 감정을 인식하는 것은 운전 중 위험한 감정 인식 및 제어 등 다양한 산업에서 이용될 수 있기 때문에 매우 중요한 과업이다. 본 논문에는 서로 도메인이 다른 음성과 영상 데이터를 모두 이용하여 감정을 인식하는 멀티모달 모델을 구현하여 감정 인식 연구를 진행했다. 본 연구에서는 RAVDESS 데이터를 이용하여 영상 데이터에 음성을 추출한 뒤 2D-CNN을 이용한 모델을 통해 음성 데이터 특징을 추출하였으며 영상 데이터는 Slowfast feature extractor를 통해 영상 데이터 특징을 추출하였다. 감정 인식을 위한 제안된 멀티모달 모델에서 음성 데이터와 영상 데이터의 특징 벡터를 통합하여 감정 인식을 시도하였다. 또한 멀티모달 모델을 구현할 때 많이 쓰인 방법론인 각 모델의 결과 스코어를 합치는 방법, 투표하는 방법을 이용하여 멀티모달 모델을 구현하고 본 논문에서 제안하는 방법과 비교하여 각 모델의 성능을 확인하였다.
Abstract
Physical and mental changes caused by emotions can affect various behaviors, such as driving or learning behavior. Therefore, recognizing these emotions is a very important task because it can be used in various industries, such as recognizing and controlling dangerous emotions while driving. In this paper, we attempted to solve the emotion recognition task by implementing a multimodal model that recognizes emotions using both audio and video data from different domains. After extracting voice from video data using RAVDESS data, features of voice data are extracted through a model using 2D-CNN. In addition, the video data features are extracted using a slowfast feature extractor. And the information contained in the audio and video data, which have different domains, are combined into one feature that contains all the information. Afterwards, emotion recognition is performed using the combined features. Lastly, we evaluate the conventional methods that how to combine results from models and how to vote two model’s results and a method of unifying the domain through feature extraction, then combining the features and performing classification using a classifier.
참고문헌 (17)
- 김범준, "Deep neural network 기반 오디오 표식을 위한 데이터 증강 방법 연구", 한국음향학회지, 37(6), pp.475~482 (2018), 한국음향학회[DOI]
- Ju-Hyuk Han, "MR-CL: Contrastive Loss-based multimodal convergence learning method for emotion recognition", Korean Society of Information Scientists and Engineers Academic Presentation Papers (2022)
- Chung-bin Kim, "Feature extraction from self-supervised learning model and transformer-based multimodal expression learning for combined voice-text emotion recognition", Korean Society of Information Scientists and Engineers Academic Presentation Papers (2022)
- 조용화, "YOLO 기반 개체 검출과 Node.js 서버를 이용한 반려견 행동 분류 시스템 구현", 융합신호처리학회 논문지, 21(1), pp.29~37 (2020), 한국융합신호처리학회[DOI]
- Lee-sun Mun, "Multimodal emotion recognition based on biometric signals and voice data", Proceedings of the Domestic Conference of the Society of Control and Robotics Systems (2023)
- P. Tzirakis, "End-to-End Multimodal Emotion Recognition Using Deep Neural Networks", IEEE Journal of Selected Topics in Signal Processing, 11(8), pp.1301~1309 (2017)
- H. Ranganathan, "Multimodal emotion recognition using deep learning architectures", 2016 IEEE Winter Conference on Applications of Computer Vision (WACV), pp.1~9 (2016)
- Kahou, S.E., "EmoNets: Multimodal deep learning approaches for emotion recognition in video", J Multimodal User Interfaces, 10, pp.99~111 (2016)
- Xu, Haiyang, "Learning alignment for multimodal emotion recognition from speech", arXiv preprint arXiv:1909.05645, ~ (2019)
- Alu, D. A. S. C., "Voice based emotion recognition with convolutional neural networks for companion robots", Science and Technology, 20(3), pp.222~240 (2017)
- Livingstone, Steven R., "The Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS): A dynamic, multimodal set of facial and vocal expressions in North American English", PloS one, 13(5), pp.e0196391~ (2018)
- Feichtenhofer, Christoph, "Slowfast networks for video recognition", Proceedings of the IEEE, 2019, ~
- Shen, Jonathan, "Natural tts synthesis by conditioning wavenet on mel spectrogram predictions", 2018 IEEE international conference on acoustics, speech and signal processing (ICASSP) (2018), IEEE
- Schlüter, Jan, "Exploring data augmentation for improved singing voice detection with neural networks", ISMIR, ~ (2015)
- Ngiam, Jiquan, "Multimodal deep learning", Proceedings of the 28th international conference on machine learning (ICML-11) (2011)
- 이재은, "거북목 자세를 예방하기 위한 목 건강 경고 알고리즘", 융합신호처리학회 논문지, 23(3), pp.115~122 (2022), 한국융합신호처리학회
- HATAMI, Nima, "Classification of time-series images using deep convolutional neural networks", Tenth international conference on machine vision (ICMV 2017), pp.242~249 (2017), SPIE