이미지 메타 정보 기반 한국인 표정 감정 인식
(Korean Facial Expression Emotion Recognition based on Image Meta Information)
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
최근 팬데믹의 영향과 ICT 기술의 발전으로 인해 비대면·무인 시스템의 활용이 확대되고 있으며, 비대면 상황에서 의사소통은 감정을 이해하는 것이 매우 중요하다. 감정을 이해하기 위해서는 다양한 표정에 대한 감정 인식 방법이 필요함에 따라 이미지 데이터에서 표정 감정 인식 개선을 위한 인공지능 기반 연구가 진행되고 있다. 하지만 기존의 표정 감정 인식 연구는 정확도 향상을 위해 대량의 데이터를 활용하기 때문에 높은 컴퓨팅 파워와 많은 학습 시간이 필요하다. 본 논문에서는 이러한 한계점을 개선하기 위해 소량 데이터로도 표정 감정 인식이 가능한 방법으로 이미지 메타 정보인 연령과 성별을 활용한 표정 감정 인식 방법을 제안한다. 표정 감정 인식을 위해 원본 이미지 데이터에서 Yolo Face 모델을 활용하여 얼굴을 검출하였으며, 이미지 메타 정보를 기반으로 VGG 모델을 통해 연령과 성별을 분류한 다음 EfficientNet 모델을 활용하여 7가지 감정을 인식하였다. 메타 정보 기반 데이터 분류 모델과 전체 데이터로 학습한 모델을 비교한 결과 제안하는 데이터 분류 학습 모델의 정확도가 더 높았음을 확인하였다.
Abstract
Due to the recent pandemic and the development of ICT technology, the use of non-face-to-face and unmanned systems is expanding, and it is very important to understand emotions in communication in non-face-to-face situations. As emotion recognition methods for various facial expressions are required to understand emotions, artificial intelligence-based research is being conducted to improve facial expression emotion recognition in image data. However, existing research on facial expression emotion recognition requires high computing power and a lot of learning time because it utilizes a large amount of data to improve accuracy. To improve these limitations, this paper proposes a method of recognizing facial expressions using age and gender, which are image meta information, as a method of recognizing facial expressions with even a small amount of data. For facial expression emotion recognition, a face was detected using the Yolo Face model from the original image data, and age and gender were classified through the VGG model based on image meta information, and then seven emotions were recognized using the EfficientNet model. The accuracy of the proposed data classification learning model was higher as a result of comparing the meta-information-based data classification model with the model trained with all data.
참고문헌 (13)
- Ji, Yi, "Automatic facial expression recognition based on spatiotemporal descriptors", Pattern Recognit. Lett, 33, pp.1373~1380 (2012)
- 조영욱, "딥러닝을 이용한 신체 움직임 기반 감정 인식 연구 : 예비 데이터 수집 및 분석 기법을 중심으로", 한국 HCI 학회 학술대회, pp.336~340 (2022)
- 문석호, "한국어 영상 데이터 감정 분류를 위한 멀티모달 딥러닝 모델", 대한산업공학회 추계학술대회 논문집, pp.2944~2955 (2020)
- 강도희, "멀티모달 감정 인식 모델의 입력 특징에 따른 성능 분석", 대한전자공학회 학술대회, pp.1045~1047 (2021)
- 이지영, "한국인 얼굴 검출과 감정 분류를 위한 딥러닝 기반의 프레임워크", 석사, pp.2023
- 신주현, "텍스트와 음성의 앙상블을 통한 다중 감정 인식 모델", 스마트미디어저널, 11(8), pp.65~72 (2022)
- 임명진, "상담 챗봇의 다차원 감정 인식 모델", 스마트미디어저널, 10(4), pp.21~27 (2021)
- 임명진, "리뷰의 의미적 토픽 분류를 적용한 감성 분석 모델", 스마트미디어저널, 9(2), pp.69~77 (2020)
- 이명호, "단어와 문장의 의미를 고려한 비속어 판별 방법", 스마트미디어저널, 9(3), pp.98~106 (2020)
- 박진주, "한국인 감정훈련 모바일 애플리케이션 개발", 한국컴퓨터교육학회 학술발표대회논문집, pp.231~234 (2023)
- 김재동, "감정 인식을 위한 합성곱신경망(CNN)최적화", 대한전자공학회 학술대회, pp.1172~1175 (2019)
- 이이삭, "이미지 캡셔닝 기반 멀티 모달 복합 감정 인식 기술", 한국정보과학회 학술발표논문집, pp.885~887 (2022)
- Park, Hyungjoo, "Facial Emotion Recognition Analysis Based on Age-Biased Data", Applied Sciences, 12, pp.7992~ (2022)[DOI]