본문 바로가기
KERD
논문KCI 등재

가상현실 수업시뮬레이션에서 정서 판단을 위한 EEG 기반의 심층신경망 모형개발

Development of EEG-based Deep Neural Network Model for Emotion in Virtual Reality Teaching Simulation

류지헌|임태형|양은별|임성민
한국교육정보미디어학회 (Korea Association for Educational Information and Media)|2021.03|교육정보미디어연구 (Journal of Korean Association for Educational Information and Media)|제27권 제1호|pp. 29-52|DOI 10.15833/KAFEIAM.27.1.029

0

조회

0

다운로드

5

인용

0

참고문헌

키워드

가상현실EEGvirtual realitydeep neural network정서적 상호작용emotional interactionPAD 정서모형심층신경망 모형PAD temperament model
주제분류교육학

초록

이 연구의 목적은 가상현실 수업시뮬레이션에서 학습자의 정서적 상호작용을 촉진하기 위한 심층신경망 기반의 정서 판단모형을 개발하는 것이다. 이를 위해 공개된 EEG(electroencephalogram) 데이터인 AMIGOS(A dataset for Multimodal research of affect, personality traits and mood on Individuals and GrOupS) 데이터세트를 활용하여 심층신경망(deep neural network) 기반의 정서 판단모형을 개발했다. 정서 상태 분류에는 PAD(Pleasure-arousal-dominance) 정서모형을 적용하였다. 10개의 은닉층과 각 378개의 노드로 구성된 모형을 설계하고, 374만개의 훈련용 데이터를 활용하여 각각 정확도가 96.23%(즐거움), 96.98%(각성), 96.47%(통제감)인 심층신경망 모형을 개발하였다. 12명의 실험참가자가 가상현실 수업시뮬레이션을 경험하는 과정에서 Emotiv EPOC+를 활용하여 EEG 데이터를 수집하였다. 수집된 데이터를 개발한 정서 판단모형에 적용하여 학습자의 정서 상태를 판단하고, 시계열 그래프와 3차원 산포도로 시각화하여 학습자의 정서 상태를 분류하였다. 연구결과에 따르면, 실험참가자들의 정서 차원은 두 가지 정서 상태, 못마땅함(unsatisfied)과 어찌할 바 모름(helpless)으로 수렴됨을 확인할 수 있었다. 이는 심층신경망으로 구현한 정서 판단모형을 통해 학습자의 EEG데이터를 기반으로 정서판단이 가능할 수 있음을 의미한다. 이를 통해 가상현실 시뮬레이션 환경에서 정서적 상호작용을 촉진하는 학습설계 방안에 대해 논의하였다.

Abstract

The purpose of this study was to develop a deep neural network model for emotion model to identify the possibility of promoting the emotional interaction of users in virtual reality simulation. A deep neural network-based emotional model was developed using the open-source electroencephalogram (EEG) data, AMIGOS (A dataset for Multimodal research of affect, personality traits and mood on Individuals and GrOupS) dataset. The Pleasure-Arousal-Dominance (PAD) temperament model was employed to classify the users’ emotional state. The prediction model was designed to consist of 10 hidden layers and 378 nodes each, and the accuracy was 96.23% (pleasure), 96.98% (arousal), and 96.47% (dominance) using 3,740,000 training data. In this experiment, twelve adults experienced a virtual reality teaching simulation and their EEG data were collected using Emotiv EPOC+. The EEG data was applied to the developed prediction model to decide the users’ emotional state. The participants’ emotional state was classified by visualizing a time series graph and a 3D scatter plot. Results showed that the users’ emotional state converged into two categories, unsatisfied and helpless. It indicates that it is possible to judge users’ emotional state through the prediction model. Learning design strategies that promotes emotional interaction in a virtual reality simulation were discussed.

참고문헌 (39)

  1. 김기평, "딥러닝 알고리즘을 이용한 뇌파-기반 목격 여부 분류 시스템의 성능 비교", 과학수사학회지, 13(2), pp.95~101 (2019), 한국과학수사학회[DOI]
  2. 김정기, "현실과 가상현실 공간 뇌파(EEG)데이터 비교", 대한건축학회 학술발표대회 논문집, 38(1), pp.107~110 (2018)
  3. 류지헌, "가상현실 수업시뮬레이션에서 가상학생과의 정서적 상호작용이 사용자의 시선응시 및 가상실재감에 미치는 영향", 한국콘텐츠학회 논문지, 20(2), pp.581~593 (2020), 한국콘텐츠학회[DOI]
  4. 명지연, "가상현실 기반 3차원 공간에 대한 감정분류 딥러닝 모델", 대한건축학회논문집, 36(4), pp.41~49 (2020), 대한건축학회
  5. 손진훈, "정서의 심리적 모델: 개별 정서 모델, 평가 모델, 차원 모델을 중심으로", 대한인간공학회지, 30(1), pp.179~186 (2011), 대한인간공학회
  6. 심희린, "딥러닝을 이용한 연속 시간 감정 상태 추론 시스템 설계", 한국지능시스템학회 논문지, 29(1), pp.76~81 (2019), 한국지능시스템학회
  7. 오지석, "시각 장애인 가상현실 체험 환경을 위한 딥 러닝을 활용한 몰입형 보행 상호작용 설계", 한국컴퓨터그래픽스학회논문지, 25(3), pp.11~20 (2019), (사)한국컴퓨터그래픽스학회[DOI]
  8. 이대영, "뇌전도의 다변량 다중스케일 퍼지 엔트로피 분석에 기반한 감정 인식", 정보과학회논문지, 47(3), pp.227~234 (2020), 한국정보과학회[DOI]
  9. 이웅기, "딥러닝(Deep learning) 기반 미술 학습 지원도구 개발: 생성 모델링(Generative modeling)을 활용하여", 교육정보미디어연구, 26(1), pp.207~236 (2020), 한국교육정보미디어학회[DOI]
  10. 이창묵, "순환신경망(RNN)을 활용한 개별 학생 학업성취도의 종단적 예측", 교육평가연구, 33(1), pp.161~189 (2020), 한국교육평가학회
  11. 이호정, "심층학습 기반 표정인식을 통한 학습 평가 보조 방법 연구", 공학교육연구, 23(2), pp.24~30 (2020), 한국공학교육학회[DOI]
  12. 이현주, "기계학습 알고리즘에 기반한 뇌파 데이터의 감정분류 및 정확도 향상에 관한 연구", 인터넷정보학회논문지, 20(5), pp.27~36 (2019), 한국인터넷정보학회[DOI]
  13. 장선우, "초기설계 단계 사용자의 감정 인식을 위한 뇌파기반 딥러닝 분류모델", 대한건축학회논문집, 34(12), pp.85~94 (2018), 대한건축학회
  14. 정대교, "심층신경망 알고리즘을 이용한 가상환경에서의 멀미 측정", 한국컴퓨터그래픽스학회논문지, 25(1), pp.23~32 (2019), (사)한국컴퓨터그래픽스학회[DOI]
  15. 정무석, "적응적 수업자료의 개발을 위한 머신러닝의 활용 : 학습자의 뇌파를 활용한 인지부하 판별모형 개발", 현장수업연구, 2(1), pp.47~71 (2021)
  16. 최동연, "예비교사 훈련을 위한 아바타 활용 대화 시뮬레이션에서 뇌파측정을 통한 정서반응 측정에 관한 연구", 교육공학연구, 34(2), pp.257~285 (2018), 한국교육공학회[DOI]
  17. 한형종, "가상현실 기반 교육용 시뮬레이션 설계원리 개발", 교육공학연구, 36(2), pp.221~264 (2020), 한국교육공학회[DOI]
  18. Al-Nafjan, A., "Review and classification of emotion recognition based on EEG brain-computer interface system research : a systematic review", Applied Sciences, 7(12), pp.1239~ (2017)
  19. 최정은, "딥러닝 기반 초·중등 학습용 나무 인식 기법", 한국컴퓨터정보학회논문지, 24(12), pp.9~16 (2019), 한국컴퓨터정보학회[DOI]
  20. Correa, J. A. M., "Amigos: A dataset for affect, personality and mood research on individuals and groups" (2018), IEEE Transactions on Affective Computing
  21. "EMOTIV EPOC+ USER MANUAL"[URL]
  22. Kathleen Kara Fitzpatrick, "Delivering Cognitive Behavior Therapy to Young Adults With Symptoms of Depression and Anxiety Using a Fully Automated Conversational Agent (Woebot): A Randomized Controlled Trial", JMIR Mental Health, 4(2), pp.e19~ (2017), JMIR Publications Inc.[DOI]
  23. Divya Garg, "Emotion Recognition in Valence-Arousal Space from Multi-channel EEG data and Wavelet based Deep Learning Framework", Procedia Computer Science, 171, pp.857~867 (2020), Elsevier BV[DOI]
  24. Huang, M., "The effect of user experience in online games on word of mouth : A pleasure-arousal-dominance(PAD)model perspective", Computers in Human Behavior, 75, pp.329~338 (2017)
  25. Ip, H. H. S., "Enhance emotional and social adaptation skills for children with autism spectrum disorder : A virtual reality enabled approach", Computers & Education, 117, pp.1~15 (2018)
  26. Kingma, D. P., "Adam: A method for stochastic optimization", ICLR (2015)
  27. Koelstra, S., "Deap : A database for emotion analysis; using physiological signals", IEEE transactions on affective computing, 3(1), pp.18~31 (2011)
  28. Susanne P. Lajoie, "Understanding and measuring emotions in technology-rich learning environments", Learning and Instruction, 70, pp.101272~ (2020), Elsevier BV[DOI]
  29. Liu, Y., "Multi-channel EEG-based emotion recognition via a multi-level features guided capsule network", Computers in Biology and Medicine, 123, pp.103927~ (2020)
  30. Yan Mao, "An emotion based simulation framework for complex evacuation scenarios", Graphical Models, 102, pp.1~9 (2019), Elsevier BV[DOI]
  31. Richard Mayne, "Virtual reality for teaching and learning in crime scene investigation", Science & Justice, 60(5), pp.466~472 (2020), Elsevier BV[DOI]
  32. Russell, J. A., "Evidence for a three-factor theory of emotions", Journal of research in Personality, 11(3), pp.273~294 (1977)
  33. Young Sook Roh, "Nursing students’ perceptions of simulation design features and learning outcomes: The mediating effect of psychological safety", Collegian, 28(2), pp.184~189 (2021), Elsevier BV[DOI]
  34. Stéphanie Philippe, "Multimodal teaching, learning and training in virtual reality: a review and case study", Virtual Reality & Intelligent Hardware, 2(5), pp.421~442 (2020), Elsevier BV[DOI]
  35. Pejman Sajjadi, "A personality-based emotional model for embodied conversational agents: Effects on perceived social presence and game experience of users", Entertainment Computing, 32, pp.100313~ (2019), Elsevier BV[DOI]
  36. Santamaría-Bonfil, G., "Learning analytics for student modeling in virtual reality training systems : Lineworkers case", pp.103871~ (2020), Computers &Education
  37. Rahul Sharma, "Automated emotion recognition based on higher order statistics and deep learning algorithm", Biomedical Signal Processing and Control, 58, pp.101867~ (2020), Elsevier BV[DOI]
  38. Yang, J., "EEG-based emotion classification based on Bidirectional Long Short-Term Memory Network", Procedia Computer Science, 174, pp.491~504 (2020)
  39. M.A. Zhuoluo, "Effect of haptic feedback on a virtual lab about friction", Virtual Reality & Intelligent Hardware, 1(4), pp.428~434 (2019), Elsevier BV[DOI]

관련 논문AI추천

가상 시뮬레이션 학습자의 인지부하와 정서를 분석하기 위한 표정 분석 및 뇌전도의 활용김국현, 류지헌, 양은별, 임태형한국교육방법학회 · 교육방법연구2023 · 제35권 제2호뇌파 측정 기반 가상환경에서의 몰입형 학습경험 효과성 분석에 관한 연구김경선, 김지형한국공학교육학회 · 공학교육연구2025 · 제28권 제1호예비교사 훈련을 위한 아바타 활용 대화 시뮬레이션에서 뇌파측정을 통한 정서반응 측정에 관한 연구김민정, 최동연한국교육공학회 · 교육공학연구2018 · 제34권 제2호A study on the emotional changes of learners according to the emotions provided by virtual characters최동연한국융합학회 · 한국융합학회논문지2022 · 제13권 제5호기계학습을 이용한 EEG 신호 기반 감정상태 평가 및 분류 검증기민송, 손귀영, 이원영, 이지웅한국차세대컴퓨팅학회 · 한국차세대컴퓨팅학회 논문지2022 · 제18권 제1호다중 출력 예측을 적용한 EEG 기반 Valence-Arousal 회귀 모델김병형, 우채은, 최효선대한의용생체공학회 · 의공학회지2024 · 제45권 제5호

이 간행물의 다른 논문 (12건)

예비교사를 위한 소프트웨어-교과융합 교육 프로그램 개발 연구박주현, 배유진, 임철일, 이웅기, 지현경pp. 1-27대학의 대면수업과 비대면 원격수업에 대한 교수자 인식이 정서에 미치는 영향김은희, 최효선pp. 53-78직업교육에서 VR･AR 활용 양상과 주요 이슈 분석정은진, 김남희pp. 79-109인공지능 챗봇을 활용한 웹 기반 코딩학습 지원도구 프로토타입 개발허선영, 김민지pp. 111-132대학생 진로･취업교육을 위한 비대면 수업 사례 연구: 퍼소나 기반 시나리오 방법론을 중심으로임상훈pp. 133-159
원문 보기