본문 바로가기
KERD
논문KCI 등재

AI 안면감정인식과 텍스트 감성분석 기술을 적용한 학습자 만족도 평가 사례 연구

A case study of learner satisfaction evaluation applying AI facial emotion recognition and text sentiment analysis technology

정의현|박소연
한국인력개발학회 (The Korean Society For Human Resource Development)|2022.11|HRD연구 (The Korean Journal of Human Resource Development Quarterly)|제24권 제4호|pp. 65-86|DOI 10.18211/kjhrdq.2022.24.4.003

0

조회

0

다운로드

2

인용

0

참고문헌

키워드

인공지능learner satisfaction학습자 만족도artificial intelligencefacial emotion recognition안면감정인식텍스트 감성분석반응 평가HRD 평가text sentiment analysisreaction evaluationHRD evaluation

초록

본 연구는 학습자 만족도 평가에 AI 기술 활용 가능성을 탐색하는 것을 목적으로 한다. 이를 위하여 인터뷰를 통해 학습자의 만족도 데이터를 수집하여 AI 안면감정인식 기술과 텍스트 감성분석 기술을 활용하여 데이터를 분석하고, 그 과정과 결과를 평가 수행의 시각에서 면밀하게 분석하는 탐색적 사례연구를 실시하였으며, 주요 결과는 다음과 같다. 첫째, 만족도 평가를 위한 인터뷰에 응답하는 학습자의 얼굴 표정에 나타난 감정을 분석한 결과, 교육 훈련에 대한 감정보다는 개인이 가지고 있는 기본적인 얼굴 표정이 우선적으로 인식되었다. 둘째, 학습자가 만족도 평가를 위한 인터뷰에 응답한 내용에 나타난 감성을 분석한 결과, 학습자가 만족도 평가를 위한 인터뷰에 응답한 내용에 나타난 감성을 분석한 결과, 긍정, 부정, 중립의 감성이 고루 나타났다. 셋째, 인터뷰에서 관찰된 안면감정과 텍스트 감성 패턴을 연구자의 예측 패턴과 매칭한 결과, 안면감정보다는 텍스트 감성의 일치율이 높은 것으로 나타났다. 주요 연구 결과의 시사점을 도출하고 향후 발전을 위한 학술적, 실천적 제안을 제시하였다. 본 연구는 정형화되었던 설문조사 방법 대신 AI 기술을 적용하여 인터뷰 방법을 활용한 평가를 시도하였다는 점에서 그 의의가 있다.

Abstract

The purpose of this study is to explore the possibility of using AI technology to evaluate learner satisfaction. To this end, we conduct an exploratory case study that collects learner satisfaction data through interviews, analyzes the data using AI facial emotion recognition technology and text emotion analysis technology, and analyzes the process and results in detail from the perspective of performing evaluation. and the main results are as follows. First, as a result of analyzing the emotions shown in the facial expressions of learners responding to the interview for satisfaction evaluation, the basic facial expressions of the individual were recognized preferentially rather than the emotions about education and training. Second, as a result of analyzing the emotions expressed in the contents of the learner's responses to the interview for satisfaction evaluation, as a result of analyzing the emotions expressed in the contents of the learner's responses to the interview for the satisfaction evaluation, the emotions of positive, negative, and neutral were found evenly. Third, as a result of matching the pattern of facial emotion and text emotion observed in the interview with the researcher's prediction pattern, it was found that the matching rate of text emotion was higher than that of facial emotion. The implications of the main research results were drawn, and academic and practical suggestions for future development were presented. This study is meaningful in that it attempted to evaluate using the interview method by applying AI technology instead of the standardized survey method.

참고문헌 (55)

  1. 류수민, "CIPP 평가모형을 적용한 대기업 신입사원 입문교육 만족도에 관한 연구 –H그룹(기업집단)을 중심으로-", HRD연구, 14(1), pp.47~71 (2012), 한국인력개발학회[DOI]
  2. 박소연, "HRD 프로그램의 반응평가에 대한 메타평가 연구", 기업교육과인재연구, 10(2), pp.119~137 (2008), 한국기업교육학회
  3. 박소연, "평가에 대한 HRD 이해관계자들의 인식 탐구 : Q 방법론을 중심으로", HRD연구, 12(4), pp.95~117 (2010), 한국인력개발학회[DOI]
  4. 설현수, "교육·훈련 프로그램 만족도 평가 도구 개발 및 타당화 연구", 역량개발학습연구(구 한국HRD연구), 5(1), pp.1~32 (2010), Human Engagement Institute
  5. 이성흠, "교육？훈련프로그램 반응평가를 위한 평가범주와 질문지 개발준거", 교육공학연구, 21(3), pp.187~214 (2005), 한국교육공학회
  6. 정은정, "현업 HRD 담당자들의 Kirkpatrick 평가 모형에 대한 인식: 적용 현장에서의 장점, 한계, 개선 방향을 중심으로", HRD연구, 18(3), pp.115~143 (2016), 한국인력개발학회[DOI]
  7. 정은정, "교육프로그램의 효과적인 학습자만족도평가를 위한 평가도구의 설계: K인력개발원 사례를 중심으로", 교육방법연구, 22(3), pp.1~24 (2010), 한국교육방법학회[DOI]
  8. 정일환, "교육연수과정의 품질관리를 위한 수요자 만족도 평가 개선 방안", 교사교육연구, 53(4), pp.596~613 (2014), 과학교육연구소[DOI]
  9. 주영주, "공무원 사이버 강좌 만족도 평가를 위한 타당화 연구", 교육과학연구, 38(3), pp.75~91 (2007), 교육과학연구소
  10. Abdelhakim, A. S., "Evaluating cabin crew food safety training using the Kirkpatrick model : An airlines' perspective", British Food Journal, 120(7), pp.1574~1589 (2018)[DOI]
  11. Alliger, G. M., "A meta-analysis of the relations among training criteria", Personnel Psychology, 50(2), pp.341~358 (1997)[DOI]
  12. Blume, B. D., "Transfer of training : A meta-analytic review", Journal of Management, 36(4), pp.1065~1105 (2010)[DOI]
  13. Bove, L., "New paradigms call for new evaluation methods : Moving beyond Kirkpatrick", MODSIM World, 35, pp.1~12 (2019)[DOI]
  14. Diamantidis, A. D., "Evaluation of formal training programmes in Greek organisations", European Journal of Training and Development, 36(9), pp.888~910 (2012)[DOI]
  15. Ekman, P., "Unmasking the face: A guide to recognizing emotions from facial clues (Vol. 10)" (2003), Ishk
  16. Ekundayo, O. S., "Facial expression recognition : A review of trends and techniques", IEEE Access, 9, pp.136944~136973 (2021)[DOI]
  17. Gandomkar, R., "Comparing Kirkpatrick’s original and new model with CIPP evaluation model", Journal of Advances in Medical Education and Professionalism, 6(2), pp.94~95 (2018)[DOI]
  18. Giangreco, A., "Trainees' reactions to training : Shaping groups and courses for happier trainees", The International Journal of Human Resource Management, 21(13), pp.2468~2487 (2010)[DOI]
  19. Giangreco, A., "Trainees' reactions to training : An analysis of the factors affecting overall satisfaction with training", The International Journal of Human Resource Management, 20(1), pp.96~111 (2009)[DOI]
  20. Giannopoulos, P., "Advances in Hybridization of Intelligent Methods. Smart Innovation, Systems and Technologies, vol 85" (2018), Springer
  21. Guba, E. G., "Effective evaluation: Improving the usefulness of evaluation results through responsive and naturalistic approaches" (1981), Jossey-Bass
  22. Harman, R. P., "Exploring qualitative training reactions : Individual and contextual influences on trainee commenting", Journal of Applied Psychology, 100(3), pp.894~916 (2015)[DOI]
  23. Hassouneh, A., "Development of a real-time emotion recognition system using facial expressions and EEG based on machine learning and deep neural network methods", Informatics in Medicine Unlocked, 20, pp.100372~ (2020)[DOI]
  24. Holton III, E. F., "Holton's evaluation model : New evidence and construct elaborations", Advances in Developing Human Resources, 7(1), pp.37~54 (2005)[DOI]
  25. Jaiswal, A., "Facial emotion detection using deep learning", 2020 International Conference for Emerging Technology (INCET), pp.1~5 (2020), IEEE
  26. "Facial emotion recognition: State of the art performance on FER2013. arXiv preprint arXiv: 2105. 03588"[URL]
  27. Kim S, "Revisiting trainee reactions : A multilevel analysis of the nomologicalnetwork", Human Resource Development Quarterly, 31(2), pp.173~191 (2020)[DOI]
  28. King, S. B., "The complete guide to training delivery: A competency-based approach" (2001), American Management Association
  29. Kirkpatrick, D. L., "valuating training programs: The four levels" (1994), Berrett-Koehler
  30. "An introduction to the new world Kirkpatrick model" (2021)[URL]
  31. Ko, B. C., "A brief review of facial emotion recognition based on visual information", Sensors, 18(2), pp.401~ (2018)[DOI]
  32. Kołakowska, A., "Human-Computer Systems Interaction: Backgrounds and Applications 3", pp.51~62 (2014), Springer
  33. "BERT: A review of applications in natural language processing and understanding. arXiv preprint arXiv: 2103. 11943" (2021)[URL]
  34. Kucherov, D., "Evaluation of training programs in Russian manufacturing companies", European Journal of Training and Development, 41(2), pp.119~143 (2017)[DOI]
  35. Lee, S. H., "Dimensions and design criteria for developing training reaction evaluations", Human Resource Development International, 5(2), pp.175~197 (2002)[DOI]
  36. Li, Y., "Guide to big data applications", pp.83~104 (2018), Springer
  37. Lisetti, C. L., "Automatic facial expression interpretation : Where human-computer interaction, artificial intelligence and cognitive science intersect", Pragmatics and Cognition, 8(1), pp.185~235 (2000)[DOI]
  38. Madera, J. M., "The temporal effect of training utility perceptions on adopting a trained method : The role of perceived organizational support", Human Resource Development Quarterly, 22(1), pp.69~86 (2011)[DOI]
  39. Mellouk, W., "Facial emotion recognition using deep learning : review and insights", Procedia Computer Science, 175, pp.689~694 (2020)[DOI]
  40. Morgan, R. B., "Examining the factor structure of participant reactions to training : A multidimensional approach", Human Resource Development Quarterly, 11(3), pp.301~317 (2000)[DOI]
  41. Patton, M. Q., "Qualitative evaluation and research methods" (1990), Sage
  42. Ruona, W., "The relationship between learner utility reactions and predicted learning transfer among trainees", International Journal of Training and Development, 6(4), pp.218~228 (2002)[DOI]
  43. Sheng, Z., "The model of e-learning based on affective computing", 2010 3rd International Conference on Advanced Computer Theory and Engineering (ICACTE), 3, pp.V3~269 (2010), IEEE
  44. Sitzmann, T., "A review and meta-analysis of the nomological network of trainee reactions", Journal of Applied Psychology, 93(2), pp.280~295 (2008)[DOI]
  45. Tan, J. A., "The role of employee reactions in predicting training effectiveness", Human Resource Development Quarterly, 14(4), pp.397~411 (2003)[DOI]
  46. Tang, X. Y., "Classroom teaching evaluation based on facial expression recognition", Proceedings of the 2020 9th International Conference on Educational and Information Technology, pp.62~67 (2020), ICEIT
  47. Tannenbaum, S. I., "Determining a strategy for evaluating training : Operating within organizational constraints", Human Resource Planning, 15(2), pp.63~81 (1992)[DOI]
  48. Tellis, W. M., "Application of a Case Study Methodology", The Qualitative Report, 3(3), pp.1~19 (1997)[DOI]
  49. Tesch, R., "Qualitative research: Analysis types and software tools" (1990), Routledge
  50. Trochim, W., "Outcome pattern matching and program theory", Evaluation and Program Planning, 12, pp.355~366 (1989)[DOI]
  51. Utami, P., "A study on facial expression recognition in assessing teaching skills : Datasets and methods", Procedia Computer Science, 161, pp.544~552 (2019)[DOI]
  52. Xiang, J., "Joint face detection and facial expression recognition with MTCNN", 2017 4th International Conference on Information Science and Control Engineering (ICISCE), pp.424~427 (2017), IEEE
  53. Yadollahi, A., "Current state of text sentiment analysis from opinion to emotion mining", ACM Computing Surveys(CSUR), 50(2), pp.1~33 (2017)[DOI]
  54. Yin, R, "Case study research: Design and methods" (1994), Sage
  55. Zahara, L., "The facial emotion recognition (FER-2013) dataset for prediction system of micro-expressions face using the convolutional neural network (CNN) algorithm based Raspberry Pi", 2020Fifth international conference on informatics and computing (ICIC), pp.1~9 (2020), IEEE

관련 논문AI추천

심층학습 기반 표정인식을 통한 학습 평가 보조 방법 연구이덕우, 이호정한국공학교육학회 · 공학교육연구2020 · 제23권 제2호인공지능을 이용한 인간의 감정 인식 연구김진화, 이은지, 이준호사)한국빅데이터학회 · 한국빅데이터학회 학회지2025 · 제10권 제2호AI 표정분석 기반 학습분석에 대한 교사의 데이터 해석 및 활용: 화상수업환경에서 학업정서 및 수업집중력을 중심으로박빛나, 이영주한국교육공학회 · 교육공학연구2025 · 제41권 제2호고등교육에서 학습자의 AI 및 비-AI 정서 개입 효과에 대한 메타분석신상기, 장세진한국교육정보미디어학회 · 교육정보미디어연구2025 · 제31권 제6호대학생을 위한 AI 기반 적응형 학습 만족도 측정도구 개발 및 타당화 연구박미현, 범은애, 전열어, 황성우한국실천공학교육학회 · 실천공학교육논문지2025 · 제17권 제3호AI 피드백 기능을 활용한 AI 코스웨어 기반 맞춤형 평가전략 탐색홍광표교육발전연구소 · 교육혁신연구2025 · 제35권 제2호

이 간행물의 다른 논문 (6건)

인공지능 기반 과학기술인 학습 플랫폼 개발공득조, 곽진선pp. 1-33고등교육 분야 블록체인 기술활용 가능성 및 쟁점: 주제범위 고찰(Scoping Review) 및 심층 면담을 중심으로장환영, 김승진, 신인수pp. 35-63근로자 업무그릿 측정도구 개발 및 타당화 연구김우철, 김지영pp. 87-116경력단절 여성의 재취업 시 일 만족도에 미치는 영향요인: 직업교육훈련의 조절효과를 중심으로조예인, 김남희, 서지원, 이지은pp. 117-141마키아벨리즘과 반생산적 과업행동 간의 관계: 직무불안정성의 매개효과와 조직정치지각의 조절된 매개효과 분석 연구박민정, 남교민, 송지훈pp. 143-174
원문 보기