본문 바로가기
KERD
논문KCI 등재

동영상 강의에서 메타인지 지원이 학습결과 예측에 미치는 영향: 다중양식 학습분석을 중심으로

Influence of metacognitive support on predicting learning outcomes in video lectures: Using multimodal learning analytics

이한솔|조영환|함윤희|김혁기|이재용|김혜은
한국교육정보미디어학회 (Korea Association for Educational Information and Media)|2021.12|교육정보미디어연구 (Journal of Korean Association for Educational Information and Media)|제27권 제4호|pp. 1295-1323|DOI 10.15833/KAFEIAM.27.4.1295

0

조회

0

다운로드

1

인용

0

참고문헌

키워드

예측 모델prediction model동영상 강의video lecture다중양식 학습분석multimodal learning analytics메타인지 지원metacognitive support
주제분류교육학

초록

코로나19 팬데믹으로 인해 비대면 교육이 증가하면서 동영상 강의의 중요도가 높아졌다. 동영상 강의의 효과를 높이기 위해서는 교수자가 학습결과를 사전에 예측하여 학습 지원을 적시에 제공하는 것이 필요하다. 최근에는 학습결과 예측의 정확도를 높이기 위해서 생리심리데이터를 포함하여 다양한 학습 데이터를 통합적으로 수집하고 분석하는 다중양식 학습분석 연구가 증가하고 있다. 하지만 예측 모델이 다양한 학습 맥락에 일반화 가능한지에 대한 연구는 부족하다. 본 연구는 동영상 학습결과를 예측하는 주요 요인인 메타인지 활동에 초점을 두고, 동영상 강의에서 메타인지 지원 여부가 학습결과 예측 모델에 어떠한 영향을 미치는지 탐구하고자 한다. 이를 위해 총 33명의 학습자를 메타인지 지원 집단(n=17)과 메타인지 미지원 집단(n=16)으로 무선 할당하고, 개별적으로 약 40분 동안 인체의 삼투압에 대한 동영상 강의를 학습하도록 하였다. 다중양식 학습분석을 위해 동영상 학습 과정을 영상으로 촬영하고, 손목밴드를 이용하여 피부전도도를 측정하고, 설문지로 인지부하를 측정하고, 사전 및 사후 검사를 실시하였다. 이렇게 수집된 데이터와 다양한 머신러닝 알고리즘을 이용해서 학습결과 상․하 집단을 예측하는 모델을 만들고, 각 모델의 성능을 평가하여 최적의 예측 모델을 도출하였다. 연구 결과, 메타인지 지원 여부에 따라 최적의 동영상 학습결과 예측 모델이 서로 상이하게 나타났다. 메타인지 미지원 집단에서는 메타인지 활동과 피부전도도로 측정한 각성도가 최적 모델의 예측 변인으로 나타났지만, 메타인지 지원 집단에서는 인지부하와 사전지식 수준이 최적 모델의 예측 변인으로 나타났다. 본 연구는 메타인지 지원과 같은 교수 방법의 변화가 예측 모델에 주요한 영향을 미칠 수 있음을 보여주며, 이는 예측 모델을 새로운 맥락에 적용할 때 많은 주의가 필요하다는 것을 시사한다.

Abstract

Video lectures have played an important role during the COVID-19 pandemic, which significantly increased remote learning in school. To enhance the effectiveness of video lectures, instructors should predict students’ learning outcomes and provide learning supports at the right time. Recently, multimodal learning analytics has been developed in order to accurately predict learning outcomes using diverse learning data like psychophysiological measures. Nevertheless, there is a lack of research on whether a prediction model is generalizable across diverse learning contexts using different instructional methods. This research intends to explore the influence of metacognitive support on the prediction model of learning outcomes in video lectures. A total of 33 learners were randomly assigned to metacognitive support (n=17) and non-support (n=16) groups, and they individually studied video lectures of the osmotic pressure in the human body for 40 minutes. This study recorded the learning process with video, measured skin conductance responses with a wristband, collected the data of cognitive load using a survey, and conducted pre- and post-tests. Using the data collected, machine learning algorithms generated models to predict high- and low-achievement groups, and an optimal prediction model was selected through evaluating the performance of the models. This study found that the optimal prediction model of the metacognitive support group was different from that of the non-support group. In the non-support group, metacognitive activities and arousal levels measured by skin conductance responses were included in the optimal prediction model, whereas cognitive load and prior knowledge were included in the optimal prediction model of the metacognitive support group. This study shows that instructional methods like metacognitive support can significantly influence predicting learning outcomes in video lectures, so prediction models should be carefully applied to novel learning contexts.

참고문헌 (55)

  1. 성한올, "온라인 학습 상황에서 행동 로그, 생리심리반응 및 시험불안을 통한 멀티모달(Multimodal) 학업성취 예측모형 개발", 교육공학연구, 34(2), pp.287~308 (2018), 한국교육공학회[DOI]
  2. 유진은, "기계학습: 대용량", 패널자료와 학습분석학 자료 분석으로의 활용, 2019, pp.35(2), 313~338[DOI]
  3. 정민철, "앙상블 머신러닝 모델 기반 유튜브 스팸 댓글 탐지", 한국정보통신학회논문지, 24(5), pp.576~583 (2020), 한국정보통신학회[DOI]
  4. 2019년 이러닝 산업 실태조사, "정보통신산업진흥원", 산업통상자원부, ~ (2020)
  5. 조영환, "고등교육 분야 온라인 학습 연구의 동향: 생태계적 접근", 교육공학연구, 31(4), pp.725~755 (2015), 한국교육공학회[DOI]
  6. 함윤희, "다중양식 학습분석의 연구동향과 발전방안 탐색을 위한 체계적 문헌 고찰", 교육정보미디어연구, 27(2), pp.501~529 (2021), 한국교육정보미디어학회
  7. Agudo-Peregrina, Á. F., "Can we predict success from log data in VLEs? Classification of interactions for learning analytics and their relation with performance in VLE-supported F2F and online learning", Computers in Human Behavior, 31, pp.542~550 (2014)
  8. Barthakur, A., "Assessing program-level learning strategies in MOOCs", Computers in Human Behavior, 117, pp.106674~ (2021)
  9. Blikstein, P., "Multimodal learning analytics and education data mining : Using computational technologies to measure complex learning tasks", Journal of Learning Analytics, 3(2), pp.220~238 (2016)
  10. Bloom, B. S., "Handbook on formative and summative evaluation of student learning" (1971), McGraw-Hill
  11. Caspi, A., "Viewing comprehension : Students’ learning preferences and strategies when studying from video", Instructional Science, 33(1), pp.31~47 (2005)
  12. Conijn, R., "Predicting student performance from LMS data : A comparison of 17 blended courses using Moodle LMS", IEEE Transactions on Learning Technologies, 10(1), pp.17~29 (2016)
  13. Critchley, H. D., "Electrodermal responses : What happens in the brain", Neuroscientist, 8(2), pp.132~142 (2002)
  14. Davis, D., "Follow the successful crowd : raising MOOC completion rates through social comparison at scale", Proceedings of the seventh international learning analytics & knowledge conference, pp.454~463 (2017)
  15. Dawson, M. E., "Handbook of psychophysiology", pp.217~243 (2017), Cambridge University Press
  16. DeLeeuw, K. E., "A comparison of three measures of cognitive load : Evidence for separable measures of intrinsic, extraneous, and germane load", Journal of Educational Psychology, 100(1), pp.223~234 (2008)
  17. Di Mitri, D., "From signals to knowledge : A conceptual model for multimodal learning analytics", Journal of Computer Assisted Learning, 34(4), pp.338~349 (2018)
  18. D'Mello, S. K., "Multimethod assessment of affective experience and expression during deep learning", International Journal of Learning Technology, 4(3-4), pp.165~187 (2009)
  19. Doleck, T., "Mining learner-system interaction data : Implications for modeling learner behaviors and improving overlay models", Journal of Computers in Education, 2(4), pp.421~447 (2015)
  20. Fox, E., "Do threatening stimuli draw or hold visual attention in subclinical anxiety", Journal of Experimental Psychology : General, 130(4), pp.681~700 (2001)
  21. Freitas, S. D., "Foundations of dynamic learning analytics : Using university student data to increase retention", British Journal of Educational Technology, 46(6), pp.1175~1188 (2015)
  22. Gagné, R. M., "Preparing the learner for new learning", Theory Into Practice, 19(1), pp.6~9 (1980)
  23. Gašević, D., "Learning analytics should not promote one size fits all : The effects of instructional conditions in predicting academic success", The Internet and Higher Education, 28, pp.68~84 (2016)
  24. Giannakos, M. N., "Multimodal data as a means to understand the learning experience", International Journal of Information Management, 48, pp.108~119 (2019)
  25. Haapalainen, E., "Psycho-physiological measures for assessing cognitive load", Proceedings of the 12th ACM International Conference on Ubiquitous Computing, pp.301~310 (2010)
  26. Ikehara, C. S., "Assessing cognitive load with physiological sensors", Proceedings of the 38th Annual Hawaii International Conference on System Sciences, pp.295~303 (2005)
  27. Jayaprakash, S. M., "Early alert of academically at-risk students : An open source analytics initiative", Journal of Learning Analytics, 1(1), pp.6~47 (2014)
  28. Karaoğlan Yılmaz, F. G., "The effect of the metacognitive support via pedagogical agent on self-regulation skills", Journal of Educational Computing Research, 56(2), pp.159~180 (2018)
  29. Kauffman, D. F., "Self-regulated learning in web-based environments: Instructional tools designed to facilitate cognitive strategy use, metacognitive processing, and motivational beliefs", Journal of Educational Computing Research, 30(1-2), pp.139~161 (2004)
  30. Kim, M. C., "Scaffolding problem solving in technology-enhanced learning environments(TELEs) : Bridging research and theory with practice", Computers & Education, 56(2), pp.403~417 (2011)
  31. Kostons, D., "Self-assessment and task selection in learner-controlled instruction : Differences between effective and ineffective learners", Computers & Education, 54(4), pp.932~940 (2010)
  32. Lauria, E. J., "Mining academic data to improve college student retention : An open source perspective", Proceedings of the 2nd International Conference on Learning Analytics and Knowledge, pp.139~142 (2012)
  33. Lee, H. S., "Metacognitive judgments of prior material facilitate the learning of new material : The forward effect of metacognitive judgments in inductive learning", Journal of Educational Psychology, 111(7), pp.1189~1201 (2019)
  34. Lee, K., "Becoming a competent self : A developmental process of adult distance learning", The Internet and Higher Education, 41, pp.25~33 (2019)
  35. Lemay, D. J., "Predicting completion of massive open online course (MOOC) assignments from video viewing behavior", Interactive Learning Environments, pp.1~12 (2020)
  36. Li, L. Y., "Effect of prior knowledge on attitudes, behavior, and learning performance in video lecture viewing", International Journal of Human-Computer Interaction, 35(4-5), pp.415~426 (2019)
  37. Lopez-Vargas, O., "Students’ Metacognition and Cognitive Style and Their Effect on Cognitive Load and Learning Achievement", Educational Technology & Society, 20(3), pp.145~157 (2017)
  38. Maniar, N., "The effect of mobile phone screen size on video based learning", Journal of Software, 3(4), pp.51~61 (2008)
  39. Mayer, R. E., "Multimedia learning" (2009), Cambridge University Press
  40. Moos, D. C., "Flipping the classroom: Embedding self-regulated learning prompts in videos", Technology, Knowledge and Learning, 21(2), pp.225~242 (2016)
  41. Mu, S., "Multimodal data fusion in learning analytics : A systematic review", Sensors, 20(23), pp.1~26 (2020)
  42. O'Malley, J. M., "Learning strategies in second language acquisition" (1990), Cambridge University Press
  43. Pijeira-Diaz, H. J., "Profiling sympathetic arousal in a physics course : How active are students", Journal of Computer Assisted Learning, 34(4), pp.397~408 (2018)
  44. Poh, M. Z., "A wearable sensor for unobtrusive, long-term assessment of electrodermal activity", IEEE Transactions on Biomedical Engineering, 57(5), pp.1243~1252 (2010)
  45. Ramaswami, M., "A study on feature selection techniques in educational data mining", Journal of Computing, 1(1), pp.7~11 (2009)
  46. Sharma, K., "Building pipelines for educational data using AI and multimodal analytics : A"grey-box"approach", British Journal of Educational Technology, 50(6), pp.3004~3031 (2019)
  47. Shukor, N. A., "A predictive model to evaluate students’ cognitive engagement in online learning", Procedia-Social and Behavioral Sciences, 116, pp.4844~4853 (2014)
  48. Soong, S. K. A., "Impact of video recorded lectures among students", Proceedings of the 23rd Annual Conference of the Australasian Society for Computers in Learning in Tertiary Education, pp.789~793 (2006)
  49. Stark, E., "Examining the role of motivation and learning strategies in student success in online versus face-to-face courses", Online Learning, 23(3), pp.234~251 (2019)
  50. Taub, M., "Can the use of cognitive and metacognitive self-regulated learning strategies be predicted by learners’ levels of prior knowledge in hypermedia-learning environments", Computers in Human Behavior, 39, pp.356~367 (2014)
  51. Venables, P. H., "Electrodermal activity", Techniques in Psychophysiology, 54(3) (1980)
  52. Weinstein, C. E., "Handbook of research on teaching: A project of the American Educational Research Association", pp.315~327 (1986), Macmillan
  53. Yilmaz, R. M., "An examination of undergraduates’ metacognitive strategies in pre-class asynchronous activity in a flipped classroom", Educational Technology Research and Development, 65(6), pp.1547~1567 (2017)
  54. Zhang, D., "Instructional video in e-learning : Assessing the impact of interactive video on learning effectiveness", Information & Management, 43(1), pp.15~27 (2006)
  55. Zhou, Y., "Building an efficient intrusion detection system based on feature selection and ensemble classifier", Computer Networks, 174, pp.107247~ (2020)

관련 논문AI추천

텍스트 기반 멀티미디어 학습에서 시각적 단서와 학습자 메타인지 수준이 인지부하에 미치는 영향이정은, 조일현한국교육정보미디어학회 · 교육정보미디어연구2020 · 제26권 제3호온라인 학습 상황에서 행동 로그, 생리심리반응 및 시험불안을 통한 멀티모달(Multimodal) 학업성취 예측모형 개발성한올, 조일현한국교육공학회 · 교육공학연구2018 · 제34권 제2호동영상 학습 환경에서 인지부하의 변화 및 학습성과와의 상관관계김다솜, 박혜정, 조일현한국교육정보미디어학회 · 교육정보미디어연구2019 · 제25권 제4호맞춤형 학습지원을 위한 다중양식 학습분석 지표 선정김동주, 김동호, 신효정, 원성준, 이명진, 최대영, 최인봉, 한정윤, 황혜영한국교육정보미디어학회 · 교육정보미디어연구2024 · 제30권 제4호다중양식 학습분석의 연구동향과 발전방안 탐색을 위한 체계적 문헌 고찰김혜은, 이한솔, 조영환, 함윤희한국교육정보미디어학회 · 교육정보미디어연구2021 · 제27권 제2호온라인 화상회의 기반 협력학습에서 교수자의 개입에 따른 메타인지 촉진전략이 인지부하와 수행에 미치는 효과김진영, 김회수한국교육정보미디어학회 · 교육정보미디어연구2024 · 제30권 제3호

이 간행물의 다른 논문 (15건)

대학의 미래교육을 위한 핵심 교수역량 진단지표 개발박상아, 임성태, 김은희pp. 1221-1248비대면 플립러닝 수업에서 대학생의 의사소통능력, 자기주도학습능력, 문제해결능력에 영향을 미치는 수업 만족 요인박현정, 김명희pp. 1249-1272인공지능 교육프로그램이 청소년에게 미치는 효과 연구에 대한 메타분석장유나, 강윤경, 배상영, 홍세희pp. 1273-1294초등교사의 AI활용교육 수용에 영향을 미치는 변인들 간의 구조적 관계 규명이정민, 김소망pp. 1325-1351COVID-19 상황에서 의과대학 비대면 수업방식의 변화와 이에 따른 학생의 태도 및 실재감 인식 변화박영순, 천경희, 이태희pp. 1353-1375
원문 보기