본문 바로가기
KERD
논문KCI 등재

대학 온라인 학습에서 LMS 로그데이터를 활용한 자기조절학습 예측 요인 탐색: 학습 시간 관리를 중심으로

Exploring the Predictors for Self-Regulated Learning Using LMS Log Data in Online Higher Education

임규연|박지우
한국교육정보미디어학회 (Korea Association for Educational Information and Media)|2023.06|교육정보미디어연구 (Journal of Korean Association for Educational Information and Media)|제29권 제2호|pp. 485-510

0

조회

0

다운로드

4

인용

0

참고문헌

키워드

온라인 학습행동Machine Learning예측분석학습관리시스템(LMS)자기조절학습(SRL)Learning Managemanet System(LMS)Self-Regulated Learning(SRL)Online Learning BehaviorOnline Trace Data
주제분류교육학

초록

학습과 관련한 다양한 데이터가 축적됨에 따라 교육적 맥락에서 데이터 중심 접근이 확대되고 있으며, 특히 학습관리시스템(LMS) 내에 저장된 데이터를 활용하여 학습자의 행동을 예측하고 학습자의 자기조절학습을 지원할 수 있다. 이에 따라 본 연구는 로그데이터를 활용하여 인지조절, 행동조절, 맥락조절 각 영역의 자기조절학습을 예측하는 학습 시간 관리 관련 학습행동 데이터를 탐색하고, 학습자의 자기조절학습 지원에 시사점을 주는 것을 목적으로 수행되었다. 본 연구에서는 A대학 교양 교과목 수강생의 학습관리시스템 내 로그데이터를 바탕으로 의사결정나무 및 랜덤 포레스트 분석을 실시하여 각 영역의 자기조절학습 예측 모형을 도출하였으며, 온라인 학습행동 변수의 중요도를 확인하였다. 연구 결과, 시간 관리 관련 온라인 학습행동은 인지조절, 행동조절, 맥락조절 전체 영역의 자기조절학습 예측에 있어 대부분 높은 중요도를 보였으나, 학습 시점 규칙성 및 학습 시점 간격 변수의 중요도가 학습빈도의 중요도보다 상대적으로 높게 나타났으며, 주로 학습 시점 규칙성, 학습 시점 간격, 학습 횟수 순으로 영향을 미친 것으로 나타났다. 이러한 분석 결과를 바탕으로 본 연구에서는 자기조절학습 지원에 대한 시사점과 함께 추후 연구를 위한 제언을 제시하였다.

Abstract

With the accumulation of various data related to learning, a data-driven approach is gaining more attention in the educational context. In particular, there is a growing need to leverage the data stored in learning management systems (LMS) to predict learners’ behaviors and support their self-regulated learning. This study aims to explore learning behavior related to time management by utilizing log data and predicting self-regulated learning in the domains of cognitive, behavioral, and contextual regulation. This research aims to provide insights into supporting learners’ self-regulated learning by examining log data. Decision tree and random forest analyses were conducted to derive predictive models for self-regulated learning in each domain, and the importance of predictors was examined. The findings revealed that online learning behaviors related to time management played a crucial role in predicting self-regulated learning across all domains: cognitive regulation, behavioral regulation, and contextual regulation. However, the importance of variables related to learning timing regularity and learning timing intervals was relatively higher compared to learning frequency. Specifically, learning timing regularity, learning timing intervals, and learning frequency were found to exert the most significant influence in that order. Based on these results, the study provided implications for supporting self-regulated learning and suggestions for future research in the field of educational technology.

참고문헌 (76)

  1. 김동심, "학업복귀 성인학습자의 자기조절학습 및 성취도 예측변인 검증", 평생학습사회, 13(4), pp.129~150 (2017), 미래원격교육연구원[DOI]
  2. 노혜란, "대학이러닝 학습자의 모바일학습에서 학습행태, 학습스타일, 학업성취도에 대한 연구", 교육정보미디어연구, 25(3), pp.431~450 (2019), 한국교육정보미디어학회[DOI]
  3. 박민애, "랜덤 포레스트를 활용한 학생과 교사의 피드백 경험 예측요인 탐색", 교육과정평가연구, 24(2), pp.103~126 (2021), 한국교육과정평가원
  4. 박창이, "R을 이용한 데이터마이닝" (2013), 교우사
  5. 성은모, "학습분석학 관점에서 학습자의 자기주도학습 지원을 위한 학습 데이터 탐색 연구", 교육공학연구, 32(3), pp.487~533 (2016), 한국교육공학회[DOI]
  6. 성한올, "온라인 학습 상황에서 행동 로그, 생리심리반응 및 시험불안을 통한 멀티모달(Multimodal) 학업성취 예측모형 개발", 교육공학연구, 34(2), pp.287~308 (2018), 한국교육공학회[DOI]
  7. 유진은, "랜덤 포레스트: 의사결정나무의 대안으로서의 데이터 마이닝 기법", 교육평가연구, 28(2), pp.427~448 (2015), 한국교육평가학회
  8. 유진은, "기계학습: 대용량", 패널자료와 학습분석학 자료 분석으로의 활용, 2019, pp.35(2), 313~338[DOI]
  9. 유진은, "기계학습 기법을 활용한 플립러닝 강좌의 LMS 로그파일 분석 사례 연구", 열린교육연구, 28(5), pp.79~102 (2020), 한국열린교육학회[DOI]
  10. 이성혜, "온라인학습환경에서 학업성취도에 영향을 미치는 자기조절학습 변인 및 학습행동 데이터 특성 탐색", 교육정보미디어연구, 27(2), pp.723~748 (2021), 한국교육정보미디어학회
  11. 이성혜, "자기조절학습 행동데이터에 대한 탐색적 연구: 해외 학습분석 연구를 중심으로", 교육공학연구, 37(2), pp.191~236 (2021), 한국교육공학회[DOI]
  12. 이정은, "동영상 기반 학습 환경에서 머신러닝을 활용한 행동로그의 학업성취 예측 모형 탐색", 컴퓨터교육학회 논문지, 23(2), pp.53~64 (2020), 한국컴퓨터교육학회[DOI]
  13. 이현우, "오프라인 강좌에서 대학생의 학업성취에 따른 학습관리시스템 활동의 차이 분석", 교육정보미디어연구, 25(1), pp.201~222 (2019), 한국교육정보미디어학회[DOI]
  14. 이현우, "머신러닝 기반의 학업성취 예측 모형 탐색: 대학의 오프라인 수업을 중심으로", 교육방법연구, 33(1), pp.29~46 (2021), 한국교육방법학회
  15. 이혜윤, "대학 이러닝 환경에서 학습자 행동 로그에 기반한 군집별 학업성취 예측모형 비교", 교육과학연구, 49(1), pp.127~150 (2018), 교육과학연구소[DOI]
  16. 조용상, "학습 분석 기술 활용 가능성 및 전망: 유즈케이스와 서비스 모델", 정보와통신, 31(12), pp.73~80 (2014)
  17. 조용준, "빅데이터 SPSS 최신 분석기법: 신경망, SVM, 랜덤 포레스트 편" (2018), 한나래
  18. 조일현, "이러닝에서 학습자의 시간관리 전략이 학업성취도에 미치는 영향: 학습분석학적 접근", 교육정보미디어연구, 19(1), pp.83~107 (2013), 한국교육정보미디어학회
  19. 조일현, "학습분석학을 활용한 e-러닝 학업성과 추정 모형의 통계적 유의성 확보 시점 규명", 교육공학연구, 29(2), pp.285~306 (2013), 한국교육공학회
  20. 한정윤, "온라인 소프트웨어 교육에서 학습자의 자기조절학습 관련 특성에 기반한 온라인 학습 유형 분석: 계층적 군집 분석 기법을 활용하여", 컴퓨터교육학회 논문지, 22(5), pp.51~65 (2019), 한국컴퓨터교육학회[DOI]
  21. 온라인 학습분석 기반 맞춤형 교육지원 방안 연구, "한국교육개발원", 한국교육개발원, ~, pp.RR2019-18 (2019)
  22. 교육정책 추진 지원을 위한 교육 빅데이터 활용 활성화 방안, "한국교육과정평가원", 한국교육과정평가원, ~, pp.ORM 2022-61-3 (2022)
  23. Adams, R. V., "Impact of time management behaviors on undergraduate engineering students’performance", Sage Open, 9(1) (2019)
  24. Alserhan, S., "Personal learning environments: Modeling students’ self-regulation enhancement through a learning management system platform", IEEE Access (2023)
  25. Andergassen, M., "From LMS to open learning offerings and back: One open-source platform, multiple learning scenarios", Proceedings of Work in Progress Papers of the Experience and Research Tracks and Position Papers of the Policy Track at EMOOCs 2017 co-located with the EMOOCs 2017 Conference, pp.53~58 (2017)
  26. Arizmendi, C. J., "Predicting student outcomes using digital logs of learning behaviors : Review, current standards, and suggestions for future work", Behavior Research Methods, 2022, pp.1~29 (2022)
  27. Artino, A. R., "Academic motivation and self-regulation: A comparative analysis of undergraduate and graduate students learning online", The Internet and Higher Education, 12(3-4), pp.146~151 (2009)
  28. Azevedo, R., "Does training on self-regulated learning facilitate students’ learning with hypermedia?", Journal of Educational Psychology, 96(3), pp.523~535 (2004)
  29. Baker, S., "Emergence and Innovation in Digital Learning", pp.83~98 (2016), Athabasca University Press
  30. Black, J., "A Dictionary of Economics" (2012), Oxford University Press
  31. Bower, M., "A framework for Web 2. 0 learning design", Educational Media International, 47(3), pp.177~198 (2010)
  32. "NMC Horizon Report: 2018 Higher Education Edition" (2018)[URL]
  33. Black, E. W., "Data for free : Using LMS activity logs to measure community in online courses", The Internet and Higher Education, 11(2), pp.65~70 (2008)
  34. Bonifro, F., "Student dropout prediction", Proceedings of AIED 2020: Artificial Intelligence in Education: 21st International Conference, pp.129~140 (2020)
  35. Cerezo, R., "Students’ LMS interaction patterns and their relationship with achievement : A case study in higher education", Computers & Education, 96, pp.42~54 (2016)
  36. Cho, M. H., "Self-regulation in online learning", Distance Education, 34(3), pp.290~301 (2013)
  37. Cho, M. H., "Exploring online students’ self-regulated learning with self-reported surveys and log files: A data mining approach", Interactive Learning Environments, 25(8), pp.970~982 (2017)
  38. Conijn, R., "Predicting student performance from LMS data : A comparison of 17 blended courses using Moodle LMS", IEEE Transactions on Learning Technologies, 10(1), pp.17~29 (2016)
  39. Fischer, C., "Mining big data in education : Affordances and challenges", Review of Research in Education, 44(1), pp.130~160 (2020)
  40. Greller, W., "Translating learning into numbers : A generic framework for learning analytics", Journal of Educational Technology & Society, 15(3), pp.42~57 (2012)
  41. Hodges, C. B., "Self-regulation in web-based courses : A review and the need for research", Quarterly Review of Distance Education, 6(4), pp.375~383 (2005)
  42. Huh, Y., "Online K-12 teachers’ perceptions and practices of supporting self-regulated learning", Journal of Educational Computing Research, 55(8), pp.1129~1153 (2018)
  43. Järvenoja, H., "Understanding the process of motivational, emotional and cognitive regulation in learning situations", Educational Psychologist, 50(3), pp.204~219 (2015)
  44. Jo, I. H., "Evaluation of online log variables that estimate learners’time management in a Korean online learning context", International Review of Research in Open and Distributed Learning, 17(1), pp.195~213 (2016)
  45. The 2010 Horizon Report, "Johnson, L.", The New Media Consortium, ~ (2010)
  46. Kearns, H., "Is it time well spent? The relationship between time management behaviours, perceived effectiveness and work‐related morale and distress in a university context", High Education Research & Development, 26(2), pp.235~247 (2007)
  47. Kizilcec, R. F., "Self-regulated learning strategies predict learner behavior and goal attainment in massive open online courses", Computers & Education, 104, pp.18~33 (2017)
  48. Kline, T., "Psychological testing: A practical approach to design and evaluation" (2005), Sage
  49. Krumm, A. E., "Learning analytics: From research to practice", pp.103~119 (2014), Springer
  50. Khiat, H., "Using automated time management enablers to improve self-regulated learning", Active Learning in Higher Education, 23(1), pp.3~15 (2022)
  51. Strategies for enhancing self-regulation in e-learning: A review of selected journal publications from 2010 to 2020, "Lai, C. L.", Interactive Learning Environments, 1~23 (2020)
  52. Lee, J. E., "Measuring students’ use of self-regulated learning strategies from learning management system data: An evidence-centered design approac", Analytics for Learning, pp.1~14 (2017)
  53. Macfadyen, L. P., "Mining LMS data to develop an"early warning system"for educators : A proof of concept", Computers & Education, 54(2), pp.588~599 (2010)
  54. Mazza, R., "Exploring usage analysis in learning systems: Gaining insights from visualisations", Proceedings of Workshop on Usage Analysis in Learning Systems at 12th International Conference on Artificial Intelligence in Education, pp.65~72 (2005)
  55. Montgomery, A. P., "Using learning analytics to explore self-regulated learning in flipped blended learning music teacher education", British Journal of Educational Technology, 50(1), pp.114~127 (2019)
  56. Narciss, S., "Promoting self-regulated learning in web-based learning environments", Computers in Human Behavior, 23(3), pp.1126~1144 (2007)
  57. Olofson, M. W., "An instrument to measure teacher practices to support personalized learning in the middle grades", RMLE Online, 41(7), pp.1~21 (2018)
  58. Paris, S. G., "Development aspects of self-regulated learning", Educational Psychologist, 25(1), pp.87~102 (1990)
  59. Pintrich, P. R., "A Conceptual framework for assessing motivation and self-regulated learning in college students", Educational Psychology Review, 16(4), pp.385~407 (2004)
  60. Pintrich, P. R., "A manual for the use of the Motivated Strategies for Learning(MSLQ)" (1991), The University of Michigan
  61. Poellhuber, L. V., "Cluster-based performance of student dropout prediction as a solution for large scale models in a moodle LMS", Proceedings of LAK23: 13th International Learning Analytics and Knowledge Conference, pp.592~598 (2023)
  62. Rienties, B., "Unpacking the intertemporal impact of self-regulation in a blended mathematics environment", Computers in Human Behavior, 100, pp.345~357 (2019)
  63. Riestra-González, M., "Massive LMS log data analysis for the early prediction of course-agnostic student performance", Computers & Education, 163, pp.104108~ (2021)
  64. Romero, C., "Web usage mining for predicting final marks of students that use Moodle courses", Computer Applications in Engineering Education, 21(1), pp.135~146 (2013)
  65. Romero, C., "Data mining in education", Wiley Interdisciplinary Reviews : Data Mining and Knowledge Discovery, 3(1), pp.12~27 (2013)
  66. Salehian Kia, F., "Measuring students’ self-regulatory phases in LMS with behavior and real-time self report", Proceedings of LAK21: 11th International Learning Analytics and Knowledge Conference, pp.259~268 (2021)
  67. Siemens, G., "Open learning analytics: An integrated & modularized platform" (2011), Open University Press
  68. "What Is Learning Analytics?" (2021)[URL]
  69. Tamada, M. M., "Predicting students at risk of dropout in technical course using LMS logs", Electronics, 11(3), pp.468~ (2022)
  70. Tas, Y., "Effectiveness of design-based science on students’ learning in electrical energy and metacognitive self-regulation", International Journal of Science and Mathematics Education, 17(6), pp.1109~1128 (2019)
  71. Tuckman, B. W., "Relations of academic procrastination, rationalizations, and performance in a web course with deadlines", Psychological Reports, 96(3), pp.1015~1021 (2005)
  72. Uzir, N. A., "Analytics of time management strategies in a flipped classroom", Journal of Computer Assisted Learning, 36(1), pp.70~88 (2020)
  73. Uzir, N. A., "Discovering time management strategies in learning processes using process mining techniques", Proceedings of Transforming Learning with Meaningful Technologies: 14th European Conference on Technology Enhanced Learning, pp.555~569 (2019)
  74. Wolters, C. A., "College students’ time management: A self-regulated learning perspective", Educational Psychology Review, pp.1~33 (2020)
  75. Wong, B. T. M., "A review of learning analytics intervention in higher education(2011-2018)", Journal of Computers in Education, 7(1), pp.7~28 (2020)
  76. Zimmerman, B. J, "Handbook of self-regulation", pp.13~39 (2000), Academic Press

관련 논문AI추천

온라인학습환경에서 학업성취도에 영향을 미치는 자기조절학습 변인 및 학습행동 데이터 특성 탐색박혜진, 성은모, 이성혜한국교육정보미디어학회 · 교육정보미디어연구2021 · 제27권 제2호자기조절학습 행동데이터에 대한 탐색적 연구: 해외 학습분석 연구를 중심으로박소영, 이성혜, 이유경, 함은혜한국교육공학회 · 교육공학연구2021 · 제37권 제2호온라인 강좌의 LMS 로그 데이터를 활용한 기계학습 기반 학업성취도 예측 변수 탐색유지원한국교육정보미디어학회 · 교육정보미디어연구2025 · 제31권 제5호이러닝에서 학습자의 시간관리 전략이 학업성취도에 미치는 영향: 학습분석학적 접근김윤미, 조일현한국교육정보미디어학회 · 교육정보미디어연구2013 · 제19권 제1호기계학습 기법을 활용한 플립러닝 강좌의 LMS 로그파일 분석 사례 연구유진은한국열린교육학회 · 열린교육연구2020 · 제28권 제5호학습분석학을 활용한 e-러닝 학업성과 추정 모형의 통계적 유의성 확보 시점 규명김정현, 조일현한국교육공학회 · 교육공학연구2013 · 제29권 제2호

이 간행물의 다른 논문 (7건)

국내 예비교사 대상 TPACK 향상 교육 프로그램의 효과에 관한 메타분석정슬기, 진서연, 박인우pp. 311-333실시간 온라인 학습에서 비디오 조절의 원인 탐색조영환, 신부경, 문서연, 윤여름pp. 335-363APEC 국제교육협력사업을 위한 교육정책가의 교육정보화 역량모델 개발 연구윤헌철, 이은배, 이지연pp. 365-394영어 쓰기에서 자동 쓰기 평가 시스템(AWE)의 효과적 활용을 위한 교수전략 개발 연구임은선, 임철일, 이진연pp. 395-423예비 중등교원의 인공지능 역량 향상을 위한 교육과정 체계 개발 방향 탐색송길태, 박성경, 한형종, 정예일, 임철일, 채지윤, 이은서, 이진연pp. 425-454
원문 보기