기계학습 기법을 활용한 플립러닝 강좌의 LMS 로그파일 분석 사례 연구
Learning Management System Log Data Analysis via Machine Learning: A Case Study from Flipped Learning
0
조회
0
다운로드
6
인용
0
참고문헌
키워드
초록
COVID-19 사태로 원격 수업은 이미 전세계적인 현상이 되며 온라인 자료를 활용한 학습분석학 연구의 중요성이 한층 더 강조되고 있다. 이러한 시대에 기계학습 기법을 활용하여 LMS (learning management system) 로그파일과 같은 빅데이터를 분석함으로써 학습자의 성공을 위한 예측모형을 구축할 필요가 있다. 온라인 학습에서 특히 자기조절학습이 중시되며 총 로그인 횟수 또는 평균 접속 시간과 같은 집계 변수(aggregate variable)로 모형에 활용되어 왔는데, 실제 학습시점에서의 자기조절학습 관련 변수를 측정하고 모형화할 필요가 있다. 본 연구의 목적은 플립러닝으로 이루어진 대학원 ‘기초통계’ 수업에서 학습자의 강의동영상 시청 양상을 파악하고, 기계학습 기법을 활용하여 학업성취도를 예측하는 변수를 탐색하는 것이었다. LMS 로그파일로부터 수업 전후 동영상 시청 빈도를 추출하고 학습자 배경 변수와 병합한 후 100개 설명변수를 활용하여 학업성취도 예측모형을 구축하였다. 본 연구는 기계학습 기법 중 벌점회귀모형으로 분류되는 Enet(elastic net)을 활용함으로써 상대적으로 해석하기 쉬운 예측모형을 도출하였다. 기존 연구 방식으로는 중간고사 또는 적어도 쪽지시험과 같은 평가 후에야 학습자의 수준을 가늠할 수 있었던 반면, 본 연구는 평가 자료 없이도 빠르게는 2~3주차부터 성취도를 예측하는 변수를 파악할 수 있었다. 사전학습 과제였던 조별 질문 생성이 학습자들의 사전학습을 효과적으로 촉진하였다는 것 또한 확인할 수 있었다. 단, 학습자의 배경지식이 깊지 않고 내용 자체가 어려운 강좌의 경우 무작정 강의동영상을 많이 보라고 학습자들을 독려하는 것이 적절하지 않을 수 있다. 대학원 수준 통계와 같은 상대적으로 어려운 강좌에서 플립러닝을 효과적으로 적용할 수 있는 방안 및 다양한 배경변인 및 학습 관련 변인을 수집하고 모형에서 활용하는 방안 등을 후속 연구과제로 논하였다.
Abstract
The Learning Management System (LMS) provides big data for analysis with machine learning techniques to create prediction models for student success. In particular, self-regulated learning has been emphasized in online learning, and measured as login frequencies or login time. However, aggregate variables such as total login frequencies or average login time have been typically utilized, mainly due to analytical limitations of conventional techniques. More detailed indicators of self-regulated learning such as students’ watching frequencies of online lectures before and after each class need to be measured and modeled to predict students’ academic success via machine learning. This study aimed at exploring important variables for the prediction model as well as capturing students’ watching behaviors of online lectures. Students’ watching frequencies were coded using LMS log data from a graduate-level flipped classroom (FC). Combined with students’ background information, the final data for analysis consisted of 100 predictors in a course on introductory statistics. Enet (penalized regression) was employed among machine learning techniques mainly due to its interpretability. Without a quiz or an exam, the frequencies of video watching were important variables to predict students’ academic achievement as early as the first 2~3 weeks of the course. However, merely watching the instructional videos repeatedly did not contribute to students’ academic success. Further studies are warranted on designing effective FC with heavily loaded courses covering unfamiliar content as well as collecting and modeling other important study-related or background information variables relevant to students’ academic success in FC.
참고문헌 (32)
- 권순보, "Elastic Net을 통한 교사의 직무만족도 관련 변수 탐색", 열린교육연구, 27(3), pp.1~23 (2019), 한국열린교육학회[DOI]
- 노민정, "Adaptive LASSO를 통한 진로결정 관련 변수 탐색", 열린교육연구, 27(4), pp.133~155 (2019), 한국열린교육학회[DOI]
- 노민정, "Group Mnet 기계학습 기법을 이용한 고등학생의 진로개발역량 관련 변수 탐색", 직업능력개발연구, 23(2), pp.83~109 (2020), 한국직업능력연구원
- 미래학교 설립·운영 모델 개발 연구, "김현진", 한국교육학술정보원, ~, pp.연구보고 CR 2017-6 (2017)
- 학습분석 모델 및 확장 방안 연구, "나일주", 서울특별시교육청, ~ (2015)
- 유진은, "기계학습: 대용량", 패널자료와 학습분석학 자료 분석으로의 활용, 2019, pp.35(2), 313~338[DOI]
- "학습지에서 AI로 체질 바꾸는 교육업체, “AI 키워야 산다”" (2019)[URL]
- 조보람, "국내 플립러닝의 학습효과에 관한 메타분석", 디지털융복합연구, 16(3), pp.59~73 (2018), 한국디지털정책학회[DOI]
- 주영주, "사이버대학생의 학업적 자기효능감, 자기조절학습능력 및 온라인과제가치와 만족도 및 성취도간의 관계 분석", 교육정보미디어연구, 14(3), pp.115~135 (2008), 한국교육정보미디어학회
- 한정윤, "온라인 소프트웨어 교육에서 학습자의 자기조절학습 관련 특성에 기반한 온라인 학습 유형 분석: 계층적 군집 분석 기법을 활용하여", 컴퓨터교육학회 논문지, 22(5), pp.51~65 (2019), 한국컴퓨터교육학회[DOI]
- Bergmann, J., "Flip your classrooms: Reach every student in every class every day" (2012), International Society for Technology in Education
- Broadbent, J., "Self-regulated learning strategies &academic achievement in online higher education learning environments : A systematic review", The Internet and Higher Education, 27, pp.1~13 (2015)
- Bzdok, D., "Statistics versus machine learning", Nature Methods, 15, pp.223~234 (2018)
- Cho, M., "Exploring online students’ self-regulated learning with self-reported surveys and log files : A data mining approach", Interactive Learning Environment, 25(8), pp.970~982 (2017)
- ElSayed, A. A., "Research in learning analytics and educational data mining to measure self-regulated learning: A systematic review", Paper presented at the 18th World Conference on Mobile and Contextual Learning (2019)
- Fincham, E., "From study tactics to learning strategies : An analytical method for extracting interpretable representations", IEEE Transactions on Learning Technologies, 12(1), pp.59~72 (2019)
- Hastie, T., "Elements of statistical learning: Data mining, inference, and prediction" (2009), Springer
- "Glmnet vignette" (2016)[URL]
- Holderness, C. G., "Problems using aggregate data to infer individual behavior : Evidence from law, finance, and ownership concentration", Critical Finance Review, 5, pp.1~40 (2016)
- Hoerl, A. E., "Ridge regression : biased estimation for nonorthogonal problems", Technometrics, 12, pp.55~67 (1970)
- Macfadyen, L., "Numbers are not enough : Why e-learning analytics failed to inform an institutional strategic plan", Educational Technology & Society, 15(3), pp.149~163 (2012)
- Manso-Vázquez, M., "An xAPI Application Profile to Monitor Self-Regulated Learning Strategies", IEEE Access, 6, pp.42467~42481 (2018)
- Montgomery, A., "Using learning analytics to explore self‐regulated learning in flipped blended learning music teacher education", British Journal of Educational Technology, 50(1), pp.114~127 (2017)
- Popescu, E., "Predicting academic performance based on learner traces in a social learning environment", IEEE Access, 6, pp.72774~72785 (2018)
- Romero, C., "Educational data mining: A review of the state of the art", IEEE Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews, 40(6), pp.601~618 (2010)
- Smith, V. C., "Predictive modeling to forecast student outcomes and drive effective interventions in online community college courses", Journal of Asynchronous Learning Networks, 16(3), pp.51~61 (2012)
- Tibshirani, R., "Regression shrinkage and selection via the lasso", Journal of Royal Statistical Society Series B, 58(1), pp.267~288 (1996)
- Yarkoni, T., "Choosing prediction over explanation in psychology : Lessons from machine learning", Perspectives on Psychological Science, 12(6), pp.1100~1122 (2017)
- Yoo, J. E., "TIMSS 2011 student and teacher predictors for mathematics achievement explored and identified via elastic net", Frontiers in Psychology, 9, pp.317~ (2018)
- Yoo, J. E., "Exploration of predictors for Korean teacher job satisfaction via a machine learning technique, group mnet", Frontiers in Psychology, 11, pp.441~ (2020)
- You, J. W., "Identifying significant indicators using LMS data to predict course achievement in online learning", Internet and Higher Education, 29, pp.23~30 (2016)
- Zou, H., "Regularization and variable selection via the elastic net", Journal of Royal Statistical Society Series B, 67(2), pp.301~320 (2005)