본문 바로가기
KERD
논문KCI 등재

학습분석 기반 대학 신입생 대상 학습부진 위험학생 조기예측 모델 개발 및 군집별 특성 분석

Developing the prediction model of at-risk freshmen students and analyzing characteristics of cluster based on learning analytics

최재원|신종호
한국교육공학회 (Korean Society Of Educational Technology)|2019.06|교육공학연구 (Journal of Educational Technology)|제35권 제2호|pp. 425-454|DOI http://dx.doi.org/10.17232/KSET.35.2.425

0

조회

0

다운로드

19

인용

0

참고문헌

키워드

기계학습학습부진machine learning신입생예측 모형freshmen학습분석learning analyticsunderachivementpredictictive modeling
주제분류교육학

초록

대학 첫 학기의 성적이 향후 학업성취와 지속에 영향을 미치며, 특히, 학령인구의 지속적 감소와 신입생들의 학업역량 약화를 고려할 때 신입생 대상의 학습 성과 예측을 통한 선제적 대응은 매우 중요하다. 이에 본 연구는 학습분석을 기반으로 2016년~2018학년도까지 A대학의 3개년 동안의 신입생 4,662명의 데이터를 수집․분석하여 학습부진 가능성이 있는 학생을 조기에 예측할 수 있는 예측모형을 개발하고, 위험 학생으로 예측된 학생들의 특성을 분석하여 중재 프로그램 설계를 위한 시사점을 도출하고자 하였다. 기계학습 분석기법인 XGBoost를 활용한 최적모형 예측 결과 예측 모형의 재현도는 62.3%, 정밀도는 29.56%, F점수는 0.4, ROC곡선의 AUC는 0.733 으로 데이터가 제한적인 신입생 대상임을 고려할 때 의미 있는 모형이라고 할 수 있다. 예측을 위한 주요 변수로는 노력조절, 학생부사회/과학등급평균, 수능언어백분위, 수능수리백분위, 입시 서류전형 점수, 성별, 학교를 그만둘 의향, 지난해 한주동안 게임시간, 수능탐구백분위, 학생부등급평균 등인 것으로 나타났다. 또한, K-means 군집 분석을 통해 학습부진 학생들을 특징에 따라 6개 그룹으로 군집화하였으며, 군집을 구분하는 주요 변수들은 ‘학교만족도’와 ‘자기조절학습’과 관련된 변수들이었다. 이러한 연구결과를 바탕으로 예측 결과를 활용한 중재활동 시 고려사항과, 예측 정확도 및 중재 효과성 향상을 위한 고려 사항을 교육현장에서의 실천과 후속연구를 위하여 제언하였다.

Abstract

It is highly important to make proactive interventions for students at-risk through early prediction by considering how the first semester GPA would effect the student’s overall academic success to higher education. In this research, we have collected, analyzed a data set of 4,662 freshmen students in “A” university from 2016 to 2018, and developed a machine learning prediction model to find students who are more likely to get bad grades at the end of first semester. Finally, we also drew implications to design intervention programs by analyzing characteristics of at-risk students. The performance of the prediction model using XGboost had a recall (62.3%), precision (29.56%), F-score (0.4), and AUC (0.733). This performance of the model can be acceptable in a situation where data on freshmen is insufficient. The most important predictor variables in this model were self-regulatory capabilities, the high-school GPA in social sciences, Korean language & mathematics scores in College Scholastic Ability Test, etc. Students at risk are clustered into six groups by K-means clustering analysis according to their level of satisfaction in college and self-regulated learning. From the research results, we suggested what should be considered to take intervention for practice in higher education and how to collect and analyze data to improve model performance for future work in this area of research.

참고문헌 (40)

  1. 강승호, "대학생의 학업성취와 중도탈락 생각에 영향을 미치는 변인 분석", 교육평가연구, 23(1), pp.29~53 (2010), 한국교육평가학회
  2. 김나미, "대학중도탈락자 예방을 위한 동료멘토링 활용 자기주도학습 프로그램의 개발 및 효과", 학습자중심교과교육연구, 15(12), pp.875~900 (2015), 학습자중심교과교육학회
  3. 김수연, "대학생의 학업지속과 중도탈락 요인 분석", 한국교육, 33(4), pp.33~62 (2006), 한국교육개발원
  4. 한국교육종단연구2005(VII), "김양분", 한국교육개발원, ~, pp.한국교육개발원 연구보고 RR 2011-21 (2018)
  5. 한국교육종단연구2005(VIII), "김양분", 한국교육개발원, ~, pp.한국교육개발원 연구보고 RR 2012-21 (2018)
  6. 신정철, "대학생의 학업성취도와 그 영향요인들 간의 인과관계 분석", 교육행정학연구, 26(1), pp.287~313 (2008), 한국교육행정학회
  7. 신종호, "대학교육에서 학습분석 적용에 관한 탐색적 연구: 교수자의 관점을 중심으로", 교육공학연구, 31(2), pp.223~252 (2015), 한국교육공학회[DOI]
  8. 유솔아, "미국 대학의 신입생 대상 교육과정 실행 사례 분석", 비교교육연구, 21(5), pp.29~57 (2011), 한국비교교육학회
  9. 장은영, "대학생의 진로결정 자율성, 자아분화, 자기주도 학습능력 및 진로탐색행동 간의 구조관계분석", 박사, 교육학과, pp.2012
  10. Allen, J., "Can measuring psychosocial factors promote college success?", Applied Measurement in Education, 23, pp.1~22 (2009)
  11. Aulck, L., "Predicting student dropout in higher education", arXiv preprint arXiv:1606.06364, ~ (2016)
  12. Arnold, K. E., "Course signals at Purdue: Using learning analytics to increase student success", Proceedings of the 2nd International Conference on Learning Analytics and Knowledge, pp.267~270 (2012)
  13. Awaji, M., "Evaluation of machine learning techniques for early identification of at-risk students", doctoral, pp.2018
  14. Brent, "Data-Based Interventions for student success at purdue university", 2nd International Conference on higher education and innovation (2016)
  15. Bydžovská, H., "Towards Freshmen Performance Prediction", Proceedings of the 8th International Conference on Educational Data Mining (2015)
  16. Chen, T., "Xgboost: A scalable tree boosting system", Proceedings of the 22nd acm sigkdd international conference on knowledge discovery and data mining, pp.785~794 (2016), ACM
  17. Eagan, K., "The American freshman: National norms fall 2014" (2014), Higher Education Research Institute, UCLA
  18. Gansemer‐Topf, A. M., "Modeling success: Using pre-enrollment data to identify academically at‐risk students", Strategic Enrollment Management Quarterly, 3(2), pp.109~131 (2015)
  19. Gershenfeld, S., "The role of first-semester GPA in predicting graduation rates of underrepresented students", Journal of College Student Retention: Research, Theory & Practice, 17(4), pp.469~488 (2016)
  20. Hosch, B. J., "The tension between student persistence and institutional retention: An examination of the relationship between first-semester GPA and student progression rates of first-time students", Association for Institutional Research Annual Forum (2008)
  21. Hu, X., "A systematic review of studies on predicting student learning outcomes using learning analytics", Proceedings of the Seventh International Learning Analytics & Knowledge Conference, pp.528~529 (2017), ACM
  22. Jayaprakash, S. M., "Early alert of academically at-risk students : An open source analytics initiative", Journal of Learning Analytics, 1(1), pp.6~47 (2014)
  23. Kalman A. Winston, "Prediction and prevention of failure: An early intervention to assist at-risk medical students", Medical Teacher, 36(1), pp.25~31 (2013), Informa UK Limited[DOI]
  24. Kumar, M., "Literature survey on student’s performance prediction in education using data mining techniques", International Journal of Education and Management Engineering, 6(6), pp.40~49 (2017)
  25. Lei, C., "Academic performance predictors", 2015 IEEE 29th International Conference on Advanced Information Networking and Applications Workshops, pp.577~581 (2015), IEEE
  26. Alf Lizzio, "Early intervention to support the academic recovery of first-year students at risk of non-continuation", Innovations in Education and Teaching International, 50(2), pp.109~120 (2013), Informa UK Limited[DOI]
  27. Marbouti, F., "Models for early prediction of at-risk students in a course using standards-based grading", Computers & Education, 103, pp.1~15 (2016)
  28. Na, K. S., "Identifying at-risk students in online learning by analysing learning behaviour: A systematic review", 2017 IEEE Conference on Big Data and Analytics (ICBDA), pp.118~123 (2017), IEEE
  29. Peña-Ayala, A., "Educational data mining : A survey and a data mining-based analysis of recent works", Expert Systems with Applications, 41(4), pp.1432~1462 (2014)
  30. Paul, G., "Academic development : a survey of academic difficulties experienced by medical students and support services provided", Teaching and learning in medicine, 21(3), pp.254~260 (2009)
  31. Steven B. Robbins, "Do Psychosocial and Study Skill Factors Predict College Outcomes? A Meta-Analysis.", Psychological Bulletin, 130(2), pp.261~288 (2004), American Psychological Association (APA)[DOI]
  32. Romero, C., "Predicting students' final performance from participation in on-line discussion forums", Computers & Education, 68, pp.458~472 (2013)
  33. Sage, T. L., "Academic probation: How students navigate and make sense of their experience", pp.2010
  34. Santosa, R. G., "Logistic Regression Model for Predicting First Semester Students Gpa Category Based on High School Academic Achievement", Journal of Arts, Science & Commerce, 8(2), pp.1~ (2017)
  35. Sarker, F., "Linked data, data mining and external open data for better prediction of at-risk students", Control, Decision and Information Technologies (CoDIT), 2014 International Conference on, pp.652~657 (2014), IEEE
  36. Shahiri, A. M., "A review on predicting student’s performance using data mining techniques", Procedia Computer Science, 72, pp.414~422 (2015)
  37. Larry D. Singell, "Modeling Retention at a Large Public University: Can At-Risk Students Be Identified Early Enough to Treat?", Research in Higher Education, 51(6), pp.546~572 (2010), Springer Science and Business Media LLC[DOI]
  38. Sperry, R. A., "Prediction of retention and probation status of first-year college students in learning communities using binary logistic regression models", Doctoral, pp.2014
  39. Stinebrickner, R., "Understanding educational outcomes of students from low-income families: Evidence from a liberal arts college with a full tuition subsidy program", The Journal of Human Resources, 38(3), pp.591~617 (2003)
  40. Zimmerman, B. J., "A social cognitive view of self-regulated academic learning", Journal of educational psychology, 81(3), pp.329~ (1989)

관련 논문AI추천

학사경고자 예측을 위한 학습분석학적 모형 탐색김은진, 이현우, 조명희한국교육공학회 · 교육공학연구2018 · 제34권 제4호머신러닝 기반의 학업성취 예측 모형 탐색: 대학의 오프라인 수업을 중심으로이종문, 이현우, 차윤미한국교육방법학회 · 교육방법연구2021 · 제33권 제1호학습분석학 기반의 사이버대학의 중도탈락 예측 분석정영란한국교육방법학회 · 교육방법연구2020 · 제32권 제2호전문대학 학생의 학업중단 예측에 관한 연구: 초기 학업 성적의 중요성심지환, 오상조대한산업경영학회 · 산업융합연구2024 · 제22권 제2호외국인 유학생 학습부진 예측모형 개발권혜정, 김수인, 김효정, 엄미리, 이수강, 진서연대학교육개발센터협의회 · 대학 교수-학습 연구2022 · 제15권 제1호머신러닝 기반 대학생 중도탈락 예측 모델 구현 방안노윤정한국융합신호처리학회 · 융합신호처리학회 논문지2024 · 제25권 제2호

이 간행물의 다른 논문 (17건)

교육공학연구 2019년 특집호 “미래사회와 교육, 교육공학”을 발간하며김현진pp. 1-2의미연결망분석을 통한 가상 환경 기반 대화 시뮬레이션에서의 학습경험 탐색김민정, 최동연pp. 107-137학습관리시스템(LMS) 데이터를 활용한 기술수용모형의 사용의도와 실제사용 간의 관계 분석김기범, 차윤미, 이현우pp. 139-157학교 안 메이커스페이스(Makerspace)기반 메이커 교육의 학습과정 탐색김현진, 이봉규pp. 159-192대학생 대상의 디자인 사고 교육이 창의성역량에 미치는 영향최윤영, 원연정, 배예나, 안미리pp. 193-226
원문 보기