국내 AI기반 적응형 학습 플랫폼 활용 교육의 교육적 효과에 대한 메타분석
Meta-analysis of the educational effects of utilizing AI-based adaptive learning platforms in South Korea
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 국내에서 수행된 AI기반 적응형 학습 플랫폼 활용 교육의 효과성을 체계적이고 종합적으로 검토하고, 이를 바탕으로 AI 기술을 활용한 교육 혁신의 방향을 제시하고자 메타분석을 실시하였다. PRISMA의 기준에 따라 검토하여 최종적으로 12편의 연구물을 분석 대상으로 선정하였으며, 사전/사후, 처치/통제, 상관분석, 회귀분석, 구조모형방정식을 사용한 연구로 구분하여 코딩을 수행하였다. 연구 결과 전체 효과크기는 사전/사후 연구 0.4271, 통제/처치집단 연구 0.4909로 중간 정도의 효과크기를 보였으며, 상관 분석 연구에서는 0.3225로 작은 효과크기가 도출되었다. 모든 연구에서 통계적으로 유의한 차이가 나타났고, 연구 간 이질성은 높은 것으로 나타났다. AI기반 적응형 학습 플랫폼 활용 교육 효과성의 세부 분석 결과는 조절변인에 따라 학습 효과크기에 차이가 있는 것으로 나타났다. 연구대상의 수에 따른 분석에서는 중간 규모의 연구에서 효과크기가 가장 높았으며(사전/사후: 0.6982, 통제/처치: 0.4938), 소규모 또는 대규모 연구에서는 통계적으로 유의한 차이를 보이지 않았다. K-12 학생을 대상으로 한 연구에서는 효과크기가 높게 나타났으나(사전/사후: 0.6516, 통제/처치: 0.8270), 대학생 대상 연구에서는 상대적으로 낮은 효과크기가 관찰되었다(사전/사후: 0.1348, 통제/처치: 0.2306). 출판 형식에 따른 차이도 분석하였으며, 학위논문에서 발표된 연구(사전/사후: 0.8647, 통제/처치: 0.8289)들이 학술지(사전/사후: 0.0963, 통제/처치: 0.1876)에 비해 더 높은 효과크기를 보였다. 결론적으로 본 연구는 AI기반 적응형 학습 플랫폼 활용 교육의 교육효과성을 체계적으로 검증하고 이를 바탕으로 향후 교육 현장에서의 효과적인 활용 가능성을 제시하고자 한다.
Abstract
This study systematically examined the effectiveness of education using AI-based adaptive learning platforms in South Korea through a meta-analysis. Following PRISMA guidelines, 12 studies were analyzed and categorized by research design, including pre-post design, treatment-control group, correlational analysis, regression analysis, and structural equation modeling. The overall effect sizes were 0.4271 for pre-post studies and 0.4909 for treatment-control group studies, indicating medium effects, while correlational analysis studies showed a smaller effect size of 0.3225. All studies demonstrated statistically significant differences, with considerable heterogeneity observed. A detailed analysis of moderating variables revealed notable differences. Studies with medium sample sizes had the largest effect sizes (pre-post: 0.6982, treatment-control: 0.4938), while small or large sample sizes showed no statistically significant differences. Studies involving K-12 students showed higher effect sizes (pre-post: 0.6516, treatment-control: 0.8270) than those involving university students (pre-post: 0.1348, treatment-control: 0.2306). Publication format also influenced results, with dissertations showing higher effect sizes (pre-post: 0.8647, treatment-control: 0.8289) compared to journal articles (pre-post: 0.0963, treatment-control: 0.1876). In conclusion, the study validated the educational effectiveness of AI-based adaptive learning platforms and emphasized their potential for fostering innovation in future educational environments.
참고문헌 (75)
- 간진숙, "대학 영어 수업에서 AI기반 적응형 학습이 TOEIC 학업성취도와 자기 주도적 학습 능력에 미치는 영향", 학습자중심교과교육연구, 23(19), pp.267~283 (2023)
- 강신천, "생성형 AI기반 교수설계 지원 플랫폼 개발 및 시범 적용", 컴퓨터교육학회 논문지, 26(6), pp.143~153 (2023)
- "디지털 인재 양성 종합방안" (2022)[URL]
- 김명희, "학습자 특성을 고려한 적응적 학습 관리 시스템의 설계 및 구현", 한국콘텐츠학회논문지, 4(1), pp.8~17 (2004)
- 김부열, "인공지능 기반 적응형 학습 프로그램 영향평가: 대구 중학교무작위통제실험 사례를 중심으로", 응용경제, 24(4), pp.5~25 (2022)
- 김재현, "메타버스(Metaverse)활용 학습 효과의 메타분석", 교육정보미디어연구, 29(3), pp.651~679 (2023)
- 김현진, "학교교육에서 AI 활용에 대한 교사의인식", 교육공학연구, 36(스페셜), pp.905~930 (2020)
- 김형욱, "R 매핑을 이용한 인공지능의 교육적 활용 탐색-국외 문헌 분석을 중심으로", 정보교육학회논문지, 24(4), pp.313~325 (2020)
- 박경진, "AI기반 적응형 교수학습 방법이 수학적 자기효능감 및 학업성취에 미치는 효과", 석사, pp.2023
- 박창언, "체계적 문헌고찰에서 평가자 간의 신뢰도 측정", Hanyang Medical Reviews, 35(1), pp.44~49 (2015)
- 서은희, "적응학습 시스템을 활용한 대학 교양수학 수업이 학습자의 정의적 태도에 미치는 영향", 학습자중심교과교육연구, 19(11), pp.273~293 (2019)
- 송대웅, "ITS기반의 적응형 학습 추천 시스템 설계 및 구현", 석사, 컴퓨터소프트웨어학, pp.2007
- 신종호, "대학 수업에서의 AI기반 적응형 학습시스템 활용에 관한 탐색적 연구", 교육정보미디어연구, 27(4), pp.1545~1570 (2021)
- 신종호, "대학 기초교육에서 AI 코스웨어 활용 수업을 위한 교수설계 가이드라인 개발및 타당화", 교육정보미디어연구, 30(2), pp.571~594 (2024)
- AI 디지털교과서 도입을 위한 쟁점 분석 및 개발 전략, "안성훈", 한국교육학술정보원, ~, pp.RM 2023-11 (2023)
- 오석환, "인공지능 애플리케이션을 활용한 고등학교 수학 수업설계의 효과 : 학업성취도와 정의적 영역을 중심으로", 교육정보미디어연구, 27(2), pp.401~422 (2021)
- 유명현, "VR, AR, MR 기반 학습의 효과에 관한 메타분석", 교육정보미디어연구, 24(3), pp.459~488 (2018)
- 이기마, "국내 AI 수학 학습 플랫폼의 적응형 학습에 대한 분석", 한국학교수학회논문집, 26(3), pp.245~268 (2023)
- 이봉규, "개별화 교수전략을 적용한 AI기반 적응형 학습 시스템 활용 중학교 기초학력 미달 수업에 관한 참여적 실행연구", 학습자중심교과교육연구, 22(24), pp.333~359 (2022)
- 이재무, "학습 내용을 고려한 적응형 이러닝 시스템 개발 및 적용", 한국지식정보기술학회 논문지, 9(2), pp.219~228 (2014)
- 이재호, "초등 AI 교육 플랫폼에 대한 전문가 인식조사 연구", 정보교육학회논문지, 24(5), pp.483~494 (2020)
- "이기원 한림대 교수 “AI를 통한 교육의 새로운 패러다임 기대”" (2020)[URL]
- 이진숙, "대학의 AI기반 맞춤형 강의 추천 시스템 개발 및 실제 적용 사례 연구 : K 대학을 중심으로", 교육공학연구, 37(2), pp.267~307 (2021)
- 임규연, "테크놀로지 기반 개별화 학습에 대한 체계적 문헌 분석 : 2011-2022년국내연구를 중심으로", 교육공학연구, 37(3), pp.525~559 (2021)
- 장지원, "학습자 유형과 특성을 고려한 AI 교육 적응형 학습 시스템의 연구 및설계", 한국컴퓨터교육학회 학술발표대회논문집, 27(1), pp.215~218 (2023)
- 조윤정, "인공지능 기반으로 맞춤 및 적응형 학습 시스템의 고등 교육에서의 적용효과", 정보교육학회논문지, 26(4), pp.249~263 (2022)
- 최민선, "적응형 학습 상황에 활용된 학습분석 테크놀로지: 국내외 사례연구를 중심으로", 한국교육공학회 학술대회발표자료집, 2019(1), pp.215~221 (2019)
- 하오선, "대학생의 AI기반 적응형 학습 플랫폼(ALEKS)사용 만족도 및학습성과에 대한 인식 연구", 교육혁신연구, 34(1), pp.249~273 (2024)
- 황성동, "메타분석에 있어서 출간오류 : 의미와 분석", 인간발달연구, 23(1), pp.1~19 (2016)
- 황은경, "대학 기초 과학 수업에서의 인공지능기반 적응형 학습 시스템의 도입과 적용에 관한 탐색적 고찰-일반화학 수업 사례를 중심으로", 교양교육연구, 15(6), pp.71~86 (2021)
- Ayeni, O. O., "AI in education : A review of personalized learning and educational technology", GSC Advanced Research and Reviews, 18(2), pp.261~271 (2024)
- Borenstein, M., "The handbook of research synthesis and meta-analysis", pp.221~235 (2009), Russell Sage Foundation
- Bornmann, L., "Scientific peer review", Annual Review of Information Science and Technology, 45(1), pp.197~245 (2011)
- Cohen, J., "A coefficient of agreement for nominal scales", Educational and psychological measurement, 20(1), pp.37~46 (1960)
- Cohen, J., "Statistical power analysis for the behavioral sciences" (2013), Routledge
- Cooper, H, "Research synthesis and meta-analysis: A step-by-step approach (Vol. 2)" (2015), Sage publications
- de Laat, M., "Artificial intelligence, real-time feedback and workplace learning analytics to support in situ complex problem-solving : A commentary", The International Journal of Information and Learning Technology, 37(5), pp.267~277 (2020)
- Deeks, J. J., "Cochrane handbook for systematic reviews of interventions", pp.241~284 (2019)
- Exploring pedagogical shifts in AI-enhanced education through social media research (No. 13886), "Elsa, J.", EasyChair, ~ (2024)
- Ezzaim, A., "AI-based adaptive learning : A systematic mapping of the literature", Journal of Universal Computer Science, 29(10), pp.1161~ (2023)
- Gligorea, I., "Adaptive learning using artificial intelligence in e-learning : A literature review", Education Sciences, 13(12), pp.1216~ (2023)
- Gujjula, R., "Ethical considerations and data privacy in AI education", Journal of Student-Scientists’ Research, 5 (2023)
- Harati, H., "Assessment and learning in knowledge spaces(ALEKS)adaptive system impact on students’ perception and self-regulated learning skills", Education Sciences, 11(10), pp.603~ (2021)
- Higgins, J. P., "Measuring inconsistency in meta-analyses", Bmj, 327(7414), pp.557~560 (2003)
- Hwang, G. J., "Applications, impacts and trends of mobile technology-enhanced learning : A review of 2008–2012 publications in selected SSCI journals", International Journal of Mobile Learning and Organisation, 8(2), pp.83~95 (2014)
- Imhof, C., "Online teaching and learning in higher education" (2020)
- Kabudi, T., "AI-enabled adaptive learning systems : A systematic mapping of the literature", Computers and Education : Artificial Intelligence, 2, pp.100017~ (2021)
- Karimi, S., "Curriculum design requirements and challenges of the learning society approach", Journal of Education and Learning, 1(2), pp.143~154 (2012)
- Kulkarni, C., "Talkabout: Making distance matter with small groups in massive classes", Proceedings of the 18th ACM Conference on Computer Supported Cooperative Work & Social Computing, pp.1116~1128 (2015)
- Lovitts, B. E., "Making the implicit explicit: Creating performance expectations for the dissertation" (2007), Routledge
- Luo, Z., "A systematic review of evaluation and program planning strategies for technology integration in education: Insights for evidence-based practice", Education and Information Technologies, pp.1~35 (2024)
- Ma, W., "Intelligent tutoring systems and learning outcomes : A meta-analysis", Journal of Educational Psychology, 106(4), pp.901~918 (2014)
- Mauch, J., "Guide to the successful thesis and dissertation: A handbook for students and faculty" (2003), CRC Press
- Mayer, R. E., "Incorporating motivation into multimedia learning", Learning and instruction, 29, pp.171~173 (2014)
- McAuley, L., "Does the inclusion of grey literature influence estimates of intervention effectiveness reported in meta-analysis?", The Lancet, 356(9237), pp.1228~1231 (2000)
- Nadimpalli, V. K., "Systematic literature review for the use of AI based techniques in adaptive learning management systems", Proceedings of the 5th European Conference on Software Engineering Education, pp.83~92 (2023)
- Page, M. J., "The PRISMA 2020 statement: An updated guideline for reporting systematic reviews", BMJ, 372, pp.n71~ (2020)
- Pesovski, I., "Generative ai for customizable learning experiences", Sustainability, 16(7), pp.3034~ (2024)
- Rosenthal, R., "The file drawer problem and tolerance for null results", Psychological Bulletin, 86(3), pp.638~641 (1979)
- Rosenthal, R., "Comparing effect sizes of independent studies", Psychological Bulletin, 92(2), pp.500~ (1982)
- Ryan, R. M., "Intrinsic and extrinsic motivations : Classic definitions and new directions", Contemporary Educational Psychology, 25(1), pp.54~67 (2000)
- Schunk, D. H., "Motivation in education: Theory, research, and applications" (2008), Pearson
- Schunk, D. H., "Motivation and self-regulated learning: Theory, research, and applications" (2008), Lawrence Erlbaum Associates
- Shadish, W. R., "Experimental and quasi-experimental designs for generalized causal inference" (2002), Houghton Mifflin
- Silverman, D., "Doing qualitative research" (2013), SAGE Publications
- Steenbergen-Hu, S., "A meta-analysis of the effectiveness of intelligent tutoring systems on K–12 students’ mathematical learning", Journal of Educational Psychology, 105(4), pp.970~987 (2013)
- Van der Kleij, F. M., "Effects of feedback in a computer-based assessment for learning", Computers & Education, 58(1), pp.263~272 (2015)
- VanLehn, K., "The relative effectiveness of human tutoring, intelligent tutoring systems, and other tutoring systems", Educational psychologist, 46(4), pp.197~221 (2011)
- Wang, S., "When adaptive learning is effective learning : comparison of an adaptive learning system to teacher-led instruction", Interactive Learning Environments, 31(2), pp.793~803 (2023)
- Wang, Y. S., "Measuring e-learning systems success in an organizational context : Scale development and validation", Computers in Human Behavior, 23(4), pp.1792~1808 (2007)
- Willingham, D. T., "Why don’t students like school?: A cognitive scientist answers questions about how the mind works and what it means for the classroom" (2021), John Wiley & Sons
- Zarkovic, S., "Ethical use of technology in digital learning environments: Graduate student perspectives", pp.138~164 (2020), University of Calgary
- Zawacki-Richter, O., "Systematic review of research on artificial intelligence applications in higher education–where are the educators?", International Journal of Educational Technology in Higher Education, 16(1), pp.1~27 (2019)
