생성형 AI(Generative AI) 피드백 활용 학습 효과에 대한 메타분석
Meta-analysis of the effects of generative AI feedback in Learning
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 생성형 AI 피드백 활용 학습 효과를 정량적으로 분석하고 교육 분야 활용 가능성을 탐색하기 위해 체계적 문헌 고찰과 메타분석을 수행하였다. PRISMA 가이드라인에 따라 연구를 선별한 결과, 최종 49편의 연구가 분석에 포함되었다. 선정된 연구들은 생성형 AI 피드백을 활용한 학습 효과를 검증한 실험 및 준실험 연구로, 처치집단 사전-사후 설계 연구와 처치집단/통제집단 사후 설계 연구로구분하여 효과 크기를 산출하였다. 분석 결과, 처치집단 사전-사후 설계 연구에서는 1.162의 높은 효과 크기가, 처치집단/통제집단 사후 설계 연구에서는 0.660의 중간 수준 효과 크기가 확인되었다. 조절변인 분석에서 ChatGPT(0.710)보다 기타 AI 모델(1.168)의 효과 크기가 더 컸으며, 프롬프트가 제공되지않은 집단(0.890)이 제공된 집단(0.720)보다 높은 학습 효과를 보였다. 피드백 제공 기간이 길수록 효과크기가 증가했고(3주 이하: 0.281, 4~8주: 0.870, 9주 이상: 1.161), 공식 학습 공간(0.599)보다 비공식 학습 공간(1.120)에서 더 큰 효과가 확인되었다. 학습자 유형별로는 초․중등 교육(0.343)보다 고등 교육(0.761), 성인․직업 교육(1.303) 집단에서 효과가 더 높았다. 본 연구는 생성형 AI 피드백의 효과가 학습 맥락과 학습자 특성에 따라 달라질 수 있음을 실증적으로 확인하였다. 특히 프롬프트 제공 여부에따른 학습 효과 차이 분석은 기존 메타분석에서 다루지 않았던 새로운 시도라는 점에서 의의가 있다. 또한, 피드백 기간이 길수록 효과 크기가 증가한다는 결과는 생성형 AI를 활용한 피드백이 단기적 신기성 효과를 넘어 장기적 학습 도구로 기능할 수 있음을 시사한다. 본 연구는 교육자와 정책입안자에게 생성형 AI 피드백 활용에 실질적인 판단 근거를 제공한다는 점에서 의의가 있다.
Abstract
This study conducted a systematic literature review and meta-analysis to quantitatively examine the effects of generative AI feedback on learning and explore its potential applications in education. Following PRISMA guidelines, 49 studies were included. These selected studies empirically investigated learning effects of generative AI feedback using experimental and quasi-experimental designs with effect sizes calculated based on both pre-post designs and post-test-only designs with treatment and control groups. Results revealed a large effect size of 1.162 for pre-post designs and a moderate effect size of 0.660 for post-testonly comparison. Moderator analyses showed that other AI models (1.168) produced larger effect sizes than ChatGPT (0.710), and unpromted groups (0.890) showed higher learning effects than prompted groups (0.720). The effect size increased with longer feedback durations (≤3 weeks: 0.281, 4-8 weeks: 0.870, ≥9 weeks: 1.161), and informal learning environments (1.120) showed greater effects than formal ones (0.599). By learner type, higher education (0.761) and adult/vocational education (1.303) groups showed higher effects than K-12 education (0.343). This study confirmed that the effects of generative AI feedback vary by learning context and learner characteristics. These findings have several implications. Notably, analyzing learning effects based on prompt provision is a novel approach not addressed in previous meta-analyses. Furthermore, longer feedback durations increase effect size, suggesting that generative AI feedback can serve as a sustained learning tool beyond short-term novelty effects. This study provides practical implications for educators and policymakers on implementing generative AI feedback in educational settings.