본문 바로가기
KERD
논문KCI 등재

생성형 AI(Generative AI) 활용 학습 효과 메타분석

Meta-analysis of learning effectiveness using generative AI

송지훈|유명현|손완상|백다은
한국교육정보미디어학회 (Korea Association for Educational Information and Media)|2024.08|교육정보미디어연구 (Journal of Korean Association for Educational Information and Media)|제30권 제4호|pp. 1261-1285|DOI 10.15833/KAFEIAM.30.4.1261

0

조회

0

다운로드

2

인용

0

참고문헌

키워드

메타분석체계적 문헌 고찰Meta-analysisSystematic literature reviewLearning effectiveness생성형 AI 활용 학습학습 효과 검증Generative AI-enhanced learning
주제분류교육학

초록

본 연구는 국내에서 수행된 생성형 AI 활용 학습의 효과를 체계적이고 종합적으로 검토하고, 교육 분야 생성형 AI 활용을 위한 제언을 하고자 체계적 문헌 고찰과 메타분석을 실시하였다. PRISMA의 메타분석 가이드라인에 따라 최종 24편의 문헌을 분석 대상으로 선정하였으며, 생성형 AI 활용 학습과 관련된 사전/사후, 통제/처치, 상관분석 연구로 구분하여 효과 크기 산출을 위한 코딩을 진행하였다. 연구 결과, 사전/사후 연구의 경우 무선 효과모형에서 효과 크기가 0.7646으로 중간 이상의 효과 크기를 보이는 것으로 나타났다. 통제/처치 설계 연구의 경우, 고정 효과모형에서 0.4262의 중간 정도의 효과 크기를 확인하였으며, 상관관계 연구의 경우 무선 효과모형에서 전체 효과 크기가 0.5417로 중간 정도의 효과 크기를 확인하였다. 사전/사후 설계 연구의 경우 생성형 AI 유형 및 학습자 유형과 같은 조절 변인에 따라 세부 효과 크기를 추가적으로 확인하였다. 그 결과, 생성형 AI 유형(텍스트 기반, 복합 생성)에 따라 텍스트 기반 생성(0.5859)에서 보다 이미지 등을 복합적으로 생성하는 경우에 더 큰 학습 효과(0.8627)를 보였다. 다음으로 학습자 유형(학령기, 성인기)에 따라서는 학령기(0.6400)보다 성인기(1.0265)에서 더 큰 학습 효과를 보였다. 이를 토대로 본 연구 결과 국내에서 수행된 생성형 AI 활용 학습의 효과를 체계적으로 검증하였으며, 향후 생성형 AI의 교육적 활용을 위한 근거 기반 실천(Evidence-based practice)을 제공하고, AI 활용 교육의 방향성을 설정하기 위한 기초자료와 시사점을 제공할 수 있다.

Abstract

This study conducted a systematic literature review and meta-analysis to comprehensively examine the effectiveness of learning using generative AI in South Korea and provide recommendations for its application in education. Following the PRISMA meta-analysis guidelines, 24 studies were selected for analysis. These were categorized into pre/post, control/treatment, and correlational studies, and coded for effect size calculation. Results showed that in pre/post studies, the random effects model yielded an effect size of 0.7646, indicating a medium to large effect. For control/treatment studies, a fixed effects model revealed a medium effect size of 0.4262. Correlational studies showed a medium effect size of 0.5417 in the random effects model. In pre/post design studies, additional effect sizes were examined for moderating variables such as generative AI type and learner type. Results indicated that complex generation (including images) showed greater learning effectiveness (0.8627) compared to text-based generation (0.5859). Regarding learner type, adults (1.0265) showed greater learning effectiveness than school-age learners (0.6400). This study systematically verified the effectiveness of learning using generative AI in South Korea, providing evidence-based practices for future educational applications of generative AI and offering foundational data and implications for setting directions in AI-enhanced education.

참고문헌 (84)

  1. 고보경, "생성형 인공지능 챗봇을 활용한 수학과 인공지능 융합 수업 모형 개발", 교육공학연구, 40(1), pp.1~40 (2024)
  2. 금지혜, "생성형 인공지능 활용 기술교과 교수․학습 프로그램이 중학생 디지털 시민성 함양에 미치는 효과", 한국기술교육학회지, 24(1), pp.23~48 (2024)
  3. 김수환, "생성형 AI를 활용한 학습자 중심 수업 가능성 탐색", 총신대논총, 43, pp.307~331 (2023)
  4. 김완섭, "교양필수 기초코딩 교과목에서의 ChatGPT 활용에 대한 교육 효과 연구", 교양교육연구, 17(5), pp.113~123 (2023)
  5. 김은희, "학습분석학 기반의 교수자 피드백 분류체계개발", 교육공학연구, 33(3), pp.737~768 (2017)
  6. 김재현, "메타버스(Metaverse)활용 학습 효과의 메타분석", 교육정보미디어연구, 29(3), pp.651~679 (2023)
  7. 김정겸, "위키 기반 혼합학습 환경에서 학습자 특성이 학습효과에 미치는 영향", 학습자중심교과교육연구, 9(2), pp.59~78 (2009)
  8. 김정아, "생성형 AI의 교육적 활용 방안 연구-ChatGPT 활용을 중심으로", 정보교육학회논문지, 27(6), pp.691~704 (2023)
  9. 김지서, "생성형 인공지능을 활용한 고등학교 미술수업의 실행과 분석 : 인공지능 기술의비판적 인식 및 창의적 활용을 중심으로", 조형교육, 88(0), pp.55~84 (2023)
  10. 김태훈, "생성형 AI의 수업 활용 방안", 교육동향분석, 12(0), pp.1~19 (2023)
  11. 박은정, "메타분석에 의한 AI 챗봇 기반 영어교육 프로그램의 교육효과 비교", 영어어문교육, 30(1), pp.41~61 (2024)
  12. 배수진, "콘텐츠 생성기, 매체풍부성 및 콘텐츠 주제가 학습성과에 미치는 영향 : 중국 직장인 대상 ESG 경영 교육 중심으로", 글로벌경영학회지, 20(1), pp.27~50 (2023)
  13. 서소담, "AI 챗봇 활용 국내 영어학습의 효과 메타분석", 외국어교육, 30(3), pp.25~42 (2023)
  14. 신수현, "생성형 인공지능이 공공기관 종사자의 정보수용에 미치는 영향에 대한 연구", 석사, pp.2024
  15. 신윤희, "메타버스 및 인공지능(AI)을 기반으로 한 교육적 중재연구의동향 및 분석", 학습자중심교과교육연구, 23(18), pp.629~649 (2023)
  16. 신주은, "프롬프트 엔지니어링 교육이 초등학생의 인공지능 관련 태도에 미치는영향", 정보교육학회논문지, 27(5), pp.635~644 (2023)
  17. 신한나, "언어생성형 AI모델 학습을 위한 초등학생 대상 인공지능교육 보드게임 개발 및 적용", 석사, pp.2024
  18. 신현영, "초거대언어모델 프롬프트의 교육적 활용 사례 연구 : 2022 개정 교육과정 초등학교 5~6학년군을 중심으로", 정보교육학회논문지, 27(6), pp.705~715 (2023)
  19. 오민정, "생성형 AI 시대 리터러시 교육의 새로운 전환", 인문과학, 89(0), pp.255~285 (2023)
  20. 유인근, "초등 국어과 글쓰기 교육을 위한 AI 문장 생성 웹 서비스 개발", 교과교육학연구, 27(2), pp.210~221 (2023)
  21. 윤은주, "생성형 AI 활용 PBL 융합수업에서 정의적 요소와 자기조절학습이 인지된 성취도에 미치는 효과에 관한 연구", 현대영미어문학, 42(2), pp.125~150 (2024)
  22. 윤택남, "인공지능 기반 DALL-E2 활용 쓰기 활동에 대한 영어학습자들의 인식 조사", 문화기술의 융합, 9(3), pp.121~127 (2023)
  23. 윤택남, "이미지 생성 인공지능 도구 기반 영어 쓰기 활동에 대한 대학생들의 인식조사", 아시아태평양융합연구교류논문지, 10(1), pp.649~659 (2024)
  24. 윤택남, "이미지 생성 AI를 활용한 영어 학습이 대학생들의 정의적 요인에 미치는 영향", 외국어교육, 31(1), pp.113~126 (2024)
  25. 이가영, "예비교사의 수업설계 역량 증진을 위한 생성형 AI 기반 맞춤형 피드백의 효과 탐색", 열린교육연구, 32(2), pp.265~287 (2024)
  26. 이남호, "ChatGPT 를 활용한 자기주도적 대화연습 모형 개발", 화법연구, 63, pp.87~123 (2024)
  27. 이상칠, "ChatGPT를 활용한 통합과학논리 및 논술수업이 예비 과학교사의 테크놀로지교수내용지식(TPACK)에 미치는 영향", 교육과정평가연구, 27(1), pp.133~155 (2024)
  28. 이수지, "챗GPT 기반의 미래교육 시대에 학습무기력 학습자의 유형과 변화에 영향을 미치는 요인 분석", 산업연구, 47(1), pp.193~219 (2023)
  29. 이승민, "학생의 교육 성과에 대한 학급규모의 조절효과 분석", 교육재정연구, 31(2), pp.1~32 (2022)
  30. 이준기, "생성형 AI를 개별 학습 피드백 도구로 활용한 파이썬 프로젝트 수업이 고등학생의자기효능감 및 컴퓨팅 사고력 향상에 미치는 영향: ChatGPT 활용을 중심으로", 석사, pp.2024
  31. 이혜진, "언어학습에서 긍정심리를 위한 생성형 인공지능과 에듀테크 활용", 멀티미디어언어교육, 27(1), pp.51~77 (2024)
  32. 정영록, "이미지 생성형 AI 를 활용한 언어 교수가 지적장애 학생의 어휘 습득과 학습태도에 미치는 효과", 한국게임학회 논문지, 24(1), pp.15~26 (2024)
  33. 정제영, "AI 융합교육개론" (2023), 박영스토리
  34. 조영환, "생성형 AI와 함께하는 미래교육: 기계에서 협력 파트너로", 교육공학연구, 39(스페셜), pp.1449~1478 (2023)
  35. 조재은, "AI-생성동화를 활용한 개별 맞춤형 책읽기 활동이 미취학 아동의 어휘 학습에 미치는 영향", 석사, pp.2023
  36. 조진오, "문제중심학습 기반 생성형 AI 활용 교육이 초등학생의 AI 리터러시에 미치는 영향", 석사, pp.2024
  37. 주라헬, "ChatGPT가 교육 및 학술연구 분야에 미치는 잠재적 영향 : 국내외 연구동향 검토", 교육공학연구, 39(4), pp.1401~1447 (2023)
  38. 최일훈, "생성형 인공지능을 활용한 과학 동화책 만들기가 초등과학 영재 학생의 자기효능감과 창의적 문제해결력에 미치는 영향", 과학영재교육, 15(3), pp.419~429 (2023)
  39. 최진영, "생성형 인공지능 ChatGPT를 활용한 고등학생의 작문 과제 고쳐쓰기 양상", 리터러시 연구, 14(6), pp.79~119 (2023)
  40. 표상철, "생성형 인공지능을 활용한 서사 창작 지도 방안", 석사, pp.2024
  41. 한규정, "생성 인공지능 활용 교육 프로그램이 영재 학생의 창의적 문제해결력에 미치는 영향", 정보교육학회논문지, 27(5), pp.601~609 (2023)
  42. 한정윤, "챗 GPT를 활용한 맞춤형 피드백 생성 및 효과 분석", 교육정보미디어연구, 29(4), pp.1123~1151 (2023)
  43. 홍선주, "예비교사를 위한 맞춤형 수업설계 시스템 개발 및 적용", 교사교육연구, 59(4), pp.643~656 (2020)
  44. 홍정기, "쓰기 부진 학생을 위한 생성형 인공지능 교육 프로그램 개발", 석사, pp.2024
  45. 황성동, "R을 이용한 메타분석" (2020), 학지사
  46. 황윤성, "AI 프로그램을 활용한 초등학교 연극 단원 수업 방안", 석사, pp.2024
  47. Alier, M., "Generative artificial intelligence in education : From deceptive to disruptive", International Journal of Interactive Multimedia and Artificial Intelligence, 8(5), pp.5~14 (2024)
  48. Baidoo-Anu, D., "Education in the era of generative artificial intelligence(AI) : Understanding the potential benefits of ChatGPT in promoting teaching and learning", Journal of AI, 7(1), pp.52~62 (2023)
  49. Balduzzi, S., "How to perform a meta-analysis with R : A practical tutorial", BMJ Ment Health, 22(4), pp.153~160 (2019)
  50. Bloom, B. S., "Taxonomy of educational objectives handbook I: The cognitive domain" (1956), David McKay Company
  51. Bobek, E., "Creating visual explanations improves learning", Cognitive Research : Principles and Implications, 1(1), pp.1~14 (2016)
  52. Borenstein, M., "The handbook of research synthesis and meta analysis", pp.279~293 (2009), Russell Sage Foundation
  53. Chiu, T. K., "The impact of generative AI (GenAI) on practices, policies and research direction in education: A case of ChatGPT and Midjourney", Interactive Learning Environments, pp.1~17 (2023)
  54. Cohen, J., "A coefficient of agreement for nominal scales", Educational and Psychological Measurement, 20(1), pp.37~46 (1960)
  55. Cohen, J., "Statistical power analysis for the behavioral sciences" (1988), Erlbaum
  56. Cohen, S. G., "What makes teams work : Group effectiveness research from the shop floor to the executive suite", Journal of Management, 23(3), pp.239~290 (1997)
  57. Cooper, H., "Research synthesis and meta-analysis: A step-by-step approach (Vol. 2)" (2015), Sage publications
  58. "Artificial intelligence" (2023)[URL]
  61. Helms, C. P., "A study of temporary task teams", IEEE Transactions on Engineering Management, EM-31(2), pp.55~60 (1984)
  62. Hopewell, S., "Publication bias in meta‐analysis: Prevention, assessment and adjustments" (2005), Wiley
  63. Jackson, S. E., "Handbook of Work Group Psychology", pp.53~75 (1996), John Wiley & Sons
  64. Joint Ministry of Government Affairs, "Comprehensive plan for developing digital talent" (2022), Joint Ministry of Government Affairs
  65. Kim, M. J., "A reviews of research on artificial intelligence chatbot in education through the lens of activity theory", The Journal of Educational Information and Media, 27(0), pp.699~721 (2021)
  66. Korea Internet & Security Agency, "ChatGPT security threats and implications", KISA Insight, 3(0), pp.1~26 (2023)
  67. Lee, D., "Meta-analysis on effects of artificial intelligence education in K-12 South Korean classrooms", Education and Information Technologies, pp.1~36 (2024)
  68. Lee, J. H., "May issue of happy education", Ministry of Education, ~ (2023)
  70. Lim, W. M., "Generative AI and the future of education : Ragnarök or reformation? A paradoxical perspective from management educators", The International Journal of Management Education, 21(2), pp.100790~ (2023)
  71. Littell, J. H., "Systematic reviews and meta-analysis" (2008), Oxford University Press
  72. McAuley, L., "Does the inclusion of grey literature influence estimates of intervention effectiveness reported in meta-analysis?", The Lancet, 356(9237), pp.1228~1231 (2000)
  73. Okaiyeto, S. A., "Generative AI in education : To embrace it or not?", International Journal of Agricultural and Biological Engineering, 16(3), pp.285~286 (2023)
  74. Rosenthal, R., "The file drawer problem and tolerance for null results", Psychological Bulletin, 86(3), pp.638~641 (1979)
  75. Artificial Intelligence Index Report 2023, "Stanford University", Stanford University, ~ (2023)
  76. UNESCO, "ChatGPT and artificial intelligence in higher education: Quick start guide", UNESCO, ~ (2023)
  77. Valentine, J. C., "How many studies do you need? A primer on statistical power for meta-analysis", Journal of Educational and Behavioral Statistics, 35(2), pp.215~247 (2010)
  78. Vartiainen, H., "Using artificial intelligence in craft education : Crafting with text-to-image generative models", Digital Creativity, 34(1), pp.1~21 (2023)
  79. Viechtbauer, W., "Conducting meta-analyses in R with the metafor package", Journal of Statistical Software, 36(3), pp.1~48 (2010)
  83. Xia, Q., "A scoping review on how generative artificial intelligence transforms assessment in higher education", International Journal of Educational Technology in Higher Education, 21(1), pp.40~ (2024)
  84. Zheng, L., "The effectiveness of artificial intelligence on learning achievement and learning perception : A meta-analysis", Interactive Learning Environments, 31(9), pp.5650~5664 (2023)

관련 논문AI추천

생성형 AI(Generative AI) 피드백 활용 학습 효과에 대한 메타분석박인우, 심희수한국교육정보미디어학회 · 교육정보미디어연구2025 · 제31권 제2호생성형 AI 활용 학습에 대한 체계적 문헌 고찰 연구: 자기조절학습을 중심으로유미나, 진성희한국교육정보미디어학회 · 교육정보미디어연구2024 · 제30권 제6호국내 AI기반 적응형 학습 플랫폼 활용 교육의 교육적 효과에 대한 메타분석김재현, 송지훈, 염제명, 이유경, 전용찬한국교육정보미디어학회 · 교육정보미디어연구2024 · 제30권 제6호생성형 AI의 교육적 활용에 대한 최신 경향 연구 분석이성아한국기독교교육학회 · 기독교교육 논총2024 · 제79호메타버스(Metaverse) 활용 학습 효과의 메타분석구요한, 김재현, 유명현, 전용찬한국교육정보미디어학회 · 교육정보미디어연구2023 · 제29권 제3호고등교육에서 학습자-생성형 AI 협력: 실험연구 중심 주제범위 문헌고찰김창조, 박성경, 이주영, 임예린, 정수정한국교육정보미디어학회 · 교육정보미디어연구2025 · 제31권 제6호

이 간행물의 다른 논문 (11건)

음악과 교육과정 창작 영역의 내용과 AI 음악생성기의 창작 방식 간의 관계성 분석박은비pp. 1087-1109학습분석학 관점에서 사이버대학생의 수강시간 프로파일에 따른 학업성취도 차이 분석장은정, 윤정미pp. 1111-1134체계적 문헌 고찰을 통한 국내 AI 활용 수업 연구 현황 및 주요 수업 설계 단계 탐색임철일, 임은선, 박성경, 홍수민pp. 1135-1158청소년 미디어 리터러시 교육 프로그램 개발 및 적용 사례 연구최정임, 차연홍pp. 1159-1184맞춤형 학습지원을 위한 다중양식 학습분석 지표 선정김동주, 최인봉, 이명진, 신효정, 원성준, 김동호, 한정윤, 황혜영, 최대영pp. 1185-1210
원문 보기