AI 챗봇을 활용한 영어교육 프로그램이 언어교육 효과에 미치는 영향에 대한 메타분석
Meta-analysis on the effect of English education programs using AI Chatbots on language education effectiveness
1
조회
0
다운로드
11
인용
0
참고문헌
키워드
초록
This study aimed to analyze the effect size of English education programs using AI chatbots on EFL learners’ language education effectiveness as well as moderator variables affecting program effectiveness. Forty-four dissertations and academic journals published from 2002 to March 2023 were selected as the analysis subjects, and the effect size was calculated using a random effect model due to high heterogeneity among studies. A meta-regression analysis was performed to confirm moderation effects, and publication bias was verified using Egger’s regression test. The effect size of AI education programs was significant, with a moderate effect size (0.428; 95% CI: 0.310-0.546), and major variables affecting language education effectiveness included school level by age and length for a single class. In terms of school level, it showed a higher effect size in the order of college students, high school students, and elementary school students. The most effective length of a single class was found to be 51-60 minutes. The time range of 51-60 minutes is mainly associated with university student learning. From both the school level and the length of a single class perspectives, the effect size related to university students is the largest. This can be attributed to the higher likelihood of university students engaging in self-directed learning compared to younger learners. It is believed that self-directed learning time has contributed significantly to improving learning effectiveness. This study provides useful information for developing and application of AI education programs for EFL learners.
Abstract
This study aimed to analyze the effect size of English education programs using AI chatbots on EFL learners’ language education effectiveness as well as moderator variables affecting program effectiveness. Forty-four dissertations and academic journals published from 2002 to March 2023 were selected as the analysis subjects, and the effect size was calculated using a random effect model due to high heterogeneity among studies. A meta-regression analysis was performed to confirm moderation effects, and publication bias was verified using Egger’s regression test. The effect size of AI education programs was significant, with a moderate effect size (0.428; 95% CI: 0.310-0.546), and major variables affecting language education effectiveness included school level by age and length for a single class. In terms of school level, it showed a higher effect size in the order of college students, high school students, and elementary school students. The most effective length of a single class was found to be 51-60 minutes. The time range of 51-60 minutes is mainly associated with university student learning. From both the school level and the length of a single class perspectives, the effect size related to university students is the largest. This can be attributed to the higher likelihood of university students engaging in self-directed learning compared to younger learners. It is believed that self-directed learning time has contributed significantly to improving learning effectiveness. This study provides useful information for developing and application of AI education programs for EFL learners.
참고문헌 (49)
- 2022 개정 교육과정 총론 주요사항(시안), "교육부", 교육부, ~ (2021)
- 김나영, "Chatbots and Korean EFL Students' English Vocabulary Learning", 디지털융복합연구, 16(2), pp.1~7 (2018), 한국디지털정책학회[DOI]
- 김나영, "A Study on Chatbots for Developing Korean College Students' English Listening and Reading Skills", 디지털융복합연구, 16(8), pp.19~26 (2018), 한국디지털정책학회[DOI]
- 김세리, "학생의 EBS 및 컴퓨터 활용과 교사의 ICT 활용이 학습자의 학업성취도에 미치는 영향", 교육공학연구, 28(4), pp.849~877 (2012), 한국교육공학회
- 김소연, "AI 챗봇을 도입한 초등학교 영어 디지털 교과서 활용 수업의 정의적 효과", 학습자중심교과교육연구, 21(10), pp.37~49 (2021), 학습자중심교과교육학회
- 김혜정, "교실수업 활용을 위한 인공지능 챗봇의 개발 및 활용 모형: 학습대화 설계 중심", Brain, Digital, & Learning, 10(4), pp.535~545 (2020), 뇌·AI기반교육연구소[DOI]
- 김희삼, "인공지능 영어 말하기 프로그램의 효과성 분석", 교육방법연구, 33(3), pp.563~588 (2021), 한국교육방법학회
- 박경숙, "자기결정성동기 및 자기효능감이 학습몰입에 미치는 영향: 영어교과흥미의 매개효과를 중심으로", 교과교육학연구, 20(4), pp.295~305 (2016), 교과교육연구소[DOI]
- 박만구, "머신러닝 추천모듈이 적용된 맞춤형 학습 플랫폼 효과성 탐색: 학습시간, 자기주도적 학습능력, 수학에 대한 태도, 수학학업성취도를 중심으로", 수학교육, 59(4), pp.373~387 (2020), 한국수학교육학회[DOI]
- 박명호, "AI 챗봇을 활용한 고등학생들의 영어 글쓰기 상호작용 분석", 학습자중심교과교육연구, 21(9), pp.1~13 (2021), 학습자중심교과교육학회
- 배태일, "영어 WTC에 영향을 미치는 요인 연구:자신감, 성취 목적 지향성, 교실 환경 요인을 중심으로", 영어교과교육, 14(4), pp.95~114 (2015), 한국영어교과교육학회[DOI]
- 서영숙, "비대면 교육환경에 참여한 대학생의 학업성취도 관련변수에 관한 경로분석", 한국산학기술학회논문지, 23(9), pp.312~318 (2022), 한국산학기술학회[DOI]
- 서정임, "AI 챗봇 활용 영어 어휘 학습이 초등학생의 영어 어휘습득과정의적 영역에 미치는 영향", pp.2022
- 성수진, "AI펭톡 활용 영어 학습에 대한 학습자와 교사의 인식 분석 및 활용 방안", 학습자중심교과교육연구, 21(21), pp.915~935 (2021), 학습자중심교과교육학회
- 신형정, "인공지능 채팅프로그램이 고등학생의 영어 쓰기 능력 및 정의적 측면에 미치는 영향 연구", 석사, 영어교육학, pp.2003
- 오유진, "인공지능 챗봇 ‘AI 펭톡’이 초등 영어 수업에 미치는 효과 및 활용방안: 말하기 지도 중심으로", 현대영미어문학, 40(1), pp.207~235 (2022), 현대영미어문학회
- 유지희, "영어 몰입 환경에서 오류수정 피드백에 대한 원어민 교수와 학습자의 인식 조사", 영어교과교육, 18(2), pp.143~160 (2019), 한국영어교과교육학회[DOI]
- 윤택남, "EBS AI 펭톡을 활용한 초등학습자들의 영어학습 효과", 영상영어교육, 23(3), pp.27~38 (2022), 영상영어교육학회
- 윤택남, "인공지능 기반 말하기 학습이 초등영어학습자들의 정의적 특성과 학습 만족도에 미치는 영향", 한국콘텐츠학회 논문지, 21(9), pp.34~41 (2021), 한국콘텐츠학회[DOI]
- "'ChatGPT' 사례로 본 AI 생산 저작물 활용에 대한 윤리 인식설문 결과 보고서" (2023), 이강수[URL]
- 이동한, "유튜브와 인공지능 챗봇을 활용한 과업 중심 초등영어 수업 모형 개발", 영상영어교육, 22(1), pp.179~201 (2021), 영상영어교육학회[DOI]
- 이삭, "게이미피케이션 기반 AI 챗봇 활용 수업이 초등학생의 영어 말하기 수행 및 정의적 영역에 미치는 영향", 초등영어교육, 25(3), pp.75~98 (2019), 한국초등영어교육학회[DOI]
- 이정미, "대학생의 자기주도적 학습역량에 대한 영향요인 분석", 교육행정학연구, 35(3), pp.133~153 (2017), 한국교육행정학회
- 이현주, "인공지능(AI)을 활용한 국내 영어 학습에 대한 체계적 문헌고찰: 대학 교육을 중심으로", 인문사회 21, 11(6), pp.2027~2042 (2020), 인문사회 21
- 임유진, "영어교과에서 청소년의 학업성취도에 영향을 미치는 변인간의 구조적 관계 규명", 교과교육학연구, 22(2), pp.113~125 (2018), 교과교육연구소[DOI]
- 임지연, "대학생의 자기결정성 학습동기가 학습성과에 미치는 영향: 회복탄력성의 매개효과를 중심으로", 청소년학연구, 27(5), pp.355~378 (2020), 한국청소년학회[DOI]
- 장지혜, "AI펭톡을 활용한 초등영어 말하기 수업의 효과", 초등교과교육연구, 37, pp.37~55 (2022)
- 진승희, "AI 말하기 어플리케이션(앱) 활용 수업이 한국 대학생 학습자의 영어 말하기 능력과 정의적 태도에 미치는 효과", 멀티미디어 언어교육, 25(2), pp.232~254 (2022), 한국멀티미디어언어교육학회[DOI]
- 최원경, "AI 챗봇을 활용한 초등영어 과정중심 말하기 평가: 가능성과 한계", 초등영어교육, 26(1), pp.131~152 (2020), 한국초등영어교육학회[DOI]
- 한다은, "AI 챗봇 활용이 한국 EFL 학습자의 말하기 능력 및 정의적영역에 미치는 영향", 박사, pp.2020
- 홍미선, "학습 동기 이론에 기반한 AI 교육의평가 체계 제안", 한국컴퓨터교육학회 학술발표대회논문집, 27(1), pp.143~145 (2023)
- 홍선호, "AI펭톡에 대한 인식 및 만족도 분석", 현대영어교육, 22(4), pp.70~78 (2021), 현대영어교육학회[DOI]
- 홍원준, "동영상 강의 분할시간이 학습성과에 미치는 영향 -스마트폰을 활용한 모바일 학습환경을 중심으로-", 한국콘텐츠학회 논문지, 13(12), pp.1048~1057 (2013), 한국콘텐츠학회[DOI]
- 황성동, "알기쉬운 메타분석의 이해" (2016), 학지사
- Bloom, B. S., "Human characteristics and school learning" (1977), McGraw-Hill
- Brown, H. D., "Principles of language learning and teaching" (1987), Prentice Hall Inc
- Carr, N., "The Shallows: What the Internet Is Doing to Our Brain" (2010), W. W. Norton & Company
- Csikszentmihalyi, M., "Flow: The psychology of optimal experience" (1990), Harper Collins
- Deci, E. L., "The"what"and"why"of goal pursuits : Human needs and the self-determination of behavior", Psychological Inquiry, 11(4), pp.227~268 (2000)[DOI]
- El Shazly, R., "Effects of artificial intelligence on English speaking anxiety and speaking performance : A case study", Expert Systems, 38(3), pp.1~15 (2021)[DOI]
- Glass, G. V., "Primary, secondary, and meta-analysis of research", Educational Researcher, 5(10), pp.3~8 (1976)[DOI]
- Haenlein, M., "A brief history of artificial intelligence : On the past, present, and future of artificial intelligence", California Management Review, 61(4), pp.5~14 (2019)[DOI]
- Higgins, J. P., "Cochrane handbook for systematic reviews of interventions. (Vol. 5)" (2008), Wiley-Blackwell
- Latour B., "Cogitamus. Six lettres sur les humanités scientifiques" (2011), 사월의 책
- Liberati, A., "The PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate healthcare interventions : Explanation and elaboration", Annals of Internal Medicine, 151(4), pp.92~107 (2009)[DOI]
- Lindholm-Leary, K., "Educating English language learners: A synthesis of research evidence", pp.176~222 (2006), Cambridge University Press
- Pintrich, P. R., "Motivation in education: Theory, research, and applications" (2002), Prentice Hall
- Plonsky, L., ", Research methods in second language acquisition: A practical guide", pp.275~295 (2012), Basil Blackwell
- Raoofi, S., "Self-efficacy in second", foreign language learning contexts, 2012, pp.5(11), 60~73
