토픽 말하기 평가 5번 문항에서 피드백 프롬프트의 설계 및 효과 검증: 생성형 AI 활용 사례를 중심으로
Designing and Assessing the Effectiveness of Feedback Prompts for the 5th Question in TOPIC Speaking Assessment: Focusing on Cases of Generative AI Use
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 토픽 말하기 평가 5번 문항인 '자료 해석하기'를 중심으로 비교 집단 실험을 통해 생성형 AI 기반 피드백 프롬프트의 설계 및 적용 효과를 검증하는 것을 주요 목표로 하였다. 연구에 참여한 대상자는 한국에 거주 중인 중국 국적의 중·고급 수준 토픽 학습자 24명으로, 실험집단은 본 연구에서 설계한 ChatGPT 기반 피드백 프롬프트를 활용한 반면, 통제집단은 스스로 프롬프트를 설정하여 피드백을 요청하였다. 6차시 교육 실험 후, 대응 표본 t-검정을 실시한 결과, 사전 평가에서는 두 집단 간 유의미한 차이가 없었으나, 사후 평가에서는 실험집단이 통계적으로 유의미한 성취 향상을 나타냈다. 또한 세 가지 평가 요소인 ‘내용 및 과제 수행’, ‘언어 사용’, ‘발화 전달력’에서 실험집단의 점수가 통제집단에 비해 현저히 증가하였다. 이러한 결과는 본 연구에서 설계한 ChatGPT 기반 피드백 프롬프트가 학습자의 성적 향상에 긍정적인 영향을 미쳤음을 입증하며, 효과적인 학습 피드백을 위한 프롬프트 설계의 중요성을 강조한다. 본 연구는 토픽 말하기 평가 한국어 교육 현장에서 생성형 AI 피드백 기능을 보다 적극적으로 도입할 수 있도록 프롬프트 설계의 중요성과 그 학습적 효과를 실증적으로 제시했다는 데에 의의가 있으며, 향후 한국어 교육에서 생성형 AI 기반 프롬프트 연구 및 활용에 기초 자료를 제공하고자 한다.
Abstract
This study investigated the effects of Generative AI-based feedback prompts on Chinese learners’ performance in the "interpreting data" section of the TOPIK speaking evaluation. Twenty-four Chinese learners in Korea were divided into an experimental group using ChatGPT-designed prompts and a control group creating their own prompts. After six educational sessions, the experimental group showed significant improvements in post-evaluations, particularly in "content and task performance," "language use," and "speech delivery effectiveness." These findings demonstrate the potential of Generative AI in enhancing learning outcomes and highlight the importance of prompt design in effective feedback. The study provides empirical evidence for integrating AI technologies into Korean language education and offers foundational insights for future research on AI-based feedback systems.
참고문헌 (17)
- 2023년 교육부 업무 추진계획, "교육부", 교육부, ~ (2023)
- "한국어능력시험 홈페이지" (2023)[URL]
- 김유미, "학습 피드백 도구로서 ChatGPT를 활용한 TOPIK 말하기 연습 모형개발 및 효과 탐색", 외국어로서의 한국어교육, 74, pp.57~86 (2024), 연세대학교 언어연구교육원 한국어학당
- 김유미, "ChatGPT 기반 TOPIK 말하기 평가 피드백 모형 개발 및 적용", 이중언어학, 97, pp.1~37 (2024), 이중언어학회
- 김지일, "프롬프트 기반 학습 모형 개발 연구", 교육정보미디어연구, 30(1), pp.55~79 (2024), 한국교육정보미디어학회
- ChatGPT는 혁신의 도구가 될 수 있을까?: ChatGPT 활용 사례 및 전망, "김태원", 한국지능정보사회진흥원(NIA), ~ (2023)
- 김형민, "한국어교육에서의 대화형 인공지능 챗봇 적용 가능성 탐색-고급 한국어 학습자와 ChatGPT의 상호작용 분석을 중심으로-", 우리어문연구, 76(2), pp.261~292 (2023), 우리어문학회
- 박숙자, "챗GPT와 대학 글쓰기 : 학습자 중심의 AI 피드백-문장 첨삭을 중심으로", 교양학연구, 27, pp.101~141 (2024), 다빈치미래교양연구소
- 이수지, "챗GPT 기반의 미래교육 시대에 학습무기력 학습자의 유형과 변화에 영향을 미치는 요인 분석", 산업연구, 47(1), pp.193~219 (2023), 단국대학교 미래산업연구소
- 한정윤, "챗GPT를 활용한 맞춤형 피드백 생성 및 효과 분석", 교육정보미디어연구, 29(4), pp.1123~1151 (2023), 한국교육정보미디어학회
- Baidoo-Anu, D., "Education in the era of generative artificial intelligence(AI) : Understanding the potential benefits of ChatGPT in promoting teaching and learning", Journal of AI, 7(1), pp.52~62 (2023)
- Dalvi, F., "Discovering Latent Concepts Learned in BERT", 10th International Conference on Learning Representations (ICLR, pp.1~25 (2022)
- Lim, W. M., "Generative AI and the future of education : Ragnarök or reformation? A paradoxical perspective from management educators", The International Journal of Management Education, 21(2), pp.1~13 (2023)
- Liu, Y., "Application of artificial intelligence in language learning : A review", Journal of Language Teaching and Research, 11(2), pp.242~250 (2020)
- Miao, F., "AI and education: A guidance for policymakers" (2021), UNESCO Publishing
- Pardo, A., "Using learning analytics to scale the provision of personalised feedback", British Journal of Educational Technology, 50(1), pp.128~138 (2019)
- Thurlings, M., "Understanding feedback : A learning theory perspective", Educational Research Review, 9, pp.1~15 (2013)