한국어 읽기 평가에서 자동 문항 생성의 가능성 탐색
Exploring the Feasibility of Automated Item Generation for Korean Language Assessment
1
조회
0
다운로드
4
인용
0
참고문헌
키워드
초록
최근 평가 문항 출제 시간 및 비용에 대한 부담을 완화하는 방안의 일환으로, 생성형 인공지능을 활용한 자동문항 생성이 주목받고 있다. 특히, 영어나 한국어와 같은 언어 평가에서는 평가 문항과 함께 지문을 제작해야 한다는측면에서 문항 개발의 부담이 가중된다고 할 수 있다. 따라서, 언어 평가의 문항 개발 및 검토의 부담을 경감하는차원에서 인공지능을 활용한 자동 문항 생성의 가능성에 관해 연구할 필요성이 있다. 이에 따라, 본 연구는 ChatGPT를활용하여 한국어 읽기 평가에서 문항 유형 및 프롬프트 엔지니어링 방식에 따른 자동 문항 생성의 가능성을 탐색하고ChatGPT가 생성한 문항의 적합성을 분석하는 것을 목적으로 한다. 이를 위해 본 연구에서는 국립국제교육원 주관의한국어능력시험(TOPIK) 읽기 영역의 평가 문항을 바탕으로 평가 요인별 문항 유형을 분류하고, 각 문항 유형에 따라프롬프트 엔지니어링 방식을 다양하게 구성하여 문항과 지문을 생성하였다. 또한, ChatGPT가 생성한 문항에 대해한국어 교육 전문가의 검토를 통해 문항의 질을 평가하였다. 이때, 동일한 유형의 문항에 대해 프롬프트 엔지니어링방식에 따라 ChatGPT가 생성한 문항의 질이 차이가 있는지를 분석하였으며, 프롬프트 엔지니어링 방식이 동일한경우 ChatGPT가 높은 질의 문항을 생성할 수 있는 문항 유형에 대해 분석하였다. 이러한 분석 결과를 바탕으로, 한국어 읽기 평가에서 ChatGPT를 활용한 자동 문항 생성의 가능성과 향후 관련 연구의 방향성을 논의하였다.
Abstract
Recently, there has been growing interest in automated item generation(AIG) using generative artificial intelligence in the field of education to alleviate the burden of time and cost associated with test item development. Particularly, in language assessment, there is a higher burden of item development as a necessity for creating passages along with test items. Therefore, it is necessary to research the potential of using artificial intelligence for AIG to reduce the burden of item development in language assessments. Accordingly, this study aimed to explore the possibility of AIG according to item types and prompt engineering techniques in Korean reading assessment using ChatGPT and to analyze the suitability of the items generated by ChatGPT. For this purpose, item types were selected for each construct based on the reading section of the Test of Proficiency in Korean (TOPIK) administered by the National Institute of International Education. Items and passages were generated by varying the methods of prompt engineering according to each item type. Furthermore, the quality of the items generated by ChatGPT was evaluated through the review of Korean education experts. We analyzed whether the quality of the items generated by ChatGPT differs depending on the prompt engineering techniques for the same type of items, and analyzed the types of items that ChatGPT can generate higher quality items when the prompt engineering technique is the same. Based on the results, we discussed the feasibility of automated item generation using ChatGPT in Korean reading assessments and directions for improvement.
참고문헌 (36)
- "2021년 개선된 한국어능력시험(TOPIK) 평가틀 및 발문 적용 안내" (2024)[URL]
- "한국어능력시험(TOPIK) 소개"[URL]
- 김성숙, "IBT 한국어 숙달도 평가 도구 개발의 원리 : 자기주도학습 아카이브와의 연계성을 중심으로", 외국어로서의 한국어교육, 72, pp.1~28 (2024)
- 김유정, "한국어능력시험의 난이도 분석", 한국어 교육, 17(1), pp.21~46 (2006)
- 김유정, "언어 평가와 한국어 평가" (2020), 도서출판 지식과 교양
- 신동광, "영어교육에서 AI 활용의 한계는 어디쯤일까? : 자동 지문 생성 및 자동 문항 생성의 활용 가능성", 영어교과교육, 21(3), pp.147~163 (2022)
- 신동광, "AI 도구를 활용한 중등교사 영어 출제 연수 사례 연구 : ChatGPT를 중심으로", 어학연구, 59(1), pp.21~42 (2023)
- 신주은, "프롬프트 엔지니어링 교육이 초등학생의 인공지능 관련 태도에 미치는 영향", 정보교육학회논문지, 27(5), pp.635~644 (2023)
- "젠큐(GenQue)"[URL]
- 한국어능력시험 구인 분석 연구, "양길석", 국립국제교육원, ~ (2012)
- 양세정, "한국어능력시험(TOPIK)말하기 평가 분석과 응시자 피드백 고찰", 어문론집, 95, pp.533~566 (2023)
- 이준호, "‘한국어능력시험’에서의 추론 기술 평가 연구 : 이해 영역을 중심으로", 한국어학, 46, pp.317~351 (2010)
- 이해영, "한국어 이해능력 평가의 원리 및 실제", 한국어 교육, 16(3), pp.275~304 (2005)
- 전다은, "한국어 읽기 유형과 평가 문항 간 연계성 연구 : 사실적 읽기와 추론적 읽기를 중심으로", 한성어문학, 50, pp.223~252 (2023)
- 정혜경, "인공지능 생성 지문에 대한 예비 교사 인식 조사 연구", 이중언어학, 90, pp.193~217 (2022)
- 최숙기, "생성형 AI를 활용한 현직 국어교사의 서·논술형 평가 문항 개발 양상 분석", 청람어문교육, 97, pp.243~270 (2024)
- Alsubait, T., "Ontology-based multiple choice question generation", KI-Künstliche Intelligenz, 30, pp.183~188 (2016)
- Attali, Y., "The interactive reading task : Transformer-based automatic item generation", Frontiers in Artificial Intelligence, 5, pp.903077~ (2022)
- Bartram, D., "Computer-based testing and the internet: Issues and advances" (2005), John Wiley & Sons
- Bejar, I. I., "Item generation for test development", pp.199~217 (2002), Lawrence Erlbaum Associates Publishers
- Brown, T., "Language models are few-shot learners", Advances in neural information processing systems, 33, pp.1877~1901 (2020)
- Downing, S. M., "Handbook of test development" (2006), Lawrence Erlbaum Associates Publishers
- Ekin, S., "Prompt engineering for ChatGPT: a quick guide to techniques, tips, and best practices" (2023), Authorea Preprints
- Gierl, M. J., "Automatic item generation : Theory and practice" (2013), Routledge
- Gierl, M. J., "Advanced methods in automatic item generation" (2021), Routledge
- Irvine, S. H., "Item generation for test development" (2002), Erlbaum
- Jurafsky, D., "N-gram language models", Speech and Language Processing, 23, pp.1~30 (2018)
- Khan S., "Sphinx: an automated generation system for English reading comprehension assessment", International Conference on Learning Analytics and Knowledge (2020)
- Kumer, V., "Automating reading comprehension by generating question and answer pairs", Advances in Knowledge Discovery and Data Mining, 8, pp.335~348 (2018)
- Lee, S. H., "Prompt engineering to improve the performance of teaching and learning materials recommendation of generative artificial intelligence", Journal of The Korea Society of Computer and Information, 28(8), pp.195~204 (2023)
- Lee, U., "Few-shot is enough: Exploring ChatGPT prompt engineering method for automatic question generation in english education", Education and Information Technologies (2023)
- Radford, A., "Improving language understanding by generative pre-training", ~ (2018)
- Sayin, A., "Using OpenAI GPT to generate reading comprehension items", Educational Measurement : Issues and Practice, 43(1), pp.5~18 (2024)
- Shin, D., "Can ChatGPT make reading comprehension testing items on par with human experts?", Language Learning & Technology, 27(3), pp.27~40 (2023)
- von Davier, M., "Automated item generation with recurrent neural networks", Psychometrika, 83, pp.847~857 (2018)