국어과 읽기 영역 선다형 평가를 위한 자동 문항 생성 방안 연구
A Study on Automatic Item Generation for Multiple-Choice Reading Comprehension Assessment in Korean Language
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 국어과 읽기 영역 선다형 평가 문항의 자동 생성을 위한 생성형 AI 기반 자동 문항 생성(AIG) 기술의 가능성을 탐색하였다. 이를 위해 제로샷(Zero-shot), 퓨샷(Few-shot), Chain-of-Thought(CoT) 세 가지 프롬프트 전략의 효과성을 비교 분석하였다. 각 전략으로 생성된 문항은 문항 타당성, 문항의 형식, 문항 내용을 기준으로 8명의 전문가 집단이 질적 평가를 실시하였다. 연구 결과, CoT 프롬프트가 가장 우수한 성과를 보였다. CoT 프롬프트는 AI의 단계적 사고를 유도함으로써 사실적 이해부터 창의적 이해에 이르는 다양한 평가 요소를 균형 있게 반영하였으며, 문항의 논리적 일관성과 평가 목적의 부합성을 효과적으로 구현하였다. 반면 퓨샷 프롬프트는 형식적 완결성은 갖추었으나 창의성과 다양성이 부족했고, 제로샷 프롬프트는 단순 정보 재구성에 치중하여 고차원적 사고를 평가하기에는 한계를 보였다. 이러한 결과는 생성형 AI 기술이 교사의 평가 전문성을 보완하고 문항 설계의 논리성과 타당성을 높이는 보조 도구로서 기능할 수 있음을 시사한다. 특히 CoT 프롬프트는 교사의 문항 설계 부담을 경감하고 평가의 질적 향상에 기여할 수 있는 가능성을 보여주었다. 본 연구는 CoT 프롬프트의 효과성을 실증적으로 입증하고, AIG 기술이 교육 평가의 질적 향상과 교사의 전문성 보조 도구로 활용될 수 있는 가능성을 제시했다는 점에서 의의가 있다.
Abstract
This study investigates the potential of generative AI-based Automatic Item Generation (AIG) technology for creating Korean language reading comprehension multiple-choice items. Three prompt strategies—Zero-shot, Few-shot, and Chain- of-Thought (CoT)—were analyzed, with items generated by each strategy evaluated by a panel of eight experts (five Korean language teachers and three doctoral researchers) based on educational validity, format appropriateness, and content fidelity. The CoT prompt demonstrated superior performance by guiding AI through step-by-step reasoning, effectively generating items that balanced comprehension levels from factual understanding to creative and evaluative reasoning while maintaining logical coherence and alignment with assessment objectives. The Few-shot prompt achieved structural completeness but lacked creativity and diversity in certain item types. The Zero-shot prompt primarily focused on basic information reconstruction, proving inadequate for assessing higher-order thinking skills. These findings suggest that generative AI technology can serve as a valuable supplementary tool for teachers’ expertise in assessment design, particularly in enhancing the systematic development and validity of test items. The CoT prompt specifically showed promise in reducing teachers’ workload while maintaining assessment quality. This study highlights the potential of AIG technology as a practical tool for improving educational assessment quality and supporting teachers’ professional practice in item development.