Human-in-the-Loop(HITL) 모델을 활용한 독서 평가 문항 자동 생성 방안
A Study on Automatic Generation of Reading Comprehension Items Using Human-in-the-Loop(HITL) Model
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 GPT-4.0와 교사의 전문성을 결합한 Human-in-the-Loop(HITL) 기반 국어 독서 평가 문항 자동 생성 프로토콜을 개발하고 그 효과를 실증적으로 검증했다. 연구를 위해 Few-shot 및 Chain-of-Thought 프롬프팅을 통합한 10단계 프로토콜을 설계했으며, 이를 2022학년도 대학수학능력시험 독서 지문에 적용하여 GPT 단독 생성 문항(A)과 교사가 개입한 HITL 기반 문항(B)을 제작했다. 이후 국어 교사 10인으로 구성된 전문가 집단이 두 유형의 문항 품질을 비교 평가하였다. 연구 결과, HITL 기반 문항(B)은 모든 평가 항목에서 GPT 단독 생성 문항(A)보다 통계적으로 유의미한 우위를 보였다. 교사 개입의 효과는 특히 고차원적 사고를 요하는 비판적·창의적 독해 유형에서 두드러졌으며, ‘성취기준 및 평가 요소 부합성’과 ‘선지 변별 타당성’ 항목에서 가장 큰 폭의 향상이 나타났다. 본 연구는 AI 기반 자동 문항 생성 과정에서 인간 전문가의 역할을 체계적으로 프로토콜화했다는 이론적 의의와, 교사의 출제 부담을 줄이면서도 평가의 질을 보장하는 현실적 대안을 제시했다는 실천적 의의를 지닌다.
Abstract
This study developed and validated a Human-in-the-Loop (HITL) protocol that combines GPT-4.0 with teacher expertise to automatically generate Korean reading assessment items. We compared items created solely by GPT with those refined by teachers using the protocol. An expert group of 10 teachers evaluated the quality of both item sets. The results showed that the HITL-based items were statistically superior in quality. Items generated solely by GPT, while functional, often contained flaws such as ambiguous phrasing, duplicated options, and a mismatch with the intended assessment objectives. In contrast, the improvements from teacher intervention were most significant for items assessing higher-order thinking skills, particularly in their alignment with learning goals and the validity of the options. This research offers a systematic protocol for AI-human collaboration in assessment. It presents a practical solution to reduce teachers' item-writing burden while ensuring the quality and validity of educational evaluations.