GAI-HITL 기반 독서 문항 자동 생성(AIG)의 심리측정학적 타당성 분석 연구
Psychometric Validity Analysis of GAI-HITL-Based Automatic Item Generation (AIG) for Reading Comprehension Items
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 생성형 인공지능과 교사 전문성의 구조적 협업을 통한 GAI-HITL(Generative AI-Human-in-the-Loop) 기반 자동 문항 생성 방식이 고등학교 국어과 독서 평가에서 심리측정학적 타당성을 확보할 수 있는지를 실증적으로 검증하였다. ChatGPT-4o와 현장 교사의 협업을 통해 8단계 GAI-HITL 프로토콜을 설계하고, 2015 개정 교육과정 독서 성취기준에 기반하여 20개의 선다형 문항을 개발하였다. 고등학교 3학년 53명을 대상으로 실시한 평가 결과를 고전검사이론(CTT)과 문항반응이론(IRT)을 통해 분석하였다. 연구 결과, GAI-HITL 기반 문항 세트는 내적 일관성 신뢰도(Cronbach’s α = .7897)가 교육평가 기준을 상회하였으며, 평균 정답률 66.8%로 적절한 난이도를 보였다. CTT를 주 분석틀로 하고 IRT를 보조적으로 활용한 결과, 교사 예측 난이도와의 정합성은 55%, 변별도는 점이연상관 기준 55%의 문항이 양호 이상 수준을 나타냈다. 특히 문항별 품질 차이가 개발 과정에서의 교사-AI 협업 양상과 밀접한 관련이 있음을 확인하였다. 높은 변별도를 보인 문항은 교사의 구체적인 오답 구성 피드백을 통해 완성된 반면, 낮은 변별도 문항은 AI의 자기 점검과 교사 개입이 미흡한 사례였다. 본 연구는 GAI-HITL 방식이 현재 기술 수준에서도 교육 현장에 적용 가능한 신뢰도 높은 평가 도구를 생산할 수 있음을 실증하였으며, AI 시대 교육평가에서 인간 전문가와 인공지능 협업의 시너지 효과를 보여준다는 점에서 의의가 있다.
Abstract
This study empirically examined whether a GAI-HITL (Generative AI-Human-in-the-Loop) based automatic item generation approach, through structured collaboration between generative artificial intelligence and teacher expertise, can ensure psychometric validity in high school Korean reading comprehension assessment. An 8-stage GAI-HITL protocol was designed through collaboration between ChatGPT-4o and classroom teachers, and 20 multiple-choice items were developed based on the 2015 Revised National Curriculum reading achievement standards. Assessment results from 53 high school seniors were analyzed using Classical Test Theory (CTT) and Item Response Theory (IRT). Results showed that the GAI-HITL-generated item set achieved internal consistency reliability (Cronbach’s α = .7897) above educational assessment standards and demonstrated appropriate difficulty with a mean correct response rate of 66.8%. Using CTT as the primary analytical framework with IRT as supplementary analysis, 55% of items showed acceptable agreement with teacher-predicted difficulty levels, and 55% of items demonstrated satisfactory discrimination based on point-biserial correlation criteria. Notably, item quality differences were closely related to the patterns of teacher-AI collaboration during development. Items with high discrimination were completed through teachers’ specific feedback on attractive distractor construction, while items with low discrimination resulted from cases where AI self-checking and teacher intervention were insufficient. This study demonstrates that the GAI-HITL approach can produce reliable assessment tools applicable to educational settings even at current technological levels, showing the synergistic effects of human-AI collaboration in educational assessment for the AI era.