대단위 읽기 평가의 테스트렛 효과 진단 및 대안 탐색 －Bifactor 모형을 중심으로
Diagnosing Testlet Effects in Large-Scale Reading Assessment and Exploring Alternatives -A Bifactor Modeling Approach-
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
현행 대단위 읽기 평가는 하나의 지문에 여러 문항이 묶인 테스트렛 구조를 채택하고 있으나, 이는 문항반응이론의 일차원성과 지역 독립성 가정을 위배할 가능성이 있다. 본 연구는 전국연합학력평가 독서 영역을 대상으로 테스트렛 효과를 진단하고, 2PL 모형과 Bifactor 모형을 비교하였다. 분석 결과 부분적 테스트렛 효과가 확인되었고, 테스트렛별·문항별로 이질성이 관찰되었다. 일부 테스트렛은 강한 지문 의존성을 보였으며, 동일 테스트렛 내에서도 문항 간 효과 크기가 현저히 달랐다. 본 연구는 이러한 진단을 바탕으로 구인 명료화, 정보원 분산, 시나리오 기반 평가 등 평가 개발 대안과, 일차원성 검증-모형화-진단-점수화-보고로 이어지는 측정학적 프레임워크를 제안하였다. 본 연구는 대단위 읽기 평가의 테스트렛 효과를 실증하고 그 방법론을 제안하였다는 점에서 의의가 있다.
Abstract
Current large-scale reading assessments employ a testlet structure bundling multiple items under a single passage, which may violate Item Response Theory (IRT) assumptions of unidimensionality and local independence. This study diagnosed testlet effects in a Korean national reading assessment and compared 2PL and bifactor models. Analysis revealed partial testlet effects with heterogeneity across testlets and items. Some testlets exhibited strong passage dependency, and effect sizes varied substantially even within the same testlet. Based on these findings, the study proposes assessment development alternatives including construct clarification, information source dispersion, and scenario-based formats, alongside a psychometric framework encompassing validation, modeling, diagnosis, scoring, and reporting. This study empirically demonstrates testlet effects in large-scale reading assessments and outlines a methodological framework for their analysis.