컴퓨터 기반 검사에서 문항의 차등배점에 따른 성취수준 분류의 정확성 탐색
Accuracy of achievement level classification based on differential item scoring in computer-based tests
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
컴퓨터 기반 검사의 도입으로 인해 기존 지필평가에서 다룰 수 없는 다양하고 새로운 문항 유형들이 개발되었다. 이에 검사 개발자들은 컴퓨터의 기술공학적 기능을 활용하여 피험자가 과제를 직접 수행하는 활동형 문항들에 다른문항보다 높은 배점을 부여하는 것이 타당하지 않을까 하는 의문이 들 수 있다. 문항 간 차등배점을 부여하는 것은개별 문항 점수의 가중치를 피험자가 알고 문항 풀이의 우선순위를 정할 수 있다는 장점이 있다. 그러나 차등배점을부여하는 것이 검사 타당도와 신뢰도를 실제로 높이는지에 대해서는 부정적인 결과를 드러낸 연구들이 있어 왔다. 이에 대해 본 연구에서는 원점수 기반 검사의 문항 배점의 역할에 대해 정리하고, 선다형 문항의 균등배점과 차등배점이측정의 신뢰도에 미치는 영향력을 검증하였다. 이를 위해 배점부여 방식에 따라 피험자의 학업성취수준이 얼마나정확하게 판별되는지 비교하는 모의실험을 수행하였다. 그 결과, 차등배점보다 균등배점 상황에서 성취수준의 분류일치도가 높게 나타났다. 이처럼 국내외 컴퓨터 기반 학업성취도 평가에서 공통적으로 사용하고 있는 문항반응이론을적용하여 점수를 산출한다면 배점을 차등적으로 고려하지 않아도 문항의 고유 특성에 따라 가중치를 부여할 수있기 때문에 배점 부여 방식에 대한 논란을 해소할 수 있다. 끝으로 컴퓨터 기반 검사처럼 문항의 유형과 기능이다양하고 복잡한 검사에 대한 분석과 채점 시 문항반응이론을 적용할 수 있음을 강조하였다.
Abstract
The introduction of computer-based testing has led to the development of various new item types that cannot be covered by traditional paper-and-pencil assessments. Consequently, test developers may wonder whether it is more valid to assign higher scores to drag-and-drop or active performance-based items that require examinees to perform more tasks than to other items. The advantage of the differential item score is that examinees are informed about the weighting of individual item scores and can prioritize item completion. However, some studies have shown negative results regarding whether differential item scores improve test validity and reliability. In this study, we summarized the role of item scores in raw score-based tests and conducted a simple simulation to test the impact of equal and differential item scores on the reliability of multiple-choice items. The results showed that the classification agreement of achievement levels was higher in the equalized item score scenario than in the differential item score scenario. Applying item response theory, which is commonly used in domestic and international computer-based academic achievement tests, to calculate scores can resolve the controversy over how to assign scores because it weights items according to their unique characteristics without considering their differential scoring. Therefore, this study suggests that item response theory should be applied to the analysis and scoring of tests with complex item types and functions, such as computer-based tests.
참고문헌 (21)
- 강태훈, "선다형문항의 차등배점 고려가 가능한 IRT 능력모수 추정방법 비교 연구", 교육평가연구, 30(4), pp.569~594 (2017)
- 강태훈, "문항반응이론을 이용한 원점수-세타 변환표 작성 방법 간 비교 연구", 교육방법연구, 31(3), pp.479~501 (2019)
- 강태훈, "검사 길이와 수행등급 개수에 따른 성취수준 분류 일관도 및 정확도 연구", 교육평가연구, 24(4), pp.1017~1038 (2011)
- 교육부, "2020년 국가수준 학업성취도 평가 결과 및 학습 지원 강화를 위한 대응 전략 발표", 교육부 보도자료, ~ (2021)
- 교육부, "‘교육회복 종합방안’기본계획 발표", 교육부 보도자료, ~ (2021)
- 김신영, "선택형 검사문항에 대한 차등 배점의 타당성에 관한 연구", 교육평가연구, 12(2), pp.235~250 (1999)
- 국가수준 학업성취도 평가 점수 체제 개선 및 결과 활용도 제고 방안, "김희경", 한국교육과정평가원, ~, pp.연구보고 RRE 2019-3 (2019)
- 맞춤형 학업성취도 자율평가 지원 시스템(i성취)을 위한 컴퓨터 기반 출제 및 시행 체제 구축, "박지현", 한국교육과정평가원, ~, pp.연구보고 RRE 2022-2 (2022)
- 박찬호, "전문가 판정에 의한 차등 배점을 활용한 제한적 일반화부분점수 모형의 적용", 교육평가연구, 24(3), pp.781~797 (2011)
- 컴퓨터 기반 국가수준 학업성취도 평가 도입을 위한 검사 설계 방안, "서민희", 한국교육과정평가원, ~, pp.RRE 2020-3 (2020)
- 양길석, "전문가 판단방법에 따른 문항 간 차등 배점의 타당성 연구", 한국교육학연구, 13(1), pp.197~219 (2007)
- Crocker, L., "Introduction to classical and modern test theory" (1986), Holt, Rinehart and Winston
- De Ayala, R. J., "The theory and practice of item response theory" (2013), Guilford Publications
- Embretson, S. E., "The new rules of measurement", Psychological assessment, 8(4), pp.341~ (1996)
- Jabrayilov, R., "Comparison of classical test theory and item response theory in individual change assessment", Applied Psychological Measurement, 40(8), pp.559~572 (2016)
- Kim. S., "An extension of four IRT linking methods for mixed-format tests", Journal of Educational Measurement, 43(1), pp.53~76 (2006)
- Kim, S. Y., "Classification consistency and accuracy for mixed-format tests", Applied Measurement in Education, 32(2), pp.97~115 (2019)
- Classification consistency and accuracy for complex assessments using item response theory, "Lee, W. C.", University of Iowa, ~, pp.CASMA Research Report number 27 (2008)
- Lee, W. C., "Classification consistency and accuracy for complex assessments under the compound multinomial model", Applied Psychological Measurement, 33(5), pp.374~390 (2009)
- Livingston, S. A., "Estimating the consistency and accuracy of classifications based on test scores", Journal of educational measurement, 32(2), pp.179~197 (1995)
- Peng, C. Y. J., "A note on Huynh's normal approximation procedure for estimating criterion-referenced reliability", Journal of Educational Measurement, pp.359~368 (1980)