선다형 문항의 차등배점을 고려할 수 있는 능력모수 추정방법 탐색: 등급반응모형 활용을 중심으로
An exploratory study on the ability parameter estimation method considering the differential item weighing in multiple choice items: use of the graded response model
0
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
본 연구의 주된 목적은 문항반응이론의 분석 맥락 하에서 문항별 차등배점을 고려한 피험자 능력 추정방법을 개발하는 데에 있다. 이를 위해 등급반응모형을 활용하여 경계특성곡선의 위치모수를 조정하는 방식으로 선다형 문항에 대한 차등배점을 반영하여 능력 추정치를 구하는 방법을 제시하였다. 연구결과, 차등배점을 고려한 능력 추정 결과와 이를 고려하지 않는 기존의 능력 추정 방식 간 상관이 높게 나타나 전반적으로 두 추정치의 결과가 크게 다르지 않았으나, 원점수 구간별 RMSD 산출을 통하여 능력 척도의 양 극단으로 갈수록 두 방법 간 추정치 차이가 나타남을 알 수 있었다. 또한 매우 작은 차이이기는 하지만 본 연구에서 제안한 차등배점을 고려한 능력 추정 방식이 차등배점이 부여된 원점수 순위를 보다 잘 반영해 줄 수 있다는 것을 확인하였다. 따라서 검사 목적에 따라 사전에 부여된 차등배점을 고려해야 하는 상황 하에서 문항반응이론을 통한 자료 분석과 피험자의 성적 산출이 필요한 경우, 본 연구에서 제시한 방법이 하나의 대안으로 충분히 고려될 수 있을 것이다.
Abstract
The purpose of this study was to develop the ability estimation method considering different item weighting in multiple choice items. In order to accomplish the purpose, this study suggested the new estimation method by adjusting the location parameters of boundary characteristic curves under the graded response model. The results showed that the correlation between the raw-scores and the estimated s by the new estimation method considering item weighting was higher than the correlation between raw-score ranking and the estimated s by traditional IRT approach. In addition, compared with raw-score ranking, there existed less changes of ranking when applying the new ability parameter estimation method. As a result, the method proposed in this study might be considered as an effective alternative in the situation where the differential item weights were adopted for multiple choice items.
참고문헌 (23)
- 김신영, "선택형 검사문항에 대한 차등 배점의 타당성에 관한 연구", 교육평가연구, 12(2), pp.235~250 (1999)
- 박산하, "교정문항모수 추정방법에 의한 검사동등화가 피험자 순위변호에 미치는 영향", 석사, pp.2014
- 박찬호, "전문가 판정에 의한 차등 배점을 활용한 제한적 일반화부분점수 모형의 적용", 교육평가연구, 24(3), pp.781~797 (2011), 한국교육평가학회
- Baker, F. B., "Equating tests under the graded response model", Applied Psychological Measurement, 16, pp.87~96 (1992)
- Baker, F. B., "Item response theory: Parameter estimation techniques" (2004), Marcel Dekker
- Birnbaum, A., "Statistical theories of mental test scores", pp.397~479 (1968), MIT press
- Crocker, L., "Introduction to classical and modern test theory" (1986), Holt, Rinehart and Winston
- Guilford, J. P., "Psychometric methods" (1954), McGraw-Hill
- Gulliken, H., "Theory of mental tests" (1950), Wiley
- Hambleton, R. K., "Item response theory principles and applications" (1985), Kluwer-Nijhoff Publishing
- Linking item parameters to a base scale, "Kang, T.", ACT, ~, pp.ACT RR 2009-2 (2009)
- Kim, S., "A comparative study of IRT fixed parameter calibration method", Journal of Educational Measurement, 43(4), pp.355~381 (2006)
- Koch, W. R., "Likert scaling using the graded response model", Applied Psychological Measurement, 7, pp.15~32 (1983)
- Lord, F. M., "Applications of Item Response Theory to Practical Testing Problems" (1980), Lawrence Erlbaum
- Lord, F. M., "Statistical theories of mental test scores" (1968), Addison-Wesley
- Muraki, E., "A generalized partial credit model : Application of an EM algorithm", Applied Psychological Measurement, 16, pp.159~176 (1992)
- Muraki, E., (2003), Scientific Software
- Reckase, M. D., "Unifactor latent trait models applied to multifactor tests : Results and implications", Journal of Educational Statistics, 4, pp.207~230 (1979)
- Samejima, F., "Estimation of Latent Ability Using a Response Pattern of Graded Scores" (1969), Psychometric Society
- Sykes, R. C., "Weighting constructed-response items in IRT-based exams", Applied Measurement in Education, 16, pp.257~275 (2003)
- Thissen, D., "Test Scoring" (2001), Lawrence Erlbaum
- Thissen, D., "A taxonomy of item response models", Psychometrika, 51, pp.567~577 (1986)
- Wang, M. W., "Differential weighting : A review of methods and empirical studies", Review of Educational Research, 4, pp.663~705 (1970)