혼합형태의 공통+행렬표집 가교문항설계의 베이지안 IRT 동등화 방안
Bayesian IRT Equating in the Common plus Matrixed-sampled Anchor Items Design with Mixed Item Formats
0
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
가교 문항의 노출 위험을 적게 하면서 피험자의 수험 부담을 줄일 수 있도록 하는 공통+행렬 표집 가교 문항 설계(Common plus Matrix-sampled Anchor Items Design)에서 사용 가능한 문항반응이론(IRT)의 동등화 방안을 확장하려는 목적으로 본 연구가 수행되었다. 기존의 최대우도추정(MLE) 방식에 의한 동등화 방안들을 베이지안 사전 정보(Bayesian Informative Priors)를 활용하는 새로운 IRT 동등화의 부분 집합으로 보면서, 행렬 표집 설계에서 가장 안정적인 결과를 나타내는 베이지안 IRT 동등화 방안을 찾아보려 했다. 고전적인 가교 문항 설계로 수집된 국가수준 학업성취도 평가의 고1 국어 시험 자료를 최대 6개의 구획으로 행렬 표집되는 자료로 변형하였다. 구획 수가 많아지고 또 구획 당 피험자 수가 적어지면서 모수 추정 및 동등화에 어느 정도의 오차가 발생하는지를 알아보았다. 또한 사전 정보를 제시하는 방식에 따라 모수 추정 및 동등화에 어떤 영향이 있는지를 알아보았다. MLE 방식의 문항모수고정(FPIP) 방법은 점-사전 정보(Point Prior)를 활용한 베이지안 IRT 동등화로, 그리고 특성곡선전환(CCT) 방법은 사전 정보가 없는(Flat Prior) 베이지안 IRT 동등화와 같은 것으로 보고, 이에 덧붙여 사전 정보의 정도를 달리하는 MCMC 방식의 두 가지 베이지안 IRT 동등화 방법들(즉, Informative Prior, High Informative Prior)을 적용해보았다. 사전 정보의 활용 정도가 지나치게 높거나(Point Prior) 낮은 경우(Flat Prior)보다는 어느 일정 수준의 사전 정보(Informative Priors)를 활용할 때 안정적인 동등화 결과를 나타낼 것이라는 가정을 지지할만한 명확한 증거를 찾을 수 없었다. 가장 안정적인 결과를 보인 점-사전 정보 방법의 한계와, 최적의 사전 정보 수준을 찾는 후속 연구의 필요성 등을 논의했다.
Abstract
This study was intended to find out the appropriate priors for the Bayesian IRT equating in the common plus matrix-sampled anchor items design. For the study, the 10th grade students' Korean Test in the National Assessment of Educational Achievement was used. The item responses sampled by non- equivalent group anchor test design were revised to the common plus matrix-sampled anchor items design with 6 blocks at most. Traditional IRT equating methods, CCT and FPIP in the context of MLE, were included to the Bayesian IRT equating as those of flat priors and point priors methods. In addition to those of completely uninformative priors and completely informative priors, intermediate informative priors in the context of MCMC were introduced to this study. The traditional IRT equating method(CCT) showed its equating result a little bit different from those of Bayesian IRT equating with intermediate priors (point prior, just prior, high prior) in the context of MCMC. This study also revealed high possibilities of Bayesian IRT equating with appropriate priors in the non-optimal testing designs such as matrix-sampled anchor items design.
참고문헌 (25)
- 남현우, "행렬표집설계에 적합한 IRT 동등화 방법 탐색", 교육평가연구, 15(2), pp.85~103 (2002)
- 남현우, "고부담시험에서 문항노출위험과 동등화편차를 최소화 할 수 있는 행렬표집설계 방안", 교육평가연구, 22(3), pp.633~657 (2009), 한국교육평가학회
- 국가수준 학업성취도평가-기술보고서-, "박정", 한국교육과정평가원, ~, pp.연구보고 RRO 2006-4 (2006)
- 박찬호, "전문가 판정에 의한 차등 배점을 활용한 제한적 일반화부분점수 모형의 적용", 교육평가연구, 24(3), pp.781~797 (2011), 한국교육평가학회
- 이종성, "통계방법" (2007), 박영사
- Cowles, M. K., "Review of WinBUGS 1.4", The American Statistician, 58(4), pp.330~336 (2004)
- Curtis, S. M., "BUGS code for Item Response Theory", Journal of Statistical Software, 36(1), pp.1~34 (2010)
- de la Torre, J., "Item Response Theory Equating using Bayesian Informative Priors", Paper presented at the annual meeting of the National Council on Measurement in Education in Seatle (2001)
- MCAS 2001 Technical Report, "Driscoll, D. P.", Massachusetts Department of Education, ~ (2002)
- Fox, J. -P., "Bayesian Item Response Modeling: Theory and Application" (2010), Springer
- Hu, H., "Investigation of IRT-based equating methods in the presence of outlier common items", Applied Psychological Measurement, 32(4), pp.311~333 (2008)
- Kim, J., "Estimating Item Response Theory models using Markov Chain Monte Carlo methods", Educational Measurement: Issues and Practices, An NCME Instructional Module, ~ (2007)
- Kim, S., "STUIRT(A computer program for scale transformation under unidimensional Item Response Theory models)", Iowa Testing Programs, University of Iowa, ~ (2004)
- IRT scale linking methods for mixed-format tests, "Kim, S.", ACT, ~, pp.ACT research report series 2004-5 (2004)
- 김소희, "A Comparison of MCMC and MMLE", EM Algorithms for Fixed Item Parameter Calibration, 2012, pp.25(2), 337~350[DOI]
- Kolen, M. J., "POLYEQUATE(Windows console version)", University of Iowa, ~ (2004)
- Kolen, M. J., "Test Equating, Scaling, and Linking - methods and practice -" (2004), Springer
- Li, Y. H., "Estimating IRT equating coefficients for test with polytomously and dichotomously scored items", Paper presented at the annual meeting of the NCME (1999)
- Lord, F. M., "Maximum likelihood and Bayesian parameter estimation in Item Response Theory", Journal of Educational Measurement, 23(2), pp.157~162 (1986)
- "Overview of the MCAS 2001 tests" (2001)[URL]
- Patz, R. J., "A straightforward approach to Markov chain Monte Carlo methods for Item Response Theory", Journal of Educational and Behavioral Statistics, 24, pp.146~178 (1999)
- Patz, R. J., "Applications and extensions of MCMC in IRT : multiple item types, missing data, and rated responses", Journal of Educational and Behavioral Statistics, 24, pp.342~366 (1999)
- Spigelhalter, D. J., "WinBUGS version 1.4 user manual" (2003), MRC Biostatistics Unit
- van Rijn, P., "Test equating using prior information on population", A paper presented at the International Meeting of the Psychometric Society at Cambridge (2009)
- van Rijn, P., "Exposing trends in populations in the context of test equating", Paper presented at the annual meeting of National Council on Measurement in Education at Denver (2010)