DINA 모형 하에서 MLE, MAP, EAP 능력 추정 방법의 분류 정확도 및 합치도 연구
A study on the classification accuracy and agreement of MLE, MAP, and EAP methods under the DINA model
0
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
본 연구에서는 DINA 모형 하에서 피험자 능력 모수를 추정할 수 있는 방법인 MLE, MAP, EAP 각각의 분류 정확도 및 상호 간의 합치도를 모의실험을 통하여 조사하였다. 선행연구와의 차별성을 확보하기 위하여 문항의 질, 검사 길이, 능력 정도, 인지요소 간 상관 정도, 그리고 검사 성격 등의 다양한 모의실험 요인을 고려하였다. 연구 결과, 개별 인지요소를 추정할 때의 정확성은 어느 방법을 사용하여도 모든 조건에서 약 75% 이상인 것으로 나타났다. 하지만 전체 인지요소를 모두 함께 정확하게 추정하는 것은 상대적으로 어려운 것으로 나타났으며 특히 문항의 질이 좋지 않고 문항 수가 적을 때에는 50% 초반까지 분류 정확도가 하락하였다. 능력추정 방법 간 결과를 비교해 보면, 개별 인지요소를 추정할 때에는 EAP를 사용하는 것이 바람직하지만 전체 인지요소 모두를 정확하게 추정하는 것이 더 중요하다면 MLE/MAP를 선택하는 것이 나았다. 다음, 검사별 Q-matrix 구성에 따라서 능력 추정의 정확성에 영향을 미치는 것을 알 수 있었는데 검사 문항 수에 비하여 상대적으로 많은 인지요소를 고려할 경우 분류 정확도가 낮아짐을 확인하였다. 문항 수가 많을수록 그리고 문항의 질이 좋을수록 분류 정확성이 높아짐을 알 수 있었다. 흥미롭게도 특정 인지요소만을 측정하는 문항이 5문항 이상인 경우 문항의 질이 다소 하락하여도 높은 분류 정확도를 구할 수 있었다. 또한 인지요소 간의 상관 정도는 능력 추정의 정확도와 무관한 것으로 나타났다.
Abstract
In this simulation study, the classification and agreement of MLE, MAP, and EAP which are methods to estimate examinees’ ability parameters under the DINA model. For the purpose of ensuring differentiation from the previous studies, various simulation factors were considered such as quality of test items, test lengths, ability distributions, correlations among cognitive attributes, and natures of test. The results showed that the accuracy of estimating each individual cognitive attribute was higher than about 75% in all conditions using any of three methods. It was relatively difficult, however, to accurately estimate all the cognitive attributes together. Especially, when the number of test items is small, the classification accuracy has decreased to the early 50%. It was better to use EAP when estimating individual cognitive attribute. If it was more important to accurately estimate mastery pattern, however, it is better to choose MLE/MAP. Next, the Q-matrix configuration appeared to affect the accuracy of ability estimation. As the number of cognitive attributes came to be relatively larger compared to the number of related test items, the classification accuracy tended to be lower. The higher the number of items and the better the quality of items, the higher the classification accuracy. Interestingly, if the number of items that measure a specific cognitive attribute were more than 5, the ability estimation accuracy could be kept relatively high even though the quality of items dropped somewhat. Also, the amounts of correlations among cognitive attributes appeared not to be related to the accuracy of ability estimation.
참고문헌 (25)
- 강태훈, "베이지안 네트워크를 활용한 피험자 능력 추정의 정확성 탐색", 교육평가연구, 29(1), pp.1~24 (2016), 한국교육평가학회
- 김성은, "다집단 인지진단모형의 적용 가능성 탐색: 청소년 정서·행동문제 검사에의 적용", 교육학연구, 53(2), pp.139~159 (2015), 한국교육학회
- 반재천, "DINA 모형에 의한 인지요소숙달 추정 방법간 비교 및 초등학생의 인지요소숙달 변화", 교육평가연구, 25(4), pp.721~744 (2012), 한국교육평가학회
- 심혜진, "DINA 모형을 통한 피험자 능력 추정의 정확성 연구: MCMC와 MMLE", EM 알고리듬의 비교를 중심으로, 2015, pp.27(3), 307~327[DOI]
- Chen, Y., "Statistical analysis of Q-matrix based diagnostic classification models", Journal of the American Statistical Association, 110, pp.850~866 (2015)
- Chiu, C. Y., "Cluster analysis for cognitive diagnosis : Theory and applications", Psychometrika, 74(4), pp.633~665 (2009)
- Chung, M. -T., "Estimating the Q-matrix for cognitive diagnosis models in a bayesian framework", doctor, pp.2014
- Cohen, J., "Statistical Power Analysis for the Behavioral Sciences" (1988), Lawrence Erlbaum Associates
- Cui, Y., "Estimating classification consistency and accuracy for cognitive diagnostic assessment", Journal of Educational Measurement, 49(1), pp.19~38 (2012)
- Doornik, J. A., "Programming Languages and Systems in Computational Economics and Finance", pp.115~147 (2002), Kluwer Academic Publishers
- de la Torre, J., "An empirically-based method of Q-matrix validation for the DINA model : Development and applications", Journal of Educational Measurement, 45(4), pp.343~362 (2008)
- de la Torre, J., "DINA model and parameter estimation : A didatic", Journal of Educational and Behavioral Statistics, 34(1), pp.115~130 (2009)
- de la Torre, J., "The generalized DINA model framework", Psychometrika, 76(2), pp.179~199 (2011)
- de la Torre, J., "Higher-order latent trait models for cognitive diagnosis", Psychometrika, 69(3), pp.333~353 (2004)
- de la Torre, J., "Factors affecting the item parameter estimation and classification accuracy of the DINA model", Journal of Educational Measurement, 47(2), pp.227~249 (2010)
- Haertel, E. H., "Using restricted latent class models to map the skill structure of achievement items", Journal of Educational Measurement, 26, pp.333~352 (1989)
- Huebner, A., "A note on comparing examinee classification methods for cognitive diagnosis models", Educational and Psychological Measurement, 71(2), pp.407~419 (2011)
- Junker, B. W., "Cognitive assessment models with few assumptions and connections with nonparametric item response theory", Applied Psychological Measurement, 25(3), pp.258~272 (2001)
- Ozaki K., "DINA models for multiple-choice items with few parameters : Considering incorrect answers", Applied Psychological Measurement, 39(6), pp.431~447 (2015)
- Rupp, A., "Diagnostic measurement theory, methods, and applications" (2010), Guilford Press
- Song, L., "The revised DINA model parameter estimation with EM algorithm", International Journal of Digital Content Technology and its Applications, 6(9), pp.85~92 (2012)
- "MRC Biostatistics Unit, Cambridge University", 2000
- Tatsuoka, K. K., "Rule space: An approach for dealing with misconceptions based on item response theory", Journal of Educational Measurement, 20(4), pp.435~354 (1983)
- Tatsuoka, K. K., "Diagnostic monitoring of dkill and knowledge acquisition", pp.453~488 (1990), Lawrence Erlbaum Associates
- Tatsuoka, K. K., "Cognitive assessment: An introduction to the rule space method" (2009), Routledge Academic