DINA 모형을 통한 피험자 능력 추정의 정확성 연구: MCMC와 MMLE/EM 알고리듬의 비교를 중심으로
A study on the accuracy of examinee ability estimation under the DINA model: focused on the comparison between MCMC and MMLE/EM algorithms
0
조회
0
다운로드
5
인용
0
참고문헌
키워드
초록
본 연구에서는 DINA 모형 추정이 가능한 알고리듬인 MCMC와 MMLE/EM을 사용하여 피험자 능력 추정의 정확성 측면에서 그 결과를 비교하고자 하였다. 모의실험 연구를 통하여 각 피험자의 진(true) 숙달여부를 알고 있는 상황 하에서 자료를 생성하고, 이에 대한 분석을 통하여 숙달여부 추정의 정확성 즉 분류정확성을 확인할 수 있었다. 모의실험 요인으로는 검사길이 및 인지요소들 간 상관계수의 크기 등을 고려하였다. MCMC를 사용하여 DINA 모형을 추정할 수 있는 WinBUGS 프로그램의 경우, 연구자에 의한 자유로운 프로그램 작성 및 도출 결과의 선택이 가능하기 때문에, 개별 피험자의 각 인지요소별 숙달확률 및 숙달여부에 관한 추정치를 모두 구할 수 있었다. 하지만 MMLE/EM을 통하여 모수를 추정하는 Ox 프로그램은 DINA 모형을 다룸에 있어서 추정 결과로서 각 인지요소의 숙달여부만 제공하는 것으로 나타났다. 연구 결과, 피험자의 인지 능력을 평가하기 위하여 능력 관련 추정치를 제공하고자 할 때, 숙달확률보다는 숙달여부를 사용하는 것이 보다 타당한 선택임을 확인할 수 있었다. 또한 숙달여부 복원과 관련하여, MCMC에 의한 능력모수 추정 결과보다 MMLE/EM이 보다 안정적이고 정확한 결과를 산출하는 것으로 나타났다. 또한 많은 모의실험 조건에서 검사길이가 증가하면 분류정확성이 높아지는 경향이 있었다. 마지막으로, 모든 인지요소의 숙달여부 즉 전체 숙달 패턴이 정확하게 복원되는지를 살펴보는 경우 인지요소 간의 상관이 높을수록 분류정확성이 높아짐을 확인할 수 있었지만, 인지요소 간 상관 정도와 개별 인지요소 숙달여부의 분류정확성 간에는 뚜렷한 연관성이 없는 것으로 나타났다.
Abstract
This study is to investigate the accuracy of ability parameter estimates based on the DINA model using MCMC and MMLE/EM algorithms through several simulation conditions, focusing on the two kinds of results such as mastery probability and mastery state. The former can be performed by the WinBUGS program, and the latter can be utilized using the Ox program which provides information only on mastery state of each attribute. In a simulation study to evaluate the accuracy of ability recovery, two factors such as the test lengths and the correlations among cognitive attributes were considered together. The results show that if one has to choose between mastery state and mastery probability to evaluate examinee’s cognitive ability, presenting mastery state rather than mastery probability can be safer choice. Comparing the performances of MCMC and MMLE/EM algorithms in terms of classification accuracy, the latter appears to provide consistently better estimates than the former. Moreover, the result suggests not only that the longer test length is given, the larger classification accuracy tends to be obtained, but also that accuracy classification results at the whole-pattern level increases when the correlations between attribute are higher. Such relationship between the correlations and classification accuracy, however, was not found when the recovery is evaluated in terms of the mastery on each individual attribute.
참고문헌 (29)
- 김지효, "DINA와 DINO모형에서 응시생 분류 정확성에 영향을 미치는 요인 탐구 : 응시생 분류방법을 중심으로", 박사, 교육학과 교육심리학·교육과정전공, pp.2013
- 민은정, "Simulation study를 통한 Accelerated EM algorithm의 비교", 석사, 통계학, pp.2009
- 반재천, "DINA 모형에 의한 인지요소숙달 추정 방법간 비교 및 초등학생의 인지요소숙달 변화", 교육평가연구, 25(4), pp.721~744 (2012), 한국교육평가학회
- Beguin, A. A., "MCMC estimation and some model-fit analysis of multidimensional IRT modles", Psychometrika, 66(4), pp.541~562 (2001)
- Bolt, D. M., "Estimation of compensatory and noncompensatory multidimensional item eesponse models using Markov chain Monte Carlo", Applied Psychological Measurement, 27, pp.395~414 (2008)
- Chen, Y., "Statistical analysis of Q-matrix based diagnostic classification models", Journal of the American Statistical Association
- Chiu, C. Y., "Cluster analysis for cognitive diagnosis : Theory and applications", Psychometrika, 74(4), pp.633~665 (2009)
- Chung, M. -T., "Estimating the Q-matrix for cognitive diagnosis models in a bayesian framework", doctor, pp.2014
- Cui, Y., "Estimating classification consistency and accuracy for cognitive diagnostic assessment", Journal of Educational Measurement, 49(1), pp.19~38 (2012)
- Studies of a latent-class signal-detection model for constructed response scoring II: Incomplete and hierarchical designs, "DeCarlo, L. T.", ETS, ~, pp.ETS Research Report No. RR-10-08 (2010)
- de la Torre, J., "An empirically-based method of Q-matrix validation for the DINA model : Development and applications", Journal of Educational Measurement, 45, pp.343~362 (2008)
- de la Torre, J., "DINA model and parameter estimation : A didatic", Journal of Educational and Behavioral Statistics, 34(1), pp.115~130 (2009)
- de la Torre, J., "The generalized KINA model framework", Psychometrika, 76(2), pp.179~199 (2011)
- de la Torre, J., "Higher-order latent trait models for cognitive diagnosis", Psychometrika, 69(3), pp.333~353 (2004)
- DiBello, L. V., "Cognitively Diagnostic Assessment", pp.361~389 (1995), Lawrence Erlbaum Associates
- Doornik, J. A., "Programming Languages and Systems in Computational Economics and Finance", pp.115~147 (2002), Kluwer Academic Publishers
- Gilks, W. R., "Markov chain Monte Carlo in practice" (1996), Chapman and Hall
- Haertel, E. H., "Using restricted latent class models to map the skill structure of achievement items", Journal of Educational Measurement, 26, pp.333~352 (1989)
- Hartz, S., "A Bayesian Framework for the Unified Model for Assessing Cognitive Abilities: Blending Theory with Practicality", doctor, pp.2002
- Henson, R., "Defining a family of cognitive diagnosis models using log-linear models with latent variables", Psychometrika, 74, pp.191~210 (2009)
- Hoijtink, H., "A multidimensional item response model : Constrained latent class analysis using the gibbs sampler and posterior predictive checks", Psychometrika, 62, pp.171~190 (1997)
- Huebner, A., "A note on comparing examinee classification methods for cognitive diagnosis models", Educational and Psychological Measurement, 71(2), pp.407~419 (2011)
- Junker, B, W., "Cognitive assessment models with few assumptions and connections with nonparametric item response theory", Applied Psychological Measurement, 25(3), pp.258~272 (2001)
- Rupp, A. A., "Unique characteristics of diagnostic models : a review of the current state-of-the-art", Measurement, 6, pp.219~262 (2008)
- Rupp, A., "Diagnostic measurement theory, methods, and applications" (2010), Guilford Press
- Song, L., "The revised DINA model parameter estimation with EM algorithm", International Journal of Digital Content Technology and its Applications, 6(9), pp.85~92 (2012)
- Spiegelhalter, D., (2000), MRC Biostatistics Unit, Cambridge University
- Tatsuoka, K. K., "Rule space : An approach for dealing with misconceptions based on item response theory", Journal of Educational Measurement, 20(4), pp.435~354 (1983)
- Tatsuoka, K. K., "Diagnostic monitoring of dkill and knowledge acquisition", pp.453~488 (1990), Lawrence Erlbaum Associates