DINA 모형을 활용한 대규모 학업성취도 평가 결과 분석
Diagnosis of knowledge states using large scale assessments – An application of DINA model –
0
조회
0
다운로드
15
인용
0
참고문헌
키워드
초록
우리나라를 비롯한 세계 여러 국가들은 학교 교육의 질을 관리하고 교육 환경 개선에 유용한 정보를 제공하기 위하여 국가수준 혹은 국제수준의 대규모 학업성취도 평가를 주기적으로 실시하고 있다. 주로 전국 규모의 학업성취도 평가 자료는 국가, 지역, 학교 차원의 교육효과 평가 및 교육관련 정책 수립의 기초 자료로 활용된다. 지금까지 대규모 학업성취도 평가 자료에서 학생 개인 또는 집단의 평균적인 학업성취 수준의 정보를 산출해 왔다. 이 연구는 학생들이 습득한 교과 지식의 구조적 정보를 구체적으로 제공하여 추후 교수학습에 유용한 처방적 정보를 제공하는 가능성을 탐색하는 것을 목적으로 한다. 인지진단이론 모형을 적용하여 학생의 지식 및 기능에 대한 숙달 상태를 진단한 결과, 교과 지식 구조에 대한 평가 결과 프로파일을 제공할 수 있었다. 학생의 능력에 대한 상세 진단 결과를 참고하여 학업 능력을 향상시키는 데 필요한 부분을 구체적으로 인식하고 교수 학습의 방향을 정하고 정책적 지원을 전개해 나갈 수 있게 될 것이다. 인지상태의 진단을 위해서는 핵심적이고 결정적인 역할을 하는 Q-행렬의 타당성 검토와 확보를 위한 노력이 수반되어야 한다.
Abstract
This study intended to show that large-scale assessments also were viable to provide individual-level and group-level diagnostic information, which could guide teaching and learning. The DINA model was applied to the Mathematics test of the 2007 National Assessment of Educational Achievement in Korea, which followed two steps, Q-matrix development and model parameter estimation. For Q-matrix development, 3 Mathematics education experts, using the assessment framework, identified 10 attributes, 6 in content domain and 4 in behavior domain, and then mapped them to each of the 30 multiple-choice items. For parameter estimation, two computer-runs, one with Q-matrix containing content attributes and the other with Q-matrix containing behavior attributes, were executed. Item parameter estimates showed that some items had high slip and guessing probabilities, which implied a necessity of Q-matrix refinement. Examinee parameter estimates showed that there were knowledge state differences among the individuals of identical scores, and that the individual knowledge states could be summarized into group-level diagnoses.
참고문헌 (30)
- 강태훈, "대규모 학업성취도 평가 자료를 활용한 인지상태 진단 - DINA 모형의 적용 -”에 대한 토론", 2009학년도 한국교육과정평가원․한국교육평가학회 공동 학술세미나 대규모 학업성취도 평가 자료의 활용 방안 탐색 (2009)
- 김성훈, "인지구조모형에 근거한 학생의 지식상태의 진단-규칙장이론(Rule-space theory)의 적용-", 교육학연구, 43(1), pp.81~107 (2005), 한국교육학회
- 김성훈, "Individual Level Diagnoses with Group Level Standards:Applying Rule-Space Model on the ACT Assessment Mathematics Data and the Standards for Transition", 교육평가연구, 20(1), pp.165~194 (2007), 한국교육평가학회
- 대규모 학업성취도 평가 자료의 활용, "김성훈", 한국교 육과정평가원, ~, pp.한국교 육과정평가원 연구보고 RRE 2009-2. (2009)
- 김수진, "“대규모 학업성취도 평가 자료를 활용한 인지상태 진단 - DINA 모형의 적용 -”에 대한 토론", 2009학년도 한국교육과정평가원․한국교육평가학회 공동 학술세미나 대규모 학업성취도 평가 자료의 활용 방안 탐색 (2009)
- 김수진, "Fusion Model에 의한수학 능력 진단을 위한 Q-행렬의 정교화", 교육평가연구, 21(2), pp.115~139 (2008), 한국교육평가학회
- 노국향, "문항의 형태에 따른 피험자의 인지적․정의적 반응의 차이에 관한 연구", 교육평가연구, 13(1), pp.181~194 (2000)
- Chipman, S.F., "Introduction, in Cognitively Diagnostic Assessment" (1995), Erlbaum
- de la Torre, J, "An empirically-based method of Q-matrix validation for the DINA model: Development and applications", Journal of Educational Measurement, 45, pp.343~362 (2008)
- de la Torre, J, "DINA model and parameter estimation: A didactic", Journal of Educational and Behavioral Statistics, 34(1), pp.115~130 (2009)
- de la Torre, J., "Higher-order latent trait models for cognitive diagnosis", Psychometrika, 69, pp.333~353 (2004)
- psychometric diagnostic assessment likelihood-based classification techniques, in Cognitively Diagnostic Assessment. Hillsdale, "Unified cognitive", pp.1995, DiBello, L.
- Dogan. E, "An International Comparison Using a Diagnostic Testing Model: Turkish Student's Profile of Mathematical Skills on TIMSS-R", Educational Studies in Mathematics, 68(3), pp.263~272 (2008)
- Embretson, S, "A general latent trait model for response processes", Psychometrika, 49(2), pp.175~186 (1984)
- Embretson, S. E., "Diagnostic Monitoring of Skill and Knowledge Acquisition" (1990), Erlbaum
- Embretson, S. E, "Psychometric Models for Learning and Cognitive Processes, in Test Theory for A New Generation of Tests" (1993), Erlbaum
- Embretson, S. E., "Measurment Model for Linking Individual Learning to Processes and Knowledge: Application to Mathematical Reasoning", Journal of Educational Measurement, 32(3), pp.227~294 (1995)
- Frederiksen, N., "Diagnostic Monitoring of Skill and Knowledge Acquistion" (1990), Lawrence Erlbaum Associates
- Hartz, S, "A Bayesian framework for the Unified Model for assessing cognitive abilities: blending theory with practice", 박사, pp.2002
- Junker, B.W., "Cognitive assessment models with few assumptions, and connections with nonparametric item response theory", Applied Psychological Measurement, 25(3), pp.258~272 (2001)
- Mislevy, R. J, "Foundations of a New Test Theory, in Test Theory for A New Generation of Tests" (1993), Erlbaum
- Mislevy, R. J, "Probability-Based Inference in Cognitive Diagnosis, in Cognitively Diagnostic Assessment" (1995), Erlbaum
- Mislevy, R. J, "Test Theory Reconceived", Journal of Educational Measurement, 33(4), pp.379~416 (1996)
- Mislevy, R. J, "Cognitive psychology and educational evaluation, in Educational measurement", pp.257~306 (2006), American Council on Education and Praeger Publishers
- Nichols, P., "Cognitively Diagnostic Assessment" (1995), Erlbaum
- Roussos, L. A., "Skills Diagnosis Using IRT-Based Latent Class Models", Journal of Educational Measurement, 44(4), pp.293~311 (2007)
- Tatsuoka, K. K, "Rule space: An approach for dealing with misconceptions based on item response theory", Journal of Educational Measurement, 20(4), pp.345~354 (1983)
- Tatsuoka, K. K, "Diagnostic monitoring of skills and knowledge acquisition" (1990), Lawrence Erlbaum Associates
- Tatsuoka,K.K, "Architecture of knowledge structure and cognitive diagnosis: A statistical pattern recognition and classification approach, in Diagnostic Assessment" (1995), Lawrence Erlbaum Associates
- Tatsuoka, K. K., "Pattern of diagnosed Mathematical content and process skills in TIMSS-R across a sample of 20 countries", American Educational Research Journal, 41(4), pp.901~926 (2004)