인지 진단 이론을 활용한 중학교 과학 시험 결과의 분석
Analysis of Test Result at Secondary Science Using Cognitive Diagnosis theory
1
조회
0
다운로드
9
인용
0
참고문헌
초록
본 연구는 인지 진단 이론을 활용하여 과학 시험 결과를 분석하는 방안을 모색하고자 하는 목적 하에 실시되었다. 중학교 2학년을 대상으로 한 시험 문항을 개발하여 평가를 실시하였고, Fusion Model을 이용하여 시험 결과를 분석하였다. 결과를 분석하기 위해 문항별로 학생들이 문항을 풀기 위해 숙달해야 할 속성을 판별하여 Q 행렬을 작성한 후 분석을 실시하여 속성에 대한 문항 모수의 수렴을 확인하고 학생 전체와 성별, 성취수준별로 숙달한 속성과 그 속성의 개수를 분석하였다. 전통적인 평가가 학생들의 성취도 총점만을 제공하는 반면 인지 진단 이론은 평가에서 측정된 과학적 속성의 숙달 여부에 대한 정보를 제공해주었다. 여학생은 남학생에 비해 회상하기의 능력이 유의하게 높은 것으로 나타났다. 분석결과 회상하기, 정보 해석하기, 계산하기 설명하기, 종합하기의 5개 속성 중에서 학생들이 가장 많이 숙달한 속성은 정보 해석하기였으며 가장 적게 숙달한 속성은 종합하기였다. 분석 결과 얻어진 프로파일은 교사들에게 학생 개개인의 과학적 능력에 대한 정보를 구체적으로 제공해 줄 수 있으므로 이 결과는 학생들의 과학 학습에 대한 진단과 처방, 추후 학습 지도에 유용한 정보로 활용될 수 있을 것이다.
Abstract
The purpose of this study was to search effective assessments methods by using Fusion model of Cognitive diagnosis theory. Attributes are skills or cognitive processes that are required to perform correctly on a particular item. After test items were developed, item's attributes were decided and Q-matrix about item's attributes was made. After testing, the result was analyzed according to gender and achievement level. The result of analysis showed that students mastered ‘Interpreting data’ best well and ‘synthesizing’ worst among five attributes. Female students showed higher ability than male students in ‘recalling’. Students of high achievement level mastered more scientific attributes than students of low achievement level. Conventional assessments only provided a single summary score but Cognitive diagnosis modeling provided useful information by estimating individual knowledge states by assessing whether an examinee has mastered specific attributes measured by the science test. The skill profiles can offer a skill level of strong, weak or mixed for each student for each skill. Therefore the skill profiles will provide useful diagnostic information in addition to single overall scores.
참고문헌 (20)
- "2007", ~
- 김성호, "범주형 자료의 인과모형에 의한 능력상태 추정과 교육적 활동", 교육평가연구, 10(1), pp.183~212 (1997)
- 김성훈, "인지구조모형에 근거한 학생의 지식상태의 진단-규칙장이론(Rule-space theory)의 적용-", 교육학연구, 43(1), pp.81~107 (2005), 한국교육학회
- 김성훈, "Individual Level Diagnoses with Group Level Standards:Applying Rule-Space Model on the ACT Assessment Mathematics Data and the Standards for Transition", 교육평가연구, 20(1), pp.165~194 (2007), 한국교육평가학회
- 김성훈, "오개념 진단 및 교정을 위한 규칙장 모델의 알고리즘 개발", 교육평가연구, 17(2), pp.183~196 (2004), 한국교육평가학회
- 김수진, "Fusion Model에 의한수학 능력 진단을 위한 Q-행렬의 정교화", 교육평가연구, 21(2), pp.115~139 (2008), 한국교육평가학회
- 김명화, "학습자의 인지 진단 방법에 관한 연구-분수의 인지과정모델에 Bayesian 추론망 모델 적용-", 박사, pp.1997
- Chipman, S.F, "Introduction in Cognitively Diagnostic Assessment" (1995), Lawrence Erlbaum Associates
- psychometric diagnostic assessment likelihood-based classification techniques in Cognitively Diagnostic Assessment, "Unified cognitive", pp.1995, DiBello, L.
- De la Torre, J., "An Empirically Based Method of Q-matrix Validation for the DINA Model: Development and Application", Journal of Educational Measurement, 45(4), pp.343~362 (2008)
- Dogan, E., "An international comparison using a diagnostic testing model: Turkish students’profile of mathematical skills on TIMSS-R", Educational Studies in Mathematics, 68(3), pp.263~272 (2008)
- Embretson, S., "Diagnostic testing by measuring learning processes: Psychometric considerations for dynamic testing in Diagnostic monitoring of skills and knowledge acquisition" (1990), Lawrence Erlbaum Associates
- Hartz, S., "A Bayesian framework for the Unified Model for assessing cognitive abilities: bledning theory wit practice", 박사, pp.2002
- Hartz, S., "Skills Diagnosis: Theory and Practice in User Manual for Arpeggio software", ETS, ~ (2002)
- McMillan, J. H., "Classroom assessment principle and practice for effective instruction" (2004), Allyn & Bacon
- Mullis, I. V. S., "TIMSS 2007 Assessment Framework. TIMSS & PIRLS International Study Center in Lynch School of Education" (2005), Boston College
- Tatsuoka, K. K., "Rule space: An approach for dealing with misconceptions based on item response theory", Journal of Educational Measurement, 20(4), pp.345~354 (1983)
- Tatsuoka, K. K., "Toward integration of item response theory and cognitive error diagnoses in Diagnostic monitoring of skills and knowledge acquisition" (1990), Lawrence Erlbaum Associates
- Tatsuoka, K. K., "Architecture of knowledge structure and cognitive diagnosis: A statistical pattern recognition and classification approach in Cognitively Diagnostic Assessment" (1995), Lawrence Erlbaum Associates
- Tatsuoka, K. K., "Patterns of Diagnosed Mathematical Content and Process Skills in TIMSS-R Across a Sample of 20 Countries", Educational Research Journal, 41(4), pp.901~926 (2004)