본문 바로가기
KERD
논문KCI 등재

내용 및 인지 영역을 함께 고려한 평가 데이터 분석을 위한 Q행렬 기반 다차원 문항반응모형의 활용 방안 연구: TIMSS 2019 수학 평가 분석

A study on the application of M2PL-Q model for analyzing assessment data considering both content and cognitive domains: An analysis of TIMSS 2019 mathematics data

이슬기|유연주|황수빈|김래영
한국수학교육학회|2024.09|수학교육 논문집 (Communications of Mathematical Education)|제38권 제3호|pp. 379-400|DOI https://doi.org/10.7468/jksmee.2024.38.3.379

0

조회

0

다운로드

0

인용

0

참고문헌

키워드

문항반응이론item response theorycognitive domain내용 영역Q행렬Q-matrixcontent domainTIMSS 2019인지 영역

초록

본 연구의 목적은 수학 평가 데이터를 내용 및 인지 영역을 함께 고려하여 분석하기 위해, da Silva(2019)가 제시한Q행렬 기반의 다차원 문항반응모형(M2PL-Q)의 활용 방안을 제시하고, 이를 TIMSS 2019 8학년 수학 평가 데이터에 적용하여 분석한 결과를 제시하는 것이다. 연구 결과 M2PL-Q 모형을 통해 학생의 능력 수준을 내용 영역과 인지 영역에 걸쳐서 추정할 수 있음을 확인하였으며, 각 영역에 대한 능력 수준이 서로 연관되어 있는 양상을 확인하였다. 또한, 문항의 특성을 영역별로 구분하여 추출할 수 있으며, 문항에 따라 내용 영역과 인지 영역이 문제 해결에미치는 영향이 서로 다를 수 있음을 확인하였다. 본 연구는 기존의 방법에서는 별도로 분석되던 내용 영역과 인지영역을 하나의 분석 모형에 포함하여 평가 데이터를 종합적으로 분석하는 방안을 제시했다는 점에서 의의를 지닌다. 각 영역에 대해 추정된 능력 수준을 개별 학생에 대한 진단에 활용하면, 학생이 세부적인 내용 및 인지 영역에서 보이는 강점과 약점을 파악하여 학습을 지원할 수 있을 것으로 기대한다. 또한, 각 평가 문항의 세부적인 특성을 고려하여 평가의 상황과 목적에 따라 적절하게 활용함으로써, 평가의 타당성과 효율성을 높이고 학생의 능력 수준을 보다 효과적으로 진단할 수 있을 것으로 기대한다.

Abstract

This study aims to propose a method for analyzing mathematics assessment data that integrates both content and cognitive domains, utilizing the multidimensional two-parameter logistic model with a Q-matrix (M2PL-Q; da Silva, 2019). The method was applied to the TIMSS 2019 8th-grade mathematics assessment data. The results demonstrate that the M2PL-Q model effectively estimates students' ability levels across both domains, highlighting the interrelationships between abilities in each domain. Additionally, the M2PL-Q model was found to be effective in estimating item characteristics by differentiating between content and cognitive domain, revealing that their influence on problem-solving can vary across items. This study is significant in that it offers a comprehensive analytical approach that incorporates both content and cognitive domains, which were traditionally analyzed separately. By using the estimated ability levels for individual student diagnostics, students' strengths and weaknesses in specific content and cognitive areas can be identified, supporting more targeted learning interventions. Furthermore, by considering the detailed characteristics of each assessment item and applying them appropriately based on the context and purpose of the assessment, the validity and efficiency of assessments can be enhanced, leading to more accurate diagnoses of students' ability levels.

참고문헌 (39)

  1. 교육부, "수학과 교육과정", 교육부, ~ (2022)
  2. 권점례, "수학 평가에서 학교급 전환에 따른 학생들의 학업성취 변화 추이 분석", 수학교육논문집, 38(2), pp.121~144 (2024)[DOI]
  3. 박지현, "수학 인지적 속성에 따른 TIMSS 2011 8학년 성취도 상위국 특성 비교", 수학교육학연구, 25(3), pp.303~321 (2015)
  4. 수학·과학 성취도 추이변화 국제 비교 연구:TIMSS 2019 결과 분석, "상경아", 한국교육과정평가원, ~, pp.RRE 2020-10 (2020)
  5. 송미영, "중학교 수학 교육과정의 내용 및 인지행동의 위계성 조사", 학교수학, 9(2), pp.223~240 (2007)
  6. 이경화, "데이터 기반 통계교육을 위한 수학과 교육과정 재구조화 방향 탐색", 학교수학, 23(3), pp.361~386 (2021)[DOI]
  7. 임해미, "2015 개정 수학과 교육과정의 수학 교과 역량을 반영한 국가수준 학업성취도 평가의 평가틀 및 예시 문항 개발", 학교수학, 20(1), pp.65~82 (2018)[DOI]
  8. 탁병주, "통계적 소양으로서 자료의 분류 및 표현 활동의 의의 분석: 초등학교 1~2학년군 수학과 교육과정을 중심으로", 한국초등수학교육학회지, 22(3), pp.221~240 (2018)
  9. 한채린, "수학 학습 평가틀 비교 분석 : NAEP 2015, TIMSS 2015, PISA 2015를 중심으로", 수학교육, 54(3), pp.261~282 (2015)[DOI]
  10. Ackerman, T. A., "Using multidimensional item response theory to understand what items and tests are measuring", Applied Measurement in Education, 7(4), pp.255~278 (1994)[DOI]
  11. Anderson, L. W., "A taxonomy for learning, teaching, and assessing: A revision of Bloom’s taxonomy of educational objectives" (2001), Longman
  12. Arıkan, S., "Construct validity of TIMSS 2011 mathematics cognitive domains for Turkish students", International Online Journal of Educational Sciences, 7(1), pp.29~44 (2015)
  13. Balfaqeeh, A., "Factors influencing students’ achievements in the content and cognitive domains in TIMSS 4th grade science and mathematics in the United Arab Emirates", Education Sciences, 12(9), pp.618~ (2022)[DOI]
  14. Buck, G., "The appropriacy of psychometric measurement models for testing second language listening comprehension", Language Testing, 11(2), pp.145~170 (1994)[DOI]
  15. da Silva, M. A., "Incorporating the q-matrix into multidimensional item response theory models", Educational and Psychological Measurement, 79(4), pp.665~687 (2019)[DOI]
  16. Dancey, C. P., "Statistics without maths for psychology" (2017), Pearson
  17. Delil, A., "How fifth graders are assessed through central exams in Turkey : A comparison with TIMSS 2019 Assessment Framework", International Online Journal of Educational Sciences, 3(11), pp.222~234 (2019)
  18. Embretson, S. E., "Item response theory for psychologists", pp.158~186 (2000), Lawrence Erlbaum Associates
  19. Fishbein, B., "Methods and procedures: TIMSS 2019 Technical report", pp.10.1~10.70 (2020), TIMSS & PIRLS International Study Center
  20. Foy, P., "Methods and procedures: TIMSS 2019technical report", pp.12.1~12.146 (2020), TIMSS & PIRLS International Study Center, Boston College
  21. George, A. C., "Focusing on interactions between content and cognition : a new perspective on gender differences in mathematical sub-competencies", Applied Measurement in Education, 31(1), pp.79~97 (2018)[DOI]
  22. Gierl, M. J., "Identifying content and cognitive skills that produce gender differences in mathematics : A demonstration of the multidimensionality-based DIF analysis paradigm", Journal of Educational Measurement, 40(4), pp.281~306 (2003)
  23. Harks, B., "Separating cognitive and content domains in mathematical competence", Educational Assessment, 19(4), pp.243~266 (2014)[DOI]
  24. Jang, Y. J., "Reliability and validity evidence of diagnostic methods: Comparison of diagnostic classification models and item response theory-based methods", doctor, pp.2022
  25. Moore, D., "Statistics for the twenty-first century", pp.14~25 (1992), The Mathematical Association of America
  26. TIMSS 2019 assessment frameworks, "Mullis, I. V. S.", Boston College, TIMSS & PIRLS International Study, ~ (2019)
  27. TIMSS 2019 international results in mathematics and science, "Mullis, I. V. S.", Boston College, TIMSS & PIRLS International Study, ~ (2019)
  28. Natesan, P., "Bayesian prior choice in IRT estimation using MCMC and variational Bayes", Frontiers in psychology, 7, pp.1422~ (2016)[DOI]
  29. Niss, M., "Mathematical competencies and the learning of mathematics: The Danish KOM project", Mediterranean Conference on Mathematical Education, pp.115~124 (2003), Hellenic Mathematical Society and Cyprus Mathematical Society
  30. Novikasari, I., "The improvement of mathematics content knowledge on elementary school teacher candidates in problem based learning-models", International Journal of Education and Research, 4(17), pp.153~162 (2016)
  31. "PISA 2022 assessment and analytical framework" (2023)[URL]
  32. "JAGS Version 4.3.0 user manual" (2017)[URL]
  33. Shu, T., "An explicit form with continuous attribute profile of the partial mastery DINA model", Journal of Educational and Behavioral Statistics, 48(5), pp.573~602 (2023)
  34. "R2jags: Using R to run ‘JAGS’. R package version 0.6-1" (2020)[URL]
  35. Tatsuoka, K. K., "Rule-space : An approach for dealing with misconceptions based on item response theory", Journal of Educational Measurement, 20, pp.345~354 (1983)
  36. von Davier, M., "Methods and procedures: TIMSS 2019 technical report", pp.11.1~11.25 (2020), TIMSS & PIRLS International Study Center, Boston College
  37. Wu, M., "Modelling mathematics problem solving item responses using a multidimensional IRT model", Mathematics Education Research Journal, 18(2), pp.93~113 (2006)
  38. Young, J. W., "Validity and fairness of state standards-based assessments for English language learners", Educational Assessment, 13, pp.170~192 (2008)
  39. Comparison of unidimensional and multidimensional approaches to IRT parameter estimation, "Zhang, J.", Educational Testing Service, ~, pp.ETS Research Report 04-44 (2004)

관련 논문AI추천

다층문항반응이론 기반의TIMSS 수학 평가 결과 분석박찬호한국열린교육학회 · 열린교육연구2017 · 제25권 제2호고등학교 수학 과목 자동문항생성 문항모델의 Q-matrix 타당성 검정 연구권종겸, 류지훈, 조영진사범대학부속중등교육연구소 · 중등교육연구2025 · 제73권 제2호DINA 모형을 활용한 대규모 학업성취도 평가 결과 분석김성훈, 송미영한국교육과정평가원 · 교육과정평가연구2011 · 제14권 제1호인지진단이론을 적용한 디지털 리터러시 검사 분석 방안 탐색김한성, 박세진, 이현숙한국교육정보미디어학회 · 교육정보미디어연구2019 · 제25권 제2호수학과 평가 문항의 역량 및 표현 형식 특성 분석박지현한국수학교육학회 · 수학교육2021 · 제60권 제2호Saltus 모형을 활용한 문항 특성에 따른 잠재적 차별기능문항군 탐색장윤선한국교육과정평가원 · 교육과정평가연구2025 · 제28권 제2호

이 간행물의 다른 논문 (8건)

MSC 분류 항목의 변화를 통한 수학교육 연구 주제에 대한 성찰서보억pp. 287-307초등학교 6학년 학생들이 수학적 문제해결에서 경험하는 생산적 어려움 분석장혜원, 길예빈pp. 309-330「수학교과교육론」강좌 수강이 예비교사의 수학적 신념에 미치는 영향한혜숙, 최희선pp. 331-351사회비판적 모델링 수업이 초등학생들의 수학에 대한 인식 및 토론 양상에 미치는 영향심재훈, 박만구pp. 353-378수학적 모델링 관점에서의 고등학교 수학교과서 정보처리 역량 과제 분석오세준pp. 401-423
원문 보기