다차원 문항반응모형의 총점 산출을 위한 기준선 합성방법과 최대 검사정보함수 방법의 비교
Comparison of Reference Composite Method and Maximizing Test Information Function Method to Calibrate Overall Scores in MIRT
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
교육/심리 검사가 서로 관련성을 갖는 다양한 능력을 측정함에 따라 측정모형은 전통적인 일차원 문항반응모형에서 다차원 문항반응모형으로 확장되어왔다. 다차원 문항반응모형을 이용한 신뢰로운 하위점수(sub-scores)의 산출방법에 대한 다양한 논의가 이루어져온 반면, 하위점수를 종합한 총점(overall scores)의 의미와 특성에 대한 연구는 상대적으로 제한적이라 할 수 있다. 이 연구의 목적은 피험자와 문항간의 상호작용에서 복수의 잠재적 능력을 가정하는 두 가지 총점 산출방법(기준선 합성방법과 검사정보함수 방법)의 특성을 비교하는 데 있다. 구체적으로 모의 자료(차원구조를 가정한 문항모수)와 실제 대규모 검사자료의 분석을 통하여 총점 산출방법에 따른 하위점수와 총점과의 관계를 논의하였다. 연구결과로써, 모의 자료 분석에서 검사의 차원구조가 단순구조에 가까울수록 기준선 합성방법과 최대 검사정보 방법의 총점 간 차이가 크게 나타났다. 이는 단순구조에서 총점-하위점수 사이에 단일한 선형관계를 가정할 수 없음을 의미한다. 두 번째, 복합구조를 갖는 실제 검사 자료 분석에서 두 가지 총점 산출방법이 유사한 결과를 제공함에도 불구하고, 검사정보함수 방법의 총점은 피험자 수준에 따라 상대적으로 중요한 능력수준에 대한 보다 세밀한 정보를 제공하는 특성을 보였다.
Abstract
Multidimensional IRT models have been popular as the tests tend to measure multiple constructs rather than one latent variable. While there were various studies to produce more reliable sub-scores in multidimensional IRT models, the research on overall scores was somewhat limited. The purpose of this paper was to compare two MIRT calibration methods of overall score such as reference composites and maximizing test information function method. For the comparison of two methods, simulated data with approximate simple structure and complex structure, and real data were analyzed. As a result, a simple linear relationship between sub-scores and overall scores could not be assumed expecially in the simple structure. Also, the test information function method provided more detailed examinees' ability information in the complex structure compared with the reference composit method. In addition, limitations of the study and directions for further research were discussed.
참고문헌 (21)
- 강태훈, "다차원문항반응이론에 기반한 종합 및 하위능력 모수 추정방법간 비교 연구", 한국교육학회 춘계학술대회 (2010), 한국교육평가학회
- 국가수준 학업성취도 평가 개선 연구, "김성숙", 한국교육과정평가원, ~ (2009)
- 김신영, "대학수학능력시험의 영역별 변환표준점수 반영비율에 관한 연구", 교육과정평가연구, 2(1), pp.289~299 (1999)
- 민경석, "문항반응이론에 기반한 하위점수 산출방법 비교", 교육평가연구, 24(3), pp.799~817 (2011), 한국교육평가학회
- Ackerman, T., "Creating a test information profile for a two-dimensional latent space", Applied Psychological Measurement, 18, pp.257~276 (1994)
- ACT, "ACT Technical Manual", ACT, ~ (2007)
- 2009, "The ACT User Handbook 2008", pp.2008, ACT
- "Scientific Software International", 2003
- Boughton, K. A., "Reporting diagnostic subscale scores for tests composed of complex structure", Paper presented at the 2006 National Council on Measurement in Education (2006)
- "Scoring subscales using multidimensional item response theory models. Poster presented at the annual meeting of the American Psychology Association" (2005)[URL]
- Oosterhof, A. C., "Obtaining intended weights when combining students' scores", NCME Instructional Module, ~ (1987)
- Reckase, M. D., "Unidimensional data from multidimensional tests and multidimensional data from unidimensional tests", Paper presented at the annual meeting of the American Educational Research Association (1990)
- Reckase, M. D., "Multidimensional Item Response" (2009), Springer
- Roussos, L. A., "Using new proximity measures with hierarchical cluster analysis to detect multidimensionality", Journal of Educational Measurement, 35, pp.1~30 (1998)
- Sinharary, S., "Subscores based on classical test theory : To report or not to report", Educational Measurement, 26(4), pp.21~28 (2008)
- Wang, W. -C., "Improving measurement precision of test batteries using multidimensional item response models", Psychological Methods, 9(1), pp.116~136 (2004)
- Yao, L., "Reporting valid and reliable overall scores and domain scores", Journal of Educational Measurement, 47(3), pp.339~360 (2010)
- Yao, L., "Multidimensional linking for domain scores and overall scores for nonequivalent groups", Applied Psychological Measurement, 35(1), pp.48~66 (2011)
- Yao, L., "A multidimensional item response modeling approach for improving subscale proficiency estimation and classification", Applied Psychological Measurement, 31(2), pp.83~105 (2007)
- Yao, L., "A multidimensional partial credit model with associated item and test statistics : An application to mixed format tests", Applied Psychological Measurement, 30, pp.469~492 (2006)
- Zimowski, M. F., (1996), Scientific Software International