IRT 능력모수 추정에 있어서 검사총점에 근거한 사후기대추정법의 정확성에 관한 연구
A Study on the Accuracy of EAP method based on the Summed Score in IRT Ability Parameter Estimation
0
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
이 연구에서는 문항반응이론을 적용하여 개인의 특성 혹은 능력을 추정하고자 할 때 사용될 수 있는 ‘검사총점에 근거한 사후기대추정법’의 모수복원 정확성을 시뮬레이션 연구를 통하여 조사하였다. 또한 이를 피험자의 문항별 ‘반응양식에 근거한 사후기대추정법’의 수행과 비교하였다. 전자의 경우 검사총점과 일대일로 대응하는 능력 추정치를 제공함으로써 일반인들에게 보다 설득력 있는 척도점수를 제공할 수 있다는 장점이 있는 반면 문항 반응양식에 따른 정보를 무시하는 단점을 가지고 있다. 본 연구에서는 다양한 모의실험 조건 속에서 각 방법이 나타내는 진모수 복원력을 비교함으로써 ‘검사총점에 근거한 사후기대추정법’이 정보 손실에 따라서 갖게 되는 문제의 정도를 경험적으로 확인하고자 하였다. 그 결과 1PM 적용 하에서는 두 방법간 차이를 발견할 수 없었지만, 적용 모형이 점차 복잡해짐에 따라서 여전히 작긴 하지만 상대적으로 좀 더 분명하게 문항별 반응양식에 따른 사후기대추정방법이 보다 정확한 능력모수 추정을 가능하게 하는 것으로 나타났다. 하지만 두 방법을 상관계수 및 MSE 등을 통하여 비교한 결과 그 차이는 매우 미미하였다. 이러한 결과는 검사총점에 근거한 사후기대추정법 사용의 적용이 실제 검사 프로그램 운영 하에서 가능한 선택임을 확인 및 시사해 주고 있다.
Abstract
The accuracy of EAP method based on the summed score in IRT ability parameter estimation was investigated through a simulation study. Also, the results were compared with those by the traditional EAP method based on the item-response pattern. The former has an advantage in that it can produce more convincing scale scores to the public, by providing ability estimates which have one-to-one correspondence with the number-correct scores. At the same time, the former seems to have a problem ignoring the information regarding item-response patterns, then the accuracy in recovering true parameters can be lower than that of the latter. In this study, the performances of the two EAP methods were compared at the contexts of various simulation conditions. Under the use of the 1PM, the difference between both methods barely could be found. As the models became more complicated, however, the latter tended to show better recovery results. Nevertheless, such differences between the two methods in terms of estimation accuracy were so insignificant. This kind of finding is implying that the EAP method based on the summed score can be a promising alternative under the operation of an actual testing program.
참고문헌 (15)
- 강태훈, "3모수 문항반응이론의 능력모수 추정 방식과 검사의문항곤란도 구성이 능력 추정의 표준오차에 미치는 영향", 교육평가연구, 20(1), pp.73~97 (2007), 한국교육평가학회
- 김성훈, "IRT 능력 추정에서 정보적 사전분포에 기초한 EAP 방법과 무정보적 사전분포에 기초한 방법의 기능 비교", 교육평가연구, 23(2), pp.441~463 (2010), 한국교육평가학회
- 김성훈, "BILOG-MG를 사용한 IRT 모형 모수의 추정에서 기저 능력분포의 경험적 추정이 문항모수 추정에 미치는 영향", 교육평가연구, 25(2), pp.317~336 (2012), 한국교육평가학회
- 김성훈, "A Follow-Up Study of Psychometric Properties of IRT Proficiency Estimates", 교육평가연구, 25(4), pp.829~849 (2012), 한국교육평가학회
- 대학 입시 전형 간소화 정책과 연계한 NEAT(2,3급) 개선 방안 연구, "박태준", 한국교육과정평가원, ~, pp.RRE 2013-1 (2013)
- Cai, L., "IRTPRO: Flexible, multidimensional, multiple categorical IRT modeling" (2011), Scientific Software International
- Hulin, C. L., "Recovery of two-and three-parameter logistic item characteristic curves : A monte carlo study", Applied Psychological Measurement, 6, pp.249~260 (1982)
- Kim, J., "A comparison of calibration methods and proficiency estimators for creating IRT vertical scales", Doctor, pp.2007
- "Scores and scales: considerations for PARCC assessments" (2012)[URL]
- Kolen, M. J., "Test equating methods and practice" (2004), Springer-Verlag
- Kolen, M. J., "Psychometric properties of IRT proficiency estimates", Educational Measurement : Issues and Practice, 29(3), pp.8~14 (2010)
- Lee, W. -C., "A comparison of IRT linking procedures", Applied Measurement in Education, 23, pp.23~48 (2010)
- Lord, F. M., "Comparison of IRT true-score and equipercentile observed-score equatings", Applied Psychological Measurement, 8, pp.453~461 (1984)
- Thissen, D., "Test scoring", pp.73~140 (2001), Lawrence Erlbaum Associates, Inc., Publishers
- Tong, Y., "IRT proficiency estimators and their impact", Paper presented at the annual conference at the National Council on Measurement in Education (2010)