문항반응이론을 이용한 원점수-세타 변환표 작성 방법 간 비교 연구
A comparative study on the methods of making a raw to theta score conversion table using item response theory
1
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
본 연구에서는 원점수-세타 변환표 작성이 요청되는 다양한 현실적 필요성을 고려하여, 대안적 변환 방법들의 수행을 상호 비교 및 평가하고자 하였다. 우선 원점수-세타 변환이 요구되는 여러 구체적 상황에 대하여 소개하고, 이를 위하여 흔히 사용되는 검사특성곡선 활용 방법과 함께 사후기대추정법에 기반한 두 가지 방법을 설명하였다. 다음 이들의 수행을 체계적으로 비교하기 위하여, 실제 자료에 대한 적용 및 모의실험 연구를 실시하였다. 모의실험 연구에서 주로 고려된 요인은 검사 난이도 수준 및 문항반응모형이었다. 연구 결과, 검사 총점에 기반한 사후기대추정법의 활용이 가장 정확한 원점수-세타 변환을 제공하는 것으로 나타났다. 또한 검사 난이도 수준이 응시자 능력 수준에 부합될 때 보다 정확한 변환표를 작성할 수 있었고, 모형 적합에 별다른 문제가 없다면 2모수 모형의 사용이 가장 나은 원점수-세타 변환 결과를 산출하였다.
Abstract
The main purpose of this study is to compare and evaluate the performance of alternative methods to convert from raw total scores to theta scores. There are various practical needs for which providing a raw-to-theta conversion table is requested. This paper, first, introduced various specific situations that required preparing such conversion table. Then, along with the test characteristic curve method which is commonly used for making the conversion table, two alternative methods based on expected a posteriori were explained. A real data analysis and a simulation study were conducted to systematically compare their performances. The main factors considered in the simulation study were the levels of test difficulty and the 1 parameter-, 2 parameter-, and 3 parameter- logistic models. The study results have shown that the use of expected a posteriori method by summed score could provide the most accurate raw-to-theta conversions. Besides, more accurate conversions could be obtained when the level of test difficulty coincided with the examinees' average ability. Also, when there was no problem in model fitting, 2 parameter model could lead to the best conversion results.
참고문헌 (23)
- 강태훈, "IRT 능력모수 추정에 있어서 검사총점에 근거한 사후기대추정법의 정확성에 관한 연구", 교육방법연구, 26(1), pp.1~19 (2014), 한국교육방법학회[DOI]
- 시험자료에서 결측치 존재 시 능력추정 방법 비교: 5회 변호사시험 민사법 선택형 시험 자료 활용, "강태훈", 법무부, ~ (2017)
- 강태훈, "다분문항반응이론에서 두 가지 사후기대추정법을 통한 IRT 능력모수 추정의 정확성 비교 연구", 교육방법연구, 27(1), pp.89~108 (2015), 한국교육방법학회[DOI]
- 한국교육종단연구(KELS)2013(VI): 조사개요보고서, "남궁지영", 한국교육개발원, ~, pp.기술보고서 TR 2018-137 (2018)
- "송미영", 한국교육과정평가원․한국교육평가학회, ~, pp.RRE 2011-6-2 (2011)
- "6회 변호사시험 한양대 시험장서 ‘잃어버린 1분’" (2017)[URL]
- "2014 Wyoming ACT Performance" (2014), 와이오밍 주 교육부[URL]
- 컴퓨터 기반 보건의료인 국가시험 개발 연구, "임미경", 한국 보건의료인국가시험원, ~, pp.RE01-1545-00 (2014)
- "Prairie state achievement examination: Technical Manual" (2013)[URL]
- Hambleton, R. K., "Fundamentals of item response theory, Vol. 2" (1991), Sage
- Kim, J. K., "Ability estimation for conventional tests", Psychometrika, 58, pp.587~599 (1993)
- Kolen, M. J., "Comparison of traditional and item response theory methods forequating tests", Journal of Educational Measurement, 22, pp.197~206 (1981)
- Kolen, M. J., "Test equating methods and practice" (2004), Springer-Verlag
- Lee, W. -C., "A comparison of IRT linking procedures", Applied Measurement in Education, 23, pp.23~48 (2010)
- Lord, F. M., "Applications of item response theory to practical testing problems" (1980), Erlbaum
- Lord, F. M., "Comparison of IRT true-score and equipercentile observed-score equatings", Applied Psychological Measurement, 8, pp.453~461 (1984)
- Orlando, M., "New item fit indices for dichotomous item response theory models", Applied Psychological Measurement, 24, pp.50~64 (2000)
- Sireci, S. G., "Setting performance standards: Concepts, methods, and perspectives", pp.355~370 (2001), Lawrence Erlbaum
- "Standard setting and score reporting with IRT" (2014)[URL]
- Thissen, D., "Item response thoery for scores on tests including polytomous items with ordered responses", Applied Psychological Measurement, 19, pp.39~49 (1995)
- Tong, Y., "IRT proficiency estimators and their impact", Paper presented at the annual conference at the National Council on Measurement in Education (2010)
- van der Linden, W. J., "A latent trait method for determining intrajudge inconsistency in the Angoff and Nedelsky techniques of standard-setting", Journal of Educational Measurement, 19, pp.295~308 (1982)
- Zaman, A., "Students ranking, based on their abilities on objective type test: comparison of CTT and IRT", Paper presented at the EDU-COM 2008 International Conference. Sustainability in Higher Education: Directions for Change (2008), Edith Cowan University