모의실험에 의한 가교피험자설계의 조건에 따른 동등화 방법 비교
A Comparison of Equating Methods on Various Conditions in Anchor Persons Design by Simulation
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 모의실험을 통해 가교피험자설계에서 여러 동등화 방법들의 동등화 결과를 비교하는 것을 목적으로 한다. 가교검사설계 동등화 방법에 대한 선행연구와 34회․35회 한국어능력시험(TOPIK)을 분석한 자료를 토대로 검사에 포함되는 문항의 극단값 조건, 난이도 극단값을 포함하는 문항의 비율 조건, 전체 피험자 수 조건, 가교피험자 비율 조건을 설정하고, 조건별로 100회의 모의실험(simulation)이 실시되었다. 동등화 수행 과정에 포함된 동등화 방법들은 문항반응이론(IRT) 진점수 동등화, 선형 동등화, 사전완곡화(로그 선형) 동백분위 동등화, 비완곡화 동백분위 동등화, Circle-Arc 동등화 등 다섯 가지였다. 오차를 나타내는 통계량 RMSE가 실험조건을독립변수로 하는 분산분석에 의하여 비교되었다. 분석에는 R과 SAS9.2가 사용되었다. 연구결과는 첫째, 모든 실험 조건에서 난이도 극단값이 +2일 때가 난이도 극단값이 –2일 때보다 오차가매우 컸다. 난이도 극단값 –2가 포함된 조건에서는 난이도 극단값 포함 문항의 비율이 커질수록오차가 감소하였으나, 문항의 난이도 극단값 +2가 포함된 조건에서는 난이도 극단값 포함 비율이커질수록 오차가 커졌다. 난이도 극단값 포함 문항의 비율이 0%일 때 가교피험자 비율 조건에서모두 오차가 작았고, 난이도 극단값을 포함하는 문항의 비율이 20%일 때 가교피험자 비율의 대부분 조건에서 오차가 가장 컸다. 모든 실험 조건에서 전체 피험자 수가 30,000명일 때는 10,000명일 때보다 오차가 감소하였고, 가교피험자 비율이 1%일 때 오차가 가장 컸으며, 5%, 10%,15%, 20%일 때의 오차는 비슷하였다. 난이도 극단값이 –2일 경우에는 가교피험자 비율이 1%일때 오차가 가장 컸으며, 난이도 극단값이 +2일 경우에는 모든 가교피험자 비율 조건에서 큰 차이를 보이지 않았다. 둘째, 모든 실험 조건에서 Circle-Arc 동등화 방법의 오차가 가장 작았고, 사전완곡화(로그 선형) 동백분위 동등화 방법의 오차가 가장 컸다.
Abstract
The purpose of this study is to provide guidelines for choosing test equating method on specific test conditions. For this purpose, this study investigates the differences between equating methods on various conditions in anchor persons design by simulation. In creating the material, the three parameter logistic model for the multiple-choice items were used. The parameters for the three parameter logistic model selected 50 items in a uniform, , uniform. For the range of the ability of the subjects, N(0, 1) for base group was set up. To make up the condition for the equating, five factors(2 × 3 × 2 × 5 × 5), including the degree of extreme(-2, +2), the proportions of items with extreme difficulty(0%, 10%, 20%), the sample size(10,000, 30,000), the proportions of anchor persons(1%, 5%, 10%, 15%, 20%), the equating methods (IRT true score equating method, linear equating method, non-smoothing equipercentile equating method, log-linear presmoothing equipercentile equating method, Circle-Arc equating method) were taken into consideration and a total of 300 conditions were examined in this study. To compare equating methods, the generated data were equated using R programing code by the author. Additionally the results from all equating methods were compared by RMSE, MSD, MAD with 100 replications. Also, to analyze the effects of conditions included, the equated scores by all equating methods were analyzed by ANOVA using SAS 9.2.
참고문헌 (36)
- 김성훈, "IRT 공통 능력척도 개발을 위한 공통-피험자 척도연계 방법과 공통-문항 척도연계 방법의 상대적 기능 연구", 교육평가연구, 22(4), pp.1057~1077 (2009), 한국교육평가학회
- 김성훈, "동등집단 설계를 사용하는 수직척도화에서 공통 능력척도의 개발을 위한 IRT 추정 방법의 비교", 교육평가연구, 27(4), pp.925~944 (2014), 한국교육평가학회
- 김현철, "순환동등화에 의한 2000학년도 대입수능시험 선택과목 점수 동등화결과의 비교", 교육평가연구, 13(2), pp.153~168 (2000)
- 김현철, "모의실험에 의한 대학수학능력시험 선택과목 점수 동등화 방법들의 적합성 비교(I): 원점수와 동등화점수의 차이 분석", 교육학연구, 41(1), pp.16~384 (2003), 한국교육학회
- 남현우, "검사동등화 방법" (2001), 교육과학사
- 한국어능력시험 개편 체제 점수 체계 적용 방안 연구, "민경석", 국립국제교육원, ~ (2014)
- 박서홍, "A Comparison of Kernel and Traditional Equating Methods under the Non-Equivalent Groups with Anchor Test Design", 교육평가연구, 23(4), pp.975~1002 (2010), 한국교육평가학회
- 박인용, "고정문항모수 추정방법에서 고유문항의 난이도 극단 특성이 척도변환에 미치는 영향", 교육평가연구, 26(1), pp.107~129 (2013), 한국교육평가학회
- 안수현, "모의실험에 의한 가교피험자설계의 조건에 따른 동등화 방법 비교", 박사, pp.2016
- 이상하, "문항 예측정답률과 문항반응이론을 이용한 원점수 분포 추정", 교육평가연구, 25(3), pp.459~477 (2012), 한국교육평가학회
- 이용민, "모의실험에 의한 커널 동등화 방법과 다른 동등화 방법들의 비교", 박사, 교육평가, pp.2010
- 이종승, "검사점수의 동등화", 교육평가연구, 6(1), pp.169~196 (1993)
- 이현숙, "Evaluating the Performance of Non-Equivalent Groups Anchor Test Equating Under Various Conditions of Anchor Test Construction", 교육평가연구, 22(3), pp.847~869 (2009), 한국교육평가학회
- 이현숙, "외적 가교검사의 통계적 구성 조건 완화가 검사동등화 결과에 미치는 영향", 교육평가연구, 23(2), pp.417~439 (2010), 한국교육평가학회
- 최성열, "검사점수 연계화 방법의 상대적 적절성 비교", 교육심리연구, 21(1), pp.1~25 (2007), 한국교육심리학회
- 최태진, "검사점수 동등화를 위한 동등백분위법,선형법,문항반응이론 기법의 비교", 석사, 교육학, pp.1991
- Cook, L. L., "Applications of Item Response Theory", pp.175~195 (1983), Educational Research Institute of British Columbia
- Cook, L. L., "A comparative study of the effects of recency of instruction on stability of IRT and conventional item parameter estimates", Journal of Educational Measurement, 25, pp.31~45 (1988)
- Godfrey, K. E., "A comparison of kernel equating and IRT true score equating methods", Doctor, pp.2007
- Hambleton, R. K., "Item response theory: Principles and applications, 7" (1985), Springer Science & Business Media
- Hanson, B. A., "A comparison of bivariate smoothing methods in common-item equipercentile equating", Applied Psychological Measurement, 15(4), pp.391~408 (1991)
- Harris, D. J., "A comparison of two equipercentile equating methods for common item equating", Educational and Psychological Measurement, 50(1), pp.61~71 (1990)
- Harris, D. J., "A study of criteria used in equating", Applied Measurement in Education, 6(3), pp.195~240 (1993)
- Holland, P. W., "Univariate and bivariate loglinear models for discrete test score distributions", Journal of Educational and Behavioral Statistics, 25(2), pp.133~183 (2000)
- Klein, L. W., "The importance of content representation for common-item equating with nonrandom groups", Journal of Educational Measurement, 22, pp.197~206 (1985)
- Kolen, M. J., "Test equating: Methods and Practices" (1995), Springer
- Kolen, M. J., "Test equating, scaling, and linking" (2004), Springer
- Livingston, S. A., "The Circle-Arc Method for Equating in Small Samples", Journal of Educational Measurement, 46(3), pp.330~343 (2009)
- Lord, F. M., "A survey of equating methods based on item characteristic curve theory", ETS Research Bulletin Series, 1975(1), pp.35~ (1975)
- Lord, F. M., "Applications of item response theory to practical testing problems" (1980), Routledge
- (2013)[URL]
- Segall, D. O., "Computerized adaptive testing:From inquiry to operation", pp.181~198 (1997), American Psychological Association
- Shin, S., "A Comparison of Van der Linden’s conditional equipercentile equating method with other equating methods under the random groups design", Doctor, pp.2011
- von Davier, A. A., "The kernel method of test equating" (2004), Springer
- Wang, C., "An investigation of bootstrap methods for estimating the standard error of equating under the common-item nonequivalent groups design", Doctor, pp.2011
- "한국어능력시험 홈페이지"[URL]