사례수 차이가 검사동등화의 집단불변성 원칙 검증에 미치는 영향
The Effect of Subgroup Size Imbalance on Population Invariance of Equating
0
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
집단불변성(population invariance)이란 검사동등화에 있어 필수 불가결한 원칙이다. 이 원칙에 따르면 동등화 결과는 어떤 집단을 사용하는지에 상관없이 항상 유일해야한다. 성별, 인종, 능력, 그밖에 여러 가지 중요한 특성에 따라 구분된 집단들이 검사동등화의 집단불변성 원칙을 충족하는지 검증하는 많은 선행 연구들이 수행되었다. 이러한 집단불변성 원칙 관련 연구에서 집단 간 동등화 차이를 수치로 나타내기 위해 REMSD(Root Expected Mean Square Difference)가 빈번히 계산 되었다. 하지만 비교하려는 집단들 간 사례수가 크게 차이나는 경우 REMSD값은 작아지는 경향이 있고 따라서 집단불변성 원칙의 평가가 실제와 다르게 판단될 수 있다는 우려가 제기되었다. 따라서 REMSD와 같은 오차 통계치를 판단 기준으로 사용하여 집단불변성 원칙을 평가하고자 할 때 사례수의 변화에 따라 얼마나 민감하게 영향을 받는지 검증할 필요가 있다. 본 연구는 집단의 사례수가 REMSD 계산에 실제로 얼마나 민감한 영향을 끼치는가를 분석하였다. 또한 REMSD 계산 과 정에서 각 집단에 부과되는 가중치(weight)를 결정할 때 여러 가지 방법을 사용하여 가중치를 부여하여 사례수에 보다 덜 민감한 REMSD값을 구할 수 있는지 조사하였다. 연구 결과, 집단 간 사례수 차이에 따라 오차 통계치(RMSD)의 값이 원래보다 커지거나 작아지기도 하는 것을 확인하였다. 따라서 비교하려는 집단 간 크기가 서로 비슷하지 않고 불균형한 경우 REMSD값을 사용하여 집단 불변성 원칙을 평가하고자 하는 것에 대해 유의해야 할 것이며, 사례수의 영향을 받지 않는 판단 기준을 개발해야 할 필요성을 강조하였다.
Abstract
Population invariance studies usually use error statistics such as REMSD to assess the magnitude of equating differences. However, previous research indicated that the use of error statistics for comparing equating functions between subgroups which differ considerably in sample size tended to produce small values of statistics and led to misinterpretation of whether the equating was population invariant. This study aims to examine how error statistics are sensitive to different sample sizes of subgroups. Also, alternative weighting schemes are implemented in computing error statistics to identify the weighting scheme that is the least sensitive to subgroup size. This study found that error statistics could increase or decrease solely due to different sample size. The weighting scheme that assigns the subgroup weights proportional to sample sizes of the subgroups produced the smallest changes in error statistics as the subgroup sizes varied.
참고문헌 (17)
- Braun, H. I, "Observed-score test equating: A mathematical analysis of some ETS equating procedures. In Test Equating" (1982), Academic
- Dorans, N. J, "Using subpopulationinvariance to assess test score equity", Journal of Educational Measurement, 41(1), pp.43~68 (2004)
- Dorans, N. J, "Equating issues engendered by changes to the SAT and PSAT", NMSQT.IN Technical Issues related to the introduction of the new SAT and PSAT, Educational Testing Service, pp.1994, ~
- Dorans, N. J, "Population invariance and the equatability of tests: Basic theory and the linear case", Journal of Educational Measurement, 37, pp.281~306 (2000)
- Dorans, N. J, "Invariance of score linking across gender group for three Advanced Placement Program examinations. In Population invariance of score linking: theory and applications to Advanced Placement Program examinations (ETS RR-03-27)", Educational Testing Service, ~ (2003)
- Kolen, M. J, "Population invariance in equating and linking: Concept and history", Journal of Educational Measurement, 41(1), pp.3~14 (2004)
- Kolen, M. J, "Test Equating, Scaling, and Linking: Methods and Practices (2nd ed.)" (2004), Springer
- Lord,F.M, "The standard error of equipercentile equating", Journal of Educational Statistics, 7, pp.165~174 (1982)
- Pennock-Román,M, "English Proficiency and Differencies Among Racial and Ethnic Groups in Mean SAT and GRE Scores: A Longitudinal Analysis. (ETS GBR-86-09cP)", Educational Testing Service, ~ (1999)
- van der Linden, W. J, "A test-theoretic approach to observed-score equating", Psychometrika, 65(4), pp.437~456 (2000)
- von Davier, A. A, "Population invariance and linear equating non-equivalent groups design", Paper presented at the annual meeting of National Council on Measurement in Education (2004)
- von Davier, A. A, "The chain and post-stratification methods for observed-score equating: their relationship to population invariance", Journal of Educational Measurement, 41(1), pp.15~32 (2004)
- von Davier, A. A, "Population invariance of IRT equating for Advanced Placement (AP) Program Exams", Paper presented at the annual meeting of National Council on Measurement in Education (2004)
- Yang, W.-L, "Sensitivity of linking between AP multiple-choice scores and composite scores to geographical region: an illustration of checking for population invariance", Journal of Educational Measurement, 41(1), pp.33~41 (2004)
- Yang, W.-L, "Effect of sample selection on Advanced Placement multiple-choice score to composite score linking. In Dorans, N. J. (Ed.).Population invariance of score linking: theory and applications to Advanced Placement Program examinations (RR-03-07)", Educational Testing Service, ~ (2003)
- Yi, Q, "Invariance of IRT equating across different subpopulations taking a science achievement test", Paper presented at the annual meeting of National Council on Measurement in Education (2004)
- Zeng, L, "Random Groups Equating Program (RAGE),version 2.0", ACT, ~ (1995)