교과서 검정 심사의 분류일치도 분석 연구
A Study on Estimating Classification Consistency Using Non-IRT Procedures for Textbook Authorization
1
조회
0
다운로드
4
인용
0
참고문헌
키워드
초록
현재 우리나라에서는 피험자들이 검사에서 통과하거나 실패하는 여부는 어떠한 과학적이고 체계적인 기준 설정의 과정이 없이 임의로 정한 점수 평균을 넘어서는가를 재는 동일한 기준에 따라 보통 결정되는데, 최근 점수 판정제가 도입된 ‘교과서 검정 심사’에서도 이러한 분할점수 설정이 적용되고 있으며 분류 결과에 대한 분류일치도 분석 및 추정은 아직까지 시도된 바가 없었다. 이러한 상황에서, 이 연구는 복합 문항(교과서 검정 심사 결과)에 대하여 세 가지의 분류일치도 추정 방식을 사용하여 도출된 분류일치도 분석을 목표로 하였으며 자료는 2006년 개정 교육과정에 의한 ‘2008년도 수학, 영어 과목의 교과서 검정 심사’ 결과 자료를 사용하였다. 연구 결과를 종합한 결론은 첫째, 분류일치도를 추정하는 다섯 가지의 방식 중 세 가지 즉, NM 방식, LL 방식, CM 방식을 사용하여 분류일치도를 추정하였는데 세 가지 방식에서 산출된 계수와 Kappa 계수의 추정치들은 모두 다소 높은 수준을 보였다. 둘째, 모형을 적용한 방식의 가정 적합성 확인을 위하여 NM 방식의 정상성 가정은 Q-Q 플롯을 그려본 결과 모든 점들이 거의 직선을 따라 놓여있는 것을 확인하였으며, LL 방식의 4모수 베타-이항 모형은 불규칙성이 많이 보였고 전체적으로 관찰점수 및 조정점수의 분포는 대략 동일한 분포 형태를 갖는 것으로 보였다. 마지막으로, 교과서 검정에서 채택될 수 있는 여러 가지 제언들이 요약되어 제안되었고 연구의 한계 및 장래의 연구 가능성을 제시하였다.
Abstract
A testee's pass or fail in test is determined by the same standard(cut-off score) that requires over arbitrary mean scores(80, 70 or 60 points etc.) in overall area without any systematic standard-setting procedure in Korea. There are a few procedures estimating classification consistency with tests consisting of only dichotomous items by using Item Response Theory(IRT) procedure. Undoubtedly, there has not been any case of setting standard and estimation classification consistency in "Textbook Authorization". In these poor circumstances, this study aimed to investigate the performance of three procedures for estimating classification consistency for complex assessments and data from the "Textbook Authorization Screening of Mathematics and English" were used. The summary of the major conclusions identified by this study is as follows. First, the three procedures that this study employed in five non-IRT estimating classifying consistency are a normal approximation procedure(NM), the Livingston-Lewis procedure(LL) and a compound multinomial procedure(CM). Estimates of agreement index and Kappa yielded by every procedure were somewhat high, especially, in CM procedure and Mathematics textbook for high school students. Second, normality is an important assumption for NM procedure. To investigate whether this assumption holds for the data, Q-Q plot was constructed. As a result, the points lay very near along a straight line, indicating that marginal normality assumption was tenable. The four-parameter beta-binomial model is an integral part of the LL procedure. To investigate the fit of the model for the data, observed and fitted distribution of effective test length scores are plotted. Due to the small sample size, there were many irregularities in the observed distributions, especially in Mathematics textbook for high school students, yet, roughly the observed and fitted distributions shared the same shape. Finally, several proposals for the textbook authorization were summarized, as well as limitations of the study and future research possibilities.
참고문헌 (22)
- 경제ㆍ인문사회연구회, "경제ㆍ인문사회연구회 소관연구기관 평가편람", 경제ㆍ인문사회연구회, ~ (2008)
- 국가수준 학업성취도평가 기술보고서, "박정", 한국교육과정평가원, ~, pp.한국교육과정평가원 연구보고 RRO2006-4 (2006)
- 성태제, "체육계 실기 고사의 합리적 방법과 문제점에 대한 토론", 교육평가연구, 3(2), pp.126~130 (1989), 한국교육평가학회
- 2002년 초등학교 3학년 국가수준 기초학력진단평가 연구, "채선희", 한국교육과정평가원, ~, pp.연구보고 CRE 2003-1 (2003)
- AERA, "Standards for Educational and Psychological Testing", American Psychological Association, ~ (1999)
- Brennan, R. L., "Generalizability theory" (2001), Springer-Verlag
- Manual for BB-CLASS: A computer program that uses the beta-binomial model for classification consistency and accuracy, version 1.1, "Brennan, R. L.", University of Iowa, ~, pp.CASMA Research Report No. 9 (2004)
- Bootstrap procedure for estimating decision consistency for single-administration complex assessments, "Brennan, R. L.", The University of Iowa, ~, pp.CASMA Research Research Report No. 7 (2004)
- Pass-fail reliability for tests with cut scores: A simplified method, "Breyer, F. J.", Educational Testing Service, ~, pp.ETS Research Report No. 94-39 (1994)
- Cizek, Gregory J., "Setting performance standards", Lawrence Erlbaum Associates, 15~ (2001)
- Efron B., "The jackknife, the bootstrap, the other resampling plans" (1982), SIAM
- Hanson, B. A., "An investigation of classification consistency indexes estimated under alternative strong true score models", Journal of Educational Measurement, 27, pp.345~359 (1990)
- Huynh, H., "On the reliability of decisions in domain referenced testing", Journal of Educational Measurement, 12, pp.253~264 (1976)
- Johnson, R., "Applied Multivariate Statistical Analysis" (2002), Prentice Hall
- Lee, W., "Multinomial error model for tests with polytomous items", Paper presented at the Annual Meeting of the National Council on Measurement in Education (2001)
- 이원찬, "Multinomial and compound multinomial error models for tests with complex item scoring", APPLIED PSYCHOLOGICAL MEASUREMENT, 31(4), pp.255~274, SAGE PUBLICATIONS INC
- Classification Consistency and Accuracy Under the Compound Multinomial Model, "Lee, W.", University of Iowa, ~, pp.CASMA Research Report No. 13 (2008)
- Lee, W., "manual for MULTI-CLASS: For multinomial and compound multinomial classification consistency" (2008), University of Iowa
- Livingston. S. A., "Estimating the consistency and accuracy of classification based on test scores", Journal of Educational Measurement, 32, pp.179~197 (1995)
- Peng. C. J., "A Note on Huynh's Normal Approximation Procedure for Estimating Criterion-Referenced Reliability", Journal of Educational Measurement, 17, pp.359~368 (1980)
- Subkoviak, M. J., "Estimating reliability from a single administration of the criterion-referenced test", Journal of Educational Measurement, 13, pp.265~276 (1976)
- Wan, L., "Estimating Classification Consistency for Single Administration Complex Assessments Using Non-IRT Procedure", 박사, pp.2008