수준설정의 타당성 검증을 위한 평정자 기대 정답률의 예측오차 분석
Accuracy of estimating expected probability for MAP in standard setting
0
조회
0
다운로드
3
인용
0
참고문헌
키워드
초록
이 연구는 앙고프(Angoff) 방법에 의한 수준설정의 절차적 측면에서 타당성을 점검하는 연구로, 평정자의 기대 정답률 예측에 대한 라운드별 예측 정확성을 탐색하였다. 2010년 중‧고등학교 학업성취도 평가의 수준설정에서 라운드별 평정자가 각 문항별로 예측한 기대 정답률 자료와 문항 응답 자료를 활용하여 기대 정답률 예측의 정확성 지수를 문항 난이도, 문항 유형별로 산출한 결과, 수준설정 라운드가 진행됨에 따라 평정자들의 기대 정답률과 실제 정답률간 오차가 점차 감소하여 절차적 측면에서의 타당성 증거를 확인하였다. 평정자들은 문항이 쉬울 경우 기대 정답률을 과소 추정하였고, 문항이 어려울 경우 과대 추정하는 경향을 보였으며, 문항 유형에 따라서는 학교급, 교과, 성취수준별로 라운드에 따른 오차 경향이 다양하게 산출되었다. 이러한 결과에 기반하여 내용 전문가의 문항 정답률 예측을 필요로 하는 수준설정 방법을 적용할 때 기대 정답률 예측에 대한 평정자 훈련의 고려사항을 제언하였다.
Abstract
This study investigated procedural validity of NAEA(National Assessment of Educational Achievement) standard setting by examining an accuracy of expected probability for MAP(minimally acceptable person). The expected probability for MAP obtained from standard setting procedure in NAEA were compared with real proportion for students who earned cut-score at each achievement level in terms of item difficulty and type. As a results, we confirmed the procedural validity of standard setting in NAEA based on the fact that the magnitude of overall difference between expected probability and real proportion were decreased as a round was progressed. We also found panels overestimated the correct probability in difficult items and underestimated the correct probability in easy items. The magnitude of accuracy in item type showed different patterns across subjects and achievement levels. We also suggested to train the panel in order to obtain more authentic cut scores in standard setting based on the results of this study.
참고문헌 (42)
- 강태중, "대학수학능력시험 발전 방향 모색", 제26회 KICE 교육과정․평가 정책포럼 수능 영어영역 절대평가 도입 방안 탐색 (2014), 한국교육과정평가원
- 강태훈, "검사 길이와 수행등급 개수에 따른 성취수준 분류 일관도 및 정확도 연구", 교육평가연구, 24(4), pp.1017~1038 (2011), 한국교육평가학회
- 교육부, "2017학년도 대입제도 확정 발표 보도자료(2013. 10.24)", ~ (2013)
- 김석우, "준거지향검사 기준설정 방안의 비교분석", 교육학연구, 37(2), pp.227~247 (1999)
- 김성숙, "다변량 일반화가능도 이론을 적용한 성취수준 설정에서의 오차분석과 최적 조건 탐색", 교육평가연구, 25(4), pp.679~700 (2012), 한국교육평가학회
- 2010년 국가수준 학업성취도 평가 기술보고서, "김성숙", 한국교육과정평가원, ~, pp.연구보고 RRE 2010-7-5 (2010)
- 김신영, "대학수학능력시험의 개선 방안 탐색", 교육평가연구, 22(1), pp.1~27 (2009), 한국교육평가학회
- 민경석, "한국과 미국 국가수준 학업성취도 평가의 성취수준 비교", 중등교육연구, 61(1), pp.111~136 (2013), 사범대학부속중등교육연구소
- 박연복, "군집분석을 이용한 수준설정 방법과 타당성 연구", 교육평가연구, 24(3), pp.645~664 (2011), 한국교육평가학회
- 국가수준 학업성취도 평가 : 기술보고서, "박정", 한국교육과정평가원, ~, pp.연구보고 RRO 2006-4 (2006)
- 백순근, "준거지향평가 기준 설정을 위한Rasch 방법의 숙달 학습자 판정 일치도-원점수 및 Angoff 방법과의 비교를 중심으로-", 교육평가연구, 19(2), pp.157~178 (2006), 한국교육평가학회
- 송미영, "대규모 준거참조평가에서 성취수준의 분류 일치도와 정확도 분석", 교육평가연구, 26(2), pp.391~413 (2013), 한국교육평가학회
- 양길석, "준거지향평가의 준거설정 방법 비교 : 중학교 논술 기초능력 검사를 중심으로", 교육평가연구, 13(2), pp.107~133 (2000)
- 이규민, "의사 국가시험 합격선 설정에 관한 측정학적 접근", 보건의료교육평가, 1(1), pp.5~14 (2004)
- 2003년초등학교 3학년 국가 수준 기초 학력 진단 평가 연구 : 종합, "이인제", 한국교육과정평가원, ~, pp.연구보고 CRE 2004-1-1 (2004)
- 이현숙, ""Types" of Classification Consistency from the Perspective of Replication", 교육과정평가연구, 10(1), pp.103~119 (2007), 한국교육과정평가원
- 장윤선, "문항반응이론에 기초한 준거설정 방법 비교", 교육평가연구, 22(3), pp.659~680 (2009), 한국교육평가학회
- 한국교육개발원, , 제 63차 KEDI 교육정책 포럼 – 수능 영어 과목 절대평가 도입 공개 토론회 자료집 (2014), 한국교육개발원
- 한국교육과정평가원, "2012학년도 성취평가제 운영 매뉴얼 – 중학교용-" (2012), 한국교육과정평가원
- 한국교육과정평가원, "성취평가제 적용, 이렇게 하세요 – 고등학교 보통교과용 -" (2014), 한국교육과정평가원
- 한국교육평가학회, "교육평가 용어사전" (2004), 학지사
- Scaling procedures, "Allen, N. L.", National Center for Education Statistics, 227~246, pp.NCES 2001-509 (2001)
- Angoff, W. B., "Educational Measurement" (1971), American Council on Education
- Berk, R. A., "A consumer’s guide to setting performance standards on criterionreferenced tests", Review of Educational Research, 56, pp.137~172 (1986)
- Brennan, R. L., "A comparison of Nedelsky and Angoff cutting score procedures using generalizability theory", Applied Psychological Measurement, 4(2), pp.219~249 (1980)
- Cizek, G. J., "Setting passing scores", Educational Measurement : Issues and Practice, 15(2), pp.20~31 (1996)
- Cizek, G. J., "Standard setting" (2007), Sage Publication, Inc
- Giraud, G. T., "Making the cut in school districts : Alternative methods for setting cut-scores", Educational Assessment, 6, pp.291~304 (2000)
- Glass, G. V., "Standard and criteria", Journal of Educational Measurement, 15, pp.237~261 (1978)
- Impara, J. C., "Standard setting : An alternative approach", Journal of Educational Measurement, 34(4), pp.353~366 (1998)
- Jeager, R. M., "Establishing standards for teacher certification test", Educational Measurement : Issues and Practice, 9, pp.15~20 (1992)
- Kane, M. T., "The interpretability of passing scores(Tech. Bulletin No. 52)", American College Testing Program, ~ (1986)
- Kane, M. T., "Validating the performance standards associated with passing scores", Review of Educational Research, 64, pp.425~461 (1994)
- Kane, M. T., "Setting performance standards: concepts, methods, and perspectives", pp.53~88 (2001), Lawrence Erlbaum Associates
- 김경성, "The Validity of the Angoff and Bookmark Standard Setting Methods", National Council of Measurement and Evaluation (2010), NCME
- Lewis, D. M., "The bookmark standard setting procedure." (1999), McGraw-Hill
- Norcini, J. J., "A comparison of three variations on a standard-setting method", Journal of Educational Measurement, 24, pp.56~64 (1987)
- Raymond, M. R., "Standard setting: Concepts, methods, and perspectives", pp.119~157 (2001), Erlbaum
- Shepard, L. A., "Practices and problems in competency-based measurement" (1979), ational Council on Measurement in Education
- Shepard, L. A., "Setting performance standards for student achievement" (1993), National Academy of Education
- van der Linden, W. J., "A conceptual analysis of standard setting in large-scale assessments", Proceedings of the joint conference on standard setting for large scale assessments of the National Assessment Governing Board (NAGB) and the National Center for Educational Statistics (NCES), II, 97-117. Washington, DC: U. S. Government Printing Office, 2, pp.97~117 (1995)
- Zieky, M. J., "Standard setting: Concepts, methods, and perspectives", pp.19~51 (2001), Erlbaum