수정된 Angoff 방법을 활용한 교과서 검정 심사에서의 분할점수 설정
A Study on Setting New Cut-off Scores Using the Modified Angoff Method for Textbook Authorization
0
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
준거참조검사에서의 성공과 실패는 의사 결정을 위한 기준을 제공하는 분할점수에 의하여 결정되고, 제대로 정해진 분할점수는 피험자들을 분류하는데 매우 중요한 역할을 한다. 그럼에도 불구하고, 현재 우리나라에서는 피험자들이 검사에서 통과하거나 실패하는 여부는 어떠한 과학적이고 체계적인 기준 설정의 과정이 없이 임의로 정한 점수의 평균을 넘어서는가를 재는 동일한 기준에 따라 보통 결정되는데, 최근 점수 판정제가 도입된 ‘교과서 검정 심사’에서도 비과학적인 분할점수 설정이 적용되고 있다. 이러한 상황에서, 이 연구는 수정된 Angoff 방법에 의한 교과서 검정 심사에서의 분할점수 설정을 목표로 하였으며 자료는 2008년도 수학, 영어 과목의 교과서 검정 심사 결과 자료를 사용하였는데, 연구 결과를 종합한 결론은 첫째, 총점 75점 이상이라는 동일한 기준에 따라 임의로 정해진 분할점수는 준거참조검사에서의 평가 관점에서 볼 때 결코 합리적이라고 볼 수 없기 때문에, 이 논문에서는 미리 특정한 점수를 정하여 사용하기 보다는 체계적으로 분할점수를 설정할 수 있는 여러 가지 방법 중에서 ‘수정된 Angoff 방법’을 사용하여 새로운 분할점수를 설정하였다. 둘째, 새로운 분할점수를 설정한 후에 교과서를 분류한 결과 즉, 적격․부적격 분류 결과는 처음의 결과와 비교하여 매우 크게 변하였는데, 검정위원들이 실제 적격․부적격으로 구분한 기준점수와 이상적으로 생각하는 분할점수 사이에는 큰 격차가 있었다는 것을 알 수 있었다. 마지막으로, 교과서 검정에서 채택될 수 있는 여러 가지 제언들이 요약되어 제안되었고 연구의 한계 및 장래의 연구 가능성을 제시하였다.
Abstract
The success or failure of criterion-referenced tests is determined by the cut-off scores, which provide the basis for decision-making, and the proper cut-off scores play a very significant role in classifying students. Yet in Korea, passing and failing in testing is determined by a universal standard (cut-off score) that requires testees to exceed arbitrary overall scores and has no basis in any systematic standard-setting procedure. Even the recent “Textbook Authorization” fails to take a scientific approach to setting standards. Given these less-than-ideal circumstances, this study aimed to set standards (cut-off score) by employing the "modified Angoff method" using data from the "Textbook Authorization Screening of Mathematics and English."The major conclusions of this study may be summarized as follows. First, the cut-off score determined arbitrarily by a universal standard that requires over 75 points overall was never considered reasonable from the viewpoint of evaluation in criterion-referenced tests. Therefore, the modified Angoff method was used in this study for setting the cut-off scores systematically instead of pre-setting arbitrary standards. Second, after setting new cut-off scores, it turned out that the result of the screening of textbooks into passing and failing changed significantly. Therefore, there was a large gap between ideal cut-off scores and real decision scores in screening textbooks. Finally, several proposals for textbook authorization were summarized, as well as limitations of the study and future research possibilities.
참고문헌 (28)
- 경제･인문사회연구회, "경제･인문사회연구회 소관연구기관 평가편람" (2008), 경제･인문사회연구회
- 김성훈, "객관식 시험과 수행평가의 교육적 의의", 한국교육문제연구, 17, pp.34~54 (2006), 동국대학교 교육연구원
- 김태은, "Angoff 방법과 북마크 방법에 의한 준거설정의 적용 가능성 비교", 석사, pp.2005
- 성태제, "목표지향검사를 위한 준거설정 방법: 오답 추출 능력에 의한 준거 설정 방법의 타당성", 교육학연구, 29(2), pp.147~164 (1991)
- 성태제, "현대교육평가" (2001), 학지사
- 양길석, "준거지향평가의 기준 설정 방법 비교", 박사, pp.2000
- 이규민, "의사 국가시험 합격선 설정에 관한 측정학적 접근", 보건의료교육평가, 1(1), pp.5~14 (2004)
- 임인재, "교육평가" (1996), 한국방송통신대학교 출판부
- 장은아, "Angoff 방법과 북마크 방법을 활용한 한국어능력시험의 기준 설정에 관한 연구", 박사, pp.2008
- 2003년 국가수준 학업성취도 평가 연구, "정구향", 한국교육과정평가원, ~, pp.RRE 2004-1. (2004)
- 2002년 초등학교 3학년 국가수준 기초학력진단평가 연구, "채선희", 한국교육과정평가원, ~, pp.CRE 2003-1 (2003)
- Angoff, W. B, "Norms, Scales, and equivalent scores in: Educational Measurement(2nd Ed.)" (1971), American Council on Education
- Brennan, R. L., "A c o mparison of Nedelsky and Angoff cutting score procedures using generalizability theory", Applied Psychological Measurement, 4(2), pp.219~249 (1980)
- Chinn, R. N, "Alternative approaches to standard setting for licensing and certification examinations", Applied measurement in education, 15(1), pp.1~14 (2002)
- Cizek, G. J, "Standard setting guidelines", Educational Measurement: Issues and Practice, 15(2), pp.20~31 (1996)
- Cizek, G. J, "Setting performance standards" (2001), Lawrence Erlbaum Associates
- Ebel, R. L, "Essential of Educational Measurement (2nd ed.)" (1972), Prentice-Hall
- Huynh, H, "On item mappings and statistical rules for selecting binary items for criterion-referenced interpretation and bookmark standard setting", Paper presented at the annual meeting of the National Council on Measurement in Education, ~ (2000)
- Jaeger, R. M, "Selection of judges for standard setting", Educational Measurement: Issues and Practice, 10(2), pp.3~14 (1991)
- Kane, M. T, "On the use of IRT models with judgement standard setting procedures", Journal of Educational Measurement, 24(4), pp.333~345 (1987)
- Kane, M. T, "So much remains the same: Conception and status of validation in setting standards in: Setting performance standards: concepts, methods, and perspectives (pp.19-51)" (2001), Lwarence Erlbaum Associates, Publishers
- Karantonis, A, "The bookmark standard setting method: A literature review", Educational Measurement: Issue & Practice, 25(1), pp.4~12 (2006)
- Lewis, D. M., "IRT-based standard setting procedures utilizing behavioral anchoring", Symposium conducted at the Council of Chief State School Officers National Conference on Large-Scale Assessment (1996), Phoenix, AZ.
- Mills, C. N, "A comparison of three methods of establishing cut-off scores on criterion-referenced test", Journal of Educational Measurement, 20, pp.283~292 (1983)
- Norcini, J. J., "A c o mparison of three variations on a standard-setting method", Journal of Educational Measurement, 24, pp.56~64 (1987)
- Plake, B. S., "Factors influencing intrajudge consistency during standard-setting", Educational Measurement: Issues and Practice, 10(2), pp.15~26 (1991)
- Raymond, M. R, "Who made thee a Judge? Selecting and training participants for standard setting in: Setting performance standards: concepts, methods, and perspectives", pp.119~157 (2001), Lwarence Erlbaum Associates, Publishers
- Schulz, E. M., "A rationale for defining achievement levels using IRT-estimated d o main s coers", Applied Psychological Measurement, 23, pp.347~362 (1999)