주관식 시험을 포함하고 있는 A국가고사의 채점자 효과에 대한 일반화가능도 연구
A Generalizability Theory Approach to Investigating Rater Effects with ‘A' National Exam Composed of Constructed-Response Items
1
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
일반화가능도 이론은 고전검사 이론에서 설명할 수 없었던 다중 오차원을 분석하여 검사점수의 변동요인의 상대적 영향력을 비교할 수 있는 분석 틀을 제공하며, 특히 주관식 채점 상황에서 채점자에 기인된 검사점수의 영향 정도를 파악할 수 있다는 장점이 있다. 이 연구에서는 객관식과 주관식 시험을 포함하고 있는 A국가고사를 선택하여, 주관식 시험의 채점자 요인이 검사점수의 일반화가능도에 미치는 영향을 분석하였다. 분석 결과 공통적으로 나타난 현상은 채점자 및 채점자와 관련된 효과가 거의 0에 가깝게 나타났다는 점으로 채점자를 포함하는 다른 선행 연구와는 상당히 다른 결과를 나타낸 것이다. 극히 작게 나타난 채점자 효과가 정선된 채점 기준표와 구조화된 채점자 훈련의 효과 때문이라면 현재의 측정구조를 유지하는 것이 타당하지만, 그렇지 않았다면 이를 극복할 수 있는 더 적합한 채점 체계에 대한 후속 연구가 이루어져야 할 것이다.
Abstract
Generalizability theory offers an extensive conceptual framework and a powerful tool for explaining numerous measurement issues and multiple sources of errors that classical test theory cannot clearly differentiate. It has another strength in quantifying the influence of rater effects on observed scores, especially tests composed of constructed-response items. However, there has been relatively few studies applying G-theory approaches in practice because most national tests including certificate and licensure exams have been administered in the form of multiple-choice items in Korea. Fortunately, we can find and use ‘A' national exam including constructed-response items that require the involvement of raters. A generalizability theory approach was implemented to investigate rater effects on test scores and to evaluate the generalizability and dependability of those scores. The results of this study suggest that raters or rater-related effects (e.g., interaction effects of raters and items, interaction effects of persons and raters) are nearly zero. If these findings were due to well-established scoring rubric and well-structured rater training effects, it would be recommended to maintain current scoring rubric and rater training procedures. However, if these finding were resulted from the way of coordinating rater groups or the participated raters' ability, it could be recommended to study other scoring methods to ensure more proper and objective test results.
참고문헌 (23)
- 강애남, "동료평가를 활용한 수행평가 결과의 일반화가능도 분석", 2006년도 교육평가학회 춘계학술대회 발표논문 (2006)
- 김성숙, "논술문항 채점의 변동요인 분석과 일반화가능도 계수의 최적화 조건", 교육평가연구, 8(1), pp.35~57 (1995)
- 김성숙, "일반화가능도 이론" (2001), 교육과학사
- 성태제, "현대교육평가" (2002), 학지사
- 이규민, "의학교육의 대안적 평가:심층면접", 제12차 의학교육합동학술대회 발표 논문 (2002)
- 이규민, "A comparison of five scoring modalities in terms of reliability and efficiency", 교육평가연구, 15(1), pp.227~245 (2002)
- 이규민, "단위검사 개념의 적용: 일반화가능도 이론을 중심으로", 교육평가연구, 16(1), pp.53~70 (2003)
- 이규민, "A generalizability theory approach to investigating item context effects", 교육평가연구, 17(1), pp.219~237 (2004)
- 이영식, "다변량 일반화가능도 이론에 의한 말하기 시험의 타당도와 신뢰도에 관한 연구", Foreign Languages Eduaction, 11(2), pp.6~14 (2004)
- 이종성, "일반화가능도이론" (1988), 연세대학교출판부
- 한국교육평가학회, "교육평가 용어사전" (2004), 학지사
- Brennan, R. L., "Elements of generalizability theory" (1992), American College Testing
- Brennan, R. L., "Generalizability theory" (2001), Springer
- Cronbach, L. J., "The dependability of behavioral measurements: Theory of generalizability for scores and profiles" (1972), Wiley
- Gao, X., "Estimating generalizability of matrix-sampled science performance assessment" (1994), Paper presented at the Annual Meeting of the American Educational Research Association
- Gao, X., "Evaluating measurement precision of performance assessment with multiple forms, raters, and tasks in : Technical issues involving reliability and performance assessments. Symposium conducted at the Annual Meeing of American Educational Research Association" (1996), New York City
- Gao, X., "Generalizability of large-scale performance assessments in science: Promises and problems", Applied Measurement in Education, 7(4), pp.323~432 (1994)
- Lee, G., "The influence of several factors on reliability for complex reading comprehension tests", Journal of Educational Measurement, 39, pp.149~164 (2002)
- Lee, G., "Incorporating the testlet concept in test score analyses", Educational Measurement: Issues and Practice, 19, pp.9~15 (2000)
- Lee, G., "Estimating reliability under a generalizability theory model for test scores composed of testlets", Applied Measurement in Education, 12, pp.237~255 (1999)
- Ruiz-Primo, M. A., "on the stability of perfromance assessment", Journal of Educational Measurement, 30, pp.41~53 (1993)
- Shavelson, R. J., "Sampling variability of performance assessments", Journal of Educational Measurement, 30(3), pp.215~232 (1993)
- Shavelson, R. J., "On the content validity of performance assessments: Centrality of domain specifications in : Alternatives in assessments of achievements, learning processes and prior knowledge", pp.131~141 (1996), Kluwer Academic Publishers