쓰기 평가에서의 평가자 효과는 어떻게 나타나는가? ― 평가자의 엄격성과 평가 준거 해석을 중심으로
How Do Rater Effects Manifest in Writing Assessment? ― Focusing on Rater Severity and Criterion Interpretation
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
이 연구는 쓰기 평가에서 나타나는 평가자 효과를 평가자의 엄격성과 평가 준거 해석의 측면에서 분석하고, 성별과 담당 학교급에 따른 차이를 탐색하는 데 목적이 있다. 이를 위해 평가 대상 글, 평가 준거 및 평가자의 측정 특성을 확인하고, 성별과 담당 학교급에 따른 채점 결과를 비교한 후 그 차이에 대한 후속 면담을 실시하였다. 연구 결과, 성별에 따른 평가자 효과는 나타나지 않았으나 담당 학교급에 따라서는 일부 평가 준거에서 유의한 차이가 나타났다. 후속 면담 참여자들의 진술에서는 양적 분석에서 확인된 학교급별 차이를 설명할 수 있는 평가 준거 해석과 적용 방식의 차이가 나타났다. 이러한 결과는 쓰기 평가의 평가자 효과가 평가자의 엄격성뿐 아니라 평가 준거 해석에서도 나타날 수 있음을 보여주며, 평가자 훈련에서는 평가 준거의 해석과 적용에 대한 일관성을 함께 점검할 필요가 있음을 시사한다.
Abstract
In this study, we investigated how rater effects manifest in writing assessment by examining rater severity and criterion interpretation, with particular attention paid to differences associated with the gender of the raters and the school level they teach. To this end, the measurement characteristics of writing samples, scoring criteria, and raters were examined, and the rating results were compared across the raters’ genders and school levels. Follow-up interviews were conducted to determine the factors underlying the observed differences. The results revealed no significant rater effects associated with gender, whereas significant differences across school levels were observed for several scoring criteria. Follow-up interviews further revealed that raters at different school levels differed in how they interpreted and applied the scoring criteria. These findings suggest that rater effects in writing assessment may arise from differences in not only the severity of the raters but also their interpretation of scoring criteria. This study highlights the need for rater training to promote the consistent interpretation and application of scoring criteria.