평가자에 따른 작문 평가 결과의 비교 연구 - 채점(scoring) 및 총평(description)의 양상을 중심으로 -
A Comparative Study of the Writing Assessment results according to evaluators - Focusing on the aspects of scoring and description -
2
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
이 연구는 작문 평가에서 교수자 한 사람의 평가 결과가 얼마나 신뢰할 만한 것인가라는 물음에서 시작되었으며, 평가자에 따라서 작문 평가 결과가 얼마나 달라지는지 알아보고자 하였다. 이를 위해 대학생들이 작문 과제로 제출한 다섯 편의 글을 여러 평가자들에게 10점 만점으로 채점하고 총평을 써줄 것을 의뢰하였다. 평가자들은 크게 비전문가 집단과 전문가 집단으로 나누고, 비전문가집단은 다시 작문 교육에 대해 배운 적이 없는 대학 1학년 학생들과 국어교육과 4학년 학생들도 나누고, 전문가 집단은 중등학교 국어교사 집단과 작문을 지도하는 대학 교수 집단으로 나누어 평가 결과를 비교하였다. 조사 결과 비전문가 집단의 평가자간 신뢰도는 상당히 높게 나타난 반면 전문가 집단의 평가자간 신뢰도는 비교적 낮게 나타났고, 특히 대학 교수들의 평가자간 신뢰도는 매우 낮았다. 이를 통해 작문 교육에 관련된 지식이나 작문 평가의 경험이 많은 집단에서 오히려 평가자간 신뢰도가 낮게 나타날 수 있다는 사실을 확인하였다. 또한 평가자들의 총평을 비교해본 결과 동일한 글의 동일한 특징에 대해서 상반된 평가를 내리거나, 글에 대한 해석이 엇갈리는 경우들을 발견할 수 있었다. 이런 양상을 볼 때 평가자 간 협의가 채점 결과의 합의를 위해서만 이루어 질 것이 아니라 평가자 사이의 해석의 공유와 충실한 피드백의 산출을 위해서도 수행될 필요가 있음을 알 수 있었다.
Abstract
The study began in the question of how reliable one teacher’s assessment in student’s writing. To see how writing assessment results vary depending on the evaluator, this research commissioned five articles which have written by college students to several evaluators and ask them to assess these articles on a 10-point scale with description. Evaluators were greatly divided into non-specialists groups and expert groups, non-specialist groups are also divided into the freshman group and fourth grade students whose major are Korean education group. Expert groups include Korean language teachers in the secondary school and the university professors who teach writing. As a result the inter-rater reliability of non-expert groups appeared significantly higher, while experts groups appeared relatively low, especially in the inter-rater reliability of university professors is very low. Rather in the group with lots of collective knowledge and experience of writing assessment, the inter-rater reliability could be lower. In comparison with evaluators’ descriptions, it was disclosed the fact that differing interpretations and conflict assessments could be submitted for the same features in the same article. Considering these aspects, discussion between evaluators required not only for agreement on scoring but also for sharing of interpretation and the faithful feedback.
참고문헌 (21)
- 가은아, "국어교사의 쓰기 효능감 및 쓰기 신념이 학생 쓰기 평가에 미치는 영향", 석사, 국어교육, pp.2008
- 김정자, "글쓰기에서 필자의 태도 연구", 국어교육학연구, 8, pp.175~197 (1998)
- 閔泰範, "採点者의 認知樣式이 論述考査 採点에 미치는 影響", 석사, 교육학, pp.1991
- 박영민, "국어교사의 작문평가 전문성 신장 방안", 작문연구, (13), pp.89~116 (2011), 한국작문학회
- 박영민, "Rasch 모형을 활용한 국어교사의 쓰기 평가 특성 분석－중학생 설명문 쓰기 평가를 중심으로－", 국어교육학연구, (37), pp.367~391 (2010), 국어교육학회
- 서수현, "쓰기 평가 협의 과정에 나타난 쓰기 평가자의 인식 연구", 국어교육학연구, (44), pp.335~367 (2012), 국어교육학회
- 성태제, "논술형 고사와 예체능계 실기고사를 위한 채점자간 신뢰도 추정", 교육평가연구, 7(1), pp.43~56 (1994)
- 이성영, "국어과 교사의 쓰기 영역 평가 전문성 기준과 모형", 국어교육, (117), pp.349~372 (2005), 한국어교육학회
- 이윤빈, "쓰기 평가 워크숍이 예비 교수자의 쓰기 평가 전문성 신장에 미치는 효과", 작문연구, (27), pp.83~117 (2015), 한국작문학회
- 이재기, "학생 필자의 해석 텍스트에 대한 ‘반응 중심’ 작문 평가", 작문연구, (13), pp.167~188 (2011), 한국작문학회
- 정미경, "국어교사의 성별에 따른 쓰기평가 특성 분석", 교원교육, 27(4), pp.73~93 (2011), 교육연구원
- 정희모, "대학글쓰기 평가의 신뢰도와 타당도 향상을 위한 한 방안", 작문연구, (9), pp.277~305 (2009), 한국작문학회
- 정희모, "글쓰기 평가에서 객관-주관주의 대립과 그 함의", 우리어문연구, (37), pp.217~249 (2010), 우리어문학회
- 조성만, "교과별 좋은 글의 기준 차이에 대한 분석 - 국어․사회․과학 교과를 중심으로", 새국어교육, (86), pp.353~378 (2010), 한국국어교육학회
- 지은림, "논술고사의 신뢰성에 영향을 미치는 채점자 특성 분석", 교육평가연구, 21(2), pp.97~113 (2008), 한국교육평가학회
- Diederich, Paul B, "Measuring Growth in English, National Council of Teachers of English", ~ (1974)
- Keech, C. L, "Properties of writing tasks: A study of alternative procedures for holistic writing assessment", pp.260~315 (1982)
- Sweedler-Brown, C. O., "The influence of training and experience on holistic essay evaluations", The English Journal, 74(5), pp.49~55 (1985)
- White, M, "Implicit writing beliefs and their relation to writing quality", Contemporary Educational Psychology, 30(2), pp.166~189 (2005)
- Williams, J. M, "논증의 탄생" (2008), 홍문관
- Wolfe, E. W., "Uncovering rater’s cognitive processing and focus using think-aloud protocols", Journal of Writing Assessment, 2(1), pp.37~56 (2006)