논설문 채점에 나타난 국어 교사의 채점 편향의 특성 분석: 텍스트 특징에 따른 채점 편향 분석을 중심으로
An Analysis on the Characteristics of Rating Bias of Korean Language Teachers in Rating Persuasive Writing
0
조회
0
다운로드
8
인용
0
참고문헌
키워드
초록
이 연구의 목적은 논설문 채점에서 나타나는 채점 편향의 특성을 분석하여 채점자의 일관성 수준을 적절하게 유지하기 위한 방안을 모색하는 것이다. 연구 결과는 다음과 같다. 첫째, 전체 엄격성의 일관성 수준을 적합하게 유지한 채점자의 채점 결과에서도 특정 국면에서는 엄격성을 유지하지 못하는 편향이 산출되었다. 둘째, 편향 패턴은 채점자별로 매우 상이한 것으로 나타났다. 편향이 나타난 텍스트는 총 49편(53.5%)이었으며, 이 중 관대한 편향과 엄격한 편향이 동시에 나타난 텍스트는 13편(14%)에 달했다. 셋째, 텍스트 수준이 매우 낮거나, 매우 높은 경우, 텍스트의 양이 많거나 문단 구분이 잘 되어 있는 경우 편향이 나타날 확률이 높은 것으로 나타났다. 이러한 결과를 바탕으로 편향을 최소화하기 위한 채점 훈련 방안, 채점 설계 및 결과 해석 시 유의사항 등에 대해 제언하였다.
Abstract
The purpose of this paper is to analyze the characteristics of rating bias of korean language teachers in rating persuasive writing and to find ways to maintain the level of consistency of rater appropriately. The result of this study are as follows. First, even in the result of rater who kept the level of consistency appropriately, a bias that did not maintain the level of severity in a particular facet was produced. Second, bias patterns vary from raters. Bias was produced in 49 texts(53.5%) and both lenient and severe bias was produced at the same time in 13 texts. Third, if the level of text is very low, very high, if the quantity of text is large and if the paragraph is well organized, bias is more likely to produce. Based on these result, in designing the rating method, rating training and interpreting the result of rating, some ways that make raters maintain their level of severity consistently was suggested.
참고문헌 (32)
- 권태현, "성취기준 예시문 선정 연구", 박사, pp.2014
- 김수미, "Python을 활용한 논설문 자동 피드백 방안 연구", 석사, pp.2020
- 김지영, "한국어 말하기 평가 채점자의 채점 경향 연구", 박사, pp.2018
- 김지영, "한국어 말하기 평가에서의 채점 편향성 분석", 이중언어학, (70), pp.59~83 (2018), 이중언어학회[DOI]
- 閔泰範, "採点者의 認知樣式이 論述考査 採点에 미치는 影響", 석사, 교육학, pp.1991
- 박영민, "예비국어교사의 중학생 논설문 평가에서 발견되는 엄격성 및 일관성의 특성", 국어교육학연구, (43), pp.253~283 (2012), 국어교육학회[DOI]
- 박종임, "국어교사의 쓰기 평가 특성 연구", 박사, 국어교육전공, pp.2013
- 박종임, "평가자 일관성에 따른 설명문 평가 예시문 선정의 차이 연구", 작문연구, (14), pp.301~338 (2012), 한국작문학회
- 배정윤, "중립반응범주 유무에 따른 Likert형 척도의 양호도 비교", 석사, pp.2002
- 백유진, "국어교사의 쓰기 평가 지식과 효능감이 논설문 평가에 미치는 영향", 석사, pp.2018
- 서수현, "요인 분석을 통한 쓰기 평가의 준거 설정에 대한 연구", 박사, 국어교육, pp.2008
- 장소영, "언어교육평가 연구를 위한 FACETS프로그램" (2009), 글로벌콘텐츠
- 장은주, "채점의 일관성 유형에 따른 국어교사의 쓰기 평가 특성 분석", 박사, pp.2015
- 채선희, "논술시험 채점의 공정성과 효율성 확보방안-채점과정의 엄격성과 FACETS 모형에 의한 채점결과 분석", 교육평가연구, 9(1), pp.5~29 (1996)
- 최숙기, "논설문 평가에 나타난 국어교사의 평가 특성 및 편향 분석", 교육과정평가연구, 14(1), pp.201~228 (2011), 한국교육과정평가원
- Charney, D., "The validity of using holistic scoring to evaluate writing : a critical overview", Research in the Teaching of English, 18, pp.65~81 (1984)
- Eckes, T., "Introduction to Many-Facet Rasch Measurement" (2011), Peter Lang
- Eckes, T., "Operational rater types in writing assessment : Linking rater cognition to rater behavior", Language Assessment Quarterly, 9(3), pp.270~292 (2012)
- Freedman, S. W., "Research on writing: Principles and methods" (1983), Longman
- He, T. H., "Multi-faceted Rasch measurement and bias patterns in EFL writing performance assessment", Psychological Report, 112(2), pp.469~485 (2013)
- Hughes, D. C., "The use of model essays to reduce context effects in essay scoring", Journal of Educational Measurement, 21(3), pp.277~281 (1984)
- Kondo-Brown, K., "A FACETS analysis of rater bias in measuring Japanese L2 writing performance", Language Testing, 19(1), pp.3~31 (2002)
- Linacre, J. M., "Many-facet Rasch measurement" (1989), MESA Press
- Lumley, T., "Assessment criteria in a large-scale writing test : What do they really mean to the raters?", Language Testing, 19, pp.246~276 (2002)
- Mckelvie, S. J., "Graphic rating scales–How many categories?", British journal of Psychology, 69(2), pp.185~202 (1978)
- McNamara, T. F., "Measuring second language performance" (1996), Longman
- Peterson, S., "Evaluation and teacher's perceptions of gender in sixth-grade student writing", Research in the Teaching of English, 33(2), pp.181~208 (1998)
- Schaefer, E., "Rater bias patterns in an EFL writing assessment", Language Testing, 25, pp.465~493 (2008)
- Stewart, M., "Syntactic maturity, mechanics or writing and teachers’ quality ratings", Research in the Teaching of English, 13, pp.207~215 (1979)
- Vaughan, C., "Assessing second language writing in academic contexts" (1991), Ablex
- Wright, B. D., "Reasonable mean-square fit values", Rasch Measurement Transactions, 8(3), pp.369~386 (1994)
- Weigle, S. C., "Investigating rater", prompt interactions in writing assessment : Quantitative and qualitative approaches, 1999, pp.6, 145~178