쓰기 과제 조건의 부합 여부에 따른 평가 결과 차이 분석
Analysis of Differences of Ratings According to the Writing Task Requirement
1
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
이 연구의 목적은 제시된 쓰기 과제 조건의 부합 여부에 따른 평가 결과의 차이를 분석하는 것이다. 이를 위해 예비 국어교사 35명을 대상으로 하여, 고등학생이 쓴 글 50편을 채점하도록 하였다. 예비 국어교사가 채점한 글에는 과제 조건에 부합하지 않는 글 13편이 포함되어 있었다. 연구 결과, 쓰기 과제 조건 부합 여부에 따른 평가 결과에는 유의한 차이가 나타났다. 예비 국어교사들은 쓰기 과제에 부합하는 글은 쓰기 과제에 부합하지 않는 글보다 관대하게 평가하였다. 특히, 쓰기 과제에 부합하는 글은 내용면에서 관대하게 평가되었으며, 쓰기 과제에 부합하지 않는 글은 내용면에서 엄격하게 평가되었다. 또한 적합한 평가자라 하더라도 과제 조건에 부합하는 글과 그렇지 않은 글을 엄격하거나 관대하게 평가하는 편향이 나타나기도 한다. 그러므로 쓰기 과제 조건에 부합되지 않는 글을 포함하여 평가하는 것은 평가자 오차를 높이는 요인이 될 수 있다. 이 연구를 통한 제언은 다음과 같다. 첫째, 쓰기 과제 조건의 부합 정도에 따라 점수가 다르게 부여되어야 한다. 둘째, 다수의 평가자가 학생의 수행을 평가하여 성적에 반영하는 경우에는 통계적 처치를 통해 평가자 효과 조정이 필요하다. 셋째, 과제의 조건을 파악하는 것이 국어과 교육과정이나 교과서에 명시되어야 한다.
Abstract
The aim of this paper is to analyze differences of ratings according to whether the writing meet the given task requirements or not. In order to do so, 35 pre-service Korean language teachers rated 50 essays of writing samples including 13 writing samples that did not meet the task requirement. The results show that there were significant distinctions between the ratings according to whether the requirements were met or not; pre-service korean teachers rate the writing meet the given task requirement relatively leniently Specifically, in terms of contents, the essays which met requirements were rated very generously while the rest which did not meet requirements were rated severely. Moreover, even fit raters can be biased either being too generous or too strict according to whether the writing meets the task requirement or not. Therefore, including writings which do not meet the task requirement in the assessment can be one of the factors that cause rater errors. This study gives three implications. First, raters should give different marks according to the extent that the writings meet the task requirement. Second, when many raters evaluate a student’s performances, the statistical treatment is required in order to adjust the rater effects. Last but not least, it should be specified catching the task requirement in the Korean curriculum or textbook.
참고문헌 (25)
- 박영민, "예비국어교사의 중학생 논설문 평가에서 발견되는 엄격성 및 일관성의 특성", 국어교육학연구, (43), pp.253~283 (2012), 국어교육학회[DOI]
- 박종임, "Rasch 모형을 활용한 국어교사의 채점 일관성 변화 양상 및 원인 분석 -중학생 서사문 채점을 중심으로-", 우리어문연구, (39), pp.301~335 (2011), 우리어문학회
- 배영태, "반성적 쓰기가 고등학생의 수필 쓰기 능력 및 태도에 미치는 영향", 석사, 국어교육, pp.2010
- 송혜향, "의학, 간호학, 사회과학 연구의 메타분석법" (1998), 청문각
- 신동일, "후광효과의 이해를 통한 채점 오류 분석 연구", Foreign Languages Education, 9(4), pp.215~232 (2002)
- 박영민, "현직 국어교사와 예비 국어교사의 쓰기 평가 비교 연구", 교육과정평가연구, 12(1), pp.123~143 (2009), 한국교육과정평가원
- DeRemer, M. L., "Writing assessment: Raters' elaboration of the rating task", Assessing writing, 5(1), pp.7~29 (1998)
- Eckes, T., "Many-facet Rasch measurement", pp.2009, Council of Europe
- Eckes, T., "Introduction to Many-Facet Rasch Measurement" (2011), Peter Lang
- Ellis, P. D, "The Essential Guide to Effect Sizes" (2010), Cambridge Univ. Press
- Engelhard, G., "Examining Rater Errors in the Assessment of Written Composition with a Many-Faceted Rasch Model", Journal of Educational Measurement, 31(2), pp.93~112 (1994)
- Kassim, NL Abu, "Judging behaviour and rater errors: An application of the Many-facet Rasch Model", GEMA Online Journal of Language Studies, 11(3), pp.179~197 (2011)
- Leckie, G., "Rater Effects on Essay Scoring: A Multilevel Analysis of Severity Drift, Central Tendency, and Rater Experience", Journal of Educational Measurement, 48(4), pp.399~418 (2011)
- Linacre, J. M., "Many-faceted Rasch Measurement" (1989), MESA Press
- McNamara, T. F., "Measuring second language performance" (1996), Longman
- Myford, C. M., "Detecting and Measuring Rater Effects Using Many-Facet Rasch Measurement: Part Ⅰ", Journal of applied measurement, 4(4), pp.386~422 (2003)
- Myford, C. M., "Detecting and Measuring Rater Effects Using Many-Facet Rasch Measurement : Part Ⅱ", Journal of applied measurement, 5(2), pp.189~227 (2004)
- Saal, F. E., "Rating the ratings : Assessing the psychometric quality of rating data", Psychological Bulletin, 88(2), pp.413~428 (1980)
- Scullen, S. E., "Understanding the latent structure of job performance ratings", Journal of Applied Psychology, 85(6), pp.956~970 (2000)
- Simon, H., "Information-processing theory of human problem solving" (1978), Erlbaum
- Thorndike, E. L., "A constant error in psychological ratings", Journal of Applied psychology, 4, pp.25~29 (1920)
- Voss, J. F., "On the solving of ill-structured problem", pp.261~285 (1988), Lawrence Erlbaum Associates
- Weigle, S. C., "Assessing Writing" (2002), Cambridge University Press
- Weigle, S. C., "Teaching writing teachers about assessment", Journal of Second Language Writing, 03, pp.194~209 (2007)
- Korman, A. K., "Industrial and organizational psychology" (1971), Prentice-Hall