본문 바로가기
KERD
논문KCI 등재

국어교사들의 쓰기 평가에서 나타난 엄격성 및 일관성 차이 분석: 논술 평가를 중심으로

The Differences Analysis of Korean Language Teacher’s Scoring Severity and Consistence in Assessing Writing : Focusing on Essay Assessment

정다운
한국교육과정평가원 (Korea Institute for Curriculum and Evaluation)|2022.08|교육과정평가연구 (The Journal of Curriculum and Evaluation)|제25권 제3호|pp. 149-171

1

조회

0

다운로드

2

인용

0

참고문헌

키워드

일관성쓰기 평가writing assessmentKorean language teacher엄격성다국면 Rasch 모형국어 교사Rasch measurement model논술 평가essay assessmentrating severityrating consistence
주제분류교육학

초록

이 연구는 현직 국어 교사 52명을 논술 평가자로 위촉하여 채점하게 한 후 나타난 결과를 바탕으로엄격성 및 일관성을 분석하는 데 목적이 있다. 이 연구에서 확인된 결과는 다음과 같다. 첫째, 국어 교사들의 엄격성과 일관성의 양상을 분석한 결과, 적합한 평가자 22명(42.31%), 부적합 평가자 11명(21.15%), 과적합 평가자 19명(36.54%)로 나타났다. 둘째, 국어 교사들의 엄격성을 분석한 결과, 평가자의 특성을 반영한 국면에 따라 차이를 보였다. 구체적으로 성별, 경력, 평가 요인에 따른 엄격성은 통계적으로 유의한 차이를 보였으나 평가 방법에 따른 엄격성은 통계적으로 유의한 차이가 확인되지 않았다. 성별에 따른 엄격성은 여교사가 남교사보다 엄격하게 평가하는 것으로 나타났다. 경력에 따른 엄격성은 1년 이상 5년 미만의 경력을 가진 집단이 가장 엄격하게 평가하는 것으로 확인되었다. 평가 요인에서는 형식 및 어법 요인에서 가장 엄격하게 평가하는 것으로 나타났다. 반면 평가 방법에 따른 엄격성은 오류 분석형, 사고논술형, 키워드 제시형의 평가 방법을 사용하는 집단이 동일한 엄격성으로 무표형의 평가 방법을 사용하는 집단에 비해 엄격하게 평가하는 것으로 확인되었다. 셋째, 국어 교사들의 일관성을 분석한 결과, 판별 기준에 따라 차이가 나타났다. 내적합 지수를 기준으로 할 때 성별, 경력, 평가 방법, 평가 요인의 모든 국면에서 적합한 수준을 유지하는 것으로 나타났으나 내적합 표준화 값을 기준으로 할 때 국면 및 하위 요인에 따라 다양한 일관성의 양상이 나타났다. 이러한 결과를 바탕으로 할때 논술 평가에서도 국어 교사들의 쓰기 평가 전문성을 높이는 방안이 필요할 것으로 보인다.

Abstract

The purpose of this study is to analyze the rating severity and rating consistence based on the results obtained after appointing 52 incumbent Korean language teachers as essay evaluators and scoring them. The results confirmed in this study are as follows. First, as a result of analyzing the rating consistence of the strictness of Korean language teachers, there were 22 (42.31%) suitable evaluators, 11 non-conforming evaluators (21.15%), and 19 (36.54%) overfit evaluators. Second, as a result of analyzing the strictness of the Korean language teachers, there was a difference according to the phase in which the characteristics of the evaluator were reflected. Specifically, there was a statistically significant difference in rating severity according to gender, career, and assessment factors, but no statistically significant difference was found in rating severity according to assessment method. Strictness according to gender was found to be evaluated more strictly by female teachers than by male teachers. It was confirmed that the rating severity according to experience was evaluated most strictly by the group with more than 1 year and less than 5 years of experience. In the assessment factors, it was found that the formal and usage factors were evaluated most strictly. On the other hand, it was confirmed that the group using the error analysis type, thinking essay type, and keyword presentation type assessment method evaluated the severity according to the assessment method more rating severityously than the group using the non-formal assessment method with the same severity. Third, as a result of analyzing the rating consistence of Korean language teachers, there were differences according to the discrimination criteria. Based on the intrinsic fit index, it was found to maintain an appropriate level in all aspects of gender, career, assessment method, and assessment factors. However, based on the standardized values of the internal fit, various patterns of rating consistence were observed according to phases and sub-factors. Based on these results, it seems that it is necessary to increase the professionalism of Korean language teachers in writing assessment in essay assessment.

참고문헌 (46)

  1. 김경희, "채점척도에 따른 채점자의 일관성과 피험자 능력 추정의 정확성 비교", 교육평가연구, 14(1), pp.327~347 (2001)
  2. 박영민, "예비국어교사의 중학생 논설문 평가에서 발견되는 엄격성 및 일관성의 특성", 국어교육학연구, (43), pp.253~283 (2012), 국어교육학회[DOI]
  3. 박영민, "쓰기 평가 지식 측정을 위한 검사 도구 개발 연구", 청람어문교육, (46), pp.29~46 (2012), 청람어문교육학회[DOI]
  4. 박영민, "현직 국어교사와 예비 국어교사의 쓰기 평가 비교 연구", 교육과정평가연구, 12(1), pp.123~143 (2009), 한국교육과정평가원
  5. 박영민, "중학생 논설문 평가의 모평균 추정과 평가 예시문 선정", 국어교육, (131), pp.437~461 (2010), 한국어교육학회
  6. 박영민, "Rasch 모형을 활용한 국어교사의 쓰기 평가 특성 분석－중학생 설명문 쓰기 평가를 중심으로－", 국어교육학연구, (37), pp.367~391 (2010), 국어교육학회[DOI]
  7. 박종임, "Rasch 모형을 활용한 국어교사의 채점 일관성 변화 양상 및 원인 분석 -중학생 서사문 채점을 중심으로-", 우리어문연구, (39), pp.301~335 (2011), 우리어문학회
  8. 박찬흥, "예비 국어교사의 설명문 분석적 채점에서 나타나는 특성에 대한 연구", 작문연구, (39), pp.349~369 (2018), 한국작문학회[DOI]
  9. 설현수, "평정자간의 엄격성 차이정도가 피험자 총점산출 방법에 미치는 영향: 원점수, 표준점수, Facet점수 비교", 교육평가연구, 23(1), pp.125~147 (2010), 한국교육평가학회
  10. 송미영, "온라인 시스템을 활용한 대규모 서답형 평가의 채점 일관성", 교육평가연구, 22(3), pp.827~846 (2009), 한국교육평가학회
  11. 안수현, "한국어능력시험(TOPIK) 쓰기 평가의 채점 특성 연구", 한국어교육, 28(1), pp.173~196 (2017), 국제한국어교육학회[DOI]
  12. 이영식, "영어 작문 평가의 채점 신뢰도에 대한 분석", 영어교육, 53(1), pp.179~200 (1998)
  13. 장미, "엄격성의 일관성 유형에 따른 국어교사의 논설문 평가 특성 분석", 학습자중심교과교육연구, 21(11), pp.277~288 (2021), 학습자중심교과교육학회
  14. 장소영, "언어교육평가 연구를 위한 FACETS 프로그램 : 기초 과정편" (2009), 글로벌콘텐츠
  15. 장은주, "채점의 일관성 유형에 따른 국어교사의 쓰기 평가 특성 분석", 박사, pp.2015
  16. 지은림, "논술고사의 신뢰성에 영향을 미치는 채점자 특성 분석", 교육평가연구, 21(2), pp.97~113 (2008), 한국교육평가학회
  17. 지은림, "문항반응이론의 이론과 실제 : 외국어 수행평가를 중심으로" (2003), 서현사
  18. 최숙기, "논설문 평가에 나타난 국어교사의 평가 특성 및 편향 분석", 교육과정평가연구, 14(1), pp.201~228 (2011), 한국교육과정평가원
  19. Bachman, L. F., "Fundamental considerations in language testing" (1990), Oxford University Press
  20. Barnes, L. L., "Gender in the classroom：Power and pedagogy", pp.140~159 (1990), University of Illinois Press
  21. Bond, T. G., "Applying the Rasch model: Fundamental measurement in the human sciences" (2001), Lawrence Erlbaum associates
  22. Cronbach, L. J, "Essential of Psychological Testing" (1990), Harper Collins
  23. Engelhard, G, "Monitoring faculty consultant performance in the advanced placement English literature and composition program with a many-faceted Rasch model" (2003), College Enterance Examination Board
  24. Engelhard, G. Jr, "Examining rater errors in the assessment of written composition with a many-faceted Rasch model", Journal of Educational Measurement, 31, pp.93~112 (1994)
  25. Ford, A., "Neutralizing inequalities in ratings", Personnel Journal, 9, pp.466~469 (1931)
  26. Guilford, J. P., "Psychometric methods" (1954), McGraw Hill
  27. Peterson, S. S., "Sixth-grade teachers’ written comments on student writing: genre and gender influences", Written Communication, 23(1), pp.36~62 (2006)
  28. Rasch, G., "Probabilistic models for some intelligence and attainment tests" (1980), University of Chicago Press
  29. Roulis, E., "Composing social identity in written language", pp.151~183 (1995), Lawrence Erlbaum Associates
  30. Hamp-Lyons, L., "Second language writing ： Research insights for the classroom", pp.69~87 (1990), Cambridge University Press
  31. Kneeland, N., "That lenient tendency in rating", Personnel Journal, 7, pp.356~366 (1929)
  32. Kortez, D., "New report on Vermont portfolio project documents challenges", National Councilon Measurement in Education, 1(4), pp.1~2 (1993)
  33. Kroll, B., "Assessing writing abilities", Annual Review of Applied Linguistics, 18, pp.219~240 (1998)
  34. Kucan, L., "Thinking Aloud and Reading Comprehension Research: Inquiry, Instruction, and Social Interaction", Review of Educational Research, 67(3), pp.271~299 (1997)
  35. Linacre, J. M, "Many-faceted Rasch Measurement" (1994), MESA Press
  36. Linacre, J. M., "A user's guide to Facets: Rasch measurement computer program(Version 3.0)" (1996), MESA Press
  37. Lumley, T., "Rater characteristics and rater bias：Implications for training", Language Testing, 12(1), pp.54~57 (1995)
  38. Lunz, M, E., "Judge consistency and severity across grading periods", Evaluation and the Health Professions, 13(4), pp.425~444 (1990)
  39. McNamara, T, "Measuring second language performance" (1996), Addison Wesley Longman
  40. Myford, C. M., "Detecting and Measuring Rater Effects Using Many-Facet Rasch Measurement: Part Ⅰ", Journal of Applied Measurement, 4(4), pp.386~422 (2003)
  41. Peterson, S. S., "Sixth-grade teachers’ written comments on student writing: genre and gender influences", Written Communication, 23(1), pp.36~62 (2006)
  42. Peterson, S., "Evaluation and teachers’ perceptions of gender in sixth-grade student writing", Research in the Teaching of English, 33(2), pp.181~208 (1998)
  43. Rasch, G., "Copenhagen: Danish Insttitute for Educational Research" (1980), University of Chicago Press
  44. Spandel, V., "A Handbook for Student Performance Assessment in an Era of Restructuring" (1996), ASCD
  45. Weigle, S. C., "Assessing writing" (2002), Cambridge University Press
  46. Wright, B. D., "Reasonable mean-square fit values", Rasch Measurement Transactions, 8(3), pp.369~386 (1994)

관련 논문AI추천

쓰기 평가 영향 요인에 따른 국어 교사들의 평가 특성 분석 : 논술 평가를 중심으로정다운한국작문학회 · 작문연구2022 · 제54호현직 국어교사와 예비 국어교사의 쓰기 평가 비교 연구박영민, 최숙기한국교육과정평가원 · 교육과정평가연구2009 · 제12권 제1호국어교사의 쓰기평가 지식 차이 분석 - 성별, 학교급, 경력을 중심으로이은정한국작문학회 · 작문연구2020 · 제47호예비 국어교사의 설명문 분석적 채점에서 나타나는 특성에 대한 연구박찬흥한국작문학회 · 작문연구2018 · 제39호예비 국어교사의 성별 및 학생 성별 인식에 따른 평가 차이 분석박영민, 최숙기한국교육과정평가원 · 교육과정평가연구2010 · 제13권 제2호텍스트 분량 요인에 대한 현직 국어교사와 예비 국어교사의 쓰기 평가 특성 차이 분석가은아, 백유진청람어문교육학회 · 청람어문교육2021 · 제82호

이 간행물의 다른 논문 (9건)

국가 교육과정 총론 문서 장-절-항의 새로운 구성안 제안 연구홍후조, 한진호pp. 1-30국가 수준 영어과 교육과정의 쟁점 및 개선 방안 연구: 영어 교과 역량을 중심으로배주경, 주형미pp. 31-51캐나다 온타리오주 자국어 교육과정의 학생 질문 교육 내용 분석정혜승pp. 53-74초･중･고 학교 소비자교육 내용체계안 개발 및 활용 방안 연구정주원, 성경희, 정수진, 이소연, 배화순, 김태환pp. 75-103VR 스포츠실을 활용한 티볼 수업이 초등학생들의 학업성취도에 미치는 영향이한주, 이병구, 이홍석pp. 105-122
원문 보기