본문 바로가기
KERD
논문KCI 등재

다국면 Rasch 모형을 활용한 예비 국어교사와 현직 국어교사의 쓰기 평가 특성 차이 분석

Analyzing the Differences in the Characteristics of Writing Evaluation between Pre-service and In-service Korean Teachers using the Multi-Faceted Rasch Model

박영민|백유진
청람어문교육학회 (Cheongram Korean Language Education Association)|2023.03|청람어문교육 (Journal of CheongRam Korean Language Education)|제92호|pp. 49-81|DOI 10.26589/jockle..92.202303.49

1

조회

0

다운로드

2

인용

0

참고문헌

키워드

일관성severity예비 교사pre-service teacherconsistencyin-service teacher엄격성현직 교사평가 편향rating bias

초록

이 연구의 목적은 고등학생 논설문 평가에서 나타나는 예비 교사와 현직 교사의 쓰기 평가 특성의 차이를 밝힘으로써 교원 양성 과정과 교사 연수에서의 평가자 교육을 위한 정보를 제공하는 것이다. 이를 위해 이 연구에서는 논설문 68편에 대한 예비 교사 42명과 현직 교사 33명의 평가 자료를 수집하여 평가자들의 엄격성, 일관성, 평가 기준 및 평가 척도 활용 양상, 평가자와 글 간 평가 편향, 평가자와 평가 기준 간 평가 편향을 분석하였다. 이 연구를 통해 도출한 결론은 다음과 같다. 첫째, 예비 교사보다 현직 교사가 엄격하게 평가하는 것으로 나타났다. 둘째, 두 집단 모두 과적합·부적합 평가자의 비율이 30% 이상 나타났다. 셋째, 두 집단 모두 근거와 관련된 평가 기준은 엄격하게, 필자의 주체적인 목소리와 관련된 평가 기준은 관대하게 평가했다. 넷째, 예비 교사들은 최하위 척도와 하위 척도를 변별하는 데 문제를 겪었다. 다섯째, 두 집단 모두 평가 초반부에 배치된 글, 수준이 매우 낮은 글을 평가할 때 많은 편향을 보였다. 여섯째, 두 집단 모두 난도가 가장 높거나 낮은 평가 기준에 편향을 보였다. 이러한 결과를 토대로 국어 교사의 쓰기 평가 전문성 신장을 위한 평가자 교육 방안을 제안하였다.

Abstract

The purpose of this study is to provide information for rater education in the teacher training process and teacher training by revealing the difference in writing evaluation characteristics between pre- and in-service teachers. The conclusions of this study are as follows. First, it was found that in-service teachers raters more severely than pre-service teachers. Second, in both groups, the proportion of overfit and misfit raters was more than 30%. Third, in both groups, the criteria related to the evidence were severely evaluated, and related to the writer's s voice were leniently evaluated. Fourth, pre-service teachers had problems distinguishing the lowest scale from the low scale. Fifth, both groups showed many biases when evaluating texts placed at the beginning of the evaluation, texts with very low levels. Sixth, both groups showed a bias in the criteria with the highest or lowest difficulty. Based on these results, an rater education plan was proposed to enhance the writing evaluation expertise of Korean language teachers.

참고문헌 (27)

  1. 김수미, "현직 국어교사와 예비 국어교사의 학생 글 평가 특성의 비교", 학습자중심교과교육연구, 19(21), pp.517~543 (2019), 학습자중심교과교육학회[DOI]
  2. 박영민, "국어교사의 작문평가 전문성 신장 방안", 작문연구, (13), pp.89~116 (2011), 한국작문학회
  3. 박영민, "예비국어교사의 중학생 논설문 평가에서 발견되는 엄격성 및 일관성의 특성", 국어교육학연구, (43), pp.253~283 (2012), 국어교육학회[DOI]
  4. 박영민, "현직 국어교사와 예비 국어교사의 쓰기 평가 비교 연구", 교육과정평가연구, 12(1), pp.123~143 (2009), 한국교육과정평가원
  5. 박종임, "국어교사의 쓰기 평가 특성 연구", 박사, 국어교육전공, pp.2013
  6. 백유진, "국어교사의 쓰기 평가 지식과 효능감이 논설문 평가에 미치는 영향", 석사, pp.2018
  7. 백유진, "국어교사의 사고구술 분석을 통한 학생 논설문 채점 편향의 원인탐색", 박사, pp.2021
  8. 백유진, "텍스트 분량 요인에 대한 현직 국어교사와 예비 국어교사의 쓰기 평가 특성 차이 분석", 청람어문교육, (82), pp.69~96 (2021), 청람어문교육학회[DOI]
  9. 백유진, "중학생 논설문 평가에 나타난 예비국어교사의 평가 특성 분석", 학습자중심교과교육연구, 21(1), pp.1119~1146 (2021), 학습자중심교과교육학회[DOI]
  10. 백유진, "예비국어교사의 중학생 설명문 평가 특성 및 일관성 변화 양상 분석", 학습자중심교과교육연구, 21(4), pp.857~882 (2021), 학습자중심교과교육학회
  11. 신동일, "채점 경향 분석을 위한 Rasch 측정모형 적용 연구", 외국어 교육, 8(1), pp.249~272 (2001)
  12. 장미, "국어교사의 주제 찬반 입장에 따른 논설문 평가 결과 분석", 석사, pp.2017
  13. 장소영, "언어교육평가 연구를 위한 FACETS프로그램" (2009), 글로벌콘텐츠
  14. 장은섭, "쓰기 평가에 대한 국어교사의 인식 및실태 조사 연구", 국어교육, (150), pp.329~358 (2015), 한국어교육학회
  15. 최미숙, "중등 국어과 교원양성 교육과정과 임용시험", 국어교육학연구, 52(4), pp.47~76 (2017), 국어교육학회[DOI]
  16. 최숙기, "논설문 평가에 나타난 국어교사의 평가 특성 및 편향 분석", 교육과정평가연구, 14(1), pp.201~228 (2011), 한국교육과정평가원
  17. Cumming, A., "Expertise in evaluating second language compositions", Language Testing, 7, pp.31~51 (1990)
  18. DeRemer, M. L., "Writing assessment : Raters’ elaboration of the rating task", Assessing Writing, 5(1), pp.7~29 (1998)
  19. Eckes, T., "Operational rater types in writing assessment : Linking rater cognition to rater behavior", Language Assessment Quarterly, 9(3), pp.270~292 (2012)
  20. Engelhard, G., "Examining rater errors in the assessment of written composition with a many-faceted Rasch model", Journal of Educational Measurement, 31, pp.93~112 (1994)
  21. He, T., "Multi-faceted Rasch measurement and bias patterns in EFL writing performance assessment", Psychological Reports, 112(2), pp.469~485 (2013)
  22. Kondo-Brown, K., "A FACETS analysis of rater bias in measuring Japanese L2writing performance", Language Testing, 19(1), pp.3~31 (2002)
  23. Linacre, J. M., "Many-Facet Rasch Measurement" (1989), MESA Press
  25. Lumley, T., "Assessing Second Language Writing : The Rater’s Perspective" (2005), Peter Lang
  26. Lumley, T., "Rater characteristics and rater bias : Implications for training", Language Testing, 12(1), pp.54~71 (1995)
  27. Pula, J. J., "Validating Holistic Scoring for Writing Assessment: Theoretical and Empirical Foundations", pp.237~265 (1993), Hampton Press

관련 논문AI추천

현직 국어교사와 예비 국어교사의 쓰기 평가 비교 연구박영민, 최숙기한국교육과정평가원 · 교육과정평가연구2009 · 제12권 제1호텍스트 분량 요인에 대한 현직 국어교사와 예비 국어교사의 쓰기 평가 특성 차이 분석가은아, 백유진청람어문교육학회 · 청람어문교육2021 · 제82호쓰기 평가 영향 요인에 따른 국어 교사들의 평가 특성 분석 : 논술 평가를 중심으로정다운한국작문학회 · 작문연구2022 · 제54호현직 국어교사와 예비 국어교사의 쓰기평가 지식의 차이 분석박영민한국작문학회 · 작문연구2013 · 제19호예비 국어교사의 설명문 분석적 채점에서 나타나는 특성에 대한 연구박찬흥한국작문학회 · 작문연구2018 · 제39호국어교사들의 쓰기 평가에서 나타난 엄격성 및 일관성 차이 분석: 논술 평가를 중심으로정다운한국교육과정평가원 · 교육과정평가연구2022 · 제25권 제3호

이 간행물의 다른 논문 (14건)

국어과 읽기 영역 서술형 평가를 위한 비지도 기반 인공지능 채점 보조 프로그램(SAAI)의 성능과 활용도 탐색하민수, 최진영pp. 7-48예비 국어교사의 논술 첨삭 지도 양상 분석편지윤pp. 83-113과학영재학교 국어과 창의·융합 독서 프로그램 사례 연구 -융합 시조 쓰기 활동을 중심으로-황인정, 임정훈pp. 115-148학습자 중심 교육에 대한 예비 국어교사의 주관적 인식 분류 － ‘학생 주도성(student agency)’의 이론적 관점에 기초하여장성민pp. 149-1922022 개정 국어과 교육과정 초등 1~2학년군 매체 영역 성취기준의 적절성 검토김희동, 김광희pp. 193-217
원문 보기