본문 바로가기
KERD
논문KCI 등재

쓰기 평가 전문성 신장을 위한 온라인 채점자 훈련 프로그램 개발 방향 연구

A Study on Development of the On-line Rater Training Program for writing Assessment

박종임
한국작문학회 (Korean Writing Association)|2013.03|작문연구|제17호|pp. 413-440

0

조회

0

다운로드

15

인용

0

참고문헌

키워드

쓰기 평가writing assessmentrater reliability채점자 신뢰도채점자 일관성rater consistency쓰기 채점자 훈련writing rater training
주제분류한국어와문학

초록

이 연구는 직접 쓰기 평가에서 쓰기 평가의 신뢰도를 개선하고, 이를바탕으로 하여, 학교 단위 쓰기 평가의 신뢰도를 높이고, 나아가 대단위쓰기 평가의 적용 가능성을 높이기 위해서 온라인 쓰기 채점자 훈련 프로그램을 제안하였다. 또한 이에 따라 온라인 쓰기 채점자 훈련 프로그램의 모형과 절차를 구안하였다. 온라인 쓰기 채점자 훈련 프로그램은개별 채점자의 채점 정보를 구체적으로 제공함으로써 채점자 스스로 교정적 피드백을 할 수 있는 프로그램이다. 이 때에 제공할 수 있는 채점정보로는 첫째, 전문 채점자의 채점 결과와의 일치도 정보, 둘째, 채점자의 엄격성, 일관성, 편향성 정보, 셋째, 채점자의 채점 척도 활용 양상,넷째, 채점 분량 변화에 따른 채점 일관성 변화 정보이다. 쓰기 채점자훈련 방법을 마련하고 이를 검증하는 연구는 지속적으로 수행되어야 하고, 이를 통해 쓰기 평가의 신뢰성을 개선하려는 노력이 절실하게 요구된다.

Abstract

This paper aimed to suggest on-line rater training program for improving writing rater reliability and making higher the possibility that large scale writing assessment put into operation in Korea. For this, this paper suggested the model and process of on-line rater training program. On-line rater training program offer rater characteristics information affecting the reliability of writing scoring. Writing rater characteristics are these: inter-rater agreement, rater severity, rater consistency, rater bias,aspect of using rating scale and change of rater consistency. From these discussion it can be suggested that writing rater training programme for Korean language teachers should be reflecting their rater characteristics and feedback them for improving rater reliability.

참고문헌 (30)

  1. 박영민, "국어교사의 설명문 평가에 대한 모평균 추정과 평가 예시문 선정", 우리어문연구, (36), pp.293~326 (2010), 우리어문학회
  2. 박영민, "중학생 논설문 평가의 모평균 추정과 평가 예시문 선정", 국어교육, (131), pp.437~461 (2010), 한국어교육학회
  3. 박영민, "Rasch 모형을 활용한 국어교사의 쓰기 평가 특성 분석－중학생 설명문 쓰기 평가를 중심으로－", 국어교육학연구, (37), pp.367~391 (2010), 국어교육학회
  4. 박종임, "국어교사의 쓰기 평가 특성 연구", 박사, 국어교육전공, pp.2013
  5. 박종임, "Rasch 모형을 활용한 국어교사의 채점 일관성 변화 양상 및 원인 분석 -중학생 서사문 채점을 중심으로-", 우리어문연구, 39(39), pp.301~335 (2011), 우리어문학회
  6. 이영식, "영어작문평가에 대한 채점자 훈련의 원리", 영어교육, 55(2), pp.201~217 (2000)
  7. Cole, P.G., "Teaching principles and practives" (1987), Prentice Hall
  8. Congdon, P. J., "The stability of rater severity in large-scale assessment programs", Journal of Educational Measurement, 37(2), pp.163~178 (2000)
  9. Eckes, T., "Introduction to Many-facet rasch measurement: Analyzing and evaluating rater-mediated assessments" (2011), Lang
  10. Elder, C., "Individual feedback to enhance rater training: Does it work?", Language Assessment Quarterly, 2, pp.175~196 (2005)
  11. Elder, C., "Evaluating rater responses to an online training program for L2 writing assessment", Language Testing, 24, pp.37~64 (2007)
  12. Knoch, U., "Re-training writing raters online: How does it compare with face-to-face training?", Assessing Writing, 12, pp.26~43 (2007)
  13. Knoch, U., "Investigating the effectiveness of individualized feedback to rating behavior", Language Testing, 28(2), pp.179~200 (2010)
  14. Kulhavy, R. W., "Written feedback : Response certitude and durability", Contemporary Educational Psychology, 15(4), pp.319~332 (1990)
  15. Landy, F. J., "The measurement of work performance: Methods, theory, and application" (1983), Academic Press
  16. Linacre, J. M., "Objectivity for judge-mediated certification examinations", Paper presented at annual meeting of the American Education Research Association (1989)
  17. Linacre, J. M., "A User's Guide to Facets: Rasch measurement computer program (version 3.0)" (1996), MESA Press
  18. Linacre, J. M., "Many-faceted Rasch measurement" (1989), MESA Press
  19. Lumley, T., "Rater characteristics and rater bias : Implications for training", Language Testing, 12(1), pp.54~71 (1995)
  20. Lunz, M, E., "Judge consistency and severity across grading periods", Evaluation and the Health Professions, 13, pp.425~444 (1990)
  21. McNamara, T, F., "Exploring rater characteristics with Rasch techniques, In Selected papers of the 13th Language Testing Research Colloquium (LTRC). Educational Testing Service", ERIC Document Reproduction Service ED, 345~498 (1994)
  22. McNamara, T, F., "Item Response Theory and the validation of an ESP test for health professionals", Language Testing, 7(1), pp.52~75 (1990)
  23. McNamara, T. F., "Language Testing" (2000), Oxford University Press
  24. Myford, C. M., "Detecting and measuring rater effects using many-facet Rasch measurement: Part Ⅰ", Journal of Applied Measurement, 4(4), pp.386~422 (2003)
  25. Myford, C. M., "Detecting and measuring rater effects using many-facet Rasch measurement : Part Ⅱ", Journal of Applied Measurement, 5(2), pp.189~227 (2004)
  26. Sadler, D. R., "Formative assessment and the design of instructional systems", Instructional Science, 18(2), pp.119~144 (1989)
  27. Weigle, S. C., "Effects of training on raters of ESL compositions", Language Testing, 11(2), pp.197~223 (1994)
  28. Weigle, S. C., "Using FACETS to model rater training effects", Language Testing, 15(2), pp.263~287 (1998)
  29. Wolfe, E. W., "Cognitive differences in proficient and nonproficient essay scores", Written Communication, 15, pp.465~492 (1998)
  30. Zimmerman, B. J., "Self-efficacy : An essential motive to learn", Contemporary Educational Psychology, 25(1), pp.82~91 (2002)

관련 논문AI추천

글쓰기 채점 전문 인력 양성 프로그램 개발 연구권은선, 김동섭, 김선희, 남가영, 민병곤, 민소연, 송규민, 오예림, 이성준, 이수진, 장성민, 정은선, 홍태경한국작문학회 · 작문연구2024 · 제61호영작문 평가를 위한 채점자 훈련의 방향이지연현대영어교육학회 · 현대영어교육2009 · 제10권 제3호쓰기 평가 워크숍이 예비 교수자의 쓰기 평가 전문성 신장에 미치는 효과이윤빈한국작문학회 · 작문연구2015 · 제27호한국어 교사의 채점자 훈련 모형 개발최윤곤, 허유리국제한국언어문화학회 · 한국언어문화학2013 · 제10권 제2호쓰기 평가 연구의 경향과 과제 탐구김진웅, 주민재한민족문화학회 · 한민족문화연구2016 · 제54권 제54호작문 채점에서의 인지적 과정 모형에 대한 이론적 고찰박종임청람어문교육학회 · 청람어문교육2014 · 제52호

이 간행물의 다른 논문 (13건)

자기 질문 전략을 활용한 구두 작문의 효과 탐색가은아pp. 9-36독자를 고려한 설득하는 글쓰기 지도양경희pp. 37-67자기 평가 전략을 활용한 고쳐쓰기 양상 분석정미경pp. 69-100학생 글에 대한 교사의 반응 분석-‘꿀맛닷컴 중학사이버논술’의 첨삭 자료를 중심으로-김경화pp. 101-153PCK에 기반한 국어과 쓰기 수업 설계 방안 연구박태호, 최민영pp. 155-192
원문 보기