본문 바로가기
KERD
논문KCI 등재

한국어 쓰기 평가 점수의 공정성 연구 - 평가 방법, 평가자 요인, 학습자 요인의 영향에 대한 교차분류 다층분석 -

Evaluation of Korean Essay Test by A Cross-Classified Multi-level Models - focused on Raters, Scoring Methods, and Examinees -

0

조회

0

다운로드

3

인용

0

참고문헌

키워드

초록

The purpose of this study is to investigate how the scores of Korean language tests are influenced by the characteristics of examines, raters, and scoring methods. Data consist of 240 scores from the 24 raters who evaluated five students’ essays in two scoring methods, that are analytical and holistic methods. We focused on the effect of scoring methods and the rater severity along with their language differences and years of teaching experiences. For the analysis, we employed the Cross-classified Multilevel Models(CMM) in order to estimate the effects of scoring methods, of rater severity, of native language and of the teaching experiences simultaneously. We found the holistic scoring method was much more generous than analytical approach, and there existed very strong effects of rater severity. Other variables showed little effects on the test scores.

Abstract

The purpose of this study is to investigate how the scores of Korean language tests are influenced by the characteristics of examines, raters, and scoring methods. Data consist of 240 scores from the 24 raters who evaluated five students’ essays in two scoring methods, that are analytical and holistic methods. We focused on the effect of scoring methods and the rater severity along with their language differences and years of teaching experiences. For the analysis, we employed the Cross-classified Multilevel Models(CMM) in order to estimate the effects of scoring methods, of rater severity, of native language and of the teaching experiences simultaneously. We found the holistic scoring method was much more generous than analytical approach, and there existed very strong effects of rater severity. Other variables showed little effects on the test scores.

참고문헌 (53)

  1. 강상진, "이원다층모형과 EM 계산법에 의한 최대우도추정", 교육평가연구, 9(1), pp.31~62 (1996), 한국교육평가학회
  2. 강상진, "교육학의 미래와 다층모형", 한국교육, 30(3), pp.435~454 (2003), 한국교육개발원
  3. 강상진, "다층모형" (2016), 학지사
  4. 전민정, "다층자료의 구조적 특성에 따른 다층모형의 모수추정 비교 - 2-level HLM, 3-level HLM, CMM 방법의 비교 -", 교육평가연구, 18(2), pp.123~148 (2005), 한국교육평가학회
  5. 강승혜, "한국어 평가론" (2012), 태학사
  6. 강현화, "한국어교육학에서의 담화 연구 분석", 한국어교육, 23(1), pp.219~256 (2012), 국제한국어교육학회[DOI]
  7. 김라연, "총체적 쓰기 평가와 분석적 쓰기 평가의 상관 연구", 이중언어학, (35), pp.103~126 (2007), 이중언어학회[DOI]
  8. 김민경, "학문 목적 한국어의 쓰기 평가 유형 제안", 국어교과교육연구, 22, pp.373~389 (2013), 국어교과교육학회
  9. 김성숙, "학문 목적 한국어 쓰기 능력에 대한 분석적 평가의 일반화가능도 검증", 한국어교육, 22(3), pp.29~48 (2011), 국제한국어교육학회[DOI]
  10. 김성숙, "내·외국인 학생 간의 작문 수정 결과 비교", 국어국문학, (153), pp.377~416 (2009), 국어국문학회[DOI]
  11. 金裕正, "한국어 능력 평가 연구 : 숙달도 평가(korean proficiency Test)를 중심으로", 박사, 국어국문학, pp.1999
  12. 김원경, "한국어능력시험의 쓰기 평가 과제 구성 요소 분석", 새국어교육, (94), pp.389~412 (2013), 한국국어교육학회[DOI]
  13. 김정숙, "한국어 쓰기 능력 평가 방안- 종합적 채점과 분석적 채점 결과를 중심으로", 이중언어학, (43), pp.81~99 (2010), 이중언어학회[DOI]
  14. Cook, G., "담화" (2003), 범문사
  15. Trim, J. L., "언어 학습, 교수, 평가를 위한 유럽공통참조기준" (2007), 한국문화사
  16. 김현숙, "대학 글쓰기 평가와 평가자 전공 간 상관성 분석", 어문연구, 84, pp.353~372 (2015), 어문연구학회[DOI]
  17. 문지연, "쓰기의 총체적 평가와 분석적 평가 비교 연구 : 실태조사를 중심으로", 석사, 국어교육, pp.2000
  18. 박경자, "응용언어학사전" (2001), 경진문화사
  19. 박영민, "쓰기 평가 지식 측정을 위한 검사 도구 개발 연구", 청람어문교육, (46), pp.29~46 (2012), 청람어문교육학회[DOI]
  20. 배향란, "쓰기의 총체적 평가 방법 연구", 청람어문교육, 13, pp.280~315 (1995), 청람어문교육학회
  21. 서울대학교 국어교육연구소, "한국어 교육학 사전" (2014), 하우
  22. 석주연, "學術的 글쓰기의 評價에 대한 일고찰-大學 新入生의 論證文과 調査報告書를 중심으로-", 어문연구(語文硏究), 33(1), pp.493~520 (2005), 한국어문교육연구회
  23. 손다혜, "총체적 쓰기 평가와 분석적 쓰기 평가의 결과 비교 연구 : 고등학생 논설문, 설명문, 수필을 중심으로", 석사, 국어교육, pp.2011
  24. 신경선, "한국어 학습자의 작문에 나타난 정형화된 언어 사용이 작문 평가 결과에 미치는 영향", 어학연구, 48(1), pp.77~96 (2012), 언어교육원[DOI]
  25. 신현숙, "분석적 평가에 의한 논증글 쓰기 수행의 발달적 차이", 교육학연구, 46(1), pp.1~29 (2008), 한국교육학회
  26. 원진숙, "작문 교육의 이론적 기초와 방법론 연구 : 논술문의 지도와 평가를 중심으로", 박사, 국어국문학, pp.1995
  27. 이완기, "영어 평가 방법론" (2012), 문진미디어
  28. Renkema, J., "담화연구의 기초" (1996), 한국문화사
  29. 이인혜, "한국어 교사의 쓰기 평가 효능감과 평가 특성 연구", 이중언어학, (56), pp.231~266 (2014), 이중언어학회[DOI]
  30. 정지윤, "한국어 쓰기평가의 영향요인에 대한 교차분류 다층분석 : 평가자, 평가방법을 중심으로", 석사, pp.2017
  31. 정혜승, "국어과 교육과정 실행 요인의 작용 양상에 관한 연구 : 제6, 7차 중학교 교육과정을 중심으로", 박사, 국어국문학, pp.2002
  32. 정희모, "대학생 글에 대한 총체적 평가와 분석적 평가의 결과 비교 연구", 청람어문교육, (39), pp.251~273 (2009), 청람어문교육학회[DOI]
  33. 조남민, "한국어 쓰기 평가 기준과 채점 구상표 활용 방안에 관한 연구: 한국어 쓰기 평가 범주의 회귀분석을 중심으로", 한국언어문화교육학회 학술대회, pp.139~151 (2012), 한국언어문화교육학회
  34. 주세형, "국어 교과서 연구의 이론적 특성과 발전 방향", 국어교육학연구, 49(1), pp.657~701 (2014), 국어교육학회[DOI]
  35. 지은림, "사회과 보고서 수행평가를 위한 총체적 채점과 분석적 채점의 비교", 교육평가연구, 12, pp.11~24 (1999), 한국교육평가학회
  36. 진대연, "한국어 쓰기 능력 평가에 대한 연구-텍스트 생산 능력 평가를 중심으로", 국어교육학연구, (19), pp.483~512 (2004), 국어교육학회
  37. 최영환, "국어교육학 정립과 방향", 국어교육학연구, 16, pp.533~558 (1999), 국어교육학회
  38. Davies, A., "Dictionary of language testing" (1999), Cambridge University Press
  39. Hughes, A., "Testing for language teachers" (2007), Ernst Klett Sparachen
  40. Hyland, Ken, "Second Language Writing" (2012), Cambridge University Press
  41. Kroll, B., "Second language writing (Cambridge applied linguistics): Research insights for the classroom" (1997), Cambridge University Press
  42. Brown, H. D., "Language assessment, Principles and Classroom Practices" (2004), Pearson Education
  43. 최연희, "Rating Performance of EFL Teachers in Writing Assessment: Comparison of Experienced and Novice Raters", 교과교육학연구, 17(1), pp.199~215 (2013), 교과교육연구소[DOI]
  44. Douglas, D., "Assessing languages for specific purposes" (2002), Ernst Klett Sprachen
  45. Summer, D., "Dictionary of contemporary english" (2014), Pearson Education Limited
  46. Marefat, F., "Native and Iranian teachers’ perceptions and evaluation of Iranian students’ English essays", Assessing Writing, 27, pp.24~36 (2016)
  47. 이성용, "Rating of Korean Students’ L2 Writing: Similarities and Differences Between Native and Non-Native Raters", 교과교육학연구, 16(3), pp.629~655 (2012), 교과교육연구소[DOI]
  48. Lee, V. E., "Using hierarchical linear modeling to study social contexts : The case of school effects", Educational psychologist, 35(2), pp.125~141 (2000)
  49. Prater, D., "Developing Parallel Holistic and Analytic Scoring Guides for Assessing Elementary Writing Samples", Journal of Research and Development in Education, 17(1), pp.20~24 (1983)
  50. Raudenbush, S. W., "Hierarchical linear and nonlinear modeling(HLM7)", pp.1112~ (2011), Scientific Software International
  51. McNamara, T., "Language testing: The social dimension" (2006), John Wiley & Sons
  52. Yan, W., "Determinants of Chinese Students’ Academic Success in Korean Universities", Paper presented at the 36th Language Testing Research Colloquium: Towards a Universal Framework (2014)
  53. Nakamura, Y., "A comparison of holistic and analytic scoring methods in the assessment of writing", 3rd annual JALT Pan-SIG conference, pp.45~52 (2004)

관련 논문AI추천

이 간행물의 다른 논문 (5건)