한국어 말하기 평가에서 나타난 채점자 신뢰도 및 일관성 연구
A Study on Raters’ Reliability and Consistency Observed in Korean Speaking Tests
0
조회
0
다운로드
3
인용
0
참고문헌
키워드
초록
This study aims to examine the reliability and consistency of raters of Korean speaking tests. This basic research can identify the type of education that can enhance the reliability of rating in speaking tests, which are mainly assessed using subjective assessment criteria. In this study, we intended to study the rating tendencies, reliability, and consistency of raters by conducting two separate experiments under the same conditions and separated by a certain interval. As a result of the analysis using the FACETS program based on the Many-Facets Rasch Measurement model, the second rating saw an overall improvement in inter-rater reliability; however, raters’ consistency varied regardless of their career experience in the field of Korean language education. It is necessary to train raters to improve assessment reliability, and these study results confirmed that individualized training that can be customized for each rater’s personality or characteristics is needed. In addition, this could be an alternative to training raters if the intention is to improve self-consistency through self-observation by using scientific tools that can measure the rater’s reliability and consistency.
Abstract
This study aims to examine the reliability and consistency of raters of Korean speaking tests. This basic research can identify the type of education that can enhance the reliability of rating in speaking tests, which are mainly assessed using subjective assessment criteria. In this study, we intended to study the rating tendencies, reliability, and consistency of raters by conducting two separate experiments under the same conditions and separated by a certain interval. As a result of the analysis using the FACETS program based on the Many-Facets Rasch Measurement model, the second rating saw an overall improvement in inter-rater reliability; however, raters’ consistency varied regardless of their career experience in the field of Korean language education. It is necessary to train raters to improve assessment reliability, and these study results confirmed that individualized training that can be customized for each rater’s personality or characteristics is needed. In addition, this could be an alternative to training raters if the intention is to improve self-consistency through self-observation by using scientific tools that can measure the rater’s reliability and consistency.
참고문헌 (21)
- 강소산, "한국어 말하기 성취도 평가에 대한 교사의 인식과 말하기 평가 효능감", 화법연구, (30), pp.1~36 (2015), 한국화법학회[DOI]
- 강석한, "외국인 한국어 말하기 시험의 평가자 요소가 채점에 미치는 영향", 이중언어학, (55), pp.1~29 (2014), 이중언어학회[DOI]
- 한국어능력시험의 CBT, "IBT 기반 말하기 평가를 위한 문항 유형 개발", 국립국제교육원, 2012, 연구보고서 No. 11-1341186-000004-01
- 김경선, "일반화가능도 이론을 적용한 한국어 말하기 성취도 평가의 신뢰도와 오차요인 분석", 한국어교육, 21(4), pp.51~75 (2010), 국제한국어교육학회[DOI]
- 나카가와 마사오미, "한국어교육에서 ACTFL-OPI의 활용 방안", 국어교육학연구, (37), pp.283~311 (2010), 국어교육학회[DOI]
- 신동일, "채점 경향 분석을 위한 Rasch 측정모형 적용 연구", 외국어교육, 8(1), pp.249~272 (2001)
- 원미진, "한국어 말하기 평가 개발을 위한 채점 경향 분석 연구", 외국어로서의 한국어교육, 47, pp.169~192 (2017), 언어연구교육원 한국어학당
- 이영식, "영어작문 평가에 대한 채점자 훈련의 원리", 영어교육, 55(2), pp.201~217 (2000)
- 이영식, "다국면 Rasch 측정의 Facets 프로그램을 활용한 영어 작문 평가의 원어민 채점 검증", 영어어문교육, 20(1), pp.475~496 (2014), 한국영어어문교육학회
- 이완기, "대학생의 영어 말하기 능력 평가 모형", 영어교육, 50(1), pp.37~63 (1995)
- 이은하, "학문 목적 한국어 쓰기 수행 평가의 채점자 신뢰도 검증 - 다국면 Rasch 모형을 활용하여 -", 새국어교육, (103), pp.311~354 (2015), 한국국어교육학회[DOI]
- 이지선, "KPE 한국어능력시험 실전모의고사 01 문제집" (2008), YBM sisa
- 이향, "말하기 수행 평가에서 발음 범주 채점의 최적화 방안 연구 -일반화가능도 이론을 활용하여-", 한국어교육, 23(2), pp.301~329 (2012), 국제한국어교육학회[DOI]
- 이향, "한국어 말하기 수행평가의 발음 범주 채점 방식에 따른 채점 신뢰도 분석 -다국면 라쉬 모형을 활용하여-", 외국어로서의 한국어교육, 37, pp.325~355 (2012), 언어연구교육원 한국어학당
- 이향, "한국어 말하기 평가의 발음 영역 채점에서의 채점자 특성에 따른 채점 경향 연구 -한국어 교육 경험과 전공을 중심으로-", 외국어로서의 한국어교육, 39, pp.213~245 (2013), 언어연구교육원 한국어학당
- 이향, "한국어 학습자의 발화에 대한 한국어 교사와 비교사 원어민 간의 평가 차이 연구", 한국어교육, 25(4), pp.163~188 (2014), 국제한국어교육학회[DOI]
- 최연희, "채점자 훈련이 영어 작문 채점에 미치는 효과에 대한 연구: FACETS 분석을 통한 신뢰도 변화 분석", 응용언어학, 18(1), pp.13~292 (2002), 한국응용언어학회
- Burden, P. R., "Implications of teacher career development: New roles for teacher, administrators and professors", Action in Teacher Education, 4(4), pp.21~25 (1983)
- Herman, J. L., "수행평가 과제 제작의원리와 실제" (2000), 이화여자대학교 출판부
- McNamara, T. F., "Measuring second language performance" (1996), Longman
- Weigle, S. C., "Using FACETS to model rater training effects", Language Testing, 15(2), pp.263~287 (1998)