온라인 방식 한국어 학문 목적 말하기 평가에서 변인 연구
A Study of variables in the online Korean speaking tests for academic purpose
1
조회
0
다운로드
7
인용
0
참고문헌
키워드
초록
본 연구에서는 한국어를 외국어로 학습하는 외국인들을 대상으로 학문 목적 말하기 평가 수행에 관여하는 변인들을 추적 관찰하였다. 연구 주제는 과제 유형(서사, 설득, 설명)이 평가자(6인), 평가 유형(가형 나형), 한국어 능력수준(중급하, 중급상, 상급하, 상급상), 학력 수준(고졸, 대재, 대졸, 석사, 박사)등의 변인과 상호작용하여 평가 결과에 어떤 영향을 미치는가를 살펴보는 것이다. 4개 한국어 능력 수준(중급하, 중급상, 상급하, 상급상)에 해당하는 394명의 외국인 유학생들이 온라인 비대면 시험에 응시하였고, 6명의 한국인 교강사들이 평가를 하였다. 분석 결과 이들의 한국어 능력 수준은 과제 유형에 따라 평가에 다른 영향을 미쳤다. 즉, 중하급 수준의 피평가자들은 과제 유형간에 폭넓은 범위의 logit 분포를 보였지만, 상급상 수준의 피평가자들은 비교적 좁은 범위의 분포를 보였다. 또한 과제 난도(difficulty)에서도 수준 간에는 차이가 있었다. 중급하 집단은 ‘서사(경험) > 설명(도표), 설득(대화) > 설득(지문 > 설득(강의) > 설명(그림)’순으로 일상적인 경험 표현이 비교적 쉬운 영역이지만, 상급상 집단에서는 ‘설득(강의) > 설득(대화) > 설명(그림) > 설명(도표) > 설득(지문 > 서사(경험)’순으로서 학문 영역 과제가 비교적 쉬운 영역으로 나타났다. 가형 및 나형 평가지에 따라서 가장 어려운 난도에 해당하는 과제는 달랐다. 가형 평가지에서는 설명(그림) 과제가, 나형 평가지에서는 설득(강의) 과제가 가장 난도가 큰 과제로 나타났다. 이 결과들은 온라인 비대면 평가에서는 과제 설계도 중요하지만, 이런 변수들을 고려할 수 있는 평가자 교육이 필요함을 보여준다.
Abstract
Foreign students learning Korean took part in an online speaking test to evaluate their ability to speak Korean. The major research questions covered the effects the task types have on L2 test-takers’ proficiency, test types, and raters. Furthermore, the authors investigated what the results imply regarding the design and implementation of Korean-language tests. The authors divided the 394 participants into four proficiency levels: mid-low, mid-high, high-low, high-high. Six native speakers were invited to assess the ratings. The findings indicated that the effects of Korean proficiency levels on ratings differed depending on test type. The subjects of the mid-low level showed a wide range of logic across the tasks, while those of high-high level a narrow range. Moreover, the degree of difficulty on both levels could be ordered as follows: ‘story (experience) > explain (table), persuasion (dialog) > persuasion (read) > persuation (lecture) > explain (picture)’ for the mid-low group, and ‘persuasion (lecture) > persuasion (dialogue)> explain (picture) > explain (table) > persuasion (read) > story (experience)’ for the high-high group. The most difficult task, however, was the different test types: the persuasion task (lecture) on the B type and the explanation task (picture) on the A type. The study revealed that rater training should be strengthened in the case of an online, non-interview speaking test.
참고문헌 (37)
- 강석한, "한국어 말하기 평가에서 고정 오류 연구", 이중언어학, (63), pp.1~22 (2016), 이중언어학회[DOI]
- 강석한, "외국인 한국어 말하기 시험의 평가자 요소가 채점에 미치는 영향", 이중언어학, (55), pp.1~29 (2014), 이중언어학회[DOI]
- 김상경, "학문 목적 한국어 학습자의 말하기 능력 평가 방안 연구", 박사, pp.2015
- 김정숙, "한국어 표준 말하기 시험 측정 도구를 위한 기초 연구", 한민족어문학(구 영남어문학), (51), pp.227~258 (2007), 한민족어문학회
- 한국어 능력 시험 체제 개선 연구, "김정숙", 국립국제교육원, ~ (2010)
- 김평원, "말하기 평가의 분석 모형 연구", 박사, 국어교육, pp.2010
- 김현아, "재미동포 청소년 학습자의 한국어 통사 복잡성 발달 연구", 박사, pp.2016
- 남신혜, "과제 분석을 통한 학문 목적 한국어 말하기 평가 문항 개발", 언어와 문화, 13(1), pp.137~169 (2017), 한국언어문화교육학회[DOI]
- 민병곤, "학문 목적 한국어 말하기 평가 도구 개발 연구", 국어교육, (157), pp.309~340 (2017), 한국어교육학회
- 민진영, "외국인 유학생의 한국어 능력 부족에 따른 대학원 생활 경험 연구", 다문화교육연구, 7(2), pp.159~181 (2014), 한국다문화교육학회[DOI]
- 박광진, "학문 목적 한국어 학습자 대상 교실 말하기 평가 방안 연구", 석사, 외국어로서의한국어교육, pp.2010
- 박현정, "문항반응이론을 활용한 학문 목적 한국어 말하기 평가 문항 및 채점자 특성 분석", 이중언어학, (73), pp.177~203 (2018), 이중언어학회[DOI]
- 박혜미, "학문목적 학습자를 위한 한국어 말하기 과제 유형 개발 방안", 석사, 외국인을위한한국어교육, pp.2011
- 유해준, "외국인 유학생을 위한 대학 교양 한국어 교재 개발 방안", 사고와표현, 8(1), pp.73~106 (2015), 한국사고와표현학회[DOI]
- 이성준, "한국어 말하기 평가의 채점 변인 연구(채점과정 분석을 중심으로)", 박사, pp.2019
- 이향, "한국어 말하기 평가의 발음 영역 채점에서의 채점자 특성에 따른 채점 경향 연구 -한국어 교육 경험과 전공을 중심으로-", 외국어로서의 한국어교육, 39, pp.213~245 (2013), 언어연구교육원 한국어학당
- 홍은실, "학문 목적 한국어 말하기 능력 평가 도구 개발을 위한 요구 분석", 한국어교육, 27(4), pp.243~268 (2016), 국제한국어교육학회[DOI]
- Bachman, L. F., "Language Testing In Practice : Designing and developing useful language tests" (1996), Oxford University Press
- Barnwell, D., "Naive native speakers and judgements of oral proficiency in Spanish", Language Testing, 6(2), pp.152~163 (1989)
- Brown, A., "The effect of rater variables in the development of an occupation-specific language performance test", Language Testing, 12(1), pp.1~15 (1995)
- Brown, A., "An examination of rater orientations and test‐taker performance on English‐for‐academic : purposes speaking tasks", ETS Research Report Series, 200, pp.5~1 (2005)
- Butler, F. A., "TOEFL 2000 speaking framework" (2000), Educational Testing Service
- Fulcher, G., "Testing Second Language Speaking" (2014), Routledge
- Hinkel, E., "Native and pre-native speakers’ pragmatic interpretations of English texts", TESOL Quarterly, 28(2), pp.353~376 (1994)
- Jordan, R. R., "English For Academic Purposes : A guide and resource book for teachers" (1997), Cambridge University Press
- 강석한, "A Study of the Korean English Teachers’ Rating Tendency to the Oral English Proficiency Tests", 영어영문학, 21(4), pp.237~264 (2016), 미래영어영문학회
- 강석한, "A Comparative Study on Criteria and Tasks in Korean English Speaking Assessment by Native and Non-native Raters", 어학연구, 48(2), pp.241~262 (2012), 언어교육원
- Kobayashi, T., "Native and prenative reactions to ESL compositions", TESOL Quarterly, 26(1), pp.81~112 (1992)
- Lumley, T., "Rater characteristics and rater bias : Implication for training", Language Testing, 12, pp.54~71 (1995)
- Luoma, S., "Assessing Speaking" (2004), Cambridge University Press
- McNamara, T. F., "Measuring Second Language Performance" (1996), Addison Wesley Longman
- Meiron, B. E., "Rating Oral Proficiency Tests : A triangulated study of rater thought processes", Language Testing Research Colloquium (1998), CUP
- North, B., "Scaling descriptors for language proficiency scales", Language testing, 15(2), pp.217~262 (1998)
- Shohamy, E., "The effect of raters’ background and training on the reliability of direct writing tests", The Modern Language Journal, 76(1), pp.27~33 (1992)
- Weigle, S., "Using FACETS to model rater training effects", Language Testing, 15, pp.263~287 (1998)
- Wolfe, E. W., "Application of latent trait models to identifying substantively interesting raters", Educational Measurement : Issues and Practice, 31(3), pp.31~37 (2012)
- Investigating the utility of analytic scoring for the TOEFL Academic Speaking Test(TAST), "Xi, X.", ETS, ~, pp.ETS Research Report Series, 2006-1 (2006)