한국어 듣기 평가 문항의 선택지 제시 방법 연구
A Study on the Presentation Modes of Answer Options in Korean Listening Questions
0
조회
0
다운로드
4
인용
0
참고문헌
키워드
초록
본 연구는 한국어 듣기 평가의 선택지 제시 방법이 평가 결과에 미치는 영향을 살펴본 연구이다. 한국어능력시험(TOPIK)을 비롯한 대부분의 한국어 듣기 평가는 선택형 평가로 실시된다. 이는 평가의 실용성과 신뢰도를 확보하기 위함이다. 그러나 한국어로 쓰여 있는 사지선다형의 선택지는 듣기 능력보다는 읽기 능력이나 어휘 및 문법 능력에 더 집중할 우려가 있어 의사소통 능력으로서의 듣기 능력을 평가하는 데에는 한계가 있어 보인다. 듣기 평가에서 평가의 타당도를 높이기 위해서는 선택형 평가보다 수행 평가가 더 적절할 것이나 이는 시행 및 관리에 있어 어려움이 따른다. 이에 본고는 평가의 실용성과 신뢰도를 유지하면서 타당도를 제고하려면, 현재의 선택지 제시 방법을 비판적으로 검토하고 듣기 평가에 적합한 선택지 제시 방법을 제안하는 것이 필요하다고 보았다. 이를 위해 중급 수준의 한국어 학습자 30명을 대상으로 선택지가 문자와 음성, 모국어와 목표어로 서로 다르게 구성된 듣기 평가를 실시하여 평가 결과가 어떻게 달라졌는지를 살펴보았으며, 피험자들의 반응 분석 및 설문을 통해 듣기 평가의 선택지가 어떤 방향으로 개선되어야 하는지를 알아보았다. 실험 결과, 선택지의 제시 방법은 평가 결과에 유의미한 영향을 미쳤으며, 듣기 능력 중 평가하고자하는 세부 능력에 따라 문항 유형의 차별화와 함께 선택지의 제시 방법도 다양화되어야 함을 발견할 수 있었다.
Abstract
This study investigated the effects of different presentation modes of answer options in multiple-choice questions(MCQ) in Korean listening tests. In general, Korean listening proficiency tests, such as TOPIK, consist answer options with four Korean written choices for reliability and practicality. The thing to note is that written choices will require reading ability besides listening comprehension and it causes the lack of construct validity. This study tried to show the other presentation modes, such as oral choices and test-takers’ native language choices and compare the effects of them. Through the listening test and open-ended survey, the researchers investigated how the presentation modes of answer options affect the listening score and difficulty of the test. Thirty students in intermediate proficiency level participated in this study and all the test-takers shared the same first language, Chinese. The answer options of MCQ in Korean listening test were presented in three different modes, Korean Written Choices(KWC), Chinese Written Choices(CWC), Korean Oral Choices(KOC). As a result, the modes of answer options were turned out to affect the test result. The difficulty of the test was the lowest in CWC, while it was the highest in KOC. Oral choices are not familiar to the test-takes and it may introduce memory effects. The result also showed the correct rate in three modes varies with the types of question. The correct rate is very high in CWC in finding detailed information question, meanwhile some test-takersmentioned the listening-and-finding-response questions were easier in KOC. The results from this study can be used to diversify the presentation modes of answer options depending on test-takers’ variance and the types of question. Eventually it will contribute to raising the test validity.
참고문헌 (28)
- 강명순, "한국어 듣기 능력 평가 방안: 숙달도 평가를 중심으로", 한국어교육, 10(2), pp.47~94 (1999), 국제한국어교육학회
- 강소산, "한국어능력시험의 듣기 문항 분석", 석사, 외국어로서의한국어교육, pp.2009
- 김동규, "영어 듣기에 영향을 미치는 요인 분석을 통한 영어 듣기 이해력 향상 방안", 외국학연구, (20), pp.29~52 (2012), 외국학연구소
- 김소영, "선택지 유형이 영어듣기 이해와 이해도에 미치는 영향", 석사, 영어영문학, pp.2010
- 김소영, "영어 듣기 시험 방식이 수험 결과에 미치는 영향", 석사, 영어교육, pp.2011
- 김지혜, "구어 자료 활용이 듣기 평가 문항 개발에 미치는 영향 연구", 이중언어학, (56), pp.109~130 (2014), 이중언어학회
- 박기표, "문제의 제시방법과 문제의 종류가 청해에 미치는 영향", 영어교육, 55(1), pp.141~156 (2000), 한국영어교육학회
- 박민신, "한국어 듣기 평가 텍스트의 진정성 연구 －대화형 텍스트의 상호작용적 측면을 중심으로－", 한국어교육, 19(1), pp.93~112 (2008), 국제한국어교육학회[DOI]
- 裵文卿, "한국어 듣기 평가 방안 연구", 석사, 국어교육, pp.1998
- 송영승, "한국어능력시험의 초급 듣기영역 문항 분석 연구", 석사, 외국어로서의한국어교육학과 외국어로서의한국어교육전공, pp.2013
- 안미란, "학문 목적의 한국어 듣기 평가- 대학 지원자의 학업능력평가를 중심으로-", 이중언어학, (34), pp.247~270 (2007), 이중언어학회
- 유소정, "외국어능력시험과의 비교를 통한 한국어능력시험 듣기 문항 분석 연구", 석사, 외국어로서의한국어교육전공, pp.2012
- 대학수학능력시험 외국어(영어) 영역 시험의 지시문, 질문 및 선택지를 영어로 제시하는 정책 방안의 교육적 효과 연구, "윤지환", 한국교육과정평가원, ~ (2011)
- 이병민, "영어 듣기평가 신유형 문항개발의 타당도 연구", 중등영어교육, 9(4), pp.141~165 (2016), 한국중등영어교육학회
- 이완기, "영어평가방법론" (2003), 문진미디어
- 정선화, "한국어 듣기교육 연구의 통시적 고찰", 어문론집, 58, pp.517~553 (2014), 중앙어문학회[DOI]
- 최인철, "외국어능력 검정시험 개발 모델,", 어학연구, 29(3), pp.383~425 (1993), 서울대학교어학연구소
- 최주원, "대학수학능력시험 언어 영역 듣기 평가의 적합성 연구 : 질문지와 선택지 제시 방식이 평가에 미치는 영향을 중심으로", 석사, 국어교육, pp.2006
- 한주경, "듣기 숙달도 평가의 타당성 연구: KPT 및 KLPT 듣기 평가를 중심으로", 석사, 외국인을위한한국어교육, pp.2003
- 한하림, "한국어능력시험 듣기 담화의 상황 맥락 연구", 이중언어학, (55), pp.457~485 (2014), 이중언어학회
- Buck, G, "Assessing Listening" (2001), Cambridge University Press
- Hughes, A., "Testing for language teachers" (2003), Cambridge University Press
- Madsen, H. S., "Techniques in testing" (1983), Oxford University Press
- 임병빈, "영어교육평가기법" (1993), 한국문화사
- McNamara, T. F, "Language Testing" (2000), Oxford University Press
- Shohamy, E, "Input and Output in Language testing" (1984)
- 염수혜, "The Effects of Presentation Mode and Item Type on L2 Learners’ Listening Test Performance and Perception", 영어교육, 71(4), pp.27~54 (2016), 한국영어교육학회[DOI]
- Yanagawa, K., "To show or not to show: The effects of item stems and answer options on performance on a multiple-choice listening comprehension test", System, 36, pp.107~122 (2008)