유학생의 한국어 듣기 평가를 위한 한국어능력시험의 내용 타당도 분석 연구
A Study on Content Validity Analysis of Test of Proficiency in Korean for Evaluation of Korean Listening Comprehension of International Students
2
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
본 연구의 목적은 학문 목적 한국어 듣기 평가 개발을 위하여 유학생 평가 도구로 사용되는 TOPIK의 내용 타당도를 검토하는 데에 있다. 학문 목적 학습자의 언어 능력을 판단하기 위해 안정적으로 이용되고 있는 TOEFL iBT와 비교를 통해 TOPIK의 타당도를 고찰하였다. 두 시험의 기출 문제지는 7회 분량씩 각 350문항, 206문항이 수집되었다. 수집된 자료들은 입출력의 관점에서 코딩 값을 부여하였으며 IBM SPSS Statistics 26.0을 통해 분석하였다. 분석 결과, TOEFL은 모든 지문이 강의, 면담, 행정 담화들로 구성된 데 반해, TOPIK은 유학생의 목표 상황과 관련성이 떨어지는 장면들이 78%에 달하였으며, 면담 상황은 고려되지 않았다. 출력 양상의 경우에도 비교적 고른 분포를 보이는 TOEFL과 달리, TOPIK에서는 특정 유형에 편중되어 있었고, 강의 듣기에서는 논리적 추론 질문이, 행정 담화에서는 화용적 추론 질문이 출제되지 않았다. 두 시험의 차이는 통계적으로도 유의하였으며, TOEFL 대비 상대적인 관점에서는 물론 절대적인 관점에서도 타당도가 높지 않았다. 이에 현실적인 조건들을 감안하여 현행 시험의 큰 틀은 유지하되 타당도를 높일 수 있는 개선 방안을 마련하였다.
Abstract
The purpose of this study is to investigate the content validity of TOPIK, which is employed as an evaluation tool for international students in order to develop Korean listening evaluation for academic purposes. The validity of TOPIK was examined by comparing it with TOEFL iBT, which is stably used to measure the language ability of learners with academic purposes. 350 questions and 206 questions were collected from 7 papers of each test. The collected data were coded in terms of input and output, and analyzed with the use of IBM SPSS Statistics 26.0. The results indicate that all the passages in TOEFL consisted of lectures, counseling, and administrative discourses, whereas in TOPIK, 78% of the scenes were less relevant to the target language use domain of international students, and the counseling situation was not considered at all. In the case of output patterns, unlike TOEFL, which showed relatively even distribution, TOPIK was focused on specific question types, and in lecture listening, logical reasoning questions were not presented, and pragmatic reasoning questions were not given in administrative discourse. The difference between the two tests was statistically significant, and the validity of the TOPIK test was not high compared to TOEFL, nor was it in itself. In consideration of practicality, educational application which can increase the validity while maintaining the frame of the current test, was suggested.
참고문헌 (35)
- ETS, "Official iBT Tests: Volume 1" (2020), McGraw-Hill
- ETS, "Official iBT Tests: Volume 2" (2020), McGraw-Hill
- 유학생 유치 확대방안(안), "교육부", 교육부, ~ (2015)
- 김성숙, "학문 목적 한국어 쓰기 숙달도 평가 연구 - 보고서 쓰기 과제를 중심으로 -", 한국어교육, 24(2), pp.57~80 (2013), 국제한국어교육학회[DOI]
- 김승현, "학문 목적 한국어 쓰기 평가 기준 개발을 위한 기초 연구", 반교어문연구, (53), pp.79~112 (2019), 반교어문학회
- 김정숙, "한국어능력시험 20년 발전사와 최근 동향 -1997년 제1회 시험부터 2016년 제52회 시험까지-", 한국어교육, 28(3), pp.1~24 (2017), 국제한국어교육학회[DOI]
- 김정숙, "한국어 능력 시험의 개선 방안 연구(Ⅱ) -평가 문항 유형을 중심으로-", 한국어교육, 16(2), pp.91~108 (2005), 국제한국어교육학회
- 민병곤, "학문 목적 한국어 말하기 평가 도구 개발 연구", 국어교육, (157), pp.309~340 (2017), 한국어교육학회
- 박수현, "한국어능력시험의 학문 목적 사용에 관한 타당화 - 평가사용논증 모형을 중심으로-", 한국어교육, 30(3), pp.21~49 (2019), 국제한국어교육학회[DOI]
- 법무부, "출입국⋅외국인정책 통계월보 –2021년 7월호-", 법무부 출입국⋅외국인정책본부, ~ (2020)
- 성태제, "현대교육평가" (2019), 학지사
- 안미란, "학문 목적의 한국어 듣기 평가- 대학 지원자의 학업능력평가를 중심으로-", 이중언어학, (34), pp.247~270 (2007), 이중언어학회[DOI]
- 양길석, "한국어능력시험의 구인타당도 분석", 언어와 문화, 8(2), pp.187~212 (2012), 한국언어문화교육학회[DOI]
- 류선숙, "대학 내 학문 목적 한국어 학습자의 입학 전 한국어 수준과 학업성취도의 관계 연구", 교양교육연구, 13(6), pp.245~270 (2019), 한국교양교육학회
- 이기영, "외국인 대학원생들의 학업 수행 기술에 대한 고찰 -학습자, 교수자 요구 분석을 중심으로-", 한국언어문화학, 16(3), pp.203~235 (2019), 국제한국언어문화학회[DOI]
- 이주미, "대학 수학 한국어 학습자의 글쓰기 교육에 대한 내용 범위 연구 - 요구분석에 따른 우선순위결정을 중심으로 -", 한국어교육, 27(2), pp.229~250 (2016), 국제한국어교육학회[DOI]
- 이해영, "21세기 한국어교육학의 현황과 과제", pp.93~128 (2002), 한국문화사
- 이해영, "학문 목적 한국어 교과과정 설계 연구", 한국어교육, 15(1), pp.137~164 (2004), 국제한국어교육학회
- 이해영, "한국어 이해능력 평가의 원리 및 실제", 한국어교육, 16(3), pp.275~304 (2005), 국제한국어교육학회
- 임채훈, "읽기 평가를 위한 ‘중심내용 찾기’ 문항의 선택지 구성에 대한 연구-텍스트 유형을 변인으로 한‘<한국어능력시험(TOPIK)>Ⅱ읽기’ 분석을 중심으로-", 이중언어학, (76), pp.137~162 (2019), 이중언어학회[DOI]
- 장민정, "학문 목적 한국어 듣기에 대한 대학 유학생의 요구와 인식 연구", 문화와융합, 40(1), pp.263~290 (2018), 한국문화융합학회[DOI]
- 전은주, "한국어 능력 시험 평가 문항의 내용타당도 분석 -제12회 일반 한국어(S-TOPIK)의 쓰기 듣기 읽기 영역을 중심으로-", 국어교육학연구, (31), pp.129~165 (2008), 국어교육학회[DOI]
- 조성해, "유학생의 수강 신청 문의 담화 분석 연구", 이중언어학, (77), pp.185~213 (2019), 이중언어학회[DOI]
- 최문석, "입출력 강화를 통한 한국어 듣기 교육 연구", 박사, 국어국문학과 국어학전공, pp.2012
- 최성호, "외국인유학생의 교육과정에 대한 요구분석", 교육문화연구, 24(2), pp.615~640 (2018), 교육연구소[DOI]
- 최정순, "연구 동향 분석을 통해 본 학문 목적 한국어교육 연구의 실태와 제언", 어문연구, 74, pp.131~156 (2012), 어문연구학회[DOI]
- 한상미, "학문 목적 한국어 말하기 평가 연구 －대학 입학 전 과정을 중심으로－", 한국어교육, 20(1), pp.207~238 (2009), 국제한국어교육학회[DOI]
- 홍은실, "학문 목적 한국어 말하기 능력 평가 도구 개발을 위한 요구 분석", 한국어교육, 27(4), pp.243~268 (2016), 국제한국어교육학회[DOI]
- Bachman, L. F., "Language testing in practice: Designing and developing useful language tests" (1996), Oxford University Press
- Brown, J. D., "Testing in language programs" (2005), McGraw-Hill
- Dudley-Evans, T., "Developments in ESP: A multidisciplinary approach" (1998), Cambridge University Press
- Jordan, R. R., "English for academic purposes: a guide and resource book for teachers" (1997), Cambridge University Press
- Singer, M., "언어심리학: 문장과 담화처리 과정 이해" (1994), 한국문화사
- "ETS TOEFL"[URL]
- "TOPIK 한국어능력시험"[URL]