대학수학능력시험 영어 독해지문의 어휘다양성 및 가독성 분석
An Analysis of Lexical Diversity and Readability in the Korean CSAT English Reading Passages
0
조회
0
다운로드
4
인용
0
참고문헌
키워드
초록
대학수학능력시험은 그 결과가 학습자뿐만 아니라 현장 교육에도 큰 영향을 미칠 수 있는 고부담 시험이며, 많은 연구들이 어떻게 문항 난이도 예측을 할 수 있는지 혹은 영어 교재나 참고 교재들이 대학수학능력시험 수준과 유사한지 등의 질문에 관심을 보여 왔다. 본 연구에서는 시험자료의 언어적 특성 중 어휘다양성과 가독성에 대한 계량적 정보를 제공하고자 한다. 이는 현장에서 시험 문항 평가 및 분석, 그리고 언어 평가 문항 개발에 참고가 될 수 있을 것이다. 2015년부터 2022년까지 8년간 대학수학능력시험 영어 독해지문 중 각 17개씩 총 136개 독해 지문을 선별하였다. 자료는 20,698개 단어(5,034 어휘 타입)가 1,036개 문장에 포함된 규모이다. 136개 각 지문은 세 가지 어휘다양성(MTLD, MATTR, HDD)과 네 가지 가독성 지표(Flesch Reading Ease, Flesch-kincaid Grade Level, Gunning Fog Index, Dale-Chall)를 연도와 문항별로 비교 분석하였다. 어휘다양성은 언어 자료의 어휘가 얼마나 다양하고 풍부하게 제시되고 있는지를 계량적으로 기술하기 위한 지표로 활용될 수 있고, 가독성 수준 지표는 읽기 자료와 학습자 수준을 비교 평가하는 데 사용되는 계량적 지표이다. 이러한 계량적 지표는 다양한 교재 개발, 읽기 시험자료 평가, 특히 학습자 수준에 맞는 읽기 자료 선별과 같은 다양한 교육 영역에서 참고할 수 있는 언어 정보이다. 모든 언어 처리와 분석은 Python 코딩으로 진행했고 공개된 패키지(nltk, stats, lexical-diversity) 등을 사용하였다. 먼저, 어휘다양성 분석 결과는 연도별로는 어휘다양성 범위가 유사하지만, 문항별 일관성이 관찰되지 않기 때문에 실제 문항 개발 과정에서 어휘다양성 고려가 필요함이 관찰되었다. 두 번째로 가독성 지표 분석에서는 고등교육과정 수준이라고 하기에 너무 쉽거나, 대학수학능력시험 대상자 수준을 초과하는 가독성 수준에 해당하는 문항이 일관되게 연도별 그리고 문항별로 다수 포함되어 있다. 이러한 연구 결과를 통해 가독성 표준이 과연 적절한 읽기 능력 평가에 효율적인가 하는 문제를 제기한다. 독해자료의 가독성 차이가 시험의 난이도와 어떤 연관성을 가질 수 있는지, 그리고 어떤 수준의 가독성이 대학수학능력시험의 목표에 부합하는가에 대한 논의와 교육적 공감대 형성이 향후 연구와 함께 필요하다는 제언을 남긴다.
Abstract
The CSAT (College Scholastic Ability Test) in Korea is a high-stakes test that can influence language teaching, assessment, and material development in the educational field. For this reason, studies have often raised the question of how to estimate test difficulty predictors, or whether the levels of textbooks or supplementary materials meet the CSAT material. This paper aims to provide statistical information that can serve as a linguistic reference to evaluate test material by analyzing English reading texts in the CSAT with quantitative measures of lexical diversity and readability. A total of 136 reading passages are collected from the CSAT between 2015 and 2022. The data consists of 20,698 word tokens (5,034 word types) in 1,036 sentences. Each reading passage is analyzed with three lexical diversity indices (MTLD, MATTR, and HDD), and four readability measures (Flesch Reading Ease score, Flesch-Kincaid Grade Level, Gunning-Fog Index, and Dale-Chall Score). All measures and pre-processing of the data are conducted using Python codes with open packages such as {nltk}, {stats}, and {lexica-diversity}. The consistency of individual question items is evaluated based on the readability and lexical diversity results by years. First, the lexical diversity result shows that the ranges of using different words or expressions are similar among the yearly test materials. However, the question items are not lexically comparable within the same category, indicating that the text selection can readily influence the difficulty of a question item. Secondly, the readability of some texts turns out to be beyond a challenging level for test-takers. The observed readability of test material draws attention to future questions of how readability plays a role in the CSAT result and what level of readability is adequate to evaluate the reading ability of test-takers.
참고문헌 (31)
- 김제우, "코퍼스기반 고등학교 어휘 사용 연구: 영어 I·II 교과서, 대학수학능력시험, EBS 교재 읽기 지문을 중심으로", 언어과학연구, (80), pp.51~74 (2017), 언어과학회[DOI]
- 김해동, "표준화 시험 평가 문항의 변별도 변인 분석: 듣기, 문법, 어휘 평가 문항", 외국어교육연구, 23(1), pp.57~79 (2009), 외국어교육연구소[DOI]
- 문지현, "대학수학능력시험 영어 읽기 지문의 언어적 요소 분석", 현대영어교육, 18(1), pp.193~211 (2017), 현대영어교육학회
- 이상하, "대학수학능력시험 수리 영역 문항 난이도 예측을 위한 회귀모형 추정", 수학교육, 46(4), pp.407~421 (2007), 한국수학교육학회
- 이승환, "코메트릭스(Coh-Metrix)를 이용한 고등학교 영어1과 영어2 교과서 문어 텍스트의 코퍼스 언어학적 난이도 분석", 외국어교육연구, 27(2), pp.131~148 (2013), 외국어교육연구소[DOI]
- 이어진, "대학수학능력시험 영어 읽기 문항 난이도 변인 분석 연구", 석사, pp.2018
- 이현우, "2021학년도 대학수학능력시험 영어 영역과 영어Ⅰ-Ⅱ 교과서의 어휘 비교", 국제언어문학, (48), pp.39~70 (2021), 국제언어문학회
- Chall, J. S., "Readability revisited, the new Dale-Chall readability formula" (1995), Brookline Books
- 전유아, "Item Difficulty Predictors of a Multiple-choice Reading Test", 영어교육, 65(4), pp.257~282 (2010), 한국영어교육학회[DOI]
- Dale, E., "The concept of readability", Elementary English, 26(1), pp.19~26 (1949)
- DuBay, H. W., "The principle of readability" (2004), Costa Masa
- Fishburne, R. P., "Readability and reading ability as predictors of comprehension and learning time in a computer managed instructional system", Doctor, pp.1976
- Flesch, R., "The art of readable writing" (1949), Harper
- Freedle, R., "The prediction of TOEFL reading item difficulty : Implications for construct validity", Language Testing, 10, pp.133~170 (1993)
- Graesser A. C., "Coh-Metrix: Analysis of text on cohesion and language", Behavior Research Methods, Instruments, &Computers, 36, pp.193~202 (2004)
- Gunning, R., "The technique of clear writing" (1952), McGraw-Hill
- Heaps, H. S., "Information retrieval: Computational and theoretical aspects" (1978), Academic Press
- Jin, K. A., "The prediction of English item difficulty in College Scholastic Ability Test", English Teaching, 59(1), pp.267~278 (2004)
- Johnson, W, "Studies in language behavior: I. A program of research", Psychological Monographs, 56, pp.1~15 (1944)
- 권서경, "EBS 연계정책에 따른 대학수학능력시험 영어영역 어휘 난이도 변화 분석", 영어교과교육, 13(4), pp.97~121 (2014), 한국영어교과교육학회[DOI]
- Levine, A., "The Four-dimensional model : Interaction of schemata in the process of FL reading comprehension", TESL Canada Journal, 11(2), pp.71~84 (1994)
- McCarthy, P. M., "An assessment of the range and usefulness of lexical diversity measures and the potential of the measure of textual lexical diversity", Doctor, pp.2005
- McCarthy, P. M., "MTLD, vocd-D, and HD-D : A validation study of sophisticated approaches to lexical diversity assessment", Behavior Research Methods, 42, pp.381~392 (2010)
- McLaughlin, G. H., "SMOG grading-A new readability formula", Journal of Reading, 22, pp.639~646 (1969)
- National Center for Education Statistics, "Adult literacy in America", U.S. Dept. of Education, ~ (1993)
- Templin, M., "Certain language skills in children" (1957), University of Minnesota Press
- Treffers-Daller, J., "Vocabulary knowledge: Human ratings and automated measures", pp.79~105 (2013), John Benjamins
- Treffers-Daller, J., "Back to basics : How measures of lexical diversity can help discriminate between CEFR levels", Applied Linguistics, 39(3), pp.302~327 (2018)
- Qian, D. D., "Investigating the relationship between vocabulary knowledge and academic reading performance : An assessment perspective", Language Learning, 53, pp.513~536 (2002)
- Van Rossum, G., "Python 3 reference manual", CreateSpace, ~ (2009)
- Wegner, M., "How readable are child safety seat installation instructions?", Pediatrics, 111, pp.588~591 (2003)