데이터마이닝 기법을 활용한 대학수학능력시험 영어영역 정답률 예측 및 주요 요인 분석
Prediction of Correct Answer Rate and Identification of Significant Factors for CSAT English Test Based on Data Mining Techniques
0
조회
0
다운로드
10
인용
0
참고문헌
키워드
초록
대학수학능력시험(수능)은 고등학교 3년간의 학업 성취도를 측정하는 대표적인 평가 도구로서 대한민국 대학 입시에 있어 매우 중요한 역할을 하는 시험이다. 응시생들의 학업 성취도를 효과적으로 평가하기 위해서는 수능의 난이도가 적절하게 조절되어야 하나 지금까지는 수능 난이도의 편차가 매우 크게 나타나 매 입시연도마다 여러 가지 문제점을 야기해왔다. 본 연구에서는 전문가의 판단에 의존한 기존 방식에서 벗어나지금까지 시행된 모의고사 및 실제 시험을 통해 축적된 자료를 바탕으로 데이터마이닝 기법을 적용하여 영어영역 문제의 난이도를 예측하는모델을 구축하고 난이도 예측에 영향을 미치는 요소를 판별하고자 한다. 이를 위해 각 문항의 특성을 판별할 수 있는 여러 지표와 함께 지문, 문제, 답안 등에 나타난 단어들의 특징을 토픽 모델링(topic modeling) 기법을 이용하여 정량화하고 이를 바탕으로 선형회귀분석 및 의사결정나무 기법을 이용하여 각 문항의 난이도를 예측하는 모델을 구축하였다. 구축된 예측 모델을 실제 문제에 적용한 결과 난이도의 상/하 구분에 대한 예측 정확도는 90% 수준으로 나타났으며, 실제 정답률 대비 오차 비율은 약 16% 이내인 것으로 나타났다. 또한 배점 및 문제 유형이 문제의 난이도에 큰 영향을 미치며 지문이 특정 주제에 관련된 경우에도 난이도에 영향을 미치는 것을 확인하였다. 본 연구에서 제시된 방법론을이용하여 영어영역 각 문제들에 대한 기대 정답률의 범위를 추정할 수 있으며 이를 종합하여 영어영역 전체 문제에 대한 정답률 예측을 통해적절한 난이도의 문제를 출제하는 데 기여할 수 있을 것으로 기대한다.
Abstract
College Scholastic Ability Test(CSAT) is a primary test to evaluate the study achievement of high-school students and used by most universities for admission decision in South Korea. Because its level of difficulty is a significant issue to both students and universities, the government makes a huge effort to have a consistent difficulty level every year. However, the actual levels of difficulty have significantly fluctuated, which causes many problems with university admission. In this paper, we build two types of data-driven prediction models to predict correct answer rate and to identify significant factors for CSAT English test through accumulated test data of CSAT, unlike traditional methods depending on experts’ judgments. Initially, we derive candidate question-specific factors that can influence the correct answer rate, such as the position, EBS-relation, readability, from the annual CSAT practices and CSAT for 10 years. In addition, we drive context-specific factors by employing topic modeling which identify the underlying topics over the text. Then, the correct answer rate is predicted by multiple linear regression and level of difficulty is predicted by classification tree. The experimental results show that 90% of accuracy can be achieved by the level of difficulty (difficult/easy) classification model, whereas the error rate for correct answer rate is below 16%. Points and problem category are found to be critical to predict the correct answer rate. In addition, the correct answer rate is also influenced by some of the topics discovered by topic modeling. Based on our study, it will be possible to predict the range of expected correct answer rate for both question-level and entire test-level, which will help CSAT examiners to control the level of difficulties.
참고문헌 (17)
- 2015 school year the CSAT questions headquarters, "2015school year, the CSAT Press", Proceedings 2015 school year the CSAT questions headquarter (2014)
- Korea Institute for Curriculum and Evaluation, "2015 school year CSAT score results press release", Proceedings Korea Institute for Curriculum and Evaluation (2014)
- Korea Institute for Curriculum and Evaluation, "2015 school year CSAT plan", Proceedings Korea Institute for Curriculum and Evaluation (2014)
- T. C. Kang, "CSAT Improvement Study", pp.57~77 (2013), Ministry of Education
- 강문구, "2014 수능 수준별 영어 시험의 검사지 구성을 위한 외국어 영역 문항 유형에 대한 내외적 타당성 분석", 영어교과교육, 12(2), pp.1~35 (2013), 한국영어교과교육학회
- K. S. Lee, "The effects of th number of questions per passage, the length of passage, and the topic familiarity on multiple-choice English listening and reading comprehension tests", English Teaching, 54(4), pp.327~351 (1999)
- 김낙복, "대학수학능력시험 외국어(영어)영역의 코퍼스 언어학적 어휘 비교 분석", 영어어문교육, 14(4), pp.201~221 (2008), 한국영어어문교육학회
- 장경숙, "대학수학능력시험 외국어(영어)영역 읽기 난이도 예측 모형 개발", Foreign Languages Education, 11(1), pp.111~130 (2004), 한국외국어교육학회
- Y. M. Sung, "Factor Analysis of English Test Scores in the College Scholastic Ability Test and Implications", Ph. D., pp.2003
- 이현우, "TOEFL, TOEIC, TEPS 시험 점수와 대학 수학 능력과의 연관성 연구", 영어어문교육, 9(1), pp.153~171 (2003), 한국영어어문교육학회
- L. Breiman, "Classification and Regression Trees" (1984), Wadsworth
- D. Hand, "Principles of Data Mining" (2001), A Bradford Book The MIT Press
- F. Sebstiai, "Machine learning in automated text categorization", ACM Computing Surverys, 34(1) (2002)
- 배정환, "텍스트 마이닝을 이용한2012년 한국대선 관련 트위터 분석", 지능정보연구, 19(3), pp.141~156 (2013), 한국지능정보시스템학회[DOI]
- 이희진, "텍스트 마이닝 및 자동 추론 기반 생물학 지식 발견 시스템을 위한 확률 기반 필터링", 한국컴퓨터정보학회논문지, 17(2), pp.139~147 (2012), 한국컴퓨터정보학회
- D. Blei, "Probabilistic topic models", Communications of the ACM, 55(4), pp.77~84 (2012)
- S. R. Kang, "A Study on the Readability of English Textbooks: Middle School English 1 and 2 Based on the Revised 7th English National Curriculum", Master, pp.2010