절대평가 도입 전후수능 영어 3점 문항 지문의 난이도 분석
Analysis of difficulty level of the CSAT English 3-point question passages before and after the introduction of criterion-referenced assessment.
2
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
This study investigates the possibility of a difference in the difficulty of 3-point question passages in the CSAT English exam after the introduction of criterion-referenced assessment. In all, 64 CSAT English reading passages with three-point questions from 2013 to 2023 and 13 metrics of the Coh-Metrix program for text difficulty were examined, including technical indices, vocabulary information, vocabulary diversity, cohesion, syntactic complexity, and standard readability. The results reveal significant differences in word syllable count, Flesch Reading Ease(FRE), and Flesch-Kincaid Grade Level(FKGL) metrics. This suggests that the difficulty of 3-point question passages in the English section of the CSAT has slightly increased after the introduction of criterion-referenced assessment. Furthermore, a comparative analysis was done of the difficulty of passages for three types of question formats continuously featured in the English section of the CSAT before and after the introduction of criterion-referenced assessment. The results show no significant difference in text difficulty for the fill-in-the-blank inference question type. However, the difficulty of passages for grammar judgment questions and choosing the appropriate location for a given sentence in the context of a passage showed a slight increase in text difficulty after the introduction of criterion-referenced assessment. Implications of this study for item writing guidelines for both CSAT and classroom tests are also discussed.
Abstract
This study investigates the possibility of a difference in the difficulty of 3-point question passages in the CSAT English exam after the introduction of criterion-referenced assessment. In all, 64 CSAT English reading passages with three-point questions from 2013 to 2023 and 13 metrics of the Coh-Metrix program for text difficulty were examined, including technical indices, vocabulary information, vocabulary diversity, cohesion, syntactic complexity, and standard readability. The results reveal significant differences in word syllable count, Flesch Reading Ease(FRE), and Flesch-Kincaid Grade Level(FKGL) metrics. This suggests that the difficulty of 3-point question passages in the English section of the CSAT has slightly increased after the introduction of criterion-referenced assessment. Furthermore, a comparative analysis was done of the difficulty of passages for three types of question formats continuously featured in the English section of the CSAT before and after the introduction of criterion-referenced assessment. The results show no significant difference in text difficulty for the fill-in-the-blank inference question type. However, the difficulty of passages for grammar judgment questions and choosing the appropriate location for a given sentence in the context of a passage showed a slight increase in text difficulty after the introduction of criterion-referenced assessment. Implications of this study for item writing guidelines for both CSAT and classroom tests are also discussed.
참고문헌 (22)
- 고나은, "Coh-Metrix를 이용한 수능 영어 읽기 영역 지문 난이도 비교 : EBS-수능 연계 정책 전후", 한국중등영어교육학회, 10(4), pp.3~24 (2017)
- 교육과학기술부, "2014학년도 대학수학능력시험 개편방안 발표", 보도자료(2011.2.17.), ~ (2011)
- "대학수학능력시험 영어영역 절대평가 도입(보도자료)" (2014), 교육부[URL]
- 중장기 대입제도 개선방안 연구: 대학수학능력시험을중심으로, "김신영", 교육부, ~ (2015)
- 김재은, "고등학교 영어 교과서, EBS 수능 연계 교재, 대학수학능력시험의 코퍼스기반 난이도 비교 분석", 멀티미디어언어교육, 18(1), pp.59~92 (2015)[DOI]
- 김정렬, "수능영어 읽기 지문에 대한 통시적 Coh-Metrix 분석", 초등교과교육연구, 27, pp.63~78 (2017)
- 2018학년도 수능 영어 절대평가 시험체제 및 점수체제 방안, "김준식", 한국교육과정평가원, ~, pp.ORM 2015-30-4 (2015)
- 문지현, "대학수학능력시험 영어 읽기 지문의 언어적 요소 분석", 현대영어교육, 18(1), pp.193~211 (2017)
- 배지영, "초·중·고등학교 영어 읽기지문의 난이도와 연계성 분석 연구 : 2015 개정 영어교과서를 중심으로", 영어교과교육, 20(4), pp.141~162 (2021)[DOI]
- 이영주, "어휘의 정교화, 어휘의 수용적 지식, 어휘의 표현적 지식간의관계 탐색", 영어교과교육, 20(2), pp.139~157 (2021)[DOI]
- 2015개정 교육과정에 따른 대학수학능력시험 체제 개편을 위한 기초연구, "이용상", 한국교육과정평가원, ~, pp.수능 CAT 2015-21 (2015)
- 이주윤, "절대평가 실시 이후 수능 영어 영역 문항 유형별 언어적 특성및 난이도 비교", 영어평가, 17(1), pp.45~63 (2022)[DOI]
- 이현우, "절대평가시험으로서의 수능영어시험 분석 : 주요난이도 예측변인을 중심으로", 중등영어교육, 14(4), pp.90~124 (2021)
- 장지연, "Coh-Metrix를 통한 2017-2018 수능 영어 독해 지문 비교 : 기초산출치, 이독성, 용이성을 중심으로", Foreign Languages Education, 25(4), pp.81~106 (2018)[DOI]
- 장지연, "절대평가 도입 전후 수능 영어 독해 지문의 통사적 복잡성비교", 영어교과교육, 18(2), pp.161~188 (2019)[DOI]
- 장지연, "평가유형(상대평가 대 절대평가)에 따른 2016-2019 수능 영어독해 지문의 어휘 복잡성 비교", The SNU Journal of Education Research, 28(3), pp.85~110 (2019)[DOI]
- 전문기, "코메트릭스(Coh-Metrix)를 이용한 중학교 1학년 개정영어 교과서의 코퍼스 언어학적 비교 분석", 영어교육연구, 21(4), pp.265~292 (2009)[DOI]
- 최민주, "수능 영어 문항 유형간 응집력과 어휘정보 분석", 한국콘텐츠학회논문지, 17(12), pp.378~385 (2017)[DOI]
- 황이수, "수학능력시험 영어 지문의 텍스트 요인과 문항 난이도의 상관관계 분석: 통사적 복잡성을 중심으로", 영어영문학연구, 46, pp.265~283 (2020)[DOI]
- Graesser, A. C., "New beginnings in literary studies", pp.72~88 (2008), Cambridge Scholars Publishing
- Graesser, A. C., "Discourse cohesion in text and tutorial dialogue", Information Design Journal, 15(3), pp.199~213 (2007)[DOI]
- Vallat, R., "Pingouin : statistics in Python", Journal of Open Source Software, 3(31), pp.1026~ (2018)[DOI]