인지진단모형을 활용한 대학수학능력시험 국어 영역 독서 문항의 Q행렬 타당화 연구－2018학년도 대학수학능력시험 대비 6월 모의평가를 중심으로－
Q matrix validation of reading assessment items Using Cognitive Diagnostic Model -focus on College Scholastic Ability Test of the Korean language field-
1
조회
0
다운로드
8
인용
0
참고문헌
키워드
초록
본고는 2018년 대학수학능력 모의평가의 국어영역 독서 평가 15문항에 대하여 일반계 고등학교 928명의 학생의 문항 응답 결과를 토대로 독서 평가 문항의 인지요소를 규명하고, 문항과 인지요소의 관계인 Q 행렬의 타당화 결과를 제시하였다. 이를 위해 일반계 고등학생 13명의 사후 사고구술 프로토콜 분석을 토대로 한 문항 풀이 과정에 대한 인지 과정을 분석하였고, 내용 전문가인 교사 12명의 문항 과제 분석을 토대로 독서 평가 15 문항에서 요구되는 인지요소를 확인하고, 인지요소를 규명하였다. 규명된 인지요소를 토대로 Q 행렬 타당화를 위해 통계적 분석을 실시하였다. 그 결과 자카드 계수를 통해 중복되는 인지요소가 존재하지 않음을 확인하였고, 다중회귀분석을 통해 삭제가 요구되는 인지요소가 없음을 확인하였다. 이를 통해 최종적으로 인지진단 모형 중, Fusion 모형을 활용하여 문항 모수 추정을 통해 Q 행렬의 타당성을 확보하였다. 이 결과를 토대로 대학수학능력 시험에서 독서 평가 문항의 학생 정답 여부 정보를 통해 학생의 인지요소 프로파일 분석을 통해 성취 수준에 대한 타당한 정보 제공의 가능성을 확보하였다.
Abstract
The purpose of this study is to validate the Q matrix of reading assessment items in College Scholastic Ability Test of the Korean language area Using Cognitive Diagnostic Model. Based on the student 's item response results, the cognitive attribute of the reading evaluation items were identified and the validity of the Q matrix, which is the relationship between the items and the cognitive elements, was presented. The study was conducted based on the results of the item responses of 928 students in the high school on the 15 items of reading assessment. For this purpose, we analyzed the cognitive process of the solution of the question. Based on the analysis of the question items of 12 teachers who are experts in contents and the analysis of oral communication protocol of 13 high school students. Statistical analysis was performed to validate the Q matrix based on the identified cognitive attribute. Finally, the validity of the Q matrix was obtained by using the Fusion model among the Cognitive Diagnostic Model.
참고문헌 (27)
- 김경리, "인지진단을 위한 진단적 준거설정과 교육적 활용", 박사, 교육학과, pp.2012
- 김수진, "Fusion Model에 의한수학 능력 진단을 위한 Q-행렬의 정교화", 교육평가연구, 21(2), pp.115~139 (2008), 한국교육평가학회
- 김신영, "대학수학능력시험의 개선 방안 탐색", 교육평가연구, 22(1), pp.1~27 (2009), 한국교육평가학회
- 김중신, "수능 언어 영역 문항의 비판적 검토와 대안", 국어교육학연구, (31), pp.69~108 (2008), 국어교육학회
- 김태호, "인지진단모형을 활용한 일반계 고등학생의 비문학 독해 프로파일 분석", 국어교육학연구, 52(2), pp.213~248 (2017), 국어교육학회[DOI]
- 인지진단모형을 적용한 학업성취 프로파일 분석 및 결과 보고 방안, "김희경", 한국교육과정평가원, ~ (2013)
- 남민우, "수능 문학 영역 평가 문항의 양호도와 개선 방안에 대한 조사 연구", 문학교육학, (51), pp.9~48 (2016), 한국문학교육학회
- 반재천, "대학수학능력시험의 점수체제에 대한 고찰:표준점수와 등급을 중심으로", 교육평가연구, 21(1), pp.127~147 (2008), 한국교육평가학회
- 인지진단모형을 통한 국가수준 학업성취도 평가결과 분석 및 성적 보고 방법 탐색, "송미영", 한국교육과정평가원, ~ (2011)
- 성태제, "현대교육평가" (2002), 학지사
- 지은림, "창의적 인재 역량 측정을 위한 구인 탐색 및 척도 개발", 교육평가연구, 25(1), pp.69~94 (2012), 한국교육평가학회
- 이영선, "인지진단모형을 적용한 학업성취도 평가 결과 프로파일 보고 방안 탐색", 교육평가연구, 25(3), pp.411~433 (2012), 한국교육평가학회
- 이재호, "Fusion 모형을 활용한 초등학교 6학년의 읽기이해 능력 진단을 위한 Q 행렬 타당화 연구", 교육평가연구, 29(2), pp.325~355 (2016), 한국교육평가학회
- 미래사회 변화 및 학령기 인구 감소 대비 학교교육진단과 교육방향 탐색(RRO 2016-4), "이화진", 한국교육과정평가원, ~ (2016)
- 한국교육과정평가원, "학년도 대학수학능력시험 대비 학습 방법 안내", 수능 CAT 2017-1-3, 한국교육과정평가원 자료집, ~ (2017)
- Alderson, J. C., "Assessing reading" (2000), Cambridge University Press
- Barrett, T. C., "Teaching Reading in the Middle Class", pp.51~58 (1976)
- De La Torre, J., "Model evaluation and multiple strategies in cognitive diagnosis : An analysis of fraction subtraction data", Psychometrika, 73(4), pp.595~624 (2008)
- Hartz, S. M., "A Bayesian Framework for the Unified Model for Assessing Cognitive Abilities: Blending Theory with Practicality", pp.2002
- Hennig, C., "Cluster-wise assessment of cluster stability", Computational Statistics & Data Analysis, 52(1), pp.258~271 (2007)
- Jang, E. E., "Towards Adaptive CALL: Natural Language Processing for Diagnostic Language Assessment", pp.117~131 (2008)
- Jang, E. E., "Cognitive diagnostic assessment of L2 reading comprehension ability: Validity arguments for fusion model application to LanguEdge assessment", Language Testing, 26(1), pp.31~73 (2009)
- Jang, E. E., "Demystifying a Q-matrix for making diagnostic inferences about L2 reading skills", Language Assessment Quarterly, 6(3), pp.210~238 (2009)
- Leighton, J., "Cognitive diagnostic assessment for education: Theory and applications" (2007), Cambridge University Press
- Roussos, L. A., "Cognitive Diagnostic Assessment for Education: Theory and Applications", pp.275~318 (2007)
- Rupp, A. A., "Unique characteristics of diagnostic classification models : A comprehensive review of the current state-of-the-art", Measurement, 6(4), pp.219~262 (2008)
- Sawaki, Y., "Q-matrix construction: Defining the link between constructs and test items in large-scale reading and listening comprehension assessments", Language Assessment Quarterly, 6(3), pp.190~209 (2009)