본문 바로가기
KERD
논문KCI 등재

통합적 접근에 기반한 학생 평가 문항의 특성 분석 방안 탐색

Applying an integrated approach to analyse item features for curriculum-based assessments

송미영|남민우|박지현|최길찬
한국교육과정평가원 (Korea Institute for Curriculum and Evaluation)|2021.02|교육과정평가연구 (The Journal of Curriculum and Evaluation)|제24권 제1호|pp. 101-122

0

조회

0

다운로드

2

인용

0

참고문헌

키워드

국가수준 학업성취도 평가National Assessment of Educational Achievement문항 특성 분석학생 평가의 타당도교육과정 기반 평가Item Feature AnalysisValidity of Student AssessmentCurriculum-based Assessment
주제분류교육학

초록

최근 학생 평가 문항에 대한 새로운 분석 방법으로 문항 특성 분석(FA) 기법이 제안되었다. 이기법은 평가 문항의 다양한 특성에 대한 질적 평정 및 평정한 특성과 평가 자료에 대한 양적 분석이결합된 방법론이라 할 수 있으며, 문항 특성은 무엇을 어떻게 평가하는가에 대한 내용적ㆍ형식적 정보를반영하고 있다. 본 연구는 문항 특성 분석(FA) 기법에 따라 2019년 국가수준 학업성취도평가(NAEA) 중학교 국어, 수학 평가도구의 문항 특성을 교과 전문가들이 정성적으로 평정한 결과를살펴봄으로써 당초의 평가 계획대로 평가도구 개발이 이루어졌는지 점검할 수 있음을 밝혔다. 또한문항 특성별로 난이도와 변별도에 미치는 영향에 대한 정량적 분석을 통해 문항 특성 차원에서 학생성취 결과에 대한 해석과 활용도 가능함을 확인하였다. 이러한 결과를 바탕으로 평가의 타당도측면과 평가 결과의 환류 측면에서 갖는 문항 특성 분석(FA) 기법의 유용성이 학교 현장에서심화되는 기반이 될 수 있는 후속 연구를 제안하였다.

Abstract

This study explored how to apply the item feature analysis for ensuring the validity of student assessments. The item feature analysis provides evidences of ‘how and what to be assessed’. We considered item features for curriculum-based assessments, focusing on Korean and Math in middle schools. The results of implementing item feature analysis in Korean/Math tests from 2019 NAEA indicated that both Korean and Math tests consisted of valid items based on the national curriculum. Students’ strength and weakness were observed from analyzing the relationships between students’ achievement and features of Korean and Math test items. Item features based on the curriculum and test mode have been proved as critical applications for ensuring the validity of curriculum-based assessment as well as building a tool for student assessment. Follow-up study for more broadened use of the results of study was proposed to imply item feature analysis in schools and to widen the application across the feature categories for each subject. The results of this study would contribute to extend researches on the validity of student assessment and provide the theoretical basis for selecting item features for computer-based assessments.

참고문헌 (27)

  1. 고호경, "고등학교 수리영역 시험의 난이도 예측 요인 분석", 한국학교수학회논문집, 10(1), pp.113~127 (2007), 한국학교수학회
  2. 모두를 포용하는 사회 미래를 열어가는 교육, "교육부", ~ (2018)
  3. ., "2020", ~
  4. 교육부, "2020 학교생활기록부 기재요령-중･고등학교", 교육부, ~ (2020)
  5. 국가수준 학업성취도 평가 결과에 기반한 2009 개정 교육과정의 학업성취 특성 및 추이 분석, "구자옥", 한국교육과정평가원, ~, pp.한국교육과정평가원 연구보고 RRE 2019-7 (2019)
  6. 2019년 국가 수준 학업성취도 평가 기술보고서: 출제 연구, "구자옥", 한국교육과정평가원, ~, pp.한국교육과정평가원 연구보고 RRE 2019-8 (2019)
  7. 권태현, "수능 국어 영역 `화법과 작문` 평가 문항의 양호도 조사 연구", 청람어문교육, (71), pp.161~194 (2019), 청람어문교육학회[DOI]
  8. 권태현, "수능 국어 영역 독서 평가 문항의 양호도 조사 연구", 독서연구, (45), pp.131~159 (2017), 한국독서학회[DOI]
  9. 남민우, "수능 문학 영역 평가 문항의 양호도와 개선 방안에 대한 조사 연구", 문학교육학, (51), pp.9~48 (2016), 한국문학교육학회[DOI]
  10. 2015 개정 교육과정에 따른 국가수준 학업성취도 평가 출제 방안 연구, "동효관", 한국교육과정평가원, ~, pp.한국교육과정평가원 연구보고 RRE 2018-4 (2018)
  11. 박문환, "대학수학능력시험 난이도 관련 변인 탐색", 수학교육학연구, 14(1), pp.71~88 (2004), 대한수학교육학회
  12. 과정 중심 평가 내실화를 위한 교사의 평가 전문성 신장 방안 연구, "박지현", 한국교육과정평가원, ~, pp.한국교육과정평가원 연구보고 RRE 2018-5 (2018)
  13. 학생 평가의 타당도 제고를 위한 문항 특성 분석(Feature Analysis) 기법 활용 방안, "박지현", 한국교육과정평가원, ~, pp.한국교육과정평가원 연구보고 RRE 2020-1 (2020)
  14. 서울특별시교육청, "2020 서울교육 주요업무", ~ (2020)
  15. 송현정, "대학수학능력시험 언어 영역 난이도 관련 변인에 대한 연구", 국어교육, (113), pp.233~262 (2004), 한국어교육학회
  16. 문항 난이도 추정 모형 개발 연구– 대학수학능력시험의 언어, 수리, 외국어(영어) 영역을 중심으로, "이종승", 한국교육과정평가원, ~, pp.한국교육과정평가원 연구보고 RRE-2002-14 (2003)
  17. 대학-직업 준비도 측면에서의 국가 수준 학업성취도 평가 분석 - 수학과를 중심으로, "조지민", 한국교육과정평가원, ~, pp.한국교육과정평가원 연구보고 RRE-2018-15 (2018)
  18. AERA, "Standards for educational and psychological testing", American Educational Research Association, ~ (2014)
  19. Baker, E. L., "Functional validity: Extending the utility of state assessments", Presentation at the 2015 National Conference on Student Assessment (NCSA) (2015)
  20. Mathematical reasoning project quantitative analyses results: Grades 4, 8, and 11, "Baker, E. L.", UCLA, CRESST, ~ (2015)
  21. Tasks 1 & 2:Feature analysis and Integrated psychometric modeling, "Baker, E. L.", UCLA, CRESST, ~ (2018)
  22. Baker, E. L., "Feature analysis approach: uses for national and international assessments", Presented to the Chilean Delegates (2019)
  23. Choi, K., "Quantitative Feature Analysis", Presented at the workshop session at the annual meeting of the National Council of Measurement in Education (2019)
  24. Career-readiness features in Korean assessment items, "Choi, K.", UCLA, CRESST, ~, pp.CRESST Report 859 (2018)
  25. Innovative Item Pilot Study, "Chung, G.", UCLA, CRESST, ~ (2018)
  26. Feature analysis qualitative and quantitative results for tests of mathematics and english language arts, Grades 4, 8, and 11, "Madni, A.", UCLA, CRESST, ~ (2015)
  27. McMillan, J. H., "Classroom assessment-principles and practice that enhance student learning and motivation" (2018), Pearson

관련 논문AI추천

수학과 평가 문항의 역량 및 표현 형식 특성 분석박지현한국수학교육학회 · 수학교육2021 · 제60권 제2호융합형 ‘과학’ 평가에 사용된 선다형 문항의 특성 분석 : 4개 고등학교의 사례권석민, 김희경, 윤희숙, 이기영, 조희형과학교육연구소 · 과학교육연구지2013 · 제37권 제2호내용 및 인지 영역을 함께 고려한 평가 데이터 분석을 위한 Q행렬 기반 다차원 문항반응모형의 활용 방안 연구: TIMSS 2019 수학 평가 분석김래영, 유연주, 이슬기, 황수빈한국수학교육학회 · 수학교육 논문집2024 · 제38권 제3호국어과 평가 문항의 양호도 분석틀 개발을 위한 기초 연구남가영, 남민우, 서수현, 이상일, 정민주, 최숙기청람어문교육학회 · 청람어문교육2022 · 제86호좋은 국어과 평가 문항 특성에 관한 질적 분석 연구-국어과 평가 문항 양호도 분석틀 개발 연구(2)-남가영, 남민우, 서수현, 이상일, 정민주, 최숙기청람어문교육학회 · 청람어문교육2022 · 제89호국가수준 학업성취도 평가의 성취수준별 정답률 편차에 따른 내용 영역과 행동 영역 특성 분석허난, 양성현한국수학교육학회 · 수학교육 논문집2018 · 제32권 제3호

이 간행물의 다른 논문 (9건)

기본 교육의 요소 선정 및 국가 교육과정에의 반영 방향 탐색배화순, 이병천, 이승미, 이경남pp. 1-27교육과정 온라인 지원 시스템 활용 실태 분석 연구노은희, 윤영순, 박소영, 김성혜pp. 29-52초·중등 건강장애학생 대상 원격수업의 학습참여 측정 도구 개발 연구강민령, 장혜승pp. 53-75로봇의 센서를 활용한 중학교 그래프 단원의 교수 학습 방안 탐색임해미, 최인선pp. 77-100청소년의 읽기 소양과 삶의 만족도의 영향변인 탐색: PISA 2018 한국 핀란드 국제비교김아름, 박소영, 김정인, 정혜원pp. 123-152
원문 보기