한국사능력검정시험 문항 풀이 과정 분석을 통한 역사 선다형 문항 개선 방향 탐색
Analysis of Students’ Response Processes in Proficiency Test of Korean History Items
0
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
본 연구에서는 대학생 연구 참여자 10명이 한국사능력검정시험 12개 문항을 풀이한 120건의 문항 풀이 과정 사례를 분석하여 연구 참여자가 실제 어떤 지식과 사고력을 활용하여 문항을 풀이하는지, 그리고 연구 참여자가 사용한 지식과 사고력이 출제자가 측정하고자 한 지식 및 사고력과 일치하는지를 분석하였다. 분석 결과 연구 참여자는 지식 소환(59건, 49%), 수험전략 활용(34건, 28%), 추론(27건, 23%)이라는 세 가지 문항 풀이 과정을 활용하여 문항의 답을 찾고 있었다. 수험전략 활용과 추론은 한국사능력검정시험 목표 준거에 명시되지 않은 구인이었으나, 문항 풀이에서는 광범위하게 사용되고 있음을 확인할 수 있었다. 반면 목표 준거에 명시된 역사적 사고력을 활용하여 문항을 풀이한 사례는 찾아볼 수 없었다. 세 가지 문항 풀이 과정 중 지식 소환이 가장 많이 활용되었다는 측면에서 한국사능력검정시험 선다형 문항이 연구 참여자의 지식을 측정하고 있음을 파악할 수 있었으나, 연구 참여자가 실제로 문항 풀이에 활용한 지식의 종류와 수준을 분석한 결과 문항의 타당도를 높일 필요성을 확인할 수 있었다. 문항별·연구 참여자별 분석 결과도 타당도를 높일 필요성을 뒷받침했다. 분석 결과에 기초하여 한국사능력검정시험 문항 개선을 위한 3가지 방향을 제언하였다.
Abstract
This study analyzed how 10 college students solved twelve multiple-choice items from the Proficiency Test of Korean History(PTKS) to elicit the knowledge and thinking that students employed during the response processes. We analyzed how the knowledge and thinking that participants used in solving the multiple-choice items aligned with the knowledge and thinking intended for testing. The analysis results revealed that participants were engaged in three response processes in approaching and solving the test items: fact recall in 59 cases(49%), test taking skills in 34 cases(28%), and general reasoning in 27 cases(23%). Although test taking skills and general reasoning are construct-irrelevant variances, participants used them widely with all participants employing test taking skills and 9 out of 10 participants using general reasoning. Historical thinking skills specified in test purposes, however, did not surface in response processes, which raises the question of validity. The fact that participants used fact recall the most of the three response processes solidifies the claim that the PTKH assesses test takers’ historical knowledge, but the analysis of the kinds and levels of knowledge used in participants’ response processes called for the need to strengthen the validity of PTKH items. Cross case analysis of response processes across items and across participants also pointed to the need to strengthen the validity of the test items. Based on the analysis results, we discussed three implications of the study for enhancing the PTKH items.
참고문헌 (35)
- "한국사능력검정시험 웹사이트"[URL]
- 김덕진, "한국사능력검정시험을 통해 본 초등학생의 역사의식", 역사학연구, (47), pp.1~27 (2012), 호남사학회
- 김미선, "한국사능력검정시험 등급별 평가 수준 위계화 방안", 역사교육, (118), pp.1~49 (2011), 역사교육연구회
- 김민정, "한국사능력검정시험 평가 문항 현황과 개선 방안", 역사교육논집, (47), pp.463~495 (2011), 역사교육학회
- 김수미, "제 1ㆍ2회 한국사능력검정시험의 분석과 문항의 방향", 역사교육연구, (6), pp.177~227 (2007), 한국역사교육학회[DOI]
- 김수미, "학생의 선다형 국사 문항 풀이 과정 분석", 역사교육, (129), pp.139~195 (2014), 역사교육연구회
- 김정수, "한국사능력검정시험의 목표 준거와 문항 반응 분석-제1, 2회 3급 문항을 중심으로-", 역사와 교육, 12, pp.69~134 (2011)
- 박덕우, "제1~8회 한국사능력검정시험 초급 문항 분석 : 초등학교 교과서와의 비교분석을 중심으로", 석사, 역사교육, pp.2010
- 박진동, "고등학생의 선다형 문항 풀이 과정과 시험전략 고찰", 역사교육, (117), pp.195~225 (2011), 역사교육연구회
- 박진동, "2017학년도 수능 한국사 필수화에 따른 교사 연수 자료", 한국교육과정평가원. 수능 CAT 2014-15, ~ (2014)
- 박진철, "人物史 敎育을 위한 ‘한국사능력검정시험’의 分析 硏究", 한국학연구, (58), pp.227~257 (2016), 한국학연구소[DOI]
- 오정현, "역사과 평가 문항의 위계성 검토", 역사교육연구, (9), pp.97~144 (2009), 한국역사교육학회[DOI]
- 오정현, "수능 필수 한국사의 평가목표 설정과 적용 방안", 역사교육, (135), pp.31~68 (2015), 역사교육연구회
- 은동진, "한국사능력검정시험의 중급과 고급 간 위계성에 대한 검토", 석사, pp.2015
- "2021년 7급 공채시험에 공직적격성평가(PSAT)도입-2018.12.11.(화), 공무원임용시험령 개정(안) 국무회의 통과-" (2018)[URL]
- 최상훈, "수능 필수 한국사의 내용타당도 제고 방안", 역사교육, (135), pp.1~29 (2015), 역사교육연구회
- 최상훈, "역사과평가의 이론과 실제" (2012), 책과함께
- American Educational Research Association, "Standards for educational and psychological testing" (1999), American Educational Research Association
- American Educational Research Association, "Standards for educational and psychological testing" (2014), American Educational Research Association
- Blackey, R., "So many choices, so little time : Setting strategies for understanding and taking multiple-choice exams in history", The History Teacher, 43(1), pp.53~66 (2009)
- Braden, J., "Psychology of classroom learning: An encylopedia. Vol. 2", pp.961~965 (2009), Macmillan Reference USA
- Ericsson, K. A., "Protocol analysis: Verbal reports as data" (1993), MIT Press
- Haladyna, T. M., "Developing and validating multiple-choice test items" (2004), Lawrence Erlbaum Associates, Inc
- Messick, S., "Validity of psychological assessment: Validation of inferences from persons’reponses and performances as scientific inquiry into score meaning", American Psychologist, 50(9), pp.741~749 (1995)
- "U.S. history framework for the 2010 National Assessment of Educational Progress" (2011)[URL]
- Patton, M. Q., "Qualitative research and evaluation methods" (2015), Sage
- Pellegrino, J. W., "Knowing what students know: The science and design of educational assessment" (2001), National Academy Press
- Reich, G. A., "Testing historical knowledge : Standards, multiple-choice questions and student reasoning", Theory and Research in Social Education, 37(3), pp.325~360 (2009)
- Reich, G. A., "Imperfect models, imperfect conclusions : An exploratory study of multiple-choice tests and historical knowledge", The Journal of Social Studies Research, 37, pp.3~16 (2013)
- Seixas, P., "New directions in assessing historical thinking", pp.102~116 (2015), Routledge
- Smith, M. D., "Cognitive validity: Can multiple-choice items tap historical thinking processes?", American Educational Research Journal, 54(6), pp.1256~1287 (2017)
- Smith, M. D., "New multiple-choice measures of historical thinking : An investigation of cognitive validity", Theory & Research in Social Education, 46(1), pp.1~34 (2018)
- Smith, M., "History assessments of thinking : A validity study", Cognition and Instruction, 37(1), pp.118~144 (2019)
- VanSledright, B., "Assessing historical thinking and understanding : Innovative designs for new standards" (2014), Taylor & Francis
- VanSledright, B., "New directions in assessing historical thinking", pp.102~116 (2015), Routledge