국내외 학업성취도 평가의 서답형 문항 특성과 채점 체제 고찰
A Comparative Analysis of Supply-Type Items and Scoring Method among Domestic, Foreign, and International Achievement Tests
2
조회
0
다운로드
11
인용
0
참고문헌
키워드
초록
본 연구는 국내외 학업성취도 평가의 서답형 문항 출제 실태와 채점 양상을 비교 분석함으로써 우리나라 서답형 문항 출제와 채점에서의 시사점을 도출하는 데 있다. 이를 위하여 국제 학업성취도 평가인 PISA와 TIMSS, 국가수준 학업성취도 평가인 미국의 NAEP, 영국의 NCA, 호주의 NAPLAN, 우리나라 NAEA의 서답형 문항 출제 실태와 문항 유형의 특징을 조사하였다. 또한 우리나라 학교 현장에서의 서답형 출제 실태에 대해 심층적으로 알아보기 위하여 면담 조사를 실시하였다. 연구 결과 외국의 대규모 학업성취도 평가는 우리나라 국가수준 학업성취도 평가보다 서답형의 출제 비율이 거의 2배 정도 높았다. 또한 서답형 문항 중에서도 개방형 문항의 출제 비율이 높은 편이었다. 또한 PISA와 TIMSS의 경우 학생들이 작성한 정답과 오답 유형을 코드화함으로써 이를 교육 개선에 활용할 수 있도록 하고 있었다. 반면 우리나라 서답형 출제 비율이 낮은 주된 이유로 현장 교사들은 채점의 신뢰도 문제와 채점에 소요되는 시간이라고 하였다. 채점 체제의 개선과 교육 환경 개선을 바탕으로 개방형 문항 출제 확대와 채점 결과의 적극적인 활용을 통하여 서답형 문항 출제의 본래 의도를 살릴 필요가 있다.
Abstract
The purpose of this study is to compare supply-type items among domestic, foreign, and international tests and to provide some implications and lessons about item development and scoring of achievement test. To attain the purpose we analyzed proportions, features of supply-type items in PISA, TIMSS, NAEP, NCA, NAPLAN, NAEA. Also we conducted interview research to examine in depth current states of development and scoring of supply-type items in the domestic schools. The results show that proportions of supply-type item in foreign and international tests are much higher than domestic tests, and foreign and international tests used much more free response item types than domestic tests to measure students thinking skills, problem-solving abilities. PISA and TIMSS used scoring code suited to right answer and wrong answer to provide effective feedback. Although there are some scoring difficulties,achievement tests need to increase the proportion of supply-type items to measure students abilities more accurately and to make full use of test results.
참고문헌 (35)
- "2011", ~
- "2011", ~
- 김경희, "TIMSS 성취모형에 근거한 대한민국, 싱가포르, 홍콩, 일본의 학업성취와 교육맥락변인간의 구조적 관계 비교", 교육과정평가연구, 13(2), pp.219~238 (2010), 한국교육과정평가원
- 국외 학업성취도 평가 비교와 교육정보 공시를 위한 학교 향상도 지표 개발, "김경희", 한국교육과정평가원, ~, pp.연구보고 CRE 2011-11 (2011)
- 김국현, "도덕과 논술의 교수·학습 방법과 평가 방안", 교육과정평가연구, 12(2), pp.99~123 (2009), 한국교육과정평가원
- 2010년 국가수준 학업성취도 평가 결과 분석 –국어-, "김도남", 한국교육과정평가원, ~, pp.RRE 2011-3-2 (2011)
- 김명화, "대규모 검사에서 구성형 수학문항을활용하기 위한 컴퓨터 채점의 타당화 분석", 한국교육, 30(3), pp.59~82 (2003), 한국교육개발원
- 2011년 국가수준 학업성취도 평가 출제 방안 연구, "김미경", 한국교육과정평가원, ~, pp.연구보고 RRE 2011-3-1 (2011)
- 대규모 평가의 서답형 문항에 대한 온라인 채점 시스템 안정화 방안 연구, "남명호", 한국교육과정평가원, ~, pp.연구보고 CRE 2010-2 (2010)
- 노선숙, "중학교 1학년 수학과 서술형 평가문항 개발 연구", 수학교육, 47(4), pp.487~503 (2008), 한국수학교육학회
- 노선숙, "중등 수학과 서술형 평가의 현황 분석 연구", 한국학교수학회논문집, 11(3), pp.377~397 (2008), 한국학교수학회
- 대규모 평가를 위한 한국어 서답형 자동채점 프로그램 개발의 전망, "노은희", 한국교육과정평가원, ~, pp.연구자료 ORM 2012-92 (2012)
- 박승재, "과학과 수행평가", 열린교육연구, 7(1), pp.247~262 (1999)
- 이경화, "중·고등학생의 생물 탐구 능력 측정을 위한 서술형 평가 도구 개발", 석사, pp.2010
- OECD, "PISA 평가틀 및 공개 문항 분석-PISA 2000, PISA 2003. PISA 2006 공개 문항-", 이미경, 2007, 연구자료 ORM 2007-25
- 이원석, "논술고사는 실제로 무엇을 측정하는가? - 고등학교 학생, 교사, 대학 교수의 인식 조사 -", 교육과정평가연구, 12(2), pp.31~49 (2009), 한국교육과정평가원
- 2011년 국제 학업성취도 평가 연구(PISA, "TIMSS) : TIMSS 2011 본검사 시행보고서", 조지민, 2011, RRE 2011-4-1
- 홍명지, "과학(생물)교과 서술형․논술형 평가 문항 자료 개발", 과학교육, 30, pp.65~100 (2006)
- Problem Solving in Technology-Rich Environments : A Report from the NAEP Technology-Based Assessment Project, Research and Development Series, "Bennett, R. E.", ~, pp.NCES 2007-466 (2007)
- Ben-Simon, A., "Toward More Substantively Meaningful Automated Essay Scoring", Journal of Technology, Learning, and Assessment, 6(1) (2007)
- Engelhard, G., "Examining Rater Errors in the Assessment of Written Composition with a Many-Faceted Rasch Model", Journal of Educational Measurement, 31, pp.93~112 (1994)
- Engelhard, G., "Monitoring Raters in Performance Assessments, In Large-scale Assessment Programs for All Students: Validity, Technical Adequacy, and Implementation", pp.261~287 (2002), Erlbaum
- Engelhard, G., "Monitering Faculty Consultant Performance in the Advanced Placement English Literature and Composition Program with a Many-Faceted Rasch Model" (2003), College Entrance Examination Board
- Leacock, C., "C-rater : Automated Scoring of Short-Answer Questions", Computers and the Humanities, 37, pp.389~405 (2003)
- Leacock, C., "Scoring of Free-Responses Automatically : A Case Study of a Large-Scale Assessment", Examines, 1(3), pp.39~47 (2004)
- Leatham, K. R., "Getting Atarted with Open-Ended Assessment", Teaching Children Mathematics, pp.413~419 (2005)
- Lunz, M. E., "Impact of Examiners on Candidate Score : An Introduction to the Use of Multi-Facet Rasch Model Analysis for Oral Examinations", Teaching and Learning in Medicine, 5(3), pp.174~181 (1993)
- What to Expect for the NAEP Writing Computer-Based Assessment, "NAEP", ~, pp.NCES 2010-470 (2010)
- National Council of Teachers of Mathematics, "Children are Mathematical Problem Solvers. Reston" (2002), National Council of Teachers of Mathematics
- NCA, "Science Tests Mark Schemes Test a and B, Level 3-5" (2009), Qualifications and Curriculum Authority
- OECD, "Assessing Scientific, Reading and Mathematical Literacy", A Framework for PISA 2006, ~ (2006)
- Sukkarieh, J. Z., "C-rater : Automatic Content Scoring for Short Constructed Response", Proceedings of the Twenty-Second International FLAIRS Conference, pp.290~295 (2009)