한국과 미국 국가수준 학업성취도 평가의 성취수준 비교
Validity of NAEA Achievement Levels compared with NAEP and TIMSS
0
조회
0
다운로드
7
인용
0
참고문헌
키워드
초록
이 논문의 목적은 전국단위 학업성취도 평가라는 동질성을 갖는 미국의 NAEP, 국제 비교연구인 TIMSS와 비교하여 국가수준 학업성취도 평가(NAEA)의 성취수준 정의와 추이 비교, 분할점수 설정의 타당성 검증에 있다. 구체적으로 NAEA 중학교 3학년 수학과 과학의 성취수준과 분할점수를 분석하였다. 연구결과로서, NAEP과 비교해서 우리나라 NAEA는 높은 ‘우수학력’ 비율을 보이며, 매우 적은 ‘기초미달’ 비율을 나타낸다. 또한 NAEA에서는 전반적인 학력 향상의 경향을 보이는 반면, 우리나라 중학교 전국표본을 조사한 TIMSS에서는 변동의 추이가 나타나지 않고 있다. 이러한 결과는 지식 획득 중심의 성취수준 정의, 상대적으로 높게 설정된 ‘우수학력’과 낮게 설정된 ‘기초학력’ 분할점수의 상대적 위치(z점수) 등과 같은 NAEA의 특성과 연관된다. 특히, 핵심역량 중심 교육과정과 기초학력 보장에 집중하는 우리나라 교육정책을 고려할 때, NAEA 결과의 정책적 활용과 교육과정 개편, 척도점수 및 분할점수의 재설정 등의 평가 체제의 변화에 따른 성취수준의 타당화를 위한 지속적 노력이 필요할 것이다.
Abstract
The purpose of this study was to evaluate validity of achievement levels in National Assessment of Educational Achievement (NAEA) compared with NAEP and TIMSS. Even though each testing program had unique purpose and framework, the results of NAEA for 9th grades were analyzed in terms of definitions of achievement levels and relative locations of cut-off scores (z scores). As results, the percentage of NAEA 'advanced level' was too high and the percentage of 'below basic' was too low by considering the results of NAEP. NAEA reported that Korean students made positive changes in terms of knowledge and skills, while no progress was found in the Korean data of TIMSS. These inconsistent results were rooted in variations of the definitions of achievement levels and location of cut-off scores. Also, it seemed to be related to knowledge focused achievement level descriptions, relatively high cut-off scores of 'advanced level', and lower cut-off scores of 'basic level' in NAEA compared with NAEP and TIMSS. So periodical validation studies on achievement levels should be conducted by considering changes of test contents, formats and scale scores of NAEA. In addition, the limitations of the current study and suggestions for further research were provided.
참고문헌 (24)
- 2010 교과부 업무보고: 교육과학기술 선진화로 세계인류국가 도약, "교육과학기술부", 교육과학기술부, ~ (2009)
- 국가수준 학업성취도 평가에 나타난 우리나라 학력 향상의 특성 분석, "김경희", 한국교육과정평가원, ~, pp.연구보고 RRE 2011-2-4 (2011)
- 김경희, "교육정보 공시 위한 향상도 산출 모형 탐색과 향후 전망", 한국교육평가학회 공동 학술 세미나 (2011), 한국교육과정평가원
- 국가수준 학업성취도 평가 개선 연구, "김성숙", 한국교육과정평가원, ~ (2009)
- 2009년 국가수준 학업성취도 평가 전수분석 결과 - 중학교 3학년, "김성숙", 한국교육과정평가원, ~, pp.연구보고 RRE 2010-7-3 (2010)
- 국가수준 학업성취도 평가 변화 추이 (2003-2005년) -중학교 3학년, "박정", 한국교육과정평가원, ~, pp.연구보고 RRE 2006-2-2 (2006)
- 이화진, "기초학력 미달 여부에 영향을 미치는 요인 분석 - 학력향상 중점학교 유형별 비교", 교육과정평가연구, 14(1), pp.151~176 (2011), 한국교육과정평가원
- 2003년 국가수준 학업성취도 평가 연구 - 총론, "정구향", 한국교육과정평가원, ~, pp.연구보고 RRE 2004-4-1-1 (2004)
- 국가수준 학업성취도 평가연구 - 2003∼2006년 변화 추이, "조지민", 한국교육과정평가원, ~, pp.연구보고 RRE 2007-3-1 (2007)
- Angoff, W. H., "Scales, norms, and equivalent scores, In Educational Measurement", pp.508~600 (1971), American Council on Education
- Bourque, M. L., "A history of NAEP achievement levels: Issues, implementation, and impact 1989-2009", Paper commissioned for the 20th anniversary of the National Assessment Governing Board (2009)
- CELE, "Uncommon Measures: Equivalent and Linkage among educational Tests" (1999), National Academy
- Cizek, G. J., "Standard Setting" (2007), Sage
- Hong, W-P., "Does high-stakes testing increase cultural capital among low-income and racial minority students", Educational Policy Analysis Archives, 16(6) (2007)
- Linn, R. L., "Accountability: Responsibility and reasonable expectations", Educational Researcher, 32(7), pp.3~13 (2003)
- Linn, R. L., "Conflicting demands of No Childe Left Behind and State Systems: Mixed Messages about school performance", Educational Policy Analysis Archives, 13(33) (2005)
- Linn, R. L., "Educational accountability systems. In The Future of Test-Based Educational Accountability", pp.3~24 (2008), Routledge
- Martin, M. O., "TIMSS 2007 International Science Report: Findings from IEA;s Trends in International Mathematics and Science Study at the Fourth and Eighth Grade" (2008), Boston College
- McCombs, J. S, "Achieving state and national literacy goals, a long uphill road. TR-180" (2004), Rand
- McLaughlin, D., "Study of the linkage of 1996 NAEP and State Mathematics assessment in four states" (1998), American Institute for Research
- Mullis, I. V. S, "TIMSS 2007 International Mathematics Report: Findings from IEA;s Trends in International Mathematics and Science Study at the Fourth and Eighth Grade" (2008), Boston College
- National Assessment Governing Board, "Developing student performance levels for the national assessment of educational progress policy statement" (1995), Author
- The National Report Card: Mathematics 2009, "NCES", NCES, ~, pp.NCES 2010-451 (2010)
- "Grade 4, 8, 12 National Reports" (2011)[URL]