검사 길이 변화에 따른 국가수준 학업성취도 평가의 안정성 분석
Analysis of Scale Stability of NAEA in the Presence of Test Length Change
0
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
본 연구는 대규모 평가에서 일어나는 문항 수 감축 상황이 점수척도의 안정성에 어떠한 영향을 끼치는지 점검하는 것을 목적으로 하였다. 따라서 “대규모 표준화 검사도구가 이전과 비교하여 축소된 문항 수로 구성됨에도 불구하고 척도의 점수대별 오차가 안정적인가?”하는 문제를 확인하기 위한 모의실험을 수행하였다. 이를 위해 검사 길이가 축소되기 이전의 교과별(국어, 수학, 영어) 실제 검사를 기반으로 모의 검사를 구성하였다. 또한 문항반응이론에 기반하여 동일한 능력점수()를 가진 학생별로 1,000명의 모의 검사에 대한 응답 자료를 생산하였다. 국가수준 학업성취도 평가와 유사한 목적을 가진 대규모 학생평가에서는 특히 ‘기초학력 미달’ 학생 비율에 대한 연도 간 변화에 사회적인 관심이 크게 집중되므로 척도의 안정성은 ‘기초학력’과 ‘기초학력 미달’ 판별의 정밀함이 관건이다. 본 연구를 통해 산출된 모의실험 결과를 요약하면, 기초학력과 기초학력 미달의 경계선 부근 학생을 판별하기에 적당할 정도로 난이도가 낮으면서(문항반응이론 난이도 b –1.5)이면서 변별력도 어느 정도 갖춘 (문항반응이론 변별도 a 0.5) 문항을 교과별 검사에서 최소한 3개 이상 갖춘 경우, 기초학력 미달 분할점수 부근 학생의 성취도(능력점수) 추정의 평균오차(RMSE)가 0.05를 초과하지 않을 정도로 안정적임을 확인하였다.
Abstract
The 2019 NAEA(National Assessment of Educational Achievement) for high school is planed to implement a new type of item to measure student subject-specific competency to apply the 2015 Revised National Curriculum. Since the new type of items are implemented to measure complex abilities rather than simple knowledge, the issue of reducing the test length was considered to solve higher-level items. Namely, the major change in the 2019 NAEA is the reduction in the number of items caused by the introduction of the new type of items. This study inspected how the test length change of the 2019 NAEA for high school had an effect on the scale stability. In the NAEA, the media attention is focused on the year trend of the proportion of below basic students, so the scale stability of the NAEA which categorizes students into basic and below basic, is main point. According to the results of this simulation study, in order to precisely categorize basic level students from below basic level students with less than 0.05 estimated RMSE at the cut-off score: at least three items should be included for each subject test with the ‘low’ difficulty level and the ‘moderate’ discrimination level.
참고문헌 (15)
- 교육부, "2020년 국가수준 학업성취도 평가 결과 및 학습 지원 강화를 위한 대응 전략발표", 교육부 보도자료, ~ (2021)
- 국가수준 교육성취도 평가 점수체제 개발 연구, "김경희", 한국교육과정평가원, ~, pp.연구보고 RRE 2003-17 (2003)
- 김성훈, "혼합형 검사를 사용한 피험자 능력모수 추정에서 가중우도 방법과 사후기대 방법의 기능 비교", 교육평가연구, 23(3), pp.665~685 (2010), 한국교육평가학회
- 국가수준 학업성취도 평가 점수 체제 개선 및 결과 활용도 제고 방안, "김희경", 한국교육과정평가원, ~, pp.연구보고 RRE 2019-3 (2019)
- 2017년 국가수준 학업성취도 평가 출제 연구, "동효관", 한국교육과정평가원, ~, pp.연구보고 2017-2 (2017)
- 2015 개정 교육과정에 따른 국가수준 학업성취도 평가 출제 방안 연구, "동효관", 한국교육과정평가원, ~, pp.연구보고 RRE 2018-4 (2018)
- 2017년 국가수준 학업성취도 평가 기술보고서, "박인용", 한국교육과정평가원, ~, pp.연구보고 RRE 2017-10 (2017)
- 국가수준 학업성취도 평가 기술보고서, "박정", 한국교육과정평가원, ~, pp.연구보고 RRO 2006-4 (2006)
- 2015년 국가수준 학업성취도 평가 기술보고서, "시기자", 한국교육과정평가원, ~, pp.연구자료 ORM 2015-106 (2015)
- 컴퓨터 기반 국가수준 학업성취도 평가(eNAEA) 도입을 위한 출제 방안 연구, "이재봉", 한국교육과정평가원, ~, pp.연구보고 2020-5 (2020)
- 김성훈, "A Follow-Up Study of Psychometric Properties of IRT Proficiency Estimates", 교육평가연구, 25(4), pp.829~849 (2012), 한국교육평가학회
- Kolen, M. J., "Test equating, scaling, and linking: Methods and practices" (2004), Springer
- Kolen, M. J., "Psychometric properties of IRT proficiency estimates", Educational Measurement : Issues and Practice, 29(3), pp.8~14 (2010)
- "PISA 2015 technical report" (2017)[URL]
- Scaling methodology and procedures for the TIMSS mathematics and science scales, In TIMSS 1999 technical report, "Yamamoto, K", International Study Center, 235~264 (2000)