정의적 성취특성 측정의 오차요인 및 성취수준별 척도의 동등성 분석
An Analysis of Measurement Errors and Invariance Properties by Proficiency Level in the Non-cognitive Measures
0
조회
0
다운로드
4
인용
0
참고문헌
키워드
초록
학업성취도 평가 결과 활용에 앞서 학생들의 다양한 배경변인, 특히 성취 수준에 관계없이 측정이 일관적이며 정확하게 이루어졌는지 점검할 필요가 있다. 이러한 맥락에서 본 연구의 목적은 일반화가능도 이론 모형을 적용하여 국가수준 학업성취도 평가의 정의적 영역에서의 성취수준별 측정의 동등성을 분석하는데 두었다. 이를 위해 2015년 중학교 3학년 학생 7,443명을 대상으로 실시한 학업성취도 평가 학생설문 자료 중 교과태도 관련 응답 결과에 대해 다변량 일반화가능도 분석을 실시하였다. G 연구에서는 정의적 특성의 측정 과정에서 발생하는 각 오차요인의 영향력을 분석하였으며, D 연구에서는 측정 조건 변화에 따른 신뢰도와 측정오차를 비교하였다. 분석 결과, 성취수준의 전 범위에서 걸쳐 교과태도 관련 정의적 성취 특성에 대한 측정이 대체로 양호한 것으로 나타났으나, 수학 교과에 대한 가치인식 영역에서 측정의 동등성을 담보하기에 다소 부정적인 결과를 보였다. 또한, 일부 측정 영역에서 성취수준과 교과에 따라 오차 요인들의 상대적 영향력이 다르게 나타났으며, 적정 수준의 신뢰도를 확보하기 위한 측정 조건의 변화 효과도 성취수준별로 상이하게 나타났다. 이러한 연구 결과를 토대로 다집단 일반화가능도 분석 결과가 피험자 집단별 측정의 동등성 여부를 점검하는 데 유용하게 사용될 수 있음을 확인하였다.
Abstract
Before using the results of large-scale student assessments, it is essential to assure that the results are consistent and accurate regardless of various background variables, particularly for the proficiency level. In this context, the purpose of this study was to analyze the measurement equivalence of the non-cognitive ability data across students’ groups by the proficiency level based on the generalizability theory approach. This study analyzed student survey data (N=7443) from the 2015 administration of National Assessment of Educational Achievement for ninth graders and applied the multivariate generalizability theory model to the data. In the G study, effects of each error source were investigated, while the focus of the D study was on identifying optimal measurement conditions by varying the number of items within each sub-domain that maximizes the reliability-like indices, such as a generalizability coefficient and an index of dependability. The results of the analysis indicates that the overall measurement was generally reliable over the entire range of the achievement levels; however, the study showed a somewhat negative result in ensuring the measurement equivalence for certain sub-domains of mathematics. In addition, the effect of increasing the number of items to achieve appropriate level of reliability also varied according to achievement level. Based on the results of this study, it was confirmed that a multivariate generalizability analysis approach can be useful for investigating the measurement invariance issues.
참고문헌 (23)
- 김경희, "수학 및 과학 성취도와 정의적 특성과의관계에 대한 국제 비교", 교육과정평가연구, 13(3), pp.179~208 (2010), 한국교육과정평가원
- 김성숙, "다변량 일반화가능도 이론을 적용한 성취수준 설정에서의 오차분석과 최적 조건 탐색", 교육평가연구, 25(4), pp.679~700 (2012), 한국교육평가학회
- 김성연, "수학적 창의성 태도 검사에서 수학영재와 일반학생의 다집단일반화가능도 분석", 수학교육 논문집, 31(1), pp.49~70 (2017), 한국수학교육학회[DOI]
- 수학, 과학 성취도 추이변화 국제비교 연구: TIMSS 2011 결과보고서, "김수진", 한국교육과정평가원, ~, pp.연구보고 RRE 2012-4-3 (2012)
- 한국교육종단연구2013(Ⅰ): 초등학생의 교육경험과 교육성취, "김양분", 한국교육개발원, ~ (2014)
- 김재철, "학생 배경변인과 수학에 대한 태도변화와의 관계 분석 : 잠재변인 변화모형의 적용", 박사, 교육학, pp.2002
- 국가수준 학업성취도 평가의 수학과 정의적 영역 규준 및 지표 산출 방안, "박인용", 한국교육과정평가원, ~, pp.연구보고 RRE 2016-14 (2016)
- 이영식, "다변량 일반화가능도 이론에 의한 말하기 시험의 타당도와 신뢰도에 관한 연구", Foreign Languages Education, 11(2), pp.249~265 (2004), 한국외국어교육학회
- 이진향, "수학기피행동을 야기시키는 부정적인 수학태도의 개선방법에 관한 연구 : 중학교 1학년을 대상으로", 석사, 수학교육, pp.1995
- 이현숙, "혼합형 검사의 문항 유형별 가중치에 따른 신뢰도 및 다변량 일반화가능도 분석", 교육평가연구, 25(1), pp.95~116 (2012), 한국교육평가학회
- 전경희, "정의적 성취특성 측정의 오차요인 및 성취수준별 척도의 동등성 분석", 제9회 국가단위 평가 자료 분석 및 맞춤형 학력진단검사 활용 연구 세미나 발표 자료 (2017)
- 최승현, "PISA와 TIMSS 결과에 나타난 우리나라 학생의 정의적 성취 실태 분석- 수학 교과를 중심으로 -", 한국학교수학회논문집, 17(1), pp.23~43 (2014), 한국학교수학회
- Brennan, R. L., "Generalizability Theory" (2001), Springer
- Brennan, R. L., (2001), Center for Advanced Studies in Measurement and Assessment, The University of Iowa
- "Cross-national response styles in international educational assessments:Evidence from PISA 2006" (2009)[URL]
- Lakin, J. M., "Multigroup generalizability analysis of verbal, quantitative, and nonverbal ability tests for culturally and linguistically diverse students", Educational and Psychological Measurement, 72(1), pp.139~158 (2012)
- A multigroup generalizability analysis of a large-scale reading comprehension test, "Li, D.", Center for Advanced Studies in Measurement and Assessment, University of Iowa, ~, pp.CASMA Research Report, 25 (2007)
- Mõttus, R., "The effect of response style on self-reported conscientiousness across 20 countries", Personality and Social Psychology Bulletin, 38(11), pp.1423~1436 (2012)
- OECD, "PISA 2012 Results: Ready to Learn: Students’ Engagement, Drive and Self-Beliefs(Volume III)" (2013), OECD Publishing
- OECD, "PISA 2012 Results: What Students Know and Can Do – Student Performance in Mathematics, Reading and Science (Volume I, Revised edition, February 2014)" (2014), OECD Publishing
- Popham, W. J., "Test Better, Teacher Better: The Instructional Role of Assessment" (2003), ASCD
- Powers, S., "Multivariate generalizability analyses of mix ed format exams", Annual Meeting of the National Council on Measurement in Education (2009)
- Yin, P., "A multivariate generalizability analysis of the Multistate Bar Examination", Educational and psychological measurement, 65(4), pp.668~686 (2005)