수직 척도점수를 이용한 학년 간 비교의 타당성 - 초등학생용 ICT 리터러시 검사 -
Evaluation of Vertical Scaling When Comparing Various Grades - ICT Literacy Tests for Elementary Students -
0
조회
0
다운로드
7
인용
0
참고문헌
키워드
초록
시간의 흐름(연령 혹은 학년)에 따른 학생의 성장을 측정하는 것은 사회과학의 중요한 관심 영역으로 다루어졌으며, 측정이론에서 학생의 변화/성장을 측정하는 방법으로 주로 수직 척도가 활용되어져 왔다. 이 논문의 목적은 교육/심리 분야에서 다양하게 활용되는 수직 척도점수를 이용한 학년 간 비교의 타당성을 검증하는 데 있다. 구체적으로 2008년 초등학생용 ICT 리터러시 검사에서개발된 수직 척도점수의 의미를 분석하기 위하여 단계 간, 학년 간 측정모형의 동등성을 다집단 구조방정식모형을 이용하여 검증하였다. 측정모형의 비교 결과, 단계 간 검사의 일차원성이라는 요인구조 동등성은 만족되었으나, 잠재요인이 각 관찰점수(능력영역)에 영향을 미치는 정도(요인부하량)는 검사 단계에 따라 다르게 나타났다. 이는 수직 척도점수가 제공하는 성장 정보가 단계, 학년에 따라 차별적이며, 결국 측정모형의 동등성 정도에 따라 수직 척도점수의 활용 수준이 제한되어야함을 의미한다. 또한 학생의 성장/변화를 보다 구체적이고 일관되게 확인하기 위해서는 일반적으로 활용되는 단일 총점 보다는 현실의 다차원성을 반영하는 다양한 하위영역 점수를 활용할 필요가있음이 제안되었다.
Abstract
Measuring students' growth and change has been an important issue in educational research and usually vertical scaling is a way to assess students'growth. The purpose of this study was to evaluate validity of multiple grades comparison using vertical scales of ICT Literacy Tests for elementary students developed in 2008. Multi-group structural equation models were used in order to assess equivalence of measurement models across two test forms and four grades. As a result, equivalent factor structure was confirmed but factor loadings varied across test forms. It meant that the meaning of vertically scaled scores might not be consistent when students in different grades were compared. So, it would be better to generate multiple sub-scores reflecting multidimensionality of ability areas rather than to use a single total score, even when vertical scales were used to evaluate students' growth. Suggestions for further studies on vertical scaling were also provided.
참고문헌 (34)
- 교육인적자원부, "초 중등학교 정보통신기술 교육 운영지침" (2005), 교육인적자원부
- 교육인적자원부, "초 중등학교 정보통신기술 교육 운영지침 해설서(안)" (2007), 교육인적자원부
- 김성훈, "능력 변화과정 추정을 위한 시험자료의 동등화 방법 연구", 교육평가연구, 13(1), pp.101~125 (2000)
- 민경석, "PISA 2003 정의적 특성의 측정모형 동등성", 한국교육, 33(3), pp.31~49 (2006), 한국교육개발원
- 민경석, "초등학생용 ICT 리터러시 검사의 수직 척도화", 교육정보미디어연구, 15(3), pp.1~19 (2009), 한국교육정보미디어학회
- 박현정, "학습동기, 자아개념, 학업성취간 관계의 집단간 동등성 분석: PISA 2006을 중심으로", 교육평가연구, 21(3), pp.43~67 (2008), 한국교육평가학회
- 반재천, "국가수준 학업성취도 평가의 척도 개발", 교육평가연구, 19(2), pp.113~135 (2006), 한국교육평가학회
- 부재율, "수직적 동등화 방법들의 양호성 실증 비교 - 학년 간 자료를 이용하여", 교육평가연구, 13(1), pp.81~100 (2000)
- 부재율, "가교문항 수직적 동등화를 이용한 국어, 영어, 수학 학업성취도의 학년 간 비교 연구", 교육평가연구, 18(1), pp.81~100 (2005), 한국교육평가학회
- 부재율, "수직적 동등화 결과 비교 분석 연구 - 단계형 수준별 교과(수학)에서", 교육과정평가연구, 3(1), pp.141~160 (2000)
- 초등학생용 ICT 리터러시 검사도구 타당화 연구, "서순식", 한국교육학술정보원, ~ (2008)
- 성태제, "다른 교과의 점수를 연결하는 통계적 조절 방법의 타당성", 교육평가연구, 13(1), pp.63~99 (2000)
- ACT, "PLAN Technical Manual" (2007), ACT
- Ballou, D., "Controlling for student background in value-added assessment of teachers", Journal of Educational and Behavioral Statistics, 29(1), pp.37~66 (2004)
- Bollen, K. A., "Structural Equations with Latent Variables" (1989), Wiley
- NMSQT 2008, "Official Educator Guide to the PSAT", pp.College Board, 2009
- Collins, L. M., "Best Methods for the Analysis of Change: Recent Advances, Unanswered Questions, Future Directions" (1991), American Psychological Association
- Collins, L. M., "New Methods for the Analysis of Change" (2001), American Psychological Association
- Gottman, J. M., "The Analysis of Change" (1995), Lawrence Erlbaum
- Joreskog, K., "LISREL 7 User's Reference Guide" (1989), Scientific Software International, Inc
- Joreskog, K., "LISREL 8.54: Computer program for structural equation models" (2003), Scientific Software International, Inc
- Kline, R. B., "Principles and Practice of Structural Equation Modeling" (1998), Gilford
- Kolen, M. J., "Test Equating, Scaling, and Linking: Methods and Practices (2ed Ed.)" (2004), Springer
- Lissitz, R., "Longitudinal and Value Added Models of Student Performance" (2006), JAM Press
- Lord, F. M., "Applications of Item Response Theory to Practical Testing Problems" (1980), Erlbaum
- McCaffrey, D. F., "Models for value-added modeling of teacher effects", Journal of Educational and Behavioral Statistics, 29(1), pp.67~102 (2004)
- Mehrens, W. A., "Measurement and Evaluation in Education and Psychology (4th Ed.)" (1991), Holt, Rinehart and Winston
- Mislevy, R. J., "Linking Educational Assessments: Concepts, Issues, Methods, and Prospects" (1992), ETS
- Reckase, M. D., "The real world is more complicated than we would like", Journal of Educational and Behavioral Statistics, 29(1), pp.117~120 (2004)
- Schulz, E. M., "Grade equivalent and IRT representations of growth", Journal of Educational Measurement, 34(4), pp.315~331 (1997)
- Thurstone, L. L., "A method of scaling psychological and educational tests", Journal of Educational Psychology, 16, pp.433~451 (1925)
- Thurstone, L. L., "The absolute zero in intelligence measurement", The Psychological Review, 36, pp.175~197 (1928)
- Yen, W. M., "The choice of scale for educational measurement: An IRT perspective", Journal of Educational Measurement, 23(4), pp.299~325 (1986)
- Yen, W. M., "Comparison of item response theory and Thurstone methods of vertical scaling", Journal of Educational Measurement, 34(4), pp.293~313 (1997)