본문 바로가기
KERD
논문KCI 등재

지역독립성 가정의 위배가 IRT 수직척도의 척도변동성에 미치는 영향

The effects of violation of the local independence assumption on scale variability in IRT vertical scale

박인용
한국교육과정평가원 (Korea Institute for Curriculum and Evaluation)|2013.07|교육과정평가연구 (The Journal of Curriculum and Evaluation)|제16권 제2호|pp. 149-174

0

조회

0

다운로드

2

인용

0

참고문헌

키워드

item response theory지역독립성 가정단위검사IRT 수직척도척도변동성공통문항설계척도검사설계local independence assumptionvertical scalescale variabilitycommon item designscale test design
주제분류교육학

초록

문항반응이론(item response theory; IRT)에 기초하여 수직척도를 개발하여 사용할 경우 개발과정에서 모형, 가정의 충족여부, 자료수집방법 등 많은 요인들이 수직척도 개발에 영향을 끼치기 때문에 그 해석에 유의해야 한다. 이 연구에서는 단위검사로 구성된 검사에서의 자료수집방법 선택에 따라 IRT 방법을 적용하여 수직척도를 개발할 때 지역 독립성 가정의 위배가 수직척도의 특성 중 척도변동성에 미치는 영향을 탐색하고자 모의자료를 통해 공통문항설계방법과 척도검사설계방법에서 수직척도를 개발하였다. 연구결과, 지역독립성 가정이 충족되었을 경우에도 자료수집방법 간 척도변동성이 다르게 산출되는 것을 확인하였다. 또한, 가정이 위배되었을 경우에는 두 자료수집방법 모두에서 척도수축 현상이 나타났으며 그 정도는 공통문항설계방법에서 보다 크게 나타난 것을 확인하였다. 따라서 지역독립성 가정의 위배가 심할 때 공통문항설계방법을 사용하여 자료를 수집할 경우 단위검사모형과 같이 단위검사의 효과를 모형화하여 이를 통제하는 모형을 선택하거나 단위검사를 하나의 측정단위로 하여 이를 다분문항으로 취급해 단위검사의 효과를 없애는 다분문항반응모형 등으로 단위검사로 인한 지역독립성 가정 위배의 영향을 최소화해야 할 것이다.

Abstract

When IRT is used to construct a vertical scale, there are many effects of many factor which are model, assumption, data collection design on vertical scale. The purpose of this study is to examine the effect of violation of local independence assumption on scale variability in IRT vertical scales for tests composed of testlet based on different data collection designs. Data collection designs used in this study were scaling test design and common item design. The data were generated in two dimensional compensatory model incorporated testlet effect. In result, when the local independence assumption was satisfied, scale variability yielded different patterns between scaling test design and common item design. Scale variability under both of data collection design showed scale shrinkage when the local independence assumption was not met. And the magnitude of shrinkage in common item design was more than those in scaling test design. Therefore, in practical, when IRT is used to construct a vertical scale with sever violation of local independence assumption, it must be controlled testlet effect using testlet-based scoring or testlet model incoporated testlet effects.

참고문헌 (43)

  1. 김성훈, "능력 변화과정 추정을 위한 시험자료의 동등화 방법 연구", 교육평가연구, 13(1), pp.101~125 (2000)
  2. 민경석, "수직 척도점수를 이용한 학년 간 비교의 타당성 - 초등학생용 ICT 리터러시 검사 -", 교육과정평가연구, 13(1), pp.25~42 (2010), 한국교육과정평가원
  3. 박인용, "IRT 수직척도의 자료수집방법과 추정방법에 따른 피험자 능력점수의 성장패턴과 척도변동성", 교육평가연구, 25(2), pp.263~286 (2012), 한국교육평가학회
  4. 부재율, "가교문항 수직적 동등화를 이용한 국어, 영어, 수학 학업성취도의 학년 간 비교 연구", 교육평가연구, 18(1), pp.81~100 (2005), 한국교육평가학회
  5. 국가수준 종단적 교육조사 연구를 위한 성취도검사 및 척도개발, "이규민", 한국교육과정평가원, ~, pp.연구보고 RR 2006-1 (2006)
  6. 이규민, "『한국교육종단연구2005』의 수직척도 타당성 검토", 교육평가연구, 23(3), pp.617~640 (2010), 한국교육평가학회
  7. Andrews, K. M., "The effects of scaling design and scaling method on the primary score scale associated with a multi-Classification Proportion Level achievement test", 박사, pp.1995
  8. Bishop, N. S., "Comparing vertical scales derived from dichotomous and polytomous IRT models for a test composed of testlets", Paper presented at the annual meeting of the National Council on Measurement in Education (2002)
  9. Briggs, D. C., "The impact of vertical scaling decisions on growth interpretations", Educational Measurement : Issues and Practice, 28(4), pp.3~14 (2009)
  10. Camilli, G., "Scale shrinkage and the estimation of latent distribution parameters", Journal of Educational Statistics, 13(3), pp.227~241 (1988)
  11. Camilli, G., "Measurement error, multidimensionality, and scale shrinkage : A reply to Yen and Burket", Journal of Educational Measurement, 36(1), pp.73~78 (1999)
  12. Camilli, G., "Scale shrinkage in vertical equating", Applied Psychological Measurement, 17(4), pp.379~388 (1993)
  13. De Ayala, R. J., "The theory and practice of item response theory" (2009), Guilford Press
  14. Dorans, N. J., "Linking and aligning scores and scales" (2007), Springer-Verlag
  15. Hambleton, R. K., "Item response theory, principles and applications" (1985), Kluwer
  16. Hendrickson, A. B., "Comparison of IRT vertical scaling from scaling test and common item designs", Paper presented at the annual meeting of the National Council on Measurement in Education (2004)
  17. Hendrickson, A. B., "Dichotomous and polytomous scoring for IRT vertical scaling from scaling-test and common-item designs", Paper presented at the annual meeting of the National Council on Measurement in Education (2005)
  18. Hoover, H. D., "The most appropriate scores for measuring educational development in the elementary schools : GE's", Educational Measurement : Issues and Practice, 3(4), pp.8~14 (1984)
  19. Kim, J., "A comparison of calibration methods and proficiency estimators for creating IRT vertical Scales", 박사, pp.2007
  20. Kolen, M. J., "Comparison of traditional and item response theory methods for equating tests", Journal of Educational Measurement, 18(1), pp.1~11 (1981)
  21. Kolen, M. J., "Test equating, scaling, and linking: Methods and practices" (2004), Springer-Verlag
  22. Lee, G., "A comparison of methods of estimating conditional standard errors of measurement for testlet based test scores using simulation techniques", Journal of Educational Measurement, 37(2), pp.91~112 (2000)
  23. Lee, G., "Estimating reliability under a generalizability theory model for test scores composed of testlets", Applied Measurement in Education, 12(3), pp.237~255 (1999)
  24. Lee, G., "Incorporating the testlet concept in test score analyses", Educational Measurement : Issues and Practice, 19(4), pp.5~9 (2000)
  25. Lee G., "A comparison of the approaches of classical test theory, generalizability theory, and item response theory in estimating the reliability of test scores composed of testlets", Paper presented at the annual meeting of the National Council on Measurement in Education (2008)
  26. 이규민, "Testlet Response Model for IRT True Score Equating", 교육평가연구, 22(3), pp.871~887 (2009), 한국교육평가학회
  27. Lord, F. M., "Applications of item response theory to practical testing problems" (1980), Erlbaum
  28. Marco, G. L., "A test of the adequacy of curvilinear score equating models, In New horizons in testing", pp.147~176 (1983), Academic
  29. Meng, H., "A comparison study of IRT calibration methods for Mixed-format tests in vertical scaling", 박사, pp.2007
  30. Mislevey, R. J., "BILOG 3: Item analysis and test scoring with binary logistic models" (1990), Scientific Software, Inc
  31. Nandakumar, R., "Traditional dimensionality versus essential dimensionality", Journal of Educational Measurement, 28(2), pp.99~117 (1991)
  32. Ngudgratoke, S., "Vertical linking of test composed of testlets: A comparison between dichotomous model, polytomous model, and testlet response model", Paper presented at the annual meeting of the National Council on Measurement in Education (2006)
  33. Reckase, M. D., "The definition of difficulty and discrimination for multidimensional item response theory models", Paper presented at the annual meeting of the American Educational Research Association (1983)
  34. Skaggs, G., "IRT test equating: Relevant issues and a review of recent research", Review of Educational Research, 56(4), pp.495~529 (1986)
  35. Tong, Y., "Comparison of methodologies and results in vertical scaling for educational achievement tests", 박사, pp.2005
  36. Tong, Y., "Vertical scaling and scale shrinkage", Paper presented at the annual meeting of the National Council on Measurement in Education (2006)
  37. Wainer, H., "Precision and differential item functioning on a testlet-based test: The 1991 law school admission test as an example", Applied Measurement in Education, 8(2), pp.157~186 (1995)
  38. Wainer, H., "Testlet response theory: An analog for the 3-PL useful in adaptive testing, In Computerized adaptive testing: Theory and practice", pp.245~270 (2000), Kluwer-Nijhoff
  39. Wang, W. -C., "Using a new statistical model for testlets to score TOEFL", Journal of Educational Measurement, 37(3), pp.203~220 (2000)
  40. Wang, W. -C., "Rasch testlet model", Applied Psychological Measurement, 29(2), pp.126~ (2005)
  41. Williams, V. S. L., "A comparison of developmental scales based on Thurstone methods and item response theory", Journal of Educational Measurement, 35(2), pp.93~107 (1998)
  42. Yen, W. M., "The choice of scale for educational measurement : An IRT perspective", Journal of Educational Measurement, 23(4), pp.299~325 (1986)
  43. Zimowski, M. F., "BILOG-MG: Multiplegroup IRT analysis and test maintenance for binary items" (2003), Scientific Software

관련 논문AI추천

대단위 읽기 평가의 테스트렛 효과 진단 및 대안 탐색 －Bifactor 모형을 중심으로오규설청람어문교육학회 · 청람어문교육2025 · 제108호A literature review of detecting aberrant response patterns by using IRT-based fit indices설현수한국교육과정평가원 · 교육과정평가연구2002 · 제5권 제1호다차원 문항반응모형의 총점 산출을 위한 기준선 합성방법과 최대 검사정보함수 방법의 비교민경석한국교육과정평가원 · 교육과정평가연구2012 · 제15권 제3호다분문항반응이론에서 두 가지 사후기대추정법을 통한 IRT 능력모수 추정의 정확성 비교 연구강태훈한국교육방법학회 · 교육방법연구2015 · 제27권 제1호선다형 문항의 차등배점을 고려할 수 있는 능력모수 추정방법 탐색: 등급반응모형 활용을 중심으로강태훈, 김윤주한국교육방법학회 · 교육방법연구2016 · 제28권 제3호차별기능문항의 원인 오명세화가 탐지 정확도에 미치는 영향: 요인혼합모형 기반 시뮬레이션 연구박중규, 이찬희, 최은진한국심리학회 · 한국심리학회지:일반2025 · 제44권 제4호

이 간행물의 다른 논문 (7건)

초등 입문기 학생들의 국어 능력 연구구영산pp. 1-30디지털교과서의 검ㆍ인정 심사 절차 개발주형미, 가은아, 안종욱, 남창우pp. 31-58교과용도서 관련 법규의 문제점과 개선 방안윤현진, 김명정, 김덕근pp. 59-76초등학교 6학년 듣기ㆍ말하기 수업을 위한 디지털교과서의 활용 사례 연구정현선, 김지연pp. 77-102초등학교 다문화미술교육 방향 탐색을 위한 초등교사 인식에 관한 연구김영순, 박순덕pp. 103-126
원문 보기