다분문항반응모형을 적용한 검사문항척도의 타당화 방법-등급반응모형, 일반화부분채점모형, 차별기능문항탐색을 바탕으로-
The Validation Method of the test item scale applying Polytomous IRT -Based in the GRM, GPCM, and the DIF detection-
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 검사 도구를 타당화하는 측정학적 방법으로서 다분 문항반응모형 적용 문항분석 방법과 차별기능문항 분석방법을 제안하려는 목적이 있다. 이를 위해 다분 문항반응모형의 유형 중 등급반응모형과 일반화 부분채점모형을 적용하여 문항모수 추정과 응답 범주 경계 추정 결과를 비교하였다. 또한 문항반응모형의 기본 가정인 일차원성 가정 위배 상황에서의 원인 규명 방안을 일반화 부분채점모형을 적용한 차별기능문항의 탐색을 통해 제시하였다. 연구 자료는 A 대학 전체 재학생 366명의 자기관리 역량진단 척도응답 결과이고, 분석 프로그램은 PARSCALE 3.0 버전이다. 연구 결과, 등급반응모형에서는 문항 응답 범주의 등간성 정도를, 일반화 부분채점모형에서는 범주의 응답확률과 동의 수준이 높은 범주를 문항별로 확인하였다. 또 확인적 요인분석결과를 통해 일차원성 위배원인은 차별기능문항 탐색으로 확인하였다. 그 결과 자기관리 역량과 다른 차원인 성별 요인의 개입으로, 학생의 역량 수준이 성별 집단 소속에 따라 다르게 나타나는 문항들을 확인할 수 있었다. 본 연구는 대학의 교육 성과관리 중 하나인 진단도구의 질 관리에서, 측정학적 방법을 이용한 평가 문항 검토 절차를 제안하였다. 이와 같은 측정학적 분석 결과를 통해 문항에 대한 모니터링을 할 수 있으며, 향후 역량에 따른 교육과정의 개편이나 비교과 프로그램의 수정 보완 시 신뢰할 수 있는 근거로 문항 분석 결과의 활용 가능성을 제안하고자 하였다.
Abstract
The purpose of this study was for suggestion that test item validation with polytomous IRT and Differential Item Functioning(DIF) as the measurement. For this, the graded response model(GRM) and the generalized partial credit model(GPCM) which are the polytomous IRT were applied. With these, the item estimates and category threshold were compared. Also the DIF with GPCM was suggested for solution of the determining the cause when the unidimensionality-which is the one of the basic principle for IRT analysis-were threaten. 396 of the A college students participated on self-management item scale, and the PARSCALE 3.0 were used on this study. By the results, each response category threshold has consistent interval in analysis with GRM. In analysis with GPCM shows the item which has different agreement degrees by gender grouping. The results of the confirmatory factor analysis, the source of the unidimensionality-threaten was assessed with DIF detection. Finally, the gender group membership was revealed as the another dimension, the degree of the competency was differentiated by the gender factor. Because the more educations of core competency for learners are required, the measurement of accuracy for college students is important ever than before. This study proposed a procedure for reviewing evaluation items using a measurement method in quality management of test item scale, one of the educational performance management of the college. Through these measurement analysis results, the test item can be monitored, and the possibility of using the item analysis results as a reliable basis for reorganization of the curriculum or revision and supplementation of educational programs forward was presented.
참고문헌 (33)
- (2021)[URL]
- "2021년 간추린 교육통계. (ISSN 2093-6982 통계자료 SM 2021-04)" (2021)[URL]
- 권승아, "인지진단모형에 의한 차별기능문항추출방법 비교와 TIMSS 2015 수학 문항의 차별기능문항 원인 탐색", 박사, pp.2017
- 김수영, "구조방정식 모형의 기본과 확장-Mplus 예제와 함께-", pp.287~298 (2016), 학지사
- 박성익, "자기조절학습의 구성요인과 학습효과에 관한 고찰", 아시아교육연구, 5(2), pp.137~158 (2004), 교육연구소
- 배병렬, "Mplus 7.0 구조방정식모델링", pp.39~ (2016), 청람
- 백승수, "핵심역량기반 교양교육의 당면 과제와 개선 방향", 교양교육연구, 14(3), pp.11~23 (2020), 한국교양교육학회
- 성태제, "다분문항반응이론(등급반응이론)에 의한 학구적 실패내성척도의 문항분석과 피험자 측성추정", 교육심리연구, 12(2), pp.203~218 (1998)
- 성태제, "현대교육평가", pp.396~401 (2019), 학지사
- 성태제, "알기 쉬운 통계분석(3판)-기초통계에서 구조방정식모형까지-", pp.402~421 (2019), 학지사
- 송미영, "이분반응모형과 등급반응모형에 의한 문항특성과 피험자능력 추정의 정확성", 석사, 교육학, pp.1994
- 안선영, "4모수 문항반응모형을 적용한 TIMSS 2015 수학 검사의 문항모수 추정", 교육평가연구, 34(1), pp.231~256 (2021), 한국교육평가학회
- 조주연, "자기결정성동기와 학습전략, 자기관리능력, 학업성취의 구조적 관계", 교육심리연구, 31(1), pp.105~120 (2017), 한국교육심리학회[DOI]
- 황규호, "일반역량 교육 논의의 쟁점 분석", 교육과정연구, 35(3), pp.247~271 (2017), 한국교육과정학회
- Andrich, D., "A rating formulation for ordered response categories", Psychometrika, 43(4), pp.561~573 (1978)
- Baker, F. B., "Advances in item analysis", Review of Educational Research, 47, pp.151~178 (1977)
- Baker, F. B., "Item Response Theory. Parameter estimation techniques" (2004), Marcel Dekker
- "Meaning of Self Managed in English" (2021)[URL]
- Youn-Jeng Choi, "R Packages for Item Response Theory Analysis: Descriptions and Features", Measurement: Interdisciplinary Research and Perspectives, 17(3), pp.168~175 (2019), Informa UK Limited[DOI]
- Knowles M. S., "Self-directed Learning: A Guide for Learners and Teachers" (1975), Association Press
- Tongyun Li, "Different Approaches to Covariate Inclusion in the Mixture Rasch Model", Educational and Psychological Measurement, 76(5), pp.848~872 (2016), SAGE Publications[DOI]
- Master, G., "A Rasch model for partial credit scoring", Psychometrika, 47(2), pp.149~174 (1982)
- "TIMSS 2019 assessment frameworks" (2017)[URL]
- Muraki, E., "A Generalized partial credit model : application of an EM algorithm", Applied Psychological Measurement, 14(1), pp.59~71 (1992)
- Muraki, E., "PARSCALE: IRT item analysis and test scoring for rating-scale data" (1998), Scientific Software Inc
- OECD, "The definition and selection of competencies, Executive summary", ~ (2005)
- The Future of Education and Skills: Education 2030, Flyer, "OECD", ~ (2018)
- Raise, S. P., "Parameter recovery in graded response model using MULTILOG", Journal of Educational Measurement, 27(2), pp.133~144 (1990)
- Jürgen Rost, "Rasch Models in Latent Classes: An Integration of Two Approaches to Item Analysis", Applied Psychological Measurement, 14(3), pp.271~282 (1990), SAGE Publications[DOI]
- Samejima, F., "Handbook of Modern Item Response Theory" (1969), Springer
- Sedat Sen, "The Impact of Sample Size and Various Other Factors on Estimation of Dichotomous Mixture IRT Models", Educational and Psychological Measurement, 0(0), pp.001316442210943~ (2022), SAGE Publications[DOI]
- Youngsuk Suh, "The Performance of Maximum Likelihood and Weighted Least Square Mean and Variance Adjusted Estimators in Testing Differential Item Functioning With Nonnormal Trait Distributions", Structural Equation Modeling: A Multidisciplinary Journal, 22(4), pp.568~580 (2015), Informa UK Limited[DOI]
- Zumbo, B. D., "A Handbook on the Theory and Methods of Differential Item Functioning(DIF)" (1999), National Defense Headquarters