PISA 2003 문제해결력 영역에 대한 성별 차별기능문항 추출
Detecting the Differential Item functioning by Gender on the Problem Solving Literacy of PISA 2003
0
조회
0
다운로드
15
인용
0
참고문헌
키워드
초록
평가의 공정성을 확인할 수 있는 한 방법으로서 차별기능문항은 동일한 능력 수준을 가진 피험자들이 그들이 속한 집단의 특성 때문에 문항의 답을 맞힐 확률이 다르게 나타나는 문항을 의미한다. 본 연구에서는 균일적 차별기능문항 추출은 물론 비균일적 차별기능문항 추출도 고려하여 일곱 가지 차별기능문항 추출 방법을 사용하여 PISA 2003 문제해결력 영역 문항에 나타나는 성별에 따른 차별기능을 확인하였다. 즉, 균일적 차별기능을 탐색하기 위해 멘탈-헨젤 방법, SIBTEST 방법, 문항반응이론을 활용한 문항난이도 모수 비교 방법을 사용하였고, 비균일적 차별기능을 탐색하기 위해 로지스틱 회귀분석 방법, Crossing SIBTEST 방법, 문항특성곡선간 면적을 비교하는 Raju 방법, 우도비 검정 방법을 사용하였으며, 추출된 차별기능문항에 대한 문항특성곡선(ICC)을 그려봄으로써 어떤 형태로 차별기능 하는지를 살펴보았다. 분석 결과, 5개의 균일적 차별기능문항과 5개의 비균일적 차별기능문항이 추출되었으며, 이 중 세 개의 문항(4번, 16번, 18번)은 네 가지 이상의 방법에서 차별기능문항으로 추출되었다. 여러 다양한 차별기능문항 추출 방법에서 차별기능이 확인된 이들 세 문항에 대해서는 질적 분석을 통해 보다 심도있는 논의를 하였다. 이들 결과는 실제 교육 현장에서 성별에 따라 문제해결력을 균형적으로 향상시킬 수 있는 방법을 고안하는데 도움이 될 것이다.
Abstract
The purpose of the present study were to detect the differently functioned items on the problem solving literacy of PISA(Program for International Student Assessment) 2003 between male and female. Especially, we focused on two types of Diffential Item functioning(DIF), uniform DIF and non-uniform DIF. We utilized a Mantel-Haenszel method, a SIBTEST method and an item difficulty parameter comparison method in order to detect the uniform DIF, and a logistic regression method, a Cross-SIBTEST method, a Raju method, and Likelihood Ratio method to detect the non-uniform DIF. We also confirmed detected DIFs through the Item Characteristic Curve(ICC). Results showed that five uniform DIFs and five non-uniform DIFs were detected significantly among 19 items. Especially, three items (item 4, item 16, item 18) were found distinctly as a DIF in more than four methods. The in-depth qualitative analysis was performed about three credible DIF items.
참고문헌 (41)
- 곽영선, "PISA 2주기 검사에서 한국 학생들의 문제해결 영역 성취도 분석", 한국지구과학회지, 25(8), pp.647~655 (2004), 한국지구과학회
- 김금수, "기업의 여성관리자 현황과 여성관리자에 대한 정책과제", 대한경영학회지, 17(4), pp.1465~1484 (2004), 대한경영학회
- 김신영, "차별적 문항기능의 추출방법" (2001), 교육과학사
- 김영미, "관리직 여성인력의 확대와 전문성 확보를 위한 정책대안에 관한 연구", 한국행정연구, 13(2), pp.179~209 (2004), 한국행정연구원
- 노언경, "중학생 적성검사 중 공간능력 영역에서의 성별에 따른 차별기능문항 추출", 석사, pp.2007
- 성태제, "1994학년도 제 1차 대학수학능력시험의 성별에 따른 차별기능문항 추출", 교육평가연구, 7(2), pp.87~101 (1994)
- 성태제, "일방적 차별기능문항 중 균일적 차별기능문항과 평행적 차별기능문항의 분류", 교육평가연구, 12(1), pp.1~16 (1999)
- 손원숙, "차별기능문항 기법의 응용:교육 및 심리검사의 번안과정에서", 교육평가연구, 15(1), pp.207~225 (2002), 한국교육평가학회
- 안광식, "중학생들의 성별에 따른 다중지능과 기술적 문제해결력과의 관계", 대한공업교육학회지, 31(2), pp.64~82 (2006), 대한공업교육학회
- PISA 2003 결과 분석 연구: 수학적 소양, 읽기 소양, 과학적 소양 수준 및 배경변인 분석, "이미경", ~, pp.한국교육과정평가원 연구보고 RRE 2004-2-1 (2004)
- OECD, "PISA 평가틀 및 공개 문항 분석:PISA 2000,PISA 2003,.PISA 2006 공개 문항", 이미경, 2007, 한국교육과정평가원 연구자료 ORM 2007-25
- 진수정, "MH방법과 SIBTEST방법을 이용한 문항유형에 따른 차별기능문항의 탐색", 교육평가연구, 17(2), pp.215~236 (2004), 한국교육평가학회
- 추정아, "MHDIF:Mantel-Haenszel 방법을 이용한 차별기능문항 추출 컴퓨터 프로그램과 매뉴얼" (1993), 이화여자대학교 교육학과
- Angoff, W. H., "Perspectives on differential item functioning methodology, in Differential item functioning", pp.3~24 (1993), Lawrence Erlbaum Associates
- Camilli, G., "Methods for identifying biased test items" (1994), Sage Publications
- Cohen J., "A coefficient of agreement for nominal scales", Educational and Psychological Measurement, 20, pp.37~46 (1960)
- Dorans, N., "DIF detection and description: Mantel-Haenszel and standardization, in Differential item functioning", pp.35~66 (1993), Lawrence Erlbaum
- Dorans, N. J., "Equity assessment for polytomously scored items:A taxonomy of procedures for assessing differential item functioning" (1994), Educational Testing Service
- Finch, W. H., "Detection of crossing differential item functioning:a comparison of four methods", and Psychological Measurement, 67, pp.565~582 (2007)
- An alternative definition of the ETS delta scale of item difficulty, "Holland, P. W.", Educational Testing Service, ~, pp.Research Report RR-85-43 (1985)
- Holland, P. W., "Differential item performance and the Mantel-Haenszel procedure, in Test Validity" (1988), Lawrence Erlbaum
- Kim, S. H., "IRTDIF: A computer program for IRT differential item functioning analysis", Applied Psychological Measurement, 16, pp.158~ (1992)
- Kim, S. H., "A comparison of Lord's chi-Square, Raju's area measures, and the likelihood ratio test on detection of differential item functioning", Applied Measurement in Education, 8, pp.291~312 (1995)
- Li, H-H., "A new procedure for detection of crossing DIF", Psychometrika, 61, pp.647~677 (1996)
- Maller, S. J., "Differential item functioning in the WISC-III: Item parameters for boys and girls in the national standardization sample", Educational and Psychological Measurement, 61, pp.793~817 (2001)
- Mayer, R. E., "Problem solving, in Encyclopedia of creativity", pp.437~447 (1999), Academic press
- Mellenbergh, G. J., "Contingency table models for assessing item bias", Journal of Educational Statistics, 7, pp.105~108 (1982)
- Potenza, M. T., "DIF assessment for polytomously scored items: a framework for classification and evaluation", Applied Psychological Measurement, 19, pp.23~37 (1995)
- Raju, N. S., "The area between two item characteristic curves", Psychometrika, 53, pp.495~502 (1988)
- Shealy, R. T., "An item response model for test bias and differential test functioning, in Differential item functioning", pp.197~239 (1993), Lawrence Erlbaum Associates
- Sheppard, R., "Differential item functioning by sex and race in the hogan personality inventory", Assessment, 13, pp.442~453 (2006)
- Smith, L. L., "On the usefulness of item bias analysis to personality psychology", Personality and Social Psychological Bulletin, 28, pp.754~763 (2002)
- Snow, T. K., "A comparison of unidimensional and three-dimensional differential item functioning analysis using two-dimensional data", Educational and Psycological Measurement, 69, pp.732~747 (2009)
- Stark, S., (2001), University of Illinois
- Stout, W., "A nonparametric approach for assessing latent trait unidimensionality", Psychometrika, 42, pp.589~617 (1987)
- Stout, W., "SIBTEST manual" (1995), Department of Statistics, Statistical Laboratory for Educational and Psychological Measurement, University of Illinois
- Swaminathan, H., "Detecting differential item functioning using logistic regression procedures", Journal of Educational Measurement, 27, pp.361~370 (1990)
- IRTLRDIF v.2.0b: Software for the computation of the statistics involved in item response theory likelihood-ratio tests for differential item functioning, "Thissen, D.", University of North Carolina at Chapel Hill, ~ (2001)
- Thissen, D., "Use of item response theory in the study of group difference in trace lines, in Test validity", pp.147~169 (1988), Lawrence Erlbaum
- Tian, F., "Detecting DIF in polytomous item responses", 박사, Education, pp.1999
- Zimowski, M. F., (1996), Scientific Software International