국가수준 학업성취도 평가 사회과 문항에 대한 지역별 반응 특성: 2010, 2011 중학교 사회과 시험을 중심으로
The item response characteristics by regional scale at Social Studies tests in National Assessment Educational Achievement: in the 2010, 2011 Social Studies Tests for middle school
0
조회
0
다운로드
3
인용
0
참고문헌
키워드
초록
본 연구는 2010년 및 2011년 국가수준 학업성취도 평가 사회과 시험 결과를 대상으로 한 지역 규모별 DIF 연구이다. 대도시 지역을 참조 집단으로 설정하고 촌락(읍·면) 지역을 초점 집단으로 설정하였다. DIF 기법은 Mantel-Haenszel 기법, SIBTest, Ackerman의 타당도 기법을 적용하였다. 또한 문항 반응을 해석할 때에는 문항특성곡선을 활용하였다. 세 기법이 동시에 검출하는 문항을 DIF 문항으로 규정하였다. 그 결과 총 81개 문항 중에서 10개(2010년 6개, 2011년 4개)의 문항이 추출되었다. 선다형 5개 문항, 서답형 5개 문항이다. 도시 지역에 유리한 문항이 5개, 촌락 지역에 유리한 문항이 5개였다. DIF 문항 중에는 도시 또는 촌락 경험과 관련된 문항이 6개 있었고, 도시와 촌락의 교수·학습적 특성 탓으로 추정되는 문항이 4개 있었다. 도시 경험과 관련된 주제나 소재의 문항은 도시 지역에 유리하였고 촌락 경험과 관련된 주제나 소재의 문항은 촌락 지역에 유리하였다. 도시 지역에 유리한 어떤 문항은 도시 지역 학생들이 시청각 교육 경험에 더 많이 노출되기 때문인 것으로 추정할 수 있다. 또 어떤 문항들은 촌락 지역 학생들이 암기 지향적인 교수·학습적 경험에 더 많이 노출되기 때문인 것으로 추정할 수 있다.
Abstract
This is a Differential Item Functioning(DIF) study by regional scale to look into the results of the subject Social Studies in 2010 and 2011 National Assessment Educational Achievement(NAEA). This DIF study set up the subgroups of metropolitan students as a reference group and rural students as a focal one and made use of three DIF detecting procedures, that is, MH test, SIBTest, Ackerman’s Validity. The DIF items in this study were defined as the ones to be detected by the three procedures all. And 10 items were extracted as DIF items, that was, 5 multiple choice items and 5 descriptive items in item style, and 5 large- city-favoring items and 5 rural-region-favoring items in differential direction. The DIF items can be sorted out two kinds. The one is 6 items related with life experiences in urban and rural regions and the other is 4 items thoughted to be related with teaching-learning ways in urban and rural regions. The items to be related with urban experiences favor urban students and the ones to be linked to rural experiences favor rural examinee. It can be conjectured that an item can favor urban regions because urban students have more chances to join in audio-visual class. And it also be presumed that some items may favor rural regions because rural students have more chances to join in memory-work-centered learning.
참고문헌 (23)
- 강태훈, "다문화·탈북 가정 학생의 국어과 학업성취도 평가 결과 분석 및 차별기능문항을 통해 살펴본 다문화가정 학생의 영어 학업성취 특성’에 대한 분석", 제4회국가수준학업성취도 평가와 대학수학능력시험자료 활용분석 심포지엄: 제7주제 다문화·탈북 가정 학생의 학업성취 특성 분석, pp.195~198 (2012), 한국교육과정평가원
- 박가나, "2004년~2008년 국가수준 사회과 학업성취도 평가 성취수준별 대표문항 분석 연구", 시민교육연구, 42(2), pp.1~28 (2010), 한국사회과교육학회
- 우리나라 초·중·고 학생의 학업성취 특성 분석: 2009년 국가수준 학업성취도 평가 전수 결과 중심, "김성숙", 한국교육과정평가원, ~, pp.한국교육과정평가원 연구보고 RRE 2010-7-1 (2010)
- 김종훈, "사회과 학업성취도 평가의 인지적 특성 분석", 박사, 사회과교육, pp.2008
- 김혜숙, "국가수준 학업성취도 평가의 사회과 성별 차이 대표문항 분석 연구", 사회과교육, 50(2), pp.71~90 (2011), 한국사회과교육연구학회
- 김혜숙, "우리나라 초중고 학생들의 사회과 학업성취도의 성별 차이 : 2009년 국가수준 학업성취도 평가 결과를 중심으로", 한국지리환경교육학회지, 19(1), pp.67~87 (2011), 한국지리환경교육학회
- 박은아, "고등학교 1학년 학생의 국어과의 읽기 능력과 사회과 학업성취도 간의 관계 분석", 사회과교육, 47(3), pp.241~266 (2008), 한국사회과교육연구학회
- 성태제, "차별기능(편파성) 문항추출을 위한 Raju 방법과 Mantel-Haenszel 방법의 비교 연구", 교육평가연구, 6(1), pp.91~120 (1993)
- 성태제, "1994학년도 제1차 대학수학능력시험의 성별에 따른 차별기능문항 추출", 교육평가연구, 7(2), pp.87~101 (1994)
- 성태제, "문항반응이론의 이해와 적용" (2001), 교육과학사
- 손원숙, "차별기능문항 기법의 응용:교육 및 심리검사의 번안과정에서", 교육평가연구, 15(1), pp.207~225 (2002), 한국교육평가학회
- 송미영, "수행평가 도구의 성별에 따른 차별기능문항 추출 및 추출방법 비교", 박사, 교육학, pp.2001
- 송미영, "국가수준 학업성취도 평가 결과에 기반한 교과별 학력 특성", ‘과학 학업성취도와 국어 능력과의 관련성’과 ‘국가수준 학업성취도 평가에 사회과문항에 대한 지역별 반응 특성’에 대한 토론, pp.227~230 (2012), 한국교육과정평가원
- 윤수철, "구조방정식모형을 이용한 차별문항기능의 탐지 : MACS와 MIMIC의 비교", 석사, 심리학, pp.2011
- 문항의 차별기능을 추정하는 통계적 방법들, "윤영선", 한국학술진흥재단, ~ (1993)
- 진수정, "문항 유형에 의한 문항의 차별적 기능 탐색", 석사, 교육학, pp.2004
- Ackerman, T.A., "A didactic explanation of item bias, item impact, and item validity from a multidimensional perspective", Journal of Educational Measurement, 29(1), pp.67~91 (1992)
- Fidalgo, A.M., "Generalized Mantel-Haenszel methods for differential item functioning detection", Educational and Psychological Measurement, 68(6), pp.940~958 (2008)
- Holland, P.W., "Differential item performance and the Mantel-Haenszel Procedure", pp.129~146 (1988), Routledge
- Mantel, N., "Statistical aspects of the analysis of data from retrospective studies of disease", Journal of the National Cancer Institute, 22, pp.719~748 (1959)
- Shealy, Robin, "A model-based standardization approach that separates true Bias", DIF from group ability differences and detects test Bias, DIF, pp.Psychometrika, 1993[DOI]
- Yates, F., "Contingency tables involving small numbers and the x2 test", Supplement to the Journal of the Royal Statistical Society, 1(2), pp.217~235 (1934)
- Zumbo, B.D., "Three generations of DIF analyses: considering where it has been, where it is now, and where it is going", Language Assessment Quarterly, 4(2), pp.223~233 (2007)