본문 바로가기
KERD
논문KCI 등재

컴퓨터 기반 평가에서 디지털 기기 친숙도에 따른 차별기능문항 분석: eTIMSS 2019 4학년 수학을 중심으로

Analysis of Differential item functioning according to digital device familiarity in computer-based test: focusing on eTIMSS 2019 4th grade mathematics

최윤정|안해연|서경숙
한국교육과정평가원 (Korea Institute for Curriculum and Evaluation)|2024.02|교육과정평가연구 (The Journal of Curriculum and Evaluation)|제27권 제1호|pp. 209-243|DOI https://doi.org/10.29221/jce.2024.27.1.209

0

조회

0

다운로드

0

인용

0

참고문헌

키워드

컴퓨터 기반 평가차별기능문항differential item functioningComputer based test디지털 기기 친숙도eTIMSS 2019familiarity with digital devices
주제분류교육학

초록

본 연구는 컴퓨터 기반 평가의 차별기능문항 분석을 통해 디지털 기기 활용 경험이 상대적으로 부족한 학생에게 불리하게 작용하는 문항의 유형을 탐색하고자 하였다. 이를 위해 eTIMSS 2019의 우리나라 초등학교 4학년 수학 자료를 활용하여 차별기능문항 분석을 실시하였다. 분석에는 정규 수학에응시한 557명, PSI 수학 문항에 응시한 556명의 자료를 활용하였으며, 디지털 기기 친숙도가 낮은 집단을 초점집단(focal group), 디지털 기기 친숙도가 높은 집단을 참조집단(reference group)으로선정하였다. 차별기능문항의 분석 방법으로는 로지스틱 회귀분석 방법, Mantel-Haenszel 방법, IRT 우도비 검정(likelihood ratio test) 방법을 사용하여 결과를 비교하였다. 분석 결과 디지털 기기친숙도가 낮은 집단의 학생들은 컴퓨터 상호 작용이 강화된 문항, 숫자 키패드로 답을 입력하는 문항들에 불리한 것으로 나타났다. 본 연구의 결과는 향후 컴퓨터 기반 평가의 타당도를 제고하기 위한 정보로 활용될 수 있을 것으로 기대한다.

Abstract

This study attempted to explore the types of items that adversely affect students who have relatively insufficient experience in using digital devices through the analysis of differential functional questions in computer-based evaluation. To this end, an analysis of differential functional questions was conducted using data from the 4th grade mathematics of eTIMS 2019. For the analysis, data from 557 people who took regular mathematics and 556 people who took PSI questions were used, and the group with low digital device familiarity was selected as the focul group and the group with high digital device familiarity as the reference group. As a method of analyzing differential functional questions, the results were compared using the logistic regression analysis method, the Mantel-Haenszel method, and the likelihood ratio test method. As a result of the analysis, it was found that students in the group with low digital device familiarity were disadvantageous in terms of items with enhanced computer interaction and items for entering answers with a numeric keypad. The results of this study are expected to be used as information to improve the validity of computer-based evaluation in the future.

참고문헌 (59)

  1. 강태훈, "K-CASA 글로벌역량 검사에 대한 차별적 기능문항 분석", 핵심역량교육연구, 2(2), pp.1~13 (2018)
  2. 교육부, "수학·과학 성취도 추이변화 국제비교 연구(TIMSS) 2019 결과 발표", ~ (2020)
  3. "맞춤형 학업성취도 평가로 기초학력 끌어올린다" (2023), 교육부[URL]
  4. 교육부, "2022년 맞춤형 학업성취도 자율평가 시행안", ~ (2022)
  5. 컴퓨터 기반 문제해결능력 평가 모형 개발, "김명화", 한국교육과정평가원, ~, pp.연구보고 PRE 2011-5 (2011)
  6. 김종민, "2015년도 국가수준 초·중학생 ICT 리터러시 검사의 성별에 따른차별기능문항 분석", 교육평가연구, 29(2), pp.301~324 (2016)
  7. 노언경, "중학생 적성검사 중 공간능력 영역에서의 성별에 따른 차별기능문항 추출", 석사, 심리학, pp.2007
  8. 노언경, "PISA 2003 문제해결력 영역에 대한 성별 차별기능문항 추출", 교육방법연구, 22(4), pp.165~194 (2010)
  9. 2015 개정 수학과교육과정 시안 개발 연구 II, "박경미", 교육부 & 한국과학창의재단, ~, pp.연구보고서 BD15120005 (2015)
  10. 백종호, "컴퓨터 기반 평가와 지필평가 간 학생 응답 특성 탐색-컴퓨터 기반국가수준 학업성취도 평가 병행 시행 결과를 중심으로", 한국과학교육학회지, 43(1), pp.17~28 (2023)
  11. TIMSS 2019 결과 및 변화 추이 심층 분석, "서민희", 한국교육과정평가원, ~, pp.연구보고 RRE 2021-5 (2021)
  12. 성태제, "1994학년도 제1차 대학수학능력시험의 성별에 따른 차별기능문항 추출", 교육평가연구, 7(2), pp.87~101 (1994)
  13. 손원숙, "국제학업성취도 평가의 DIF 원인 탐색을 위한 로지스틱 회귀분석의 적용", 교육평가연구, 23(2), pp.371~390 (2010)
  14. 손원숙, "차별기능의 원인파악을 위한 차별기능문항군 기법의 적용", 중등교육연구, 60(4), pp.917~935 (2012)
  15. 이영주, "차별기능문항분석을 통해 살펴본 초등학교 다문화가정 학생의 영어 학업성취 특성", 초등영어교육, 19(1), pp.169~184 (2013)
  16. 컴퓨터 기반 국가수준 학업성취도 평가(eNAEA)도입을 위한 출제 방안 연구, "이재봉", 한국교육과정평가원, ~, pp.연구보고 PRE 2020-5 (2020)
  17. 이태구, "문항반응이론의 차별기능문항 분석을 활용한 단위학교 차별적교육과정 탐색", 체육과학연구, 27(1), pp.153~168 (2016)
  18. 조윤동, "수학과 국가수준 학업성취도 평가 결과를 통한 다문화·탈북 가정학생 차별기능문항 분석", 수학교육학연구, 23(2), pp.75~94 (2013)
  19. 진수정, "MH 방법과 SIBTEST 방법을 이용한 문항 유형에 따른 차별기능문항의탐색", 교육평가연구, 17(2), pp.215~235 (2004)
  20. 최지선, "초등학교 수학 수업에서 계산기 사용에 대한 국가별 비교", 초등수학교육, 22(1), pp.83~94 (2019)
  21. 추정아, "Mantel-Haenszel 방법과 Raju 방법에 의한 제4차, 제5차 대학수학능력시험 실험평가의 성별에 따른 차별기능문항 추출", 교육평가연구, 6(2), pp.259~286 (1993)
  22. Anderson, N., "‘Because it’s boring, irrelevant and I don’t like computers’ : Why high school girls avoid professionallyoriented ICT subjects", Computers & Education, 50(4), pp.1304~1318 (2008)
  23. Angoff, W. H., "Differential item functioning", pp.3~23 (2012), Routledge
  24. Bennett, S., "The ‘digital natives’ debate : A critical review of the evidence", British Journal of Educational Technology, 39(5), pp.775~786 (2008)
  25. Camilli, G., "Methods for identifying biased test items (Vol. 4)" (1994), Sage
  26. Clauser, B. E., "Improving the matching for DIF analysis by conditioning on both test score and an educational background variable", Journal of Educational Measurement, 33(4), pp.453~464 (1996)
  27. Dorans, N. J., "DIF detection and description: Mantel‐Haenszel and standardization 1, 2", ETS Research Report Series, 1992(1), pp.i~40 (1992)
  28. Dorans, N. J., "Equity assessment for polytomously scored items:A taxonomy of procedures for assessing differential item functioning 1", ETS Research Report Series, 1994(2), pp.i~33 (1994)
  29. Ercikan, K., "Examining the Construct Comparability of the English and French Versions of TIMSS", International Journal of Testing, 5(1), pp.23~35 (2005)
  30. Holland, P. W., "On the study of differential item performance without IRT", Proceedings of the military testing association, 1, pp.282~287 (1985)
  31. Holland, P. W., "Test validity", pp.129~145 (1988), Lawrence Erlbaum
  32. Holland, P. W., "Differential item functioning" (2012), Routledge
  33. Horkay, N., "Does it matter if I take my writing test on computer? An empirical study of mode effects in NAEP", Journal of Technology, Learning, and Assessment, 5(2), pp.n2~ (2006)
  34. Jerrim, J., "PISA 2015 : how big is the ‘mode effect’ and what has been done about it?", Oxford Review of Education, 44(4), pp.476~493 (2018)
  35. Jeong, H., "A comparative study of scores on computer-based tests and paper-based tests", Behaviour and Information Technology, 33(4), pp.410~422 (2014)
  36. Keng, L., "Item-level comparative analysis of online and paper administrations of the Texas assessment of knowledge and skill", Applied Measurement in Education, 21(3), pp.207~226 (2008)
  37. Lai, J. -S., "Procedures for the analysis of differential item functioning for small sample sizes", Evaluation and the Health Professions, 28(3), pp.283~294 (2005)
  38. Linn, R. L., "Item bias in a test of reading comprehension", Applied Psychological measurement, 5(2), pp.159~173 (1981)
  39. Linn, R. L., "Implications of the Gorden Rule settlement for test construction", Educational Measurement : Issues and Practice, 6(2), pp.13~17 (1987)
  40. Mazzeo, J., "Handbook of international large-scale assessment: Background, technical issues, and methods of data analysis", pp.229~258 (2014)
  41. McDowell, L., "Assessment matters in higher education: Choosing and using diverse approaches", pp.71~82 (1999)
  42. Meelissen, M., "Gender differences in computer attitudes : does the school matter?", Computers in Human Behavior, 24, pp.969~985 (2008)
  43. Miller, L. A., "Foundations of psychological testing: A practical approach" (2016), Sage publications
  44. "TIMSS 2019international results in mathematics and science" (2020)[URL]
  45. Pommerich, M., "Developing computerized versions of paper tests: Mode effects for passage-based tests", The Journal of Technology, Learning, and Assessment, 2(6), pp.1~44 (2004)
  46. Pomplun, M., "The score equivalence of paper and computerized versions of a speeded test of reading comprehension", Educational and Psychological Measurement, 62(2), pp.337~354 (2002)
  47. Potenza, M. T., "DIF assessment for polytomously scored items : a framework for classification and evaluation", Applied Psychological Measurement, 19(1), pp.23~37 (1995)
  48. Russo, A., "Mixing technology and testing", The School Administrator, 59(4), pp.6~12 (2002)
  49. Shepard, L., "Comparison of procedures for detecting test-item bias with both internal and external ability criteria", Journal of Educational Statistics, 6(4), pp.317~ (1981)
  50. Steven, L. W., "An Investigation of the Differential Effort Received by Items on a Low-Stakes Computer-Based Test", Applied Measurement in Education, 19(2), pp.95~114 (2006)
  51. Swaminathan, H., "Detecting differential item functioning using logistic regression procedures", Journal of Educational Measurement, 27(4), pp.361~370 (1990)
  52. Thelwall, M., "Computer-based assessment : a versatile educational tool", Computers & Education, 34(1), pp.37~49 (2000)
  53. Thissen, D., "Software for the computation of the statistics involved in item response theory likelihood-ratio tests for differential item functioning", pp.2001
  54. Vekiri, I., "Gender issues in technology use : perceived social support, computer self-efficacy and value beliefs, and computer use beyond school", Computers & Education, 51(3), pp.1392~1404 (2008)
  55. Volman, M., "New technologies, new differences. Gender and ethnic differences in pupils' use of ICT in primary and secondary education", Computers & Education, 45(1), pp.35~55 (2005)
  56. Wu, A. D., "Using multiple-variable matching to identify cultural sources of differential item functioning", International Journal of Testing, 6(3), pp.287~300 (2006)
  57. Yildirim, H. H., "Judgmental and statistical DIF analyses of the PISA-2003 mathematics literacy items", International Journal of Testing, 9(2), pp.108~121 (2009)
  58. Zumbo, B., "A handbook on the theory and methods of differential item functioning: Logistic regression modeling as a unitary framework for binary and Likert-type item scores", Directorate of Human Resource Research and Evaluation, National Defense, ~ (1999)
  59. A measure of effect size for a model-based approach for studying DIF, "Zumbo, B. D.", University of Northern British Columbia, Edgeworth Laboratory for Quantitative Behavioral Science, ~ (1997)

관련 논문AI추천

차별적 검사 기능 분석을 통한 컴퓨터 기반 검사의 양식 효과 연구김선미, 박찬호교육문제연구소 · 교육연구2025 · 제92권 TIMSS 2019 과학 문항에서 컴퓨터 기반 평가와 지필 평가 간의 검사 매체 차이 탐색김현경대한화학회 · 대한화학회지2021 · 제65권 제1호종이에서 컴퓨터로의 매체 전환에 따른 평가 결과의 변화 탐색: 고등학교 수학 국가수준 학업성취도 평가를 중심으로김영준, 송창근, 이경화, 정혜윤한국수학교육학회 · 수학교육2022 · 제61권 제4호인지진단이론을 적용한 디지털 리터러시 검사 분석 방안 탐색김한성, 박세진, 이현숙한국교육정보미디어학회 · 교육정보미디어연구2019 · 제25권 제2호내용 및 인지 영역을 함께 고려한 평가 데이터 분석을 위한 Q행렬 기반 다차원 문항반응모형의 활용 방안 연구: TIMSS 2019 수학 평가 분석김래영, 유연주, 이슬기, 황수빈한국수학교육학회 · 수학교육 논문집2024 · 제38권 제3호컴퓨터 기반 평가와 지필 기반 평가 간 점수 비교: 성별과 학습능력에 따른 차이분석을 중심으로정한호한국교육공학회 · 교육공학연구2010 · 제26권 제3호

이 간행물의 다른 논문 (8건)

학령인구 감소 시대 미래 학교교육의 방향 탐색: 미래학교 시나리오를 바탕으로주형미, 변희현, 이수정, 정은주, 최항섭, 김현미pp. 1-28고교학점제 단계적 도입에 따른 진로·학업 설계 지도의 현황 및 인식 분석이미영pp. 29-57사회과 교육과정에 나타난 세계시민교육 내용 분석 -2015 개정과 2022 개정 교육과정 비교를 중심으로-성경희, 황미영pp. 59-85교과 교육용 텍스트의 이독성 특성 분석: 국어과, 사회과, 과학과를 중심으로박은아, 하명진, 변태진, 최소영, 류수경pp. 87-131ChatGPT를 활용한 통합과학논리 및 논술수업이 예비 과학교사의 테크놀로지 교수내용지식(TPACK)에 미치는 영향이상칠, 강경희pp. 133-155
원문 보기