본문 바로가기
KERD
논문KCI 등재

중국 대학영어 학업성취도 검사에 대한 차별기능문항 분석

Detection of DIF for Chinese College English Achievement Test

김석우|장리리|구경호|김형란
교육발전연구소 (Pusan National University Educational Development Institute)|2018.03|교육혁신연구 (Journal of Educational Innovation Research)|제28권 제1호|pp. 247-267|DOI 10.21024/pnuedi.28.1.201803.247

0

조회

0

다운로드

1

인용

0

참고문헌

키워드

차별기능문항DIF대학영어 학업성취도 평가MH(Mantel-Haenszel)방법라주 방법(Raju’s area method)College English achievement testMantel-Haenszel methodsRaju’s area methods

초록

연구목적: 중국 대학영어 관련 교과의 학업성취도 검사문항을 대상으로 성별, 전공별 차별기능문항의 존재 유무를 탐색하여 검사의 양호도를 검증하고, 차별기능문항에 나타난 영역을 분석하여 적절한 교육학적 처방을 제언하고자 하였다. 연구방법: 여학생과 인문・경영계열 전공을 연구집단(focal group)으로, 남학생과 이공계열 전공 학생을 참조집단(reference group)으로 구분하고 고전검사이론에 입각한 MH(Mantel-Haenszel)방법과 문항반응이론에 기초한 라주 방법(Raju’s area method)을 상호 보완적으로 사용하여 공통으로 추출된 차별기능문항에 대해 그 영역과 원인을 교과 전문가와 함께 분석하였다. 연구결과: 전공 관련 차별문항은 탐색되지 않았으나 성별 관련 차별문항은 어휘 및 문법 파트에서 탐색되었다. 그 원인에 대해 교과 전문가의 의견을 수렴한 결과를 살펴보면, 어휘 관련 문항을 해결하는 방식이나 학습하는 방식에서 성별에 따른 차이가 발생한다는 의견이 다수였다. 결론 및 제언: 성취도 검사 개발 단계와 타당화 단계시 성별 관련 차별기능문항이 생성될 수 있는 영어교과 내용에 대한 추가 연구가 필요하며, 대학영어 커리큘럼 운영시 전공별 수업운영보다 다양한 집단의 특성에 맞춘 수업운영이 필요함을 시사한다.

Abstract

Purpose: Based on DIF (Differential Item Functioning) analysis of Chinese college English achievement test items according to gender and major, this paper verified the existence of DIF or not and examined fairness of the test tool. Through analysis of the causes for DIF, proper pedagogical approaches were put forward accordingly. Method: Female students and liberal arts students were grouped as focal groups while male students and science and engineering students were grouped as reference groups. Common items with DIF were detected through both classical test theory-based Mantel-Haenszel method and item response theory-based Raju's area method. The area and reasons for those items with DIF were analyzed with subject experts. Results: No DIF items were detected according to major, but two items were detected with DIF according to gender in vocabulary and grammar parts respectively. According to subject experts, gender differences did exist in approaches of answering vocabulary related items and ways of learning vocabulary. Conclusion: More research needs to be done on the content with possibility of gender related DIF existence in achievement test development and validation periods. Moreover, this study suggested that compared with major-based class teaching, customized teaching taken into account of characteristics of diversified groups be of higher demand during college English curriculum implementation.

참고문헌 (88)

  1. 강복신, "대학생의 전공계열에 따른 영어독해능력 평가문항의 차별적 기능에 관한 연구", 현대영어영문학, 60(2), pp.1~26 (2016), 한국현대영어영문학회[DOI]
  2. 강태훈, "자료크기와 집단 간 피험자 수의 차이가 차별적기능문항 추출의 제1종 오류에 미치는 영향", 교육평가연구, 28(2), pp.577~600 (2015), 한국교육평가학회
  3. 김신영, "차별기능문항의 추출방법" (2001), 교육과학사
  4. 박정수, "문항반응이론에서의 일차원성에 관한 통계적 가설 검정", 한국교육, 19(2), pp.73~87 (1992)
  5. 박정수, "문항 및 검사의 편파성 검정을 위한 통계적 방법", 교육평가연구, 6(2), pp.95~122 (1993)
  6. 성태제, "문항반응이론 입문" (1991), 양서원
  7. 성태제, "차별기능문항 추출을 위한 Raju방법과 Mantel-Haenszel 방법의 비교연구", 교육평가연구, 6(1), pp.91~120 (1993)
  8. 이영기, "고전검사이론과 문항반응이론에 의한 문항분석방법의 비교 연구 : 대학수학능력시험 5차 실험 평가결과를 중심으로", 석사, pp.1993
  9. 이종성, "고전검사이론과 문항반응이론", 교육평가연구, 1(1), pp.183~194 (1986)
  10. Lord, "문항반응이론과 응용" (1980), 대광문화사
  11. 지은림, "객관적인 학생능력비교를 위한 문항반응이론(IRT) 적용의 유용성", pp.1994
  12. 최혜영, "Raju방법을 이용한 차별기능문항 추출에 관한 연구 : 대학수학능력시험 4차, 5차 실험평가를 중심으로", 석사, 교육학, pp.1993
  13. Boyce, B. R., "Vocabulary control for information retrieval", Journal of the Association for Information Science and Technology, 38(4), pp.315~ (1987)
  14. Brantmeier, C., "Second Language Reading Research on Passage Content and Gender : Challenges for the Intermediate-Level Curriculum", Foreign Language Annals, 34(4), pp.325~333 (2001)
  15. An analysis of the TOEFL CBT writing prompt difficulty and comparability of different gender groups, "Breland, H.", Educational Testing Service, ~, pp.ETS Research Rep. No. 76 (2004)
  16. Bugel, K., "Sex Differences in Foreign Language Text Comprehension : The Role of Interests and Prior Knowledge", The Modern Language Journal, 80(1), pp.15~31 (1996)
  17. "Where to begin? The evolving role of placement exams for students starting college" (2012)[URL]
  18. ", Bogota, Colombia. R Package version 1.0-3" (2017)[URL]
  19. Cho, D. W., "Differential Item Functioning of an ESL Structure Test in Terms of Gender", English Testing, 50(4), pp.141~151 (1995)
  20. Chui, M. M., "Gender, context, and reading : A comparison of students in 43countries", Scientific Studies of Reading, 10(4), pp.331~362 (2006)
  21. Dorans, N. J., "Differential Item Functioning" (1993), Lawrence Erlbaum Associates
  22. Ferne, T., "A Synthesis of 15 Years of Research on DIF in Language Testing:Methodological Advances, Challenges, and Recommendations", Language Assessment Quarterly, 4(2), pp.113~148 (2007)
  23. Hambleton, R. K., "Item response theory: principles and applications" (1985), Kluwer-Nijhoff
  24. Hambleton, R. K., "Advances in Educational and Psychological Testing : Theory and Applications" (1991), Kluwer
  25. Hong, S. H., "A Psychometric Reversion of the European American Values Scale for Asian American Using the Rasch Model", Measurement and Education in Counseling and Development, 37, pp.194~207 (2005)
  26. Kim, V. S., "Testing of educational achievements" (2007), USPI Publishing
  27. Lai, J. S., "Procedures for the analysis of differential item funcioning(DIF)for small sample size", Evaluation & Health Professions, 25, pp.283~294 (2005)
  28. Linn, R. L., "Item bias in a test of reading comprehension", Applied Psychological Measurement, 5, pp.159~173 (1981)
  29. McNamara, T. F., "‘Interaction’ in second language performance assessment; whose performance?", Applied Linguistics, 18, pp.446~466 (1997)
  30. McNamara, T. F., "Language testing: the social dimension" (2006), Blackwell
  31. "JMetrik-computer program for psychometric analysis" (2010)[URL]
  32. MARTHA NYIKOS, "Sex-Related Differences in Adult Language Learning: Socialization and Memory Factors", The Modern Language Journal, 74(3), pp.273~287 (1990), Wiley[DOI]
  33. Oxford, R. L., "Language learning styles and strategies: an overview" (2003), GALA
  34. Penfield, R., "Assessing differential item functioning in performance assessment : Review and recommendations", Educational Measurement : Issues and Practice, 19(3), pp.5~15 (2000)
  35. Potenza, M. T., "DIF assessment for polytomously score items : A framework for classification and evaluation", Applied Psychological Measurement, 19(1), pp.23~37 (1995)
  36. Raju, N. S., "The Area Between Two Item Characteristic Curves", Psychometrika, 53(4), pp.495~502 (1988)
  37. Nambury S. Raju, "The Item Parameter Replication Method for Detecting Differential Functioning in the Polytomous DFIT Framework", Applied Psychological Measurement, 33(2), pp.133~147 (2008), SAGE Publications[DOI]
  38. Reakase, M. D., "Unifactor latent trait models applied to multifactor tests : Results and Implications", The Journal of Educational and Behavioral Statistics, 4(3), pp.207~230 (1979)
  39. Rudner, L. M., "An evaluation of select approaches for biased item identification", Doctoral, pp.1977
  40. Schmeiser, C. B., "Handboook of methods for detecting test bias" (1982), The John Hopkins University Press
  41. Shepard, L. A., "Accounting for statistical artifacts in item bias research", Journal of Educational Statistics, 9(2), pp.92~128 (1984)
  42. Shepard, L. A., "Comparison of procedure for detecting test-item bias with both internal and external ability criteria", Journal of Educational Statistics, 6(4), pp.317~375 (1981)
  43. Nambury S. Roju, "IRT-Based Internal Measures of Differential Functioning of Items and Tests", Applied Psychological Measurement, 19(4), pp.353~368 (2016), SAGE Publications[DOI]
  44. Zieky, M., "Differential item functioning", pp.337~347 (1993), Erlbaum
  45. 娜敏, "多媒体计算机技术与外语课程的整合研究—对我国多媒体辅助外语教学研究状况的统计分析", 外语界, 124(1), pp.52~63 (2008)
  46. 刘建达, "我国英语能力等级量表研制的基本思路", 中国考试, 15(1), pp.7~11 (2015)
  47. 雷新勇, "上海高考英语分数的性别差异及其原因", 上海教育科研, 6, pp.43~46 (2007)
  48. 贾国栋, "《大学英语教学指南》与高校大学英语教学改革", 当代外语研究, 6, pp.62~65 (2017)[DOI]
  49. 邱东林, "改革大学英语测试内容, 提高学生英语口语水平—复旦大学大学英语教学改革报告", 外语界, 99(1), pp.21~24 (2004)
  50. 徐轶元, "关于DIF的一个简单Log模型", 心理发展与教育, 4, pp.57~58 (1998)
  51. 徐飞, "国内英语教学需求分析研究: 回顾与启示", 外语电化教学, 176(4), pp.85~90 (2017)
  52. 隋晓冰, "网络环境下大学英语课堂教学优化研究—基于佳木斯大学的实证调查", 博士, pp.2013
  53. 萧好章, "大学英语教学模式改革初探", 外语与外语教学, 215(2), pp.26~29 (2007)
  54. 李涛, "教育信息化背景下职前外语教师技术倾向研究", 外语电化教学, 178(6), pp.78~83 (2017)
  55. 李伟明, "重视对题目差异功能（DIF）的分析和研究", 中国考试, 4, pp.13~16 (1998)
  56. 李清华, "TEM-4阅读测试的DIF研究", 中国外语, 1, pp.53~60 (2009)
  57. 李赟, "高校大学英语教育教学问题与对策", 才智, 9, pp.274~ (2011)
  58. 季佩英, "基于《大学英语教学指南》框架的专门用途英语课程设置", 外语界, 180(3), pp.16~21 (2017)
  59. 杨雨寒, "大学英语分层教学课堂提问层次的区别", 外语教学理论与实践, 3, pp.71~75 (2012)
  60. 王凯, "发展性校本学生评价研究", 博士, pp.2004
  61. 王银泉, "外语学习焦虑及其对外语学习的影响—国外相关研究概述", 外语教学与研究, 33(2), pp.122~126 (2001)
  62. 王守仁, "继续推进和深化大学英语教学改革全面提高教学质量", 中国大学教学, 7, pp.57~59 (2006)
  63. 王守仁, "我国高校大学英语教学现状调查及大学英语教学改革与发展方向", 中国外语, 17(5), pp.4~11 (2011)[DOI]
  64. 王笃勤, "环境适应型评价模型及其在大学英语评价中的应用", 博士, pp.2007
  65. 王守仁, "大学英语教学指南.要点解读", 外语界, 174(3), pp.2~10 (2016)
  66. 严明, "分级动态教学:大学英语教学模式新构建", 黑龙江高教研究, 130(2), pp.153~155 (2005)
  67. 严世清, "《大学英语教学指南》与大学英语教学改革与发展", 当代外语研究, 4, pp.32~36 (2017)[DOI]
  68. 张沉香, "大学外语教育政策的反思与构建", 博士, pp.2011
  69. 张尧学, "关于大学本科公共英语教学改革的再思考", 中国高等教育, 12, pp.19~21 (2003)
  70. 张琨, "CET4 听力测试的项目偏差研究", 内蒙古师范大学学报, 7, pp.107~111 (2012)
  71. 曹亦薇, "汉语词汇测验中的项目功能差异初探", 心理学报, 4, pp.460~467 (1999)
  72. 陈敏, "有关考生不同学术背景和所属经济区域对考生听力成绩的影响", 硕士, pp.2013
  73. 朱翠华, "大学公共英语校本课程开发的设想", 沈阳农业大学学报, 10(4), pp.452~454 (2008)
  74. 郑大湖, "基于需求分析的大学英语多元课程体系构建", 外语界, 177(6), pp.49~56 (2016)
  75. 曾秀芹, "项目功能差异及其检测方法", 心理学动态, 7(2), pp.41~44 (1999)
  76. 肖芬, "基于管理学视角的大学英语大班化教学综合模式实证分析", 中国外语, 7(1), pp.4~12 (2010)
  77. 肖园园, "大学英语四级考试对不同学术背景和不同性别学生的项目功能差异研究", 硕士, pp.2013
  78. 赵庆红, "学生英语学习需求视角下的大学英语教学", 外语界, 133(4), pp.14~22 (2009)
  79. 赵丹婷, "大学英语校本课程开发研究", 教育探索, 278(8), pp.33~34 (2014)
  80. 蔡基刚, "大学英语精读课多媒体教学可行性研究", 外语界, 78(2), pp.26~29 (2000)
  81. 冯瑗, "我国高校大学英语课程校本化现状与影响因素探析", 外语电化教学, 167(1), pp.17~23 (2016)
  82. 项茂英, "情感因素对大学英语教学的影响—理论与实证研究", 外语与外语教学, 168(3), pp.23~26 (2003)[DOI]
  83. 况小雪, "PISA2000阅读素养测验的项目功能差异分析", 考试研究, 7(5), pp.43~50 (2011)
  84. 胡壮麟, "对中国英语教育的若干思考", 外语研究, 73(3), pp.2~9 (2002)[DOI]
  85. 胡壮麟, "大学英语教学的个性化、协作化、模块化和超文本化—谈《教学要求》的基本理念", 外语教学与研究, 36(5), pp.345~350 (2004)
  86. 戴曼纯, "高校英语教师素质抽样调查", 解放军外国语学院学报, 27(2), pp.42~46 (2004)
  87. 戴庆宁, "大学英语分层教学研究", 中国成人教育, 12, pp.93~94 (2005)
  88. 夏纪梅, "大学英语教师的外语教育观念、知识、能力、科研现状与进修情况调查结果报告", 外语界, 91(5), pp.35~41 (2002)

관련 논문AI추천

Differential Item Functioning Analysis of an EFL Vocabulary Test박찬호한국영어교육학회 · 영어교육2010 · 제65권 제3호Test Fairness: DIF beyond Group Mean Differences박기표팬코리아영어교육학회 · 영어교육연구2009 · 제21권 제1호Gender Differential Item Functioning Analysis of an English Listening Comprehension Test유밍밍, 최세일사단법인 한국언어학회 · 언어학2013 · 제21권 제4호An Application of the Rasch Model to Assessing an English Achievement Test in a High School Setting심재우, Keiko Samimy현대영어교육학회 · 현대영어교육2010 · 제11권 제2호고부담 읽기 평가의 DIF(차별문항기능) 분석: 계열 선택에 따른 배경지식이 읽기 평가 결과에 영향을 미치는가?오규설국어교육학회(since1969) · 국어교육연구2023 · 제52호Rasch 측정 모형을 이용한 교양 영어 수업 만족도 설문 도구타당화 연구김은영, 이희경, 황명환팬코리아영어교육학회 · 영어교육연구2019 · 제31권 제3호

이 간행물의 다른 논문 (21건)

HRD(인적자원개발)를 위한 예비유아교사의 보육실습 실태 및 어려움에 대한 연구강문숙, 김두규pp. 1-23고교교육 정상화 기여대학 지원사업 성과 분석강기수pp. 25-53대학생의 비판적 사고성향과 사고기능의 개인배경변인에 따른 차이와 영향요인 분석박수미, 박지회pp. 55-76CRA 모형 기반 수감각 교수 프로그램 개발강혜진, 장성욱, 서주영, 김자경pp. 77-972015 개정 사회과 교육과정의 특징과 쟁점 분석한춘희, 이경윤pp. 99-117
원문 보기