본문 바로가기
KERD
논문KCI 등재

문항반응이론과 고전검사이론을 적용한 단위학교 체육 지필평가 양호도 검증: 여학생체육활성화 측면

Examination of Goodness of School-based Paper and Pencil Test Applying Classical Test Theory and Three-Parameter Logistic Model in Physical Education: Facilitating Female Student’s Participation in Sp

양희원|이태구
한국교육방법학회 (The Korean Journal Of Educational Methodology Studies)|2016.02|교육방법연구 (The Korean Journal of Educational Methodology Studies)|제28권 제1호|pp. 1-27|DOI 10.17927/tkjems.2016.28.1.1

2

조회

0

다운로드

8

인용

0

참고문헌

키워드

문항반응이론item response theory차별기능문항DIF문항특성고전검사이론classical test theory여학생체육활성화item characteristicfacilitating female student’s participation in sports
주제분류교육학

초록

이 연구는 단위학교에서 총괄평가로 진행된 체육 지필평가를 고전검사이론과 문항반응이론의 3모수 로지스틱 모형을 적용하여 검사의 앙호도 및 차별기능문항을 탐색하고, 체육수업 개선의 정보를 얻는 것이 목적이다. 문항반응이론은 검사이론으로서 고전검사이론에 비해 다양한 장점이 인정되어 왔으나, 이론의 난해함과 적용에 요구되는 엄격한 기준으로 인해 학교 현장에서는 사용되지 않았다. 그러나 최근 학교 체육분야에서 여학생체육활성화가 이슈가 되면서, 차별기능문항의 개념이 주목받으면서 동시에 문항반응이론에 관심이 늘고 있다. 따라서 본 연구는 고등학교 1학년 학생 270명을 대상으로 시행한 단위학교 체육 지필평가 검사자료를 사용하여 내용 타당도, 신뢰도, 난이도, 변별도 및 검사정보함수를 살펴보고, 성별에 따라 다르게 기능하는 차별기능문항을 탐색하였다. 그 결과, 내용 타당도는 80%, 고전검사이론에 의한 신뢰도(Cronbach'a)는 0.736, 문항반응이론에 의한 신뢰도(marginal reliability)는 0.770으로 나타나, 비교적 양호한 검사인 것으로 판단되었다. 문항분석 결과 고전검사이론과 문항반응이론 모두에서 17, 22, 24, 25번 문항은 양호하지 않은 문항인 것으로 나타났다. 검사정보함수 분석 결과 피검자의 능력수준이 –2에서 0 사이일 때 가장 높은 검사정보를 제공하며, 남녀 집단간 차이가 존재하였다. MH방법과 문항반응이론의 문항특성곡선으로 차별기능문항을 탐색한 결과, 5, 11번 문항이 성별에 차별적으로 기능하고 있음을 확인하였고, 논의에서 성차별적인 교수학습과정이 그 원인임을 질적 분석을 통해 확인하였다. 결론적으로 본 연구는 문항반응이론의 엄격한 조건을 충족하지 않는 학교현장의 자료라 할지라도, 현장 교사들에게 고전검사이론과 함께 문항반응이론에 의한 문항 양호도 검증이 한층 다양하고 유용한 정보를 제공할 수 있음을 보여주고 있으며, 특별히 차별기능문항 분석을 통한 성차별적인 교수학습과정의 확인과 반성은 여학생체육활성화를 위한 체육수업 개선에 중요한 정보가 될 수 있음을 확인하였다.

Abstract

The purpose of this study was to examine goodness of pencil and paper(P&P) test as a general evaluation in Physical Education(PE) applying classical test theory(CTT) and three-parameter logistic(3PL) model in item response theory(IRT). Participants completed P&P test in PE were 10th high school students(N=270). Using test scores, content validity, reliability, item difficulty, discrimination and test information function were examined. And differentially functioning item by the population difference between male and female were explored. Results showed that content validity was 80%, reliability coefficient was 0.736, and IRT's marginal reliability was 0.770. In both CTT and IRT, item number 17, 22, 24, 25 were not appropriate in terms of the discrimination power. Test information function indicated that examinees with ability level between -2 and 0 showed best score. Also, test information and Mantel-Haenszel method identified differentially functioning item (i.e., item number 5 and 11) indicating two items are in favor of male students. Generally, IRT provided a wider range of information than CTT, including test information and DIF using item characteristic curve. Discussions were provided in terms of the CTT using in schools traditionally and IRT for verification of goodness. And to conclude, this study is related with goodness applying CTT and IRT show lesson improvement and facilitating female student’s participation are helpful in PE.

참고문헌 (55)

  1. 경기도교육청, "경기도교육청 학업성적관리규정", 경기도교육청, ~ (2015)
  2. 경기도교육청, "체육교과 1정 연수 개선 워크숍 회의자료", 경기도교육청, ~ (2015)
  3. 꿈과 끼를 키우는 행복교육 실현을 위한 학교체육 활성화 추진 계획, "교육부", 교육부, ~ (2013)
  4. 金敬姬, "문항수, 문항난이도, 문항변별도 변화에 따른 신뢰도 계수와 검사정보함수의 변화", 석사, 교육학, pp.1993
  5. 김무영, "여학생이 경험하는 스포츠교육과 양성평등", 한국스포츠교육학회지, 13(4), pp.145~161 (2006), 한국스포츠교육학회
  6. 김승겸, "여학생 스포츠와 함께 즐거운 학교생활을 꿈꾸다. 교육부와 함께하는 〔여학생 체육활성화〕프로젝트. Rnu & Learn ‘땀 흘리는 여학생이 아름답다’", 스포츠조선, ~ (2015)
  7. 김인숙, "중학교 2학년 체육교과 인지적 영역 지필평가 문항의 내용과 수준 분석", 한국체육학회지, 43(4), pp.251~260 (2004), 한국체육학회
  8. 노언경, "PISA 2003 문제해결력 영역에 대한 성별 차별기능문항 추출", 교육방법연구, 22(4), pp.165~194 (2010), 한국교육방법학회[DOI]
  9. 고등학교 여학생 체육활동 참여의 활성화 방안. 한국여성체육학회 학교 체육분과 토크콘서트-여학생 체육활동 참여의 활성화 및 제도마련-, "류춘옥", (사)한국여성체육학회, ~ (2014)
  10. 박현우, "스포츠세계에서 성차별의 양태와 극복에서 제약 연구", 움직임의 철학 : 한국체육철학회지, 21(1), pp.77~95 (2013), 한국체육철학회
  11. 박재현, "컴퓨터기반 멀티미디어형 체육지식검사의 문항 특성분석: 태권도 영역의 예비연구", 한국체육측정평가학회지, 11(1), pp.93~102 (2009), 한국체육측정평가학회[DOI]
  12. 박종률, "중학교 체육 지필평가 문항 출제 형식 및 내용 분석", 한국스포츠교육학회지, 18(1), pp.33~50 (2011), 한국스포츠교육학회
  13. 성태제, "현대교육평가" (2002), 학지사
  14. 성태제, "문항반응이론의 이해와 적용" (2009), 교육과학사
  15. 성태제, "일방적 차별기능 문항 중 균일적 차별기능 문항과 평행적 차별기능 문항의 분류", 교육평가연구, 12(1), pp.1~16 (1999)
  16. 신종준, "체육교사의 체육수업목표 중요도 분석", 한국스포츠교육학회지, 7, pp.99~110 (2000)
  17. 여정권, "혼성체육수업에서의 역차별 척도 개발", 한국스포츠사회학회지, 22(3), pp.91~103 (2009), 한국스포츠사회학회[DOI]
  18. 윤지영, "TIMSS(2007) 수학 검사의 차별문항기능에 관한 연구 -한국, 미국, 싱가폴 학생을 대상으로", 교육평가연구, 26(2), pp.415~439 (2013), 한국교육평가학회
  19. 이경희, "차별기능문항군 추출 방법을 활용한 대학수학능력시험 수리 영역에서의 성차 탐색", 석사, 교육학, pp.2004
  20. 이대용, "성별에 따른 디자인 진로적성 검사의 차별기능문항군 탐색", 교육평가연구, 27(4), pp.945~964 (2014), 한국교육평가학회
  21. 이종성, "고전검사이론과 문항반응이론", 교육평가연구, 1, pp.149~177 (1896)
  22. 이태구, "문항반응이론을 적용한 영상평가의 양호도 검증", 한국체육측정평가학회지, 12(2), pp.35~51 (2010), 한국체육측정평가학회
  23. 이태구, "인성교육 체육수업의 개발과 적용: 백워드 교육모형", 학습자중심교과교육연구, 14(10), pp.227~253 (2014), 학습자중심교과교육학회
  24. 이태구, "평가방법 먼저: 백워드 교육모형 체육수업 설계와 실행", 한국체육측정평가학회지, 17(2), pp.73~86 (2015), 한국체육측정평가학회
  25. 이한주, "영상을 통한 체육교과 농구단원 인지영역의 평가도구 개발", 체육과학연구, 15(4), pp.147~154 (2004), 국민체육진흥공단 부설 한국스포츠개발원
  26. 정경식, "초등학교 체육수업 중 교사의 성차별 유형과 원인 탐색", 한국스포츠교육학회지, 15(3), pp.105~121 (2008), 한국스포츠교육학회
  27. 조윤동, "수학과 국가수준 학업성취도 평가 결과를 통한 다문화․탈북 가정 학생 차별기능문항 분석", 수학교육학연구, 23(2), pp.75~94 (2013), 대한수학교육학회
  28. 조한무, "초등학교 체육수업 내 성 고정관념의 전이 및 재생산, 그리고 교사의 딜레마", 한국초등체육학회지, 18(2), pp.1~14 (2012), 한국초등체육학회[DOI]
  29. 진수정, "MH방법과 SIBTEST방법을 이용한 문항유형에 따른 차별기능문항의 탐색", 교육평가연구, 17(2), pp.215~236 (2004), 한국교육평가학회
  30. 차유정, "단위학교수준의 체육과 지필검사 신뢰도 추정", 한국체육측정평가학회지, 7(2), pp.103~117 (2005), 한국체육측정평가학회
  31. MHDIF: Mantel-Haenszel 방법을 이용한 차별기능문항 추출 Computer Program, "추정아", 이화여자대학교, ~ (1993)
  32. 최창환, "피검사자의 언어 이해력에 따른 검사매체별 문항특성 변화 : 지필형 및 멀티미디어형 태권도 지식검사의 비교", 한국체육학회지, 53(3), pp.793~808 (2014), 한국체육학회
  33. 최창환, "태권도 지식검사의 정보매체에 따른 차별적 문항기능검증: 멀티미디어 및 지필검사의 다언어 집단비교", 한국체육측정평가학회지, 14(1), pp.83~94 (2012), 한국체육측정평가학회[DOI]
  34. 최진환, "영상매체를 이용한 중학교 2학년 체육교과 인지영역의 평가도구 개발과 타당화", 한국체육학회지, 42(6), pp.359~366 (2003), 한국체육학회
  35. 한국교육심리학회, "교육심리학 용어사전" (2000), 학지사
  36. 한국교육평가학회, "교육평가 용어사전" (2004), 학지사
  37. de Beer, M., "Use of Differential item functioning(DIF)analysis for bias analysis in test construction", Journal of Industrial Psychology, 30(4), pp.52~58 (2004)
  38. Dorans, N. J., "Differential Item Functioning", pp.35~66 (1993), Routledge
  39. Ebel, R. L., "Essential of Educational Measurement" (1991), Prentice-Hall
  40. Francis, B., "Boys, girls and achievement: Addressing the classroom issues" (2000), Routledge
  41. Green, B. L., "Technical guidelines for assessing computerized adaptive test", Journal of Educational Measurement, 21(4), pp.347~360 (1984)
  42. Hambleton, R. K., "Handbook of Educational Psychology", pp.899~925 (1996), Simon & Schuster Macmillian
  43. Hambleton, R. K., "Item response theory: Principle and application" (1985), Kluwer Academic Publishers
  44. Hambleton, R. K., "Fundamentals of item response theory" (1991), Sage
  45. Hanson, B. A., "Uniform DIF and DIF defined by differences in Item Response function", Journal of Educational and Behavioral Statistics, 23(3), pp.244~253 (1998)
  46. Hulin, C. L., "Recovery of two-and three-parameter logistic item characteristics curves : A Monte Carlo Study", Applied Psychological Measurement, 6, pp.249~260 (1982)
  47. Holland, P. W., "Test validity", pp.129~145 (1988), Lawrence Erlbaum Associates
  48. Lord, F. M., "An analysis of the verbal scholastic aptitude test using Bimbaum’s three-parameter logistic model", Educational and Psychological Measurement, 28, pp.989~1020 (1968)
  49. Mellenbergh, G., "Item biased item response theory", International Journal of Educational Research, 13(2), pp.127~143 (1989)
  50. Metzler, M. W., "Instructional models for physical education" (2005), Ally & Bacon
  51. Raju, N. S., "The area between two item characteristic curves", Psychometrika, 53, pp.495~502 (1988)
  52. Roussos, L. A., "Simulation studies of the effects of small sample size and item parameters on SIBTEST and Mantel-Haenszel type 1 error performance", Journal of Educational Measurement, 33, pp.215~230 (1996)
  53. Shealy, R., "A model-base standardization approach that separates true bias", DIF from group ability differences and detects test bias, DIF, pp.Psychometrika, 1993[DOI]
  54. Tyler, R. W., "Basic principles of Curriculum and Instruction" (1949), The university of chicago press
  55. Zimowski, M, F., "BILOG-MG for Windows: Multiple-group IRT analysis and test maintenance for binary items (Computer software)" (2003), Scientific Software International, Inc

관련 논문AI추천

문항반응이론의 차별기능문항 분석을 활용한 단위학교 차별적 교육과정 탐색손지영, 양희원, 이태구국민체육진흥공단 한국스포츠과학원 · 체육과학연구2016 · 제27권 제1호문항반응이론을 적용한 영상평가의 양호도 검증박인용, 이태구, 이한주한국체육측정평가학회 · 한국체육측정평가학회지2010 · 제12권 제2호중학생의 체육교사에 대한 신뢰와 피드백의 현실 수용도 : Rasch 모형의 적용서은철, 송성섭, 최형준한국체육측정평가학회 · 한국체육측정평가학회지2019 · 제21권 제4호컴퓨터기반 멀티미디어형 체육지식검사의 문항 특성분석: 태권도 영역의 예비연구박재현, 이재봉한국체육측정평가학회 · 한국체육측정평가학회지2009 · 제11권 제1호체육교과 건강영역 일반내용지식 측정도구 개발이병구, 이한주, 최윤이한국교육과정평가원 · 교육과정평가연구2022 · 제25권 제1호단위학교수준의 체육과 지필검사 신뢰도 추정문승귀, 오수학, 차유정한국체육측정평가학회 · 한국체육측정평가학회지2005 · 제7권 제2호

이 간행물의 다른 논문 (8건)

문제중심학습(PBL)을 활용한 학교폭력의 예방 및 대책 교직교과 수업의 사례 연구권회림, 조형정pp. 29-53우리나라 교육과정기준 문서 다층화의 문제점과 개선 방안 탐색임유나, 홍후조pp. 55-77수학과 역할놀이의 통합 활동이 유아의 수학 개념형성과 학습동기에 미치는 영향한수연, 박용한pp. 79-102의과대학 문제기반학습에서 튜터 수행 및 집단 효능감이 학업성취와 학습자 만족도에 미치는 영향시지현pp. 103-123거꾸로 교실(Flipped Classroom)의 실행에 대한 비평적 분석홍기칠pp. 125-149
원문 보기