문항반응이론을 적용한 영상평가의 양호도 검증
Goodness of Multimedia Test Program for Assessing Basketball Knowledge
0
조회
0
다운로드
10
인용
0
참고문헌
키워드
초록
이 연구는 이한주와 이태구(2004)의 후속연구로 제7차 교육과정 체육교과에서 도입된 수행평가의 실제성을 잘 반영한 평가방법인 영상평가를 고전검사이론과 문항반응이론 3모수 로지스틱 모형을 적용하여 검사 양호도를 검증하는 것이 목적이다. 이 목적을 달성하기 위하여 10문항으로 구성된 영상평가를 중학교 2학년 학생 453명을 대상으로 시행하였으며, 피검자의 응답데이터를 이용하여 타당도, 신뢰도, 문항특성, 검사특성을 살펴보았다. 또한, 문항의 편파성을 살펴보기 위해 집단 간 차별적으로 기능하는 문항을 선별하였다. 그 결과, 공인타당도는 .48로 나타났고, 고전검사이론을 적용한 신뢰도 지수()는 0.543, 문항반응이론을 적용한 신뢰도 지수(marginal reliability)는 0.558로 나타났다. 고전검사이론을 통한 문항의 분석 결과 1, 3, 7, 8번 문항이 난이도 혹은 변별도 측면에서 양호하지 않은 문항으로 나타났고, 문항반응이론을 통항 문항의 분석 결과 1, 6, 7, 8번 문항이 난이도, 변별도, 혹은 추측도 측면에서 양호하지 않은 문항으로 나타났다. 또한 남녀별 문항특성곡선과 M-H방법을 이용하여 차별기능문항을 선별한 결과 2, 9번 문항이 남, 녀 집단에 따라 차별적으로 기능하는 문항으로 나타났다. 검사정보의 경우 피검자의 능력수준이 0에서－2사이에 가장 높은 값을 산출하는 것을 확인하였다. 이러한 결과를 통해, 이 연구에서는 영상평가의 양호도 정도와 문항의 특성, 영상평가의 양식효과, 검사정보, 차별기능문항에 대한 논의를 제공하고 있다.
Abstract
Lee and Lee (2004) developed a multimedia test program for basketball unit using audio, video, and text to evaluate the 8th graders' knowledge such as rules, regulations, and traditions. The preliminary test contained live video clips of 10 questions. Although Lee and Lee (2004) provided the content validity and test-retest reliability, specific information about the goodness of test has not been reported. Thus, the purpose of this study was to examine goodness of multimedia test program. Participants were eighth graders (N=453) in middle school. Students completed 10 item multimedia test. Using students' test scores, validity, reliability, item and test characteristics were examined. Also, differentially functioning item were explored to examine item bias. Three parameter logistic model in item in item response theory (IRT) as well as classic test theory (CTT) was used. Results showed that concurrent validity was 0.48, reliability coefficient 0.543, and IRT's marginal reliability was 0.558. Test items were analyzed using the CTT as well as the IRT. The CTT identified as unsual items (i.e., item number 1, 3, 7, and 8) showing lack of discrimination power. The IRT identified item number 1, 6, 7 and 8 were not appropriate in terms of the discrimination power. Test characteristics curve in gender and Mantel-Haenszel method identified differentially functioning item (i.e., item number 2 and 9) indicating two items are in favor of male students. Test information indicated that examinees with ability level between 0 and 2 showed best score. Discussions were provided in terms of the degree of goodness and item characteristics, and discrimination power of multimedia test program.
참고문헌 (35)
- 강상조, "문항반응이론에 의한 비만지식검사의 적절성 검증", 한국체육학회지, 35(1), pp.372~385 (1996)
- 교육과학기술부, "중학교 교육 과정 해설(Ⅳ):체육,음악,미술" (2007), 교육과학기술부
- 교육부, "중학교 교육 과정 해설(Ⅳ)－체육,음악,미술－" (1999), 교육부
- 김경희, "문항수, 문항난이도, 문항변별도 변화에 따른 신뢰도 계수와 검사정보함수의 변화", 석사, pp.1993
- 김신영, "문항편파성과 예언타당도", 교육평가연구, 7(1), pp.23~41 (1994)
- 김영환, "컴퓨터기반 적응적 검사(CAT)의 이론과 실제" (2001), 문음사
- 김윤희, "초·중등학교 체육 교과서에 나타난 성 정형화 및 성 역할 실태 분석 - 7차 교육과정을 중심으로", 한국여성체육학회지, 18(2), pp.11~22 (2004), 한국여성체육학회
- 김종택, "학교체육 평가의 문제와 개선 방안", 한국체육측정평가학회지, 1, pp.11~17 (1999)
- 부재율, "컴퓨터활용검사" (2002), 교육과학사
- 박재현, "컴퓨터기반 멀티미디어형 체육지식검사의 문항 특성분석: 태권도 영역의 예비연구", 한국체육측정평가학회지, 11(1), pp.93~102 (2009), 한국체육측정평가학회
- 성태제, "현대교육평가" (2002), 학지사
- 성태제, "문항제작 및 분석의 이론과 실제" (1996), 학지사
- 시기자, "검사매체와 검사시행 모형에 따른 피험자 능력모수와 피험자 응답 적합도 비교", 박사, pp.2004
- 신종순, "체육교사의 체육수업목표 중요도 분석", 한국스포츠교육학회지, 7, pp.99~110 (2000)
- 이종성, "고전검사이론과 문항반응이론", 교육평가연구, 1, pp.149~177 (1986)
- 이한주, "영상을 통한 체육교과 농구단원 인지영역의 평가도구 개발", 체육과학연구, 15(4), pp.147~154 (2004), 국민체육진흥공단 체육과학연구원
- 정경식, "초등학교 체육수업 중 교사의 성차별 유형과 원인 탐색", 한국스포츠교육학회지, 15(3), pp.105~121 (2008), 한국스포츠교육학회
- 최진환, "영상매체를 이용한 중학교 2학년 체육교과 인지영역의 평가도구 개발과 타당화", 한국체육학회지, 42(6), pp.359~366 (2003), 한국체육학회
- 추정아, "MHDIF : Mantel-Haenszel 방법을 이용한 차별기능문항 추출 Computer Program" (1993), 이화여자대학교
- 한국교육과정평가원, "국가교육과정에 근거한 평가 기준 및 개발 연구" (1998), 한국교육과정평가원
- 한국교육과정평가원, "중학교 체육과 수행평가 시행방안 및 개발연구" (1999), 한국교육과정평가원
- Angoff,W.H, "Use of difficulty and discrimination indices for detecting item bias in: Handbook of Method for detecting test bias. Baltimore" (1982), John Hopkins University Press
- Bain, L, "A critical analysis of hidden curriculum in physical education in: Physical Education, curriculum and culture: Critical issues in the contemporary crisis", Falmer, 23~42 (1990)
- Haertel.E.H, "Reliability in: Educational Measurement, 4th ed", Praeger, ~ (2006)
- Ebel, R. L, "Essential of Educational Measurement (5th ed.)" (1991), Prentice-Hall
- Green, B. F, "Technical Guidelines For Assessing Computerized Adaptive Tests", Journal of Educational Measurement, 21(4), pp.347~360 (1984)
- Hamnbleton, R. K, "Item response theory: Principle and application" (1985), Kluwer Academic Publishers
- Hamnbleton, R. K, "Fundamentals of item response theory: Newbury" (1991), Sage Publications, Inc
- Hulin, C. L, "Recovery of two- and three- parameter logistic item characteristics curves: a Monte Carlo Study", Applied Psychological Measurement, 6, pp.249~260 (1982)
- Lord,F.M, "An analysis of the verbal scholastic aptitude test using Birnbaum's three-parameter logistic model", Educational and Psychological Measurement, 28, pp.989~1020 (1968)
- Mellenbergh,G, "Item biasand item response theory", International Journal of Educational Research, 13(2), pp.127~143 (1989)
- Traub, R. E, "An NCME instructional module on understanding reliability", Educational Measurement: Issues and Practice, 10(1), pp.37~45 (1991)
- Wiggins,G, "Assessment: authenticity, context, and validity", Phi Delta Kappa, 75(3), pp.200~214 (1994)
- Wiggins,G, "Educative assessment: Designing assessments to inform and improve student performance" (1998), Jossey Bass Publishers
- Zimowski, M. F, (2003), Scientific Software International, Inc