본문 바로가기
KERD
논문KCI 등재

태권도 지식검사의 정보매체에 따른 차별적 문항기능검증: 멀티미디어 및 지필검사의 다언어 집단비교

Differential Item Functioning of Multi-lingual Taekwondo Knowledge Test using Multimedia

김혜진|이미영|이재봉|박재현|최창환
한국체육측정평가학회 (Korean Society For Measurement And Evaluation In Physical Education And Sports Science)|2012.04|한국체육측정평가학회지 (The Korean Journal of Measurement and Evaluation in Physical Education and Sports Science)|제14권 제1호|pp. 83-94|DOI 10.21797/ksme.2012.14.1.008

0

조회

0

다운로드

9

인용

0

참고문헌

키워드

Differential Item Functioning멀티미디어형 지식검사태권도 지식검사차별적 기능문항Multimedia Knowledge TestTaekwondo Knowledge Test

초록

이 연구는 최창환, 이재봉, 박재현, & 김혜진(2010)의 후속연구로써 다언어로 개발된 지필형 검사와 멀티미디어형 검사의 차별적으로 기능하는 문항을 추출하여 그 특성을 분석함으로써 검사정보매체들이 갖는 고유한 측정학적 특성을 확인함을 목적으로 수행되었다. 이 목적을 위하여 한국의 서울, 경기지역 90명과 미국의 로스엔젤레스 지역 99명, 총 189명의 태권도 유단자를 대상으로 최창환 등(2010)이 개발한 지필형 그리고 멀티미디어형 태권도 지식 검사를 실시하였다. 검사정보매체에 따른 측정학적 특성을 분석하고자 기술통계와 차별적 기능문항(differential item functioning : DIF)을 산출하였으며, DIF 추출방법을 위해 Mantel-Haenszel 방법을 적용하였다. 기술통계치 산출과 차별적 기능문항을 추출하기 위하여 R 통계 프로그램(package-‘dif-R’, 2.13. ver)을 활용하였다. 분석결과, 총 80개의 태권도 지식검사 문항에서 아홉 개의 차별기능문항이 추출되었다. 추출된 아홉 개 문항 중 여섯 개 문항이 지필형에서 추출되었으며, 세 개 문항은 멀티미디어형에서 추출되었다. 지필형 검사에서 추출된 여섯 개 문항은 모두 한국 태권도 유단자들에게 유리하게 기능하는 문항으로 나타나 멀티미디어형 검사가 언어에 따른 문항의 편파성을 줄일 수 있는 것으로 확인되었다. 또한 차별적 문항으로 추출된 지필형 여섯 개 문항은 대부분 문항의 지문이 길게 구성된 특징을 가지고 있었다. 이는 언어 문화권이 다른 집단에게 번안된 검사를 수행할 때 지필형 검사보다 멀티미디어형 검사가 유용할 수 있음을 시사한다. 결론적으로 멀티미디어형 정보매체가 체육 및 스포츠영역에서 요구하는 지식을 측정할 때, 문항이 가지고 있는 정보의 전달이 명확할 뿐 아니라 다언어 집단을 대상으로 측정하고자 할 때 검사의 편파성을 줄일 수 있는 것으로 요약할 수 있다.

Abstract

The knowledge tests using multimedia contents have been successfully applied in many areas such as education, medicine, or technology. Despite there are a lot of advantages using multimedia contents for testing of knowledge in physical education or sports performance setting, the tests based on paper and pencil are widely used in the physical education and sports. Choi, Park, Lee and Kim(2010) developed a knowledge test program for Taekwondo based on multimedia contents(MC) and paper contents(PC) in Korean and translated into English ver. When being translated into different languages, the measurement equivalence of the adapted instrument should be assessed, because the original translated instruments may not be equivalent. The purpose of this study is to identify the differential item functioning(DIF) of the Taekwondo knowledge test. For this study, a total of 189 taekwondo trainees from Seoul area in Korea and California area in USA(KOR : 90 trainee, USA : 99 trainee). A 80 items for taekwondo knowledge were developed with equivalent form(40 items for MC and PC, respectively) and obtained content validity evidence by experts of taekwondo and measurement specialists. All of the items were classified into one of four sub-domains of taekwondo(basic motion, kyorugi, poomsae, and demonstration of taekwondo). One of the statistic methods for differential items functioning was Mantel-Haenszel(Holland & Thayer, 1988) based on ifferential item functioning. and the R omputer program(package of ‘dif-R’, 2.13. ver) was used as data analysis. As a result, 9 items(PC : 3, 5, 12, 18,31, 34 and MC : 6, 7, 22) were showed statistically significant of differential item functioning(p<.05). 6 itemsof PC(3, 5, 12, 18, 31, 34) and 1 item of MC(no.22) test were in favor of Korean and 2 items of MC(6, 7) test were in favor of American Taekwondo trainees(p<.05).

참고문헌 (33)

  1. 교육평가연구회, "교육 측정⋅평가⋅연구⋅통계 용어사전" (1995), 중앙교육진흥연구소
  2. "국기원(세계태권도본부)" (2012), 국기원[URL]
  3. 노언경, "중학생 적성검사 중 공간능력 영역에서의 성별에 따른 차별기능문항 추출", 석사, pp.2006
  4. 박도순, "컴퓨터검사와 지필검사의 점수 동등성에 관한 메타분석-능력 시험을 중심으로-", 교육평가연구, 15(1), pp.247~272 (2002), 한국교육평가학회
  5. 박재용, "대학생들의 정보매체활용에 따른 학습효율성에 관한 연구", 정보관리학회지, 24(4), pp.119~132 (2007), 한국정보관리학회
  6. 박재현, "컴퓨터기반 멀티미디어형 체육지식검사의 문항 특성분석: 태권도 영역의 예비연구", 한국체육측정평가학회지, 11(1), pp.93~102 (2009), 한국체육측정평가학회
  7. 박재현, "체육의인지영역 평가를 위한 비디오기반 검사와컴퓨터 기반 검사", 제86회 전국체육대회기념 학술발표(울산) (2005), 한국체육학회.
  8. 부재율, "컴퓨터 활용검사" (2002), 교육과학사
  9. 백순근, "컴퓨터를 이용한 개별적응검사" (1998), 원미사
  10. 서영숙, "종합진로적성검사 수리영역의 성 차별기능문항 추출", 석사, pp.2000
  11. 시기자, "검사매체와 검사시행 모형에 따른 피험자 능력모수와 피험자 응답 적합도 비교", 박사, pp.2004
  12. 시기자, "PPT, CFT, CAT에서 검사매체와 검사시행 모형에 따른 피험자 응답 적합도의 비교", 교육평가연구, 19(3), pp.65~87 (2006), 한국교육평가학회
  13. 시기자, "Rasch모형에 근거한 피험자 적합도 지수를 이용한 문항응답유형과 피험자 특성 분석", 교육평가연구, 11(2), pp.109~131 (1998)
  14. 이태구, "문항반응이론을 적용한 영상평가의 양호도 검증", 한국체육측정평가학회지, 12(2), pp.35~51 (2010), 한국체육측정평가학회
  15. 이한주, "영상을 통한 체육교과 농구단원 인지영역의 평가도구 개발", 체육과학연구, 15(4), pp.147~154 (2004), 국민체육진흥공단 체육과학연구원
  16. 임현정, "컴퓨터화 적응검사와 지필검사에 의한 피험자 능력추정의 정확성 비교", 석사, pp.1999
  17. 임형정, "컴퓨터화 적응검사와 지필검사에 의한 능력 추정의 동등성과 효율성 비교", 교육평가연구, 14(2), pp.193~217 (2001)
  18. 최진환, "영상매체를 이용한 중학교 2학년 체육교과 인지영역의 평가도구 개발과 타당화", 한국체육학회지, 42(6), pp.359~366 (2003), 한국체육학회
  19. 최창환, "태권도 능력평가의 적절성 검토: 멀티미디어형 태권도 지식검사 활용", 한국체육측정평가학회지, 12(1), pp.19~31 (2010), 한국체육측정평가학회
  20. Bergstrom, B. A., "Computer Adaptive versus Pencil-and-Paper Test", 박사, pp.1992
  21. Boo, J., "Computerized versus Paper-and-Pencil assessment of educational development: Score comparability and examinee preferences", 박사, pp.1997
  22. Holland, P. W., "Differential Item Performance and the Mantel-Haenszel Procedure, In Test Validity" (1988), Lawrence Erlbaum
  23. Lievens, F., "Video-based versus written situational judgment tests : A comparison in terms of predictive validity", Journal of applied psychology, 91(5), pp.1181~1188 (2006)
  24. Lunz, M. E, "Measuring the impact of judge severity of examination score", Aplied psychological in Education, 3, pp.331~345 (1990)
  25. Comparability of computer and paper-and-pencil scores for two CLEP general examination, "Mazzeo, J.", ETS, 91~95, pp.College Board Report 91-5 (1991)
  26. McDariel, M. A., "Situational Judgments tests : A review of practice and constructs assessed", Journal of Selection and Assessment, 9, pp.103~113 (2001)
  27. McHenry, J. J., "Multimedia testing, In Personnel selection and classification", pp.193~232 (1994), Erlbaum
  28. Olson-Buchanan, J. B., "Multimedia situational judgment tests: The medium creates the message, In Situational judgment tests", pp.253~278 (2006), Jossey-Bass
  29. Pearsall, J. E., "The New Oxford Dictionary of English" (1998), Clarendon Press
  30. Pui, S. Y., "Situational Judgement Test: A Measurement of Judgement?" (2007), University of green state
  31. Performance of three conditional DIF statistics in detecting differential item functioning on simulated tests, "Spray, J. A.", American College Testing, ~, pp.Research Rep. No. 89-7 (1989)
  32. Tina, S, "Memory characteristics and modality in multimedia learning An aptitude-treatment-interaction study", Learning and Instruction, 19, pp.28~42 (2009)
  33. Thorndike, R. L., "Personnel selection" (1949), Wiley

관련 논문AI추천

컴퓨터기반 멀티미디어형 체육지식검사의 문항 특성분석: 태권도 영역의 예비연구박재현, 이재봉한국체육측정평가학회 · 한국체육측정평가학회지2009 · 제11권 제1호태권도 능력평가의 적절성 검토: 멀티미디어형 태권도 지식검사 활용김혜진, 박재현, 이재봉, 최창환한국체육측정평가학회 · 한국체육측정평가학회지2010 · 제12권 제1호문항반응이론을 적용한 영상평가의 양호도 검증박인용, 이태구, 이한주한국체육측정평가학회 · 한국체육측정평가학회지2010 · 제12권 제2호영상을 통한 체육교과 농구단원 인지영역의 평가도구 개발이태구, 이한주국민체육진흥공단 한국스포츠과학원 · 체육과학연구2004 · 제15권 제4호문항반응이론을 적용한 골프규칙 지식검사 개발이준우, 정일미, 황지훈한국체육측정평가학회 · 한국체육측정평가학회지2015 · 제17권 제2호체계적 내용분석에 기반한 태권도 품새기술 평가도구의 양호도 검증엄한주, 조은형한국체육측정평가학회 · 한국체육측정평가학회지2014 · 제16권 제3호

이 간행물의 다른 논문 (7건)

남녀 아동의 성장기별 생체전기임피던스벡터와 위상각 분포김철현, 김혜진, 정소정pp. 1-10한국인 신경인지기능 평가를 위한 Cambridge Neuropsychological Test Automated Battery(CANTAB)의 신뢰성 평가김의영, 조은형pp. 11-17자기구성지도(Self-Organized Map)를 활용한 레슬링 선수의 체격 및 체력요인의 군집분석최형준, 고병구pp. 19-28청소년의 비만도와 건강체력의 관계오수학, 이양구pp. 29-43주관적 신체활동 질문지를 이용한 신체활동에 따른 폐경기 여성들의 신체조성, 체력, 골밀도 평가남덕현pp. 45-58
원문 보기