체계적 내용분석에 기반한 태권도 품새기술 평가도구의 양호도 검증
Comparisons of Reliability and Accuracy Obtained by Two Evaluation Methods for the Assessment of the Poomsae Skills
2
조회
0
다운로드
4
인용
0
참고문헌
키워드
초록
본 연구는 태권도 품새기술의 체계적 내용분석을 기반으로 품새기술을 구체적이고 객관적으로 기록하기 위해 품새기술 평가도구인 심사기록지의 개발과 이에 따른 심사기록지의 유용성 평가를 위해 심사자간 신뢰계수(inter-reliability)및 평가정확성(accuracy) 분석을 통해 품새기술 평가에 대한 객관적인 기초 자료를 제공하는데 목적이 있다. 품새기술 평가도구 개발을 위한 자료의 수집은 연구 목적에 따라 국기원, 대한태권도협회, 세계태권도연맹에서는 사용되는 공인 품새(유급자: 태극1장~8장, 유단자: 고려~일여) 총 17개 자료와 ‘태권도 품새 교본’(국기원, 2011)의 내용을 근거기반으로 하여 운동기술평가의 측정학적 분류를 통해 품새 기술 평가를 위한 심사기록지를 개발하였다. 심사기록지의 현장 유용성 평가를 위해 대한태권도협회의 협조 하에 경기현장과 가장 유사한 형태의 모의대회를 개최하였으며, 선수(n=68)와 심판(n=11) 총 79명이 참여하였다. 심판 및 선수배정은 현행 태권도 품새경기 심판분과위원회에서 진행되는 배정방식을 적용하여 각 코트에 5명씩 무작위(random) 배정하였고 채점방식은 기존의 총괄채점방식과 새로운 심사기록지에 의한 채점방식 두 가지를 균형설계(Counter-balanced design)되도록 배정하였다. 자료분석은 PASW18.0 Ver Program을 이용하여 모의시합을 통해 수집된 심판들의 평가 자료는 평가방법(Old vs. New) 및 평가항목(정확성, 숙련성)으로 분류하였으며, 각각에 대한 상관행렬(correlation matrices), 신뢰계수(consistency) 분석을 실시하였다. 또한 심사자들의 평가정확성(accuracy)을 비교하기 위하여 선수들과 사전협의를 통해 선정한 감점동작에 대한 평가결과를 분석하였다. 결과를 요약하면 다음과 같다. 품새동작의 손기술 및 발기술에 대한 평가정확성을 분석한 결과, 심판경력에 따라 심판판정의 정확성은 차이가 있었으며, 경력이 많은 심판들이 전반적으로 손기술, 발기술에 대한 평가정확성이 높은 것으로 나타났다(85% vs. 65%; 75% vs. 70%). 그리고 발기술보다는 상대적으로 동작이 단순한 손기술에 대한 정확도가 다소 높게 나타났다. 그리고 심사자들의 평가결과에 대한 신뢰도를 분석한 결과, ‘정확성’ 평가항목에서 심사자들 간의 신뢰계수는 기존 채점방식보다 기록지 채점방식에서 높게 산출되었으며(α=.688 vs. α=.847), 이러한 결과는 ‘숙련성’ 평가항목에서도 유사하게 나타났다(α=.73 vs. α=.83). 전반적으로 기존 총괄평가방식보다 개발된 기록지에 의한 평가방식을 적용했을 때 각 평가항목에서 심판들의 채점결과 간의 상관계수들이 상대적으로 높았고 보다 일관성 있게 산출되었다.
Abstract
This study aimed to compare inter-reliability and accuracy obtained by two different evaluation methods for the assessment of the Poomsae skills. An assessment checklist (CM) for the Poomsae skills was developed and the results produced using the checklist was compared with those obtained by the traditional assessment method (TM) which was mainly relied upon a subjective judgement of the judges in the Poomsae competition in TaeKwonDo. The data collection was conducted in a simulated Poomsae competition with 68 athletes and 10 certified judges. Data analyses were performed with PASW 18.0 Ver Program to compute correlations and reliabilities (Cronbach α) among the judges’ evaluation data, and the accuracy of correct identification of error-skills performed by the athletes. The results summarized below. The correlation and reliability for the checklist method were higher and more consistent than those data obtained TM in all aspects of variables concerned. The inter-rater reliabilities for CM were higher than those for TM in both‘Form-accuracy’ (.847 vs. .688) and ‘Skillful-execution’ (.73 vs. .83). The ratio of correct identification of error-skills was higher for those judges with more experience group in both ‘Hand-skill’ (85% vs. 65%) and ‘Leg-skill’ (75% and 70%). The results in this study indicate that the developed checklist can offer objective grounds and usability as an educational material for improving consistencyin judges’ evaluation and could be used as an academy/education training tool in referee education and selection process.
참고문헌 (26)
- 강상조, "실기 평가의 이론과 실제", 한국교육평가연구회 학술세미나 발표논문집 (1997)
- 강상조, "무용실기고사의 객관도", 한국체육대학교 부속 체육과학연구소논문집, 16(1), pp.71~79 (1997)
- 국기원, "태권도 교본" (2011), 국기원
- 김성숙, "타당도와 신뢰도에 대한 새로운 의미. 황정규(편). 한국교육평가의 쟁점과 대안" (2000), 교육과학사
- 성태제, "타당도와 신뢰도" (2005), 양서원
- 성태제, "체육계 실기고사의 합리적 방법과 문제점에 대한 토론", 교육평가연구, 3(2), pp.126~130 (1989)
- 안경숙, "한국무용 실기고사의 심사자간 신뢰도", 대한무용학회 논문집, 52(52), pp.243~254 (2007), 대한무용학회
- 안애정, "일반화가능도 이론에 의한 체조심판판정 오차원 분석", 박사, 체육학, pp.1997
- 조은형, "태권도 품새 동작에 대한 측정학적 분류 및 컴퓨터 기반 평가도구 개발", 박사, 스포츠과학과 체육측정평가전공, pp.2014
- 조은형, "태권도 품새 동작에 대한 내용분석", 한국체육측정평가학회지, 14(3), pp.13~31 (2012), 한국체육측정평가학회
- 조정환, "주관적 운동기술 평가의 외재변인과 채점전략", ’96 한국체육학회지 학술발표회 논문집, pp.574~583 (1996)
- 최윤선, "무용, 춤 문화의 발전과 교육 : 현대무용연기평정을 위한 척도개발", 한국체육학회 학술발표논문집, 36, pp.635~641 (1998)
- 최윤선, "심사자의 엄격성과 전공유형이 무용 연기력 판정에 미치는 효과", 한국체육학회지, 43(1), pp.647~660 (2004), 한국체육학회
- 황규자, "동아콩쿠르 발레연기 심사결과의 객관도", 발레연구논문집, 11, pp.87~97 (1997)
- Bartko, J. J., "On Various Interaclass Corelation Reliability Coefficients", Psychological Bulletin, 83(5), pp.762~765 (1976)
- Baumgartner, T. A., "Measurement for education in physical education and exercise science" (2006), McGraw-Hill
- James, L. R., "Estimating Within-Group Interrater Reliability With and Without Response Bias", Journal of Applied Psychology, 69(1), pp.85~98 (1984)
- James, L. R., "rwg : An Assessment of Within-Group Interrater Agreement", Journal of Applied Psychology, 78(2), pp.306~309 (1993)
- Looney, M., "Objectivity measurement of Figure skating performance", Journal of Outcome Measurement, 1, pp.143~163 (1997)
- Lunz, M. E., "Measuring the impact of judge severity of exami nation scores", Applied Measurement in Education, 3, pp.331~345 (1990)
- Safrit, M. J., "Introduction to measurement in physical education and exercise science" (1995), Mosby
- Shrout, P. E., "Interclass Correlations : Uses in Assessing Rater Reliability", Psychological Bulletin, 86(2), pp.420~428 (1979)
- Tashakkori, A., "Foundation of mixed methods: integrating quantitative and Qualitative approaches in the social and behavioral sciences" (2009), Sage Publication
- Tinsley, H. E., "Research Methodology", Journal of Counseling Psychology, 22(4), pp.358~376 (1975)
- Matanan, M., "Assessment and grading in physical education", Journal of Teaching in physical education, 13, pp.395~405 (1994)
- MJ Tasse, "The Nisonger CBRF: age and gender effect and norms", Research in developmental Disabilities, 17(1), pp.59~75 (1996)