댄스스포츠 라틴 종목 심사 특성에 따른 일치도 분석
Analysis of inter-rater agreement of latin american and modern dance sport
0
조회
0
다운로드
7
인용
0
참고문헌
키워드
초록
[목적] 본 연구는 댄스스포츠 라틴 종목 예선과 준결승에서 심사 특성에 따른 심판 평가의 일치도와 상관성을 파악하여 심판 신뢰도의 문제를 도출하고 개선을 위한 대안을 제시하는데 목적이 있다. [방법] 2017~2019 총 3년간 대한민국댄스스포츠연맹 주관 아마추어 라틴댄스 54경기 11,850건(예선, 준결승)의 연기 자료를 바탕으로 Kappa 통계량과 일치도()를 기준으로 심사 특성 집단 차이를 도출하고, 라틴 5개 종목별 일치도 간 상관성을 분석했다. [결과] 본 연구를 통해 댄스스포츠 심판 일치도와 종목에 대한 심사 특성을 확인하였으며, 연도가 거듭될수록, 심판 수는 7심일 때, 대상 선수가 많을수록 일치도가 높은 경향을 보였으며, 심사자들 중 선수 출신의 비율이 70% 이상일 때 가장 높은 일치도를 보였다. 또한 5개의 세부종목별 일치도가 높을수록 상관성도 높은 경향을 확인하였다. [결론] 결론적으로 댄스스포츠 심사자 간의 시각적인 부분에 대한 차이와 규정 개정으로 인한 심판 등급차이, 대회 참가 선수의 감소, 라운드별 탈락시켜야 하는 인원수, 선수 경험이 있는 심판의 비율 등의 차이로 다르게 나타나게 되고 이러한 차이로 인해 심사자에게 영향을 미쳐 심사점수에 나타난 것으로 보인다. 이를 바탕으로 댄스스포츠 라틴 종목 심판들의 객관성과 신뢰도 향상을 위해 정확한 기준을 찾는 작업이 필요하며, 심사자들이 동일한 평가요소를 가지고 심사를 진행할 수 있도록 교육과정에 있어 체계적인 방법 및 교육 프로그램 개발이 필요할 것으로 생각된다.
Abstract
[Purpose] The purpose of this study is to identify the consistency and correlation of referee evaluation according to the judging characteristics in the preliminary and semi-final of the Latin event of dance sports, thereby deriving the problem of referee reliability and suggesting alternatives for improvement. [Methods] The method of study is Based on the performance data of 54 amateur Latin dances match organized by the Korea Dance Sports Federation for a total of three years 11,850(preliminary rounds & semi-final). Based on the Kappa statistics and the degree of agreement(), the difference in the group of examination characteristics was derived and the correlation between the five Latin events was analyzed. [Results] As a result of through this study, the consistency of the dance sports referee and the characteristics of the judging in the event were confirmed, and the number of judges tended to be higher when the number of judges was seven, the more the number of subjects was, and the highest level of agreement was more than 70 percent of the judges. In addition, the higher the concordance of each of the five detailed items, the higher the correlation tendency. [Conclusion] Differences in visual aspects between dance sports judges and the difference in the judges' ratings due to the revision of the rules, the decrease in the number of competitors participating in the competition, the number of people to be eliminated in each round, and the proportion of judges with experience in the competition are different, and these differences affect the judges and show up in the scores. The Latin dance sports events based on objectivity and reliability to improve the correct standards of judges to find the same raters, work will be required and an assessment element. With a systematic way in and to carry out the review curriculum and educational development is considered necessary.
참고문헌 (39)
- Baumgartner, T. A., "Measurement for evaluation in physical education and exercise science" (2006), WCB McGraw-Hill
- Berry, K. J., "A generalization of Cohen's kappa", Educational and Psychological Measurement, 48, pp.921~933 (1988)
- Brennan, R. L., "Coefficient kappa : Some uses, misuses, and alternatives", Educational and psychological measurement, 41(3), pp.687~699 (1981)
- 조은형, "리듬체조경기의 난도(D) 및 실시(E)에 대한 평가결과의 오차원 분석", 한국체육측정평가학회지, 17(3), pp.13~22 (2015), 한국체육측정평가학회[DOI]
- 조은형, "여자 기계체조 이단평행봉 종목 심판 판정에 대한 오차원분석", 한국체육측정평가학회지, 19(3), pp.57~69 (2017), 한국체육측정평가학회[DOI]
- Cho, M. H., "A qualitative analysis on expertise of dance sport judge", pp.2007
- 조명준, "하키선수들의 심판판정에 대한 인식정도와 경기력과의 관계", 한국체육과학회지, 18(2), pp.339~348 (2009), 한국체육과학회
- Choi, B. I., "Comparative study about dance sport's marking system: To the total system and skating system", Journal of p.e., sport & leisure studies, 11(1), pp.27~40 (2004)
- 최윤선, "무용 전공유형별 연기력 평가를 위한 평정오차 분석: 다국면 Rasch 모형의 적용", 한국체육측정평가학회지, 8(1), pp.81~93 (2006), 한국체육측정평가학회
- Cohen, J., "A coefficient of agreement for nominal scales", Educational and Psychological Measurement, 20, pp.37~46 (1960)
- Cohen, J., "Weighted kappa: nominal scale agreement provision for scaled disagreement or partial credit", Psychological bulletin, 70(4), pp.213~ (1968)
- Conger, A. J., "Integration and generalization of kappas for multiple raters", Psychological Bulletin, 88(2), pp.322~ (1980)
- Donner, A., "Sample size requirements for reliability studies", Stat Med, 6(4), pp.441~449 (1987)
- Feinstein, A. R., "High agreement but low kappa: I. The problems of two paradoxes", Journal of clinical epidemiology, 43(6), pp.543~549 (1990)
- Fleiss, J. L., "Measuring nominal scale agreement among many raters", Psychological Bulletin, 76, pp.378~382 (1971)
- Gwet, K. L., "Computing inter rater reliability and its variance in the presence of high agreement", British Journal of Mathematical and Statistical Psychology, 61(1), pp.29~48 (2008)
- Gwet, K. L., "Handbook of Inter-Rater Reliability" (2010), Advanced Analytics, LLC
- Janson, H., "A measure of agreement for interval or nominal multivariate observations" (2001)
- Hur, K. A., "An analysis on judges’ criteria for judgment in dancesports competition in korea", Master, pp.2006
- 정진오, "댄스스포츠 경기대회의 심판구성 및 판정에 대한 연구", 한국사회체육학회지, (26), pp.483~495 (2006), 한국사회체육학회
- 김동건, "공정한 스포츠경기를 위한 전자심판기 및 영상판정제 도입강화에 관한 연구", 스포츠엔터테인먼트와 법, 19(3), pp.45~62 (2016), 한국스포츠엔터테인먼트법학회[DOI]
- 김응준, "혼합연구방법을 이용한 댄스스포츠경기의 예비심사평정척도 개발", 한국체육측정평가학회지, 10(1), pp.13~29 (2008), 한국체육측정평가학회[DOI]
- Kim, E. J., "Judges` organization of Dancesport competition using the Skating System", The Korean Journal of Physical Education, 45(3), pp.469~479 (2006)
- 김형돈, "국제에어로빅체조 심판판정의 객관성", 한국체육측정평가학회지, 13(2), pp.63~73 (2011), 한국체육측정평가학회[DOI]
- 김지은, "댄스스포츠 선수의 순위결정 - Rasch 모형의 적용 -", 한국무용연구, 36(4), pp.45~67 (2018), 한국무용연구학회[DOI]
- Kim, M. S., "Analysis of judgement system for dancesport by visual search", Ph. D., pp.2019
- 김미숙, "Trust in Dancesport Competition Judges and Moral Philosophy of Kant", 움직임의 철학 : 한국체육철학회지, 26(3), pp.111~120 (2018), 한국체육철학회[DOI]
- 김민선, "A Study on Comparison of Generalized Kappa Statistics in Agreement Analysis", 응용통계연구, 25(5), pp.719~731 (2012), 한국통계학회
- "Regulations for judging management" (2020)[URL]
- Kwon, S. R., "The comparison of a rating agreem ent and a grading judgement among international and domestic judges in dance sport", Master, pp.2011
- Landis, J. R., "The measurement of observer agreement for categorical data", biometrics, 1, pp.159~174 (1977)
- Lee, C. H., "A analysis on judges’ criteria for judgement in dance sports competition", Korea Sport Research, 17(5), pp.253~264 (2006)
- Oh, S. H., "Introduction to objectivity and its usage", The Korean Journal of Measurement and Evaluation in Physical Education and Sports Science, 4(1), pp.1~12 (2002)
- 박미희, "COHEN의 합치도의 두 가지 역설을 해결하기 위한 새로운 합치도의 제안", 응용통계연구, 20(1), pp.117~132 (2007), 한국통계학회
- Premelč, J., "Reliability of judging in dancesport", Frontiers in psychology, 10(1), pp.1001~ (2019)
- Radler, D., "How a dance competition is judged", ~ (1998)
- Scott, W. A., "Reliability of content analysis: The case of nominal scale coding", Public opinion quarterly, pp.321~325 (1955)
- 신재은, "싱크로나이즈드 스위밍 심판의 전문성 요소 탐색", Asian Journal of Physical Education and Sport Science, 5(1), pp.41~55 (2017), 학교체육연구소[DOI]
- Viera, A. J., "Understanding interobserver agreement: the kappa statistic", Fam med, 37(5), pp.360~363 (2005)