본문 바로가기
KERD
논문KCI 등재

브레이킹 배틀 심사 특성에 따른 심판 간 신뢰도 및 일치도 분석

Interrater Reliability and Agreement Analysis According to The Characteristics of The Breaking Battle Evaluation

석진수|전경배
한국체육측정평가학회 (Korean Society For Measurement And Evaluation In Physical Education And Sports Science)|2022.09|한국체육측정평가학회지 (The Korean Journal of Measurement and Evaluation in Physical Education and Sports Science)|제24권 제3호|pp. 97-114|DOI 10.21797/ksme.2022.24.3.008

0

조회

0

다운로드

5

인용

0

참고문헌

키워드

브레이킹 배틀심판 간 신뢰도심판 간 일치도트리폴드Breaking BattleThreefoldInter rater reliabilityInter rater agreement

초록

본 연구의 목적은 브레이킹 평가 결과에 대한 심판 간 신뢰도 및 일치도를 분석하여 보다 나은 배틀 평가제 도 구축을 위한 기초자료를 제공하는데 있다. 이를 위해 ‘Breaking K Series–Seoul 2022 Stage 1’ 결과를 수 집하였으며 5명의 심판이 평가한 성인부(17세 이상) B Boy 34라운드, B Girl 17라운드를 분석하였다. 수집된 자료는 Window Excel 2021를 사용해 통계 방법에 맞게 정리하였으며, Win SPSS 26.0을 사용하여 자료처리 를 실시하였다. 자료처리는 심판 간 점수의 차이를 확인하기 위해 기술통계 및 one-way AVOVA를 실시하였으 며, 통계적으로 유의한 차이가 있는 경우 사후분석에는 Fisher's LSD를 활용하였다. 또한, 심판 간 신뢰도 분석 을 위해 유목내상관계수(Intraclass correlation coefficient : ICC)를 산출하였으며, 승 · 패 여부에 심판 간 의견의 일치도를 확인하기 위하여 플레이스 카파(Fleiss′ Kappa)를 산출하였다. 연구결과 B Boy · B Girl 모 두 항목별로 각각의 심판이 부여한 점수에는 차이가 있었으며 B Boy · B Girl 모두 항목별 점수의 심판 간 신 뢰도 수준에 차이가 있었다. 또한, 승·패에 대한 의사결정 결과뿐 아니라 항목별 심판의 의견 역시 낮은 수준의 일치도를 보이는 것으로 나타났다. 연구결과를 종합해볼 때 트리폴드를 이용한 브레이킹 평가에 대한 심판 간 평가 기준에 대한 조율 및 교육이 필요할 것으로 판단되며, 심사점수에 영향을 미칠 수 있는 요인을 찾고 이를 통제하여 심사 결과의 신뢰도 확보를 위한 노력이 필요할 것으로 보여진다.

Abstract

The purpose of this study is to provide basic data to establish a Breaking battle evaluation system by analyzing the reliability and agreement between the judges. The results of ‘Breaking K Series–Seoul 2022 Stage 1’ were collected, 5 judges analyzed the 34 rounds of men’s and 17 rounds of women’s match for adult entry (age +17). Windows Excel 2021 for data organization and Win SPSS 26.0 for all statistical processing were used. Descriptive statistics and one-way AVOVA were performed to confirm the difference in scores between judges, and if there was a statistically significant difference, Fisher's LSD was used for post-hoc test. Intraclass correlation coefficient (ICC) was calculated for reliability analysis between judges, and Fleiss Kappa was calculated to check the degree of agreement between judges. As a result of the study, there was a difference in the scores given by each judge for each item for both men and women, and there was a difference in the level of reliability between judges for each item for both men and women. In addition, it was found that not only the decision-making results for win/loss but also the opinions of the judges for each item showed a low level of agreement. Considering the results of research, it is necessary to attune and educate the evaluation standards between judges for the treefold based braking evaluation. And efforts are needed to secure the reliability of the evaluation results by finding error source that can affect the examination score and controlling them.

참고문헌 (37)

  1. 강상조, "심사자간 신뢰도: 어떻게 추정할 것인가?", 한국체육측정평가학회지, 13(1), pp.1~8 (2011), 한국체육측정평가학회[DOI]
  2. 김미선, "댄스스포츠 라틴종목 심사위원의 수준에 따른 일치도 분석", 한국체육학회지, 60(5), pp.419~426 (2021), 한국체육학회[DOI]
  3. 김지은, "댄스스포츠 선수의 순위결정 - Rasch 모형의 적용 -", 한국무용연구, 36(4), pp.45~67 (2018), 한국무용연구학회[DOI]
  4. "브레이킹 심판 소위원회규정"[URL]
  5. "브레이킹 K 경기규정"[URL]
  6. "브레이킹 심판 규정"[URL]
  7. 문병순, "파리 올림픽 출전 브레이킹 선수의 준비 방안", 한국무용교육학회지, 32(4), pp.133~149 (2021), 한국무용교육학회
  8. 박한솔, "브레이크댄스의 올림픽 스포츠 종목 편입에 관한 쟁점 탐색", 교육문화연구, 27(2), pp.509~535 (2021), 교육연구소[DOI]
  9. 안경숙, "양극배제평균방법에 의한 무용 실기능력평가의 적절성", 한국 스포츠 리서치, 18(5), pp.709~718 (2007), 한국스포츠리서치
  10. 안경숙, "한국무용 실기고사의 심사자간 신뢰도", 대한무용학회 논문집, 52(52), pp.243~254 (2007), 대한무용학회
  11. 오수학, "무용 수행평가 도구의 객관도", 한국체육측정평가학회지, 3(1), pp.91~87 (2001)[DOI]
  12. 오수학, "객관도의 개념과 기법의 활용", 한국체육측정평가학회지, 4(1), pp.1~12 (2002)[DOI]
  13. 이승훈, "댄스스포츠 라틴 종목 심사 특성에 따른 일치도 분석", 체육과학연구, 31(4), pp.830~839 (2020), 국민체육진흥공단 한국스포츠정책과학원[DOI]
  14. 이우재, "브레이크댄스 배틀의 사회적 의미", 한국무용교육학회지, 33(1), pp.45~56 (2022), 한국무용교육학회
  15. 이태구, "피겨 스케이팅 심판 판정에 대한 분석", 체육과학연구, 27(4), pp.756~769 (2016), 국민체육진흥공단 한국스포츠정책과학원[DOI]
  16. 정원정, "반복평정에 따른 한국무용 연기력 평가방법의 심사자 신뢰도", 스포츠사이언스, 31(2), pp.321~327 (2014)
  17. 조은형, "리듬체조경기의 난도(D) 및 실시(E)에 대한 평가결과의 오차원 분석", 한국체육측정평가학회지, 17(3), pp.13~22 (2015), 한국체육측정평가학회[DOI]
  18. 조정환, "主觀的 運動技術 評價의 外在變因과 採點戰略", 전국체육대회기념 한국체육학회논문집, 12, pp.574~584 (1996)
  19. 조정환, "주관적 운동기능 측정의 오차 요인", 한국스포츠교육학회지, 6(1), pp.105~119 (1999)[DOI]
  20. 차윤미, "브레이킹 댄스 교육의 현황과 과제", 한국무용교육학회지, 32(3), pp.125~143 (2021), 한국무용교육학회
  21. 최윤선, "동아무용콩쿠르 출전 현대무용수의 실기능력 평가", 한국체육측정평가학회지, 12(2), pp.23~33 (2010), 한국체육측정평가학회[DOI]
  22. 최윤선, "다국면 Rasch 모형을 적용한 동아무용콩쿠르 현대무용수 심사자의 평정(評定) 분석", 한국체육측정평가학회지, 13(2), pp.53~62 (2011), 한국체육측정평가학회[DOI]
  23. 최윤선, "양극배제평균방법이 무용 연기력 심사의 공정성에 미치는 영향", 한국체육학회지, 43(3), pp.913~926 (2004), 한국체육학회
  24. "Battle Reports"[URL]
  25. "And8 Judge, Every Decision Counts"[URL]
  26. Frey, B. B., "Defining Authentic Classroom Assessment", Practical Assessment, Research & Evaluation, 17(2) (2012)[DOI]
  27. Looney, M., "Objective measurement of Figure skating performance", Journal of Outcome Measurement, 1(2), pp.143~163 (1997)[DOI]
  28. Landis, J. R., "The Measurement of Observer Agreement for Categorical Data", BIOMETRICS, 33, pp.159~174 (1977)
  29. Mitchell, S. K., "Interobserver Agreement, Reliability, and Generalizability of Data Collected in Observational Studies", Psychological Bulletin, 86(2), pp.373~390 (1979)
  30. Pinheiro, V, "Diagnosing Motor Skills – A practical Approach. Journal of Physical Education", Recreation & Dance, 65(2), pp.49~54 (1994)[DOI]
  31. Jerneja Premelč, "Reliability of Judging in DanceSport", Frontiers in Psychology, 10 (2019), Frontiers Media SA[DOI]
  32. "USA Dance Breaking For Gold USA, Breaking Dancesport RuelBook"[URL]
  33. "Trivium Value System"[URL]
  34. "Buenos Aires 2018 Youth Olympic Games WDSF Rules and Regulations Manual"[URL]
  35. "WDSF Rules and Regulations Manual : Breaking(Version 1)"[URL]
  36. "WDSF Competition Rules"[URL]
  37. "WDSF Rules & Regulations"[URL]

관련 논문AI추천

2018 부에노스 아이레스 유스올림픽 브레이킹 배틀 심판 간 신뢰도 및 일치도 분석석진수, 전경배국민체육진흥공단 한국스포츠과학원 · 체육과학연구2023 · 제34권 제2호댄스스포츠 라틴 종목 심사 특성에 따른 일치도 분석김미선, 이승훈국민체육진흥공단 한국스포츠과학원 · 체육과학연구2020 · 제31권 제4호한국무용 실기고사의 심사자간 신뢰도안경숙, 오율자대한무용학회 · 대한무용학회 논문집2007 · 제52권 제52호심사자간 신뢰도: 어떻게 추정할 것인가?강상조한국체육측정평가학회 · 한국체육측정평가학회지2011 · 제13권 제1호스트릿 댄스 배틀 져지(judge)의 판정경험과 가치에 관한 질적연구안창용한국무용연구학회 · 한국무용연구2018 · 제36권 제2호피겨 스케이팅 심판 판정에 대한 분석양희원, 이태구, 이한주, 정재은국민체육진흥공단 한국스포츠과학원 · 체육과학연구2016 · 제27권 제4호

이 간행물의 다른 논문 (7건)

남자 고등부 학생선수의 농구 평가지표를 활용한 승패 분석전필구, 김혜진pp. 1-10건강한 성인의 유산소 운동강도에 따른 장내미생물 구성요인 변화(변화추이 분석)이미영, 이대택, 윤소미pp. 11-22국내 프로축구 전력분석관 환경개선 방안배태한, 김종원pp. 23-32체계적 문헌고찰: 척수장애인의 일상생활 기능 향상을 위한 재활운동 및 체육 프로그램최서언, 장연수, 김윤수, 이수민, 진주연, 이성모pp. 33-522022 FIBA 남자농구 아시안컵 경기결과를 활용한 머신러닝 분류 모형의 예측 성능 비교이성노, 예원진pp. 53-69
원문 보기