리듬체조 심판판정의 신뢰도 및 오차요인 분석
Analysis of reliability and error sources of judges’ rating in rhythmic gymnastics
2
조회
0
다운로드
10
인용
0
참고문헌
키워드
초록
[목적] 이 연구의 목적은 일반화가능도 이론을 통해 리듬체조 심판판정의 신뢰도와 오차요인을 조사하는 것이다. 일반화가능도 이론은 연구자가 설정한 평가 상황에서 측정한 자료의 오차요인들을 포함한 측정모형을 근거로 오차요인을 원인별로 정량화하여, 판정상황에서 각 오차요인이 차지하는 상대적인 영향력을 파악(G연구)할 수 있으며, 이를 바탕으로 측정모형의 신뢰도까지 제시(D연구)할 수 있는 분석방법이다. [방법] 연구자료는 2016년 전국리듬체조 대회에 참가한 34명의 시니어부 선수들의 후프, 볼, 곤봉, 리본 종목의 판정 점수를 사용하였다. 각각 4명으로 구성된 난도(D)와 실시(E)심판의 채점 자료를 분석하였다. 선행연구(Kwak et al., 2016)를 기반으로 선수의 지역과 지도자의 명성을 포함한 분석모형을 설계한 후, 다변량 일반화가능도 이론을 활용하여 분석하였다. [결과] 연구 결과는 다음과 같다. G 연구결과, 첫째, 선수와 심판요인만을 고려한 측정모형에서, 난도와 실시영역 두 판정은 모두 선수의 분산성분이 가장 큰 값을 나타냈다. 둘째, 첫 번째 측정모형에 지역 요인을 포함한 분석에서는, 난도와 실시영역 두 판정은 모두 선수의 분산성분이 가장 큰 값을 나타났으나, 곤봉 종목의 경우 지역의 분산성분이 가장 높은 값을 보였다. 셋째, 첫 번째 측정모형에 지도자의 명성 요인을 포함한 분석에서는, 난도와 실시영역 두 판정은 모두 선수의 분산성분이 가장 큰 값을 나타났으나, 후프 종목의 경우 지도자의 명성의 분산성분이 가장 높은 값을 보였다. D 연구 결과, 넷째, 선수의 지역이나 지도자의 명성을 고려하지 않은 경우의 일반화가능도 계수가 가장 높은 값을 보였으나, 이러한 요인들을 반영하였을 때는 일부 종목들에서 비교적 낮은 신뢰도계수가 산출되었다. [결론] 본 연구는 실제 심판들이 판정한 데이터를 기반으로 일반화가능도 분석을 통해 심판의 편향적 판정을 초래하는 요소들에 대한 영향력을 분석한 연구이다. 연구결과를 바탕으로 리듬체조 심판들의 지역 및 지도자의 명성 요인에 영향을 받는 심판판정의 문제와 원인, 그리고 개선을 위한 대안을 논의하였다.
Abstract
[Purpose] The purpose of this study was (1) to analyze judges’ evaluation on rhythmic gymnastics performance by applying generalizability theory and (2) to suggest recommendations to improve judges' rating. [Methods] Data were 34 players’ scores from Senior Part at 29th KGA President’s Cup National Rhythmic Gymnastics Championship in Korea. Difficulty and execution scores in ball, clubs, hoop and ribbon event were analyzed. Analysis models containing components of area and reputation rank were designed and multivariate generalizability theory were used for analysis. [Results] The G-study results showed (1) that the error source about players has more significant impact to evaluation than other error sources in analysis model containing components of only player and judge, (2) that the error source about players has more significant impact to evaluation than other error sources in analysis model adding components of area, but the error source about area has more significant impact to evaluation of clubs event than other error sources, (3) that the error source about players has more significant impact to evaluation than other error sources in analysis model adding components of reputation rank, but the error source about reputation rank has more significant impact to evaluation of hoop event than other error sources in analysis model adding components of area. The D-study results showed generalizability coefficient was stable in analysis model without components of area and reputation rank, but generalizability coefficient in analysis model containing components of area and reputation rank not stable in some event. [Conclusion] Recommendations for improving judging were discussed.
참고문헌 (28)
- Ansorge, C. J., "International bias detected in judging gymnastic competition at the 1984olympic games", Research Quarterly for Exercise and Sport, 59(2), pp.103~107 (1988)
- Auweele Y. V., "Judging bias in synchronized swimming : Open feedback leads to nonperformance-based conformity", Journal of Sport and Exercise Psychology, 26, pp.561~571 (2004)
- Borman, W. C., "Effects of instructions to avoid halo error on reliability and validity of performance evaluation ratings", Journal of Applied Psychology, 60, pp.556~560 (1975)
- Brennan, R., "Generalizability theory" (2001), Springer-Verlag
- Brennan, R., "Manual for urGENOVA", Iowa Testing Programs, University of Iowa, ~ (2001)
- Catarina, L., "The evaluation rules in the view of the rhythmic gymnastics judges", Journal of Sports Science, 4, pp.232~240 (2016)
- 조은형, "리듬체조경기의 난도(D) 및 실시(E)에 대한 평가결과의 오차원 분석", 한국체육측정평가학회지, 17(3), pp.13~22 (2015), 한국체육측정평가학회
- Findlay, L. C., "A reputation bias in figure skating", Journal of Sport and Exercise Psychology, 26, pp.154~166 (2004)
- 강애남, "학생들의 동료평가를 활용한 수행평가 결과의 일반화가능도 분석", 교육평가연구, 19(3), pp.107~121 (2006), 한국교육평가학회
- 김경선, "일반화가능도 이론을 적용한 한국어 말하기 성취도 평가의 신뢰도와 오차요인 분석", 한국어교육, 21(4), pp.51~75 (2010), 국제한국어교육학회
- Kim, S. S., "Generalizability theory" (2001), kyoyookbook
- Korea Institute for Curriculum and Evaluation, "Education assessment" (2004), Hakjisa
- 곽주현, "리듬체조 지도자들의 실천공동체 분석: 구성원들의 사회적 관계", 체육과학연구, 27(4), pp.878~891 (2016), 국민체육진흥공단 부설 한국스포츠개발원
- 이선영, "다변량 일반화가능도 이론을 활용한 창의성 예비검사의 신뢰도 분석", 창의력교육연구, 15(3), pp.83~107 (2015), 한국창의력교육학회
- 이태구, "피겨 스케이팅 심판 판정에 대한 분석", 체육과학연구, 27(4), pp.756~769 (2016), 국민체육진흥공단 부설 한국스포츠개발원
- 이태구, "강제결합-스포츠모의중계수업에서 일반화가능도 이론을 적용한 동료평가의 신뢰도와 오차요인 분석", 체육과학연구, 27(2), pp.345~361 (2016), 국민체육진흥공단 부설 한국스포츠개발원
- Leskošek, B., "Bias of judging in men’s artistic gymnastics at the European chamionship 2011", Biology of Sport, 29, pp.107~113 (2012)
- Li, D., "A Multi-group generalizability analysis of a large-scale reading comprehension test", annual meeting of the National Council on Measurement in Education (2007)
- 문원재, "태권도 심판의 판정 결정요인에 대한 문화기술학적 분석", 코칭능력개발지, 7(4), pp.59~72 (2005), 한국코칭능력개발원
- New York Times, "World body expels top london Olympics official in rhythmic gymnastics", New York Times (2013.07.10.), ~ (2013)
- 오준석, "여자 기계체조경기 판정에 대한 사례연구", 코칭능력개발지, 17(3), pp.167~178 (2015), 한국코칭능력개발원
- Plessner, H., "Expectation biases in gymnastics judging", Journal of Sport and Exercise Psychology, 21, pp.131~144 (1999)
- Popovic, R., "International bias detected in judging : Rhythmic gymnastics competition ay Sidney-2000Olympic Games", Physical Education and Sport, 1(7), pp.1~13 (2000)
- Scheer, J. K., "Judging bias by viewing contrived videotapes : A function of selected psychological variables", Journal of Sport Psychology, 5, pp.427~437 (1983)
- Sportschosun, "‘신수지 사태’ 아름답지 못한 리듬체조, 이대론 안된다", Sportschosun (2011.10.11.), ~ (2011)
- Ste-Marie, D., "International bias in gymnastic judging:Conscious or unconscious influences?", Perceptual and Motor Skill, 83(3), pp.963~975 (1996)
- Ste-Marie, D. M., "Enduring memory-influenced biases in gymnastic judging", Journal of Experimental Psychology: Learning, Memory, and Cognition, 22, pp.1498~1502 (1996)
- Thelwell, R. C., "Can reputation biases influence the outcome and process of making competence judgments of a coach?", Scandinavian Journal of Medicine and Science in Sports, 23, pp.e65~e73 (2013)