양극배제평균 방법에 의한 무용 실기능력 평가의 적절성 재탐색*
Revisit of Dance Performance Judgment by Trimmed Mean Method
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
이 연구는 동아무용콩쿠르 본선 진출 남녀 현대무용수 집단을 대상으로 전통적으로 적용해온 양극배제평균(TM) 방법이 무용수의 실기능력 수준을 판정하는 방법으로 공정한가를 Rasch 모형에서 산출된 로짓점수와 비교하여 분석하는 데 목적이 있다. 이 연구의 대상은 2023년 동아무용콩쿠르의 현대무용 부문 일반부 본선에 진출한 남자(n=7), 여자(n=7) 무용수 전체 14명이다. 이들의 실기능력은 무용장르별로 무용경력과 심사경험 등을 고려하여 선정된 7명의심사자에 의해 평가되었다. 연구문제의 분석을 위해 Rasch 모형을 적용하여 심사자의 남녀 무용수집단에 대한 편파성을 검증하고 심사자별, 무용수별, 로짓(logit) 점수와 내 ․ 외적합도 지수, 분리신뢰도 지수(RS)를 산출하였다. 자료분석은 SPSS Window와 Winsteps 4.6.2.1을 이용하였다. 심사자의 남녀 무용수집단에 대한 판정의 편파성(Rasch-Welch t, p≥.06)은 발견되지 않았다. 모형적합도 검증결과, 심사자들의 평가 결과는 전체적으로 일관성을보이고 있으나 무용수들의 실기능력 수준을 효과적으로 변별하지는 못한 것(RS=.75)으로 나타났다. TM 산출에서제외대상 여부와 Rasch 적합도 검증결과 적합 여부 간의 합치도(k=.108)는 매우 낮으며 심사자들 간의 심사결과일치도(Cronbach’s α=.66) 또한 최소한 만족시켜야 할 기준(.70)에도 미치지 못하고 있다. TM 점수와 로짓 점수간에는 매우 높은 상관(r=.97)을 보이고 있으나 두 방법으로부터 산출된 1위와 2위의 순위에는 변동이 있는 것으로나타났다. TM 방법은 무용 현장에서 우수한 무용수를 선별할 수 있는 타당한 방법으로 그 정당성을 보장받기는어려우며 새로운 평가방안이 모색되어야 할 것이다.
Abstract
The present study was to analyze whether the Trimmed Mean (TM) is a fair method to determine the performance levels of dance competitors by comparing it with the logit score calculated by the Rasch model. The data consisted of 7 judges’ assessment of 14 competitors (7 male and female each) who qualified for the modern dance category of 2023 Dong-A Concours. The Rasch model was applied to verify the judge’s bias toward the male and female dancer group and to calculate the logit scores for judges and dancers, the Infit and Outfit statistics, and the reliability of separation statistics (RS). The collected data was anayzed by SPSS Window and Winsteps 4.6.2.1 programs. No bias (Rasch-Welch t, p≥.06) was found in the judges’ decisions toward the male and female dancers. The judges’ assessment results showed internal consistency but did not effectively discriminate the level of the dancers’ performance (RS=.75). The degree of agreement between the exclusion in the TM calculation and the unexpected misfit in the Rasch fit test result (Cohen’s k = .11) was very low, and the internal consistency among the judges (Cronbach’s α = .66) was also below the minimum standard (.70). It appeared that there was a very high correlation (r=.97) between TM and logit scores, but was a change in the rankings of first and second place. It was recommended that a new assessment method as an alternative of the TM should be sought in the dance field.
참고문헌 (27)
- 강상조, "체조 연기력 판정의 객관성 : 다국면Rasch 모형의 적용", 한국체육학회지, 38(2), pp.641~650 (1999)
- 강상조, "무대에서 공정성을 찾다" (2019), 대한미디어
- 김미애, "다국면 Rasch 모형에 의한 운동수행 평가의 평정오차 분석", 한국체육학회지, 42(6), pp.1019~1027 (2003)
- WINSTEPS 프로그램을 활용하여 논문결과 작성하기, "Rasch 모형기반 FACETS", pp.2023, 김세형
- 문채영, "경기력 판정에서 총체적 심사방법의 적절성 평가", 한국체육측정평가학회지, 8(2), pp.59~74 (2006)
- 안경숙, "양극배제평균방법에 의한 무용실기 능력평가의 적절성", 한국스포츠리서치, 18(5), pp.949~956 (2007)
- 최윤선, "양극배제평균방법이 무용 연기력 심사의 공정성에 미치는 영향", 한국체육학회지, 43(3), pp.913~926 (2004)
- 최윤선, "다국면 Rasch 모형을 적용한 동아무용콩쿠르 현대무용수 심사자의 평정분석", 한국체육측정평가학회지, 13(2), pp.53~62 (2011)[DOI]
- 최윤선, "동아무용콩쿠르 출전 현대무용수의 실기능력평가", 한국체육측정평가학회지, 12(2), pp.23~33 (2010)[DOI]
- Bassett, G. W., "Rating skating", Journal of the American Statistical Association, 89, pp.1075~1079 (1994)[DOI]
- Baumgartner, T. A., "Measurement for evaluation in physical education and exercise science" (2006), Wm. C. Brown
- Cohen, J., "A coefficient of agreement for nominal scales", Educational and Psychological Measurement, 20, pp.37~46 (1960)[DOI]
- Ebel, R. L., "Essentials of educational measurement" (1979), Prentice-Hall, Inc
- Hogg, R. V., "Adaptive robust procedures : A partial review and some suggestions for future applications and theory", Journal of the American Statistical Association, 69, pp.909~922 (1974)[DOI]
- Leech, N. C., "SPSS for intermediate statistics, Use and interpretation" (2008), Psychology Press
- Linacre, J. M., "What do Infit and Outfit, Mean-square and Standardized mean?", Rasch Measurement Transactions, 16(2), pp.878~ (2002)
- Lind, J. C., "The continuity principle in psychological research : An introduction to robust statistics", Canadian Psychology, 34, pp.407~414 (1993)[DOI]
- Locker, L. A., "Some “Modern” Statistics: A Primer and Demonstration", Paper presented at the annual meeting of the Southwest Educational Research Association (2001)
- Looney, M., "Objective measurement of Figure skating performance", Journal of Outcome Measurement, 1, pp.143~163 (1997)
- Lunz, M. E., "Measuring the impact of judge severity of examination scores", Applied Measurement in Education, 3, pp.331~345 (1990)[DOI]
- Merbitz, C., "Ordinal scales and foundations of misinference", Archives of Physical Medicine and Rehabilitation, 70, pp.308~312 (1989)[DOI]
- Stahl, J. A., "Objective measurement: Theory into practice, 3", pp.113~125 (1996), Ablex
- Wilcox, R. R., "Introduction to robust estimation and hypothesis testing" (1997), Academic Press
- Wright, B. D., "Rating scale analysis:Rasch measurement" (1982), MESA Press
- Wright, B. D., "Computation of OUTFIT and INFIT Statistics", Rasch Measurement Transactions, 3(4), pp.84~85 (1990)
- Wu, M., "Trimmmed and Winsorized means based on a scaled deviation", Journal of Statistical Planning and Inferences, 139(2), pp.350~365 (2009)[DOI]