심사자간 신뢰도: 어떻게 추정할 것인가?
How to estimate Inter-rater Reliability
1
조회
0
다운로드
25
인용
0
참고문헌
키워드
초록
심사자의 평정은 체육, 스포츠 분야에서 학생/선수의 실기능력을 평가하는데 중심적인 역할을 담당하고 있다. 그럼에도 불구하고 실제 평정상황에서 심사자 수는 평정의 신뢰도 수준과 관계없이 결정되고 있는 것이 현실이다. 예를들면 여러 심사자가 심사해야 할 경우에도 한 심사자로 대신하는 경우가 적지 않다. 뿐만 아니라 경기종목에 따라 심사자 수가 다르고 동일 경기에서도 그 비중에 따라 심사자 수가 5명에서 3명까지 차별적으로 선정되고 있다. 이와 같이 심사자 수는 상황에 따라 변동이 가능한 변수 중의 하나가 되고 있다. 심사자 수를 적게 하면 안 된다는 법은 없으나 심사자 수를 적게 하면 그 신뢰도는 낮을 수밖에 없다. 그동안 심사자간 신뢰도를 추정하기 위한 방법이 적지 않게 제안되어 활용되어왔으나 각 방법에 대한 충분한 검토 없이 연구 상황에 적용된 사례도 적지 않게 발견되고 있다. 이글에서는 그동안 활용되어온 방법 중 Pearson의 r과 유목내상관계수(ICC)를 비교하고 체육연구에 이를 적절하게 사용할 수 있는 방법을 제시하였다. 제안된 세 가지 ICC 모형과 적절한 신뢰도 유형을 선정하는 절차가 흐름도를 이용하여 제시되었다.
Abstract
Judge’s rating plays an important role in assessing performance of students and athletes in the field of physical education and sports. Nonetheless, the number of judges has been determined without much consideration for reliability. For example, a single judge is often considered while sufficient number of judges are required to make objective decisions. In addition, the number of judges depends on a type of sports, and it has been chosen differently from 3 judges to 5 judges even in the same game. While there is no definite threshold in determining minimum number of judges, fewer judges reduce reliability. Number of methods for estimating inter-rater reliability have been introduced and applied in the field; however, cases were reported in the studies that applied the estimation method without having an adequate review. In this tutorial, commonly used inter-rater reliability estimation methods, Pearson r and Intraclass correlation (ICC), will be reviewed. The tutorial will also provide a guideline on how these methods should be used in the field of physical education and sports. Three ICC models and the procedures for selecting the appropriate type of reliability are illustrated in the following flowchart.
참고문헌 (8)
- 강상조, "검사도구의 신뢰도와 타당도:무엇이 문제인가? in 체육학의 탐구논리(이광섭박사 화갑기념 논총)", pp.3~12 (1995)
- American Psychological Association, "Publication manual of the American Psychological Association (3rd ed.)" (1985)
- Baumgarter, T. A., "Measurement for evaluation in physical education and exercise science(8th ed)" (2006), McGraw-Hill
- McGraw, K. O., "Forming inferences about some intraclass correlation coefficients", Psychological Methods, 1(1), pp.30~46 (1996)
- Morrow, J. R. Jr., "Measurement and evaluation in human performance (4th ed.)" (2011), Human Kinetics
- "Choosing an Intraclass Correlation Coefficient"[URL]
- Shrout, P. E., "Intraclass correlations: Uses in assessing rater reliability", Psychological Bulletin, 86(2), pp.420~428 (1979)
- Walter, S. D., "Sample sizes and optimal designs for reliability studies", Statistics in Medicine, 17, pp.101~110 (1998)