본문 바로가기
KERD
논문KCI 등재

스포츠 경영학 분야의 통계적 가설검정에 대한 비판과 대안

A study on the criticism and alternatives about statistical hypothesis testing of sport management in Korea

박상현
국민체육진흥공단 한국스포츠과학원 (Korea Institute of Sport Science)|2020.06|체육과학연구 (Korean Journal of Sport Science)|제31권 제2호|pp. 216-229|DOI 10.24985/kjss.2020.31.2.216

2

조회

0

다운로드

0

인용

0

참고문헌

키워드

스포츠 경영학통계적 가설검정
주제분류체육

초록

[목적] 본 연구는 스포츠 경영학 분야에서 출간된 연구물을 중심으로 통계적 가설검정 방법에 대한 비판점을 제시하고 이에 대한 현실적 대안을 제시하는데 근본적인 목적이 있다. [방법] 연구목적을 달성하기 위해 한국스포츠산업경영학회지 19권 1호부터 23권 6호까지 개재된 202편의 연구물 중 통계적 가설검정방법을 활용한 115편의 연구물이 최종적으로 선택되었다. 선택된 연구물에 대한 자료코딩 후, 개별연구물에서 보고되는 p-value의 분포인 p-curve를 도식화하고, 표본추출방법 및 결과 서술의 적절성에 대해 분석하였다. [결과] p-curve를 통해 p-hacking의 직접적인 근거는 도출되지 않았으나 0에 근접한 p-value의 비율이 상대적으로 매우 높게 나타났다. 또한, 약 82%의 연구물이 편의표본추출법을 활용하고 있었으며, 결과 서술에서도 통계적 가설검정에 대한 이해 부족으로 인한 잘못된 서술이 일부 연구에서 발견되었다. [결론] 결론적으로 학계에서 흔히 사용되는 통계적 가설검정의 단점은 방법 자체의 결함이 아닌 방법을 잘못 활용하는 연구자에게 있기에 통계적 가설검정에 대한 장단점을 연구자들이 숙지할 필요가 있으며, 신뢰구간 및 효과 크기를 대안으로 활용하여 기존의 p-value를 중심으로 한 결과 및 논의 서술방식의 단점을 보완할 필요가 있다.

Abstract

[Purpose] This study was aimed at laying out criticism regarding statistical hypothesis testing and presenting realistic alternatives focused on published studies of sports management in Korea. [Methods] Among 202 studies compiled by the Korean Society for Sport Management, vol. 19, no. 1 through vol. 23, no. 6, 115 studies which used the null hypothesis significant testing were finally selected. After data coding for selected studies, p-curve, the distribution of p-values which reported in individual studies, was schematized, and than adequacy about the sampling method and result descriptions were analyzed. [Results] The ratio of p-values close to zero was relatively very high in p-curve although there was no clear evidence of p-hacking. Also, approximately 82% of the studies used convenience sampling method, and incorrect descriptions in part of result and discussion due to lack of understanding of statistical hypothesis testing was found in some studies. In conclusion, the shortcomings of statistical hypothesis testing which commonly used in academic field were depended on not a defect in the method itself but researchers who misused statistical hypothesis testing. [Conclusions] Researchers in sport management field need to understand the advantages and disadvantages of statistical hypothesis testing and consider to use both confidence interval and effect sizes to compensate the disadvantages of p-value.

참고문헌 (60)

  1. Amrhein, V., "The earth is flat (p > 0.05): significance thresholds and the crisis of unreplicable research", PeerJ, 5, pp.e3544~ (2017)
  2. Attia, A., "Why should researchers report the confidence interval in modern research", Middle East Fertility Society Journal, 10(1), pp.78~81 (2005)
  3. Bakker, M., "The rules of the game called psychological science", Perspectives on Psychological Science, 7(6), pp.543~554 (2012)
  4. Bishop, D. V., "Problems in using p-curve analysis and text-mining to detect rate of p-hacking and evidential value", PeerJ, 4, pp.e1715~ (2016)
  5. Bruns, S. B., "P-curve and p-hacking in observational research", PloS one, 11(2), pp.e0149144~ (2016)
  6. Clark, G. T., "Fifteen common mistakes encountered in clinical research", Journal of Prosthodontic Research, 55(1), pp.1~6 (2011)
  7. Cohen, J., "The effect size index: d", Statistical Power Analysis for the Behavioral Sciences, 2, pp.284~288 (1988)
  8. Cohen, J., "The earth is round(p<. 05)", American Psychologist, 49, pp.997~1003 (1994)
  9. Cooper, H. M., "On the significance of effects and the effects of significance", Journal of Personality and Social Psychology, 41(5), pp.1013~1018 (1981)
  10. Cortina, J. M., "The earth is not round(p=. 00)", Organizational Research Methods, 14(2), pp.332~349 (2011)
  11. Csada, R. D., "The"file drawer problem"of non-significant results : does it apply to biological research?", Oikos, 76(3), pp.591~593 (1996)
  12. Dupont, W. D., "Power and sample size calculations : a review and computer program", Controlled Clinical Trials, 11(2), pp.116~128 (1990)
  13. Thomason, N., "Impact of criticism of null‐hypothesis significance testing on statistical reporting practices in conservation biology", Conservation Biology, 20(5), pp.1539~1544 (2006)
  14. Guthery, F. S., "The fall of the null hypothesis : liabilities and opportunities", The Journal of Wildlife Management, 65(3), pp.379~384 (2001)
  15. Halsey, L. G., "The fickle P value generates irreproducible results", Nature Methods, 12(3), pp.179~ (2015)
  16. Head, M. L., "The extent and consequences of p-hacking in science", PLoS biology, 13(3), pp.e1002106~ (2015)
  17. Hubbard, R., "The spread of statistical significance testing in psychology : The case of the Journal of Applied Psychology, 1917-1994", Theory &Psychology, 7(4), pp.545~554 (1997)
  18. Hupé, J. M., "Statistical inferences under the Null hypothesis : common mistakes and pitfalls in neuroimaging studies", Frontiers in Neuroscience, 9, pp.18~ (2015)
  19. 정진오, "모집단정의에 따른 표본추출법 경향분석: 한국체육학회지 게재논문 2006-2008", 한국체육측정평가학회지, 11(3), pp.35~53 (2009), 한국체육측정평가학회[DOI]
  20. 조숙정, "일원배치실험에서 적정한 표본의 크기 추정 방법", Journal of The Korean Data Analysis Society, 11(3), pp.1429~1441 (2009), 한국자료분석학회
  21. Kerr, N. L., "HARKing : Hypothesizing after the results are known", Personality and Social Psychology Review, 2(3), pp.196~217 (1998)
  22. Kerr, N. L., "HARKing: hypothesizing after the results are known: Views from three disciplines", pp.1998
  23. 김홍렬, "스포츠경영학의 연구동향 분석: 저자 연결망과 핵심어 연결망을 중심으로", 한국스포츠산업경영학회지, 20(3), pp.63~84 (2015), 한국스포츠산업경영학회
  24. 김수영, "잠재성장모형의 사용을 위한 표본크기 결정", 한국심리학회지:일반, 34(2), pp.599~617 (2015), 한국심리학회
  25. Yukyoum Kim, "Common Mistakes in Statistical and Methodological Practices of Sport Management Research", Measurement in Physical Education and Exercise Science, 23(4), pp.314~324 (2019), Informa UK Limited[DOI]
  26. Kline, R. B., "Principles and practice of structural equation modeling" (2015), Guilford publications
  27. Krzywinski, M., "Points of significance : Importance of being uncertain", Nature Methods, 10, pp.809~810 (2013)
  28. Kühberger, A., "The significance fallacy in inferential statistics", BMC Research Notes, 8(1), pp.84~ (2015)
  29. Lai, J., "Dichotomous thinking: A problem beyond NHST", Data and context in statistics education: Towards an evidence based society, ~ (2010)
  30. Lakens, D., "Comment : What p-hacking really looks like : A comment on Masicampo and LaLande(2012)", Quarterly Journal of Experimental Psychology, 68(4), pp.829~832 (2015)
  31. Levy, P. S., "Sampling of populations:methods and applications" (2013), John Wiley & Sons
  32. Lew, M. J., "Bad statistical practice in pharmacology(and other basic biomedical disciplines) : you probably don't know P", British Journal of Pharmacology, 166(5), pp.1559~1567 (2012)
  33. Lewis-Beck, M., "The Sage encyclopedia of social science research methods" (2003), Sage Publications
  34. Loehlin, J. C., "Latent variable models: An introduction to factor, path, and structural analysis" (1987), Lawrence Erlbaum Associates, Inc
  35. MacCallum, R. C., "Power analysis and determination of sample size for covariance structure modeling", Psychological methods, 1(2), pp.130~ (1996)
  36. MacKinnon, D. P., "Equivalence of the mediation, confounding and suppression effect", Prevention Science, 1(4), pp.173~181 (2000)
  37. Mahoney, M. J., "Publication prejudices : An experimental study of confirmatory bias in the peer review system", Cognitive therapy and research, 1(2), pp.161~175 (1977)
  38. McHugh, M. L., "Interrater reliability : the kappa statistic", Biochemia medica, 22(3), pp.276~282 (2012)
  39. Mulaik, S. A., "Linear causal modeling with structural equations", pp.2009, Chapman and Hall
  40. Murphy, K. R., "HARKing : how badly can cherry-picking and question trolling produce bias in published results?", Journal of business and psychology, 34(1), pp.1~17 (2019)
  41. 남상건, "효과크기의 이해", Hanyang Medical Reviews, 35(1), pp.40~43 (2015), 한양대학교 의과대학[DOI]
  42. Nakagawa, S., "Effect size, confidence interval and statistical significance : a practical guide for biologists", Biological Reviews, 82(4), pp.591~605 (2007)
  43. Nevill, A. M., "Statistics, truth, and error reduction in sport and exercise sciences", European Journal of Sport Science, 7(1), pp.9~14 (2007)
  44. Nickerson, R. S., "Null hypothesis significance testing : a review of an old and continuing controversy", Psychological Methods, 5(2), pp.241~ (2000)
  45. 박상현, "스포츠 경영학 분야의 메타분석 연구에 대한 방법론적 질 평가", 한국체육학회지, 57(1), pp.247~258 (2018), 한국체육학회
  46. Pillemer, D., "Synthesizing outcomes : How to use research evidence from many studies", Harvard Educational Review, 50(2), pp.176~195 (1980)
  47. Reinhart, A., "Statistics done wrong: The woefully complete guide" (2015), No starch press
  48. Robinson, D. H., "On the past and future of null hypothesis significance testing" (2001), Statistics &Re-search Division
  49. Rozeboom, W. W., "What if there were no significance tests", pp.335~391 (1997)
  50. Schmidt, F. L., "What if there were no significance tests", pp.37~64 (1997)
  51. Simmons, J. P., "False-positive psychology : Undisclosed flexibility in data collection and analysis allows presenting anything as significant", Psychological Science, 22(11), pp.1359~1366 (2011)
  52. Simonsohn, U., "P-curve : a key to the file-drawer", Journal of Experimental Psychology : General, 143(2), pp.534~ (2014)
  53. Simonsohn, U., "Better P-curves : Making P-curve analysis more robust to errors, fraud, and ambitious P-hacking, a Reply to Ulrich and Miller(2015)", Journal of Experimental Psychology, 144(6), pp.1146~1152 (2015)
  54. Sterling, T. D., "Publication decisions revisited : The effect of the outcome of statistical tests on the decision to publish and vice versa", The American Statistician, 49(1), pp.108~112 (1995)
  55. Stern, J. M., "Publication bias : evidence of delayed publication in a cohort study of clinical research projects", BMJ, 315(7109), pp.640~645 (1997)
  56. Ulrich, R., "p-hacking by post hoc selection with multiple opportunities : Detectability by skewness test? : Comment on Simonsohn, Nelson, and Simmons(2014)", Journal of Experimental Psychology : General, 144(6), pp.1137~1145 (2015)
  57. Verdam, M. G., "Significance, truth and proof of p values : reminders about common misconceptions regarding null hypothesis significance testing", Quality of Life Research, 23(1), pp.5~7 (2014)
  58. Wicherts, J. M., "Degrees of freedom in planning, running, analyzing, and reporting psychological studies : A checklist to avoid p-hacking", Frontiers in Psychology, 7, pp.1832~ (2016)[DOI]
  59. Wilkinson, L., "Statistical methods in psychology journals : Guidelines and explanations", American Psychologist, 54, pp.594~604 (1999)
  60. Zhu, W., "Sadly, the earth is still round(p< 0. 05)", Journal of Sport and Health Science, 1(1), pp.9~11 (2012)

관련 논문AI추천

체육 및 스포츠 분야에서의 베이지안 통계 분석 방법의 실용적 접근: JASP 프로그램의 활용강민수, 김헌태한국체육측정평가학회 · 한국체육측정평가학회지2019 · 제21권 제4호교육학 양적 연구의 혁신 ：영가설 유의성 검증과 p-값을 넘어서여승수교육비평 · 교육비평2021 · 제48호최근 10년간 ‘체육과학연구’의 연구 동향∶스포츠경영학김상호국민체육진흥공단 한국스포츠과학원 · 체육과학연구2012 · 제23권 제4호특수체육 연구에서 통계적 유의성 검증에 대한 재검토 및 제언윤진환, 최승오한국특수체육학회 · 한국특수체육학회지2006 · 제14권 제2호치의학 연구에서 귀무가설 유의성 검정의 문제점과 대안에 관한 고찰이광희대한소아치과학회 · 대한소아치과학회지2013 · 제40권 제3호축제이벤트 연구에서 통계분석방법의 재해석성이, 이보희지식경영연구원 · 기업과혁신연구2022 · 제45권 제2호

이 간행물의 다른 논문 (17건)

일회성 교정운동과 테이핑 처치가 여성 중등도 무지외반증 환자의 보행 패턴, 족저압, 평형성 및 통증에 미치는 영향이만균, 조현석, 유태근pp. 153-168가속도계로 측정된 한국 성인의 신체활동: 제6기 국민건강영양조사 가속도계 자료 분석김연수, 성호용, 이온, 임정준pp. 169-179이미지 프로세싱 기반 탁구공 자동추적 프로그램 개발시다르타, 이주성, 이승훈, 문제헌, Panday Manish, RUIZSANCHEZ GUSTAVO ADRIANpp. 180-188SNS(사회관계망서비스)를 활용한 운동정보제공이 비활동 대학생의 신체활동과 심리 변인에 미치는 영향안도진, 강수진, 김영호pp. 189-201체육계열 여자 대학생의 진로장벽에 관한 주관성 유형화명왕성, 홍은아pp. 202-215
원문 보기