본문 바로가기
KERD
논문KCI 등재

메타분석 결과에서 통계적 오류의 영향: 헤지스·올킨 방법과 헌터·슈미트 방법의 비교 분석

The Effects of Statistical Artifacts on Outcomes in Meta-Analysis: The Comparative Analysis of Hedges-Olkin and Hunter-Schmidt Meta-Analytic Approaches

손영곤|이병관
한국헬스커뮤니케이션학회 (Korea Health Communication Association)|2016.12|헬스커뮤니케이션연구 (Health Communication Research)|제15호|pp. 47-97|DOI 10.24172/hcr.2016..15.47

1

조회

0

다운로드

16

인용

0

참고문헌

키워드

메타분석meta-analysis계획된 행동이론Theory of Planned Behavior통계적 오류표집오차 보정측정오차 보정statistical artifactsHedges-Olkin meta-analysisHunter- Schmidt meta-analysis

초록

본 연구는 메타분석의 대표적인 두 가지 방법인 헤지스와 올킨(Hedges & Olkin)이 제시하는 방식과 헌터와 슈미트(Hunter & Schmidt)의 방식간의 접근방법과 특징에 대해 메타분석 방법론적 측면에서 비교분석하기 위해 진행하였다. 메타분석 방법과 관련하여 두 방식간의 방법론적 기본 가정과 차이점을 주요 쟁점별로 살펴보았으며, 구체적인 산출 과정과 그 결과를 상호 비교하는데 초점을 맞춰 상이한 분석방법과 절차, 그리고 결과 해석의 차이점과 유의점 등을 검증하였다. 구체적으로 국내에서 2015년까지 수행된 인간 행동을 설명하기 위한 대표적인 사회인지이론 가운데 하나인 계획된 행동이론을 적용한 연구논문을 대상으로 헤지스와 올킨 메타분석방법과 헌터와 슈미트 메타분석방식에 기초하여 그 결과를 제시하였다. 표집오차 및 측정오차 보정, 신뢰구간과 확신구간, 피셔(Fisher) z 변환값 사용 여부, 효과크기 비교, 동질성 검사 여부 등 방법론적 차이에 대해서도 논의하였다.

Abstract

This study attempted to review and compare two major meta-analytic approaches, the Hedges and Olkin approach and the Hunter and Schmidt approach, in the aspects of meta-analytic methodology. The basic methodological assumptions and characteristics between the two approaches were also discussed in terms of the analytic techniques, methodological procedures, and interpretations of the results. In addition, the two meta-analyses of the theory of planned behavior, one of the major social cognitive theories, were conducted. Based on the results, Fisher’s z-transformation, effect size estimation, heterogeneity assessment, correction for sampling error and measurement error, and confidence interval and creditability interval were discussed.

참고문헌 (88)

  1. 김성태, "국내 내용분석 연구의 방법론에 대한 고찰 및 제언 A meta analysis of content analysis research in Korea: Focusing on methodological elements for better content analysis research", 커뮤니케이션 이론, 1(2), pp.39~67 (2005), 한국언론학회
  2. 김세경, "자기통제력과 관련된 변인에 대한 메타분석: 가정환경 변인군과 개인심리 변인군을 중심으로", 한국심리학회지: 상담 및 심리치료, 27(1), pp.85~107 (2015), 한국상담심리학회
  3. 박형인, "직무소진과 직무태도 및 이직의도와의 관계: 메타분석적 문헌 고찰", 한국심리학회지: 산업 및 조직, 24(3), pp.457~491 (2011), 한국산업및조직심리학회[DOI]
  4. 손영곤, "메타분석에 의한 국내 유명인 모델의 광고효과 연구 현황 및 개관", 한국광고홍보학보, 16(2), pp.183~220 (2014), 한국광고홍보학회
  5. 손영곤, "계획된 행동이론을 적용한 사회인지적 행동 모델의 유용성에 대한 메타분석", 한국언론학보, 56(6), pp.127~161 (2012), 한국언론학회
  6. 신인수, "특수교육 및 관련 분야의 메타분석 논문에 대한 고찰", 지체.중복.건강장애연구, 54(4), pp.157~176 (2011), 한국지체.중복.건강장애교육학회[DOI]
  7. 오성삼, "메타분석의 이론과 실제" (2002), 건국대학교 출판부
  8. 오인수, "직무만족, 조직몰입, 성과, 이직의도 간의 관련성: 문헌고찰 및 메타분석", 인사조직연구, 15(4), pp.43~86 (2007), 한국인사조직학회
  9. 우형진, "국내 인터넷 연구의 발전적 모색 - 1995~2005년까지 커뮤니케이션 학술지에 게재된 인터넷 연구에 대한 메타 분석", 커뮤니케이션 이론, 1(1), pp.332~366 (2005), 한국언론학회
  10. 유성경, "삶의 의미와 정신건강과의 관계에 관한 메타분석: 1997년-2013년 국내연구를 중심으로", 한국심리학회지:일반, 33(2), pp.441~465 (2014), 한국심리학회
  11. 류대열, "조직공정성과 직무만족간 관계 및 조절 변수에 관한 메타분석", 석사, 산업심리학, pp.2009
  12. 이병관, "지난 40년 간 공포소구 연구의 통합 국내 공포소구 연구에 대한 메타분석", 한국광고홍보학보, 15(3), pp.126~155 (2013), 한국광고홍보학회
  13. 이병관, "건강 관련 행동의 예측을 위한 사회인지이론의 유용성 국내 건강신념모델 연구의 메타분석", 홍보학연구, 18(2), pp.163~206 (2014), 한국PR학회[DOI]
  14. 이준영, "메타분석", Endocrinology and Metabolism, 23(6), pp.361~378 (2008), 대한내분비학회
  15. 전근영, "국내 유머 광고에 대한 메타 분석", 한국언론학보, 59(6), pp.477~504 (2015), 한국언론학회
  16. 정의철, "헬스커뮤니케이션" (2013), 커뮤니케이션북스
  17. 조경호, "Hunter의 메타방법론을 적용한 조직몰입과 직무만족간의 상관관계 분석", 한국행정학보, 32(2), pp.147~164 (1998)
  18. 조용래, "우울과 불안증상에 대한 마음챙김에 기반을 둔 개입의 효과: 메타분석", 한국심리학회지:일반, 33(4), pp.903~928 (2014), 한국심리학회
  19. 최한나, "작업동맹과 상담성과의 관계에 대한 메타분석(1990-2014)", 상담학연구, 16(3), pp.85~99 (2015), 한국상담학회[DOI]
  20. 한국의 건강불평등 지표와 정책 과제, "한국보건사회연구원", 한국보건사회연구원, ~ (2013)
  21. 한국보건의료연구원, "NECA 체계적 문헌고찰 매뉴얼", 한국보건의료연구원, ~ (2011)
  22. 허만용, "Hunter & Schmidt의 메타분석을 적용한 시장지향과 성과의 관계: 목표와 문화의 조절효과", 한국정책과학학회보, 12(1), pp.45~70 (2008), 한국정책과학학회
  23. 홍세정, "내적 동기와 창의성간의 관계에 대한 메타분석 연구", 한국심리학회지:일반, 34(1), pp.57~86 (2015), 한국심리학회
  24. 황상재, "국내 인터넷 연구의 메타분석: 연구 주제와 방법을 중심으로", 한국방송학보, 18(2), pp.68~92 (2004), 한국방송학회
  25. 황용석, "한국 온라인저널리즘 연구의 주제와 접근방법에 대한 메타분석", 커뮤니케이션 이론, 2(1), pp.128~169 (2006), 한국언론학회
  26. Aguinis, H., "Comparison of three meta-analytic procedures for estimating moderating effects of categorical variables", Organizational Research Methods, 11(1), pp.9~34 (2008)
  27. Ajzen, I., "From intentions to actions: A theory of planned behavior", pp.11~39 (1985), Springer Berlin Heidelberg
  28. Ajzen, I., "Perceived behavioral control, self-efficacy, locus of control, and the theory of planned behavior", Journal of Applied Social Psychology, 32, pp.665~683 (2002)
  29. "Constructing a TpB questionnaire: Conceptual and methodological considerations" (2006)[URL]
  30. Ajzen, I., "Understanding attitudes and predicting social behavior" (1980), Prentice Hall
  31. Alexander, R. A., "Correcting for range restriction when the population variance is unknown", Applied psychological measurement, 8(4), pp.431~437 (1984)
  32. Aloe, A. M., "An effect size for regression predictors in meta-analysis", Journal of Educational and Behavioral Statistics, 37(2), pp.278~297 (2012)
  33. Armitage, C. J., "Efficacy of the theory of planned behavior: A meta-analytic review", British Journal of Social Psychology, 40, pp.471~499 (2001)
  34. Becker, B. J., "Publication bias in meta-analysis: Prevention, assessment and adjustments" (2005), John Wiley & Sons
  35. Borenstein, M., "Publication bias in meta-analysis: Prevention, assessment and adjustment", pp.194~220 (2005), John Wiley & Sons
  36. Borenstein, M., "Introduction to meta-analysis" (2009), John Wiley & Sons
  37. Borenstein, M., "A basic introduction to fixed effect and random effects models for meta-analysis", Research Synthesis Methods, 1, pp.97~111 (2010)
  38. Callender, J. C., "Development and test of a new model for validity generalization", Journal of Applied Psychology, 65(5), pp.543~558 (1980)
  39. Charles, E. P., "The correction for attenuation due to measurement error: Clarifying concepts and creating confidence sets", Psychological methods, 10(2), pp.206~226 (2005)
  40. Cheung, M. W. L., "Meta-analysis: A Structural equation modeling approach" (2015), John Wiley & Sons, Ltd
  41. Cohen, A. C., "Simplified estimators for the normal distribution when samples are singly censored or truncated", Technometrics, 1(3), pp.217~237 (1959)
  42. Cohen, J., "Statistical power analysis for the behavioral sciences" (1988), Lawrence Erlbaum Associates
  43. Conner, M., "Predicting health behavior", pp.1~22 (2001), Open University Press
  44. Cooper, H., "Research synthesis and meta-analysis: A step-by-step approach" (2010), Sage
  45. Cooper, H., "The handbook of research synthesis and meta-analysis" (2009), Russell Sage Foundation
  46. Duval, S., "Trim and fill: A simple funnel plot based method of testing and adjusting for publication bias in meta-analysis", Biometrics, 56, pp.455~463 (2000)
  47. Egger, M., "Systematic reviews in health care: Meta-analysis in context" (2003), BMJ Books
  48. Egger, M., "Meta-analysis: Principles and procedures", BMJ, 315, pp.1533~1537 (1997)
  49. Egger, M., "Bias in meta-analysis detected by a simple, graphical test", BMJ, 315, pp.629~634 (1997)
  50. Ferguson, C. J., "Publication bias in psychological science: Prevalence, methods for identifying and controlling, and implications for the use of meta-analyses", Psychological Methods, 17(1), pp.120~128 (2012)
  51. Field, A. P., "Meta-analysis of correlation coefficients: a Monte Carlo comparison of fixed-and random-effects methods", Psychological methods, 6(2), pp.161~180 (2001)
  52. Field, A. P., "How to do a meta-analysis", British Journal of Mathematical and Statistical Psychology, 63, pp.665~694 (2010)
  53. "Psychometric: Applied Psychometric Theory. R package. version 2.2" (2010)[URL]
  54. Glass, G. V., "Primary, secondary, and meta-analysis of research", Educational researcher, 5(10), pp.3~8 (1976)
  55. Hall, S. M., "Comparison of two random-effects methods of meta-analysis", Journal of Applied Psychology, 87(2), pp.377~389 (2002)
  56. Hausenblas, H. A., "Application of the theories of reasoned action and planned behaviour to exercise behaviour: A meta-analysis", Journal of Sport & Exercise Psychology, 19, pp.36~51 (1997)
  57. Hedges, L. V., "Statistical methods for meta analysis" (1985), Academic Press
  58. Hunter, J. E., "Fixed effects vs. random effects meta-analysis models: Implications for cumulative research knowledge", International Journal of Selection and Assessment, 8(4), pp.275~292 (2000)
  59. Hunter, J. E., "Methods of Meta-Analysis: Correcting Error and Bias in Research Findings" (2004), Sage
  60. Hunter, J. E., "Implications of direct and indirect range restriction for meta-analysis methods and findings", Journal of Applied Psychology, 91(3), pp.594~612 (2006)
  61. Johnson, B. T., "Comparison of three major meta-analytic approaches", Journal of Applied Psychology, 80(1), pp.94~106 (1995)
  62. Law, K. S., "A test of two refinements in procedures for meta-analysis", Journal of Applied Psychology, 79(6), pp.978~986 (1994)
  63. Le, H., "Correcting for indirect range restriction in meta-analysis: Testing a new meta-analytic procedure", Psychological methods, 11(4), pp.416~438 (2006)
  64. Lipsey, M. W., "Practical Meta-Analysis" (2001), Sage
  65. Littell, J. H., "Systematic reviews and meta-analysis" (2008), Oxford University Press
  66. Muchinsky, P. M., "The correction for attenuation", Educational and psychological measurement, 56(1), pp.63~75 (1996)
  67. Nunnally, J. C., "Psychometric theory" (1978), McGraw-Hill
  68. Osburn, H. G., "A note on the sampling variance of the mean uncorrected correlation in meta-analysis and validity generalization", Journal of Applied Psychology, 77(2), pp.115~122 (1992)
  69. Peterson, R. A., "On the use of beta coefficients in meta-analysis", Journal of Applied Psychology, 90(1), pp.175~181 (2005)
  70. R Development Core Team, "R: A language and environment for statistical computing" (2011), R foundation for statistical computing
  71. Raju, N. S., "What would be if what is wasn't? Rejoinder to Judiesch, Schmidt, and Hunter (1993)", Journal of Applied Psychology, 78(6), pp.912~916 (1993)
  72. Rosenthal, R., "The file drawer problem and tolerance for null results", Psychological Bulletin, 86, pp.638~641 (1979)
  73. Rosenthal, R., "Meta-analytic procedures for social research" (1991), Sage Press
  74. Rosenthal, R., "Meta-Analysis: Recent development in quantitative methods for literature reviews", Annual Review of Psychology, 52, pp.59~82 (2001)
  75. Rothstein, H. R., "Publication Bias in Meta-Analysis: Prevention, Assessment and Adjustment", pp.1~7 (2005), John Wiley & Sons
  76. Saxton, M. L., "Meta-analysis in library and information science: Method, history, and recommendations for reporting research", Library Trends, 55(1), pp.158~170 (2006)
  77. Schmidt, F. L., "Comparison of three meta-analysis methods revisited: An analysis of Johnson, Mullen, and Salas (1995)", Journal of Applied Psychology, 84(1), pp.144~148 (1999)
  78. Schmidt, F. L., "Theory testing and measurement error", Intelligence, 27(3), pp.183~198 (1999)
  79. Schulze, R., "Current methods for meta-analysis: Approaches, issues, and developments", Journal of Psychology, 215(2), pp.90~103 (2007)
  80. Seymour, R. T., "Why plaintiffs' counsel challenge tests, and how they can successfully challenge the theory of “validity generalization”", Journal of Vocational Behavior, 33(3), pp.331~364 (1988)
  81. Spearman, C., "The proof and measurement of association between two things", The American journal of psychology, 15(1), pp.72~101 (1904)
  82. Research problems and techniques, "Thorndike, R. L.", U.S. Government Printing Office, ~, pp.Rep. No. 3 AAF Aviation Psychology Program Research Reports (1947)
  83. Vevea, J. L., "Publication bias in research synthesis: Sensitivity analysis using a priori weight functions", Psychological Methods, 10, pp.428~443 (2005)
  84. Viechtbauer, W., "Conducting meta-analyses in R with the metafor package", Journal of Statistical Software, 36(3), pp.1~48 (2010)
  85. Viswanath, K., "Cancer knowledge and disparities in the information age", Journal of Health Communication, 11, pp.1~17 (2006)
  86. Whitener, E. M., "Confusion of confidence intervals and credibility intervals in meta-analysis", Journal of Applied Psychology, 75(3), pp.315~321 (1990)
  87. Wolf, F., "Meta-Analysis: Quantitative methods for research synthesis" (1986), Sage
  88. Zhu, C., "Longitudinal analysis of meta-analysis literatures in the database of ISI Web of Science", International journal of clinical and experimental medicine, 8(3), pp.35~59 (2015)

관련 논문AI추천

SEM 기반 메타분석의 이론 및 적용 - Cheung의 접근법 중심으로손수경, 이현정, 장유나, 홍세희한국심리학회 · 한국심리학회지:일반2018 · 제37권 제1호古典的 메타분석에 대한 補完的 接近方法의 探索오성삼한국교육과정평가원 · 교육과정평가연구2003 · 제6권 제2호중재 메타분석을 위한 STATA 명령어배종면, 신인수, 심성률한국보건정보통계학회 · 보건정보통계학회지2016 · 제41권 제1호Intervention meta-analysis: application and practice using R software심성률, Seong Jang Kim한국역학회 · Epidemiology and Health2019 · 제41권 메타분석의 명과 암이영호대한내과학회 · 대한내과학회지2019 · 제94권 제5호계획된 행동이론의 확장은 행동을 설명하는 데 얼마나 효과적인가 ? : 국내 학술지 대상 메타분석을 통한 확장된 계획행동이론의 정교화를 위한 시론손영곤, 이진우한국광고PR실학회 · 광고PR실학연구2017 · 제10권 제3호

이 간행물의 다른 논문 (3건)

신종 감염성 질병 확산 시정부 대응 메시지 저항: 3수준 태도 변화 이론을 중심으로나은영, 한창현pp. 1-45복고 드라마의 스토리 공감과 감성이 시청자의 심리적 안정과 우울감에 미치는 영향전종우pp. 99-123정신 건강 관련 캠페인의 설득 효과: 공포소구와 효능감, 관여도를 중심으로박시은, 정세훈, 최수정pp. 125-169
원문 보기