본문 바로가기
KERD
논문KCI 등재

교육학 연구방법으로서 메타분석(Meta-analysis)의 발전과정 고찰

Historical development of meta-analysis as an educational research methodology

신인수|장덕호
한국교육과정평가원 (Korea Institute for Curriculum and Evaluation)|2011.11|교육과정평가연구 (The Journal of Curriculum and Evaluation)|제14권 제3호|pp. 309-332

0

조회

0

다운로드

83

인용

0

참고문헌

키워드

메타분석meta-analysiseffect size효과 크기historical development문헌 연구역사적 발전과정narrative review
주제분류교육학

초록

이 연구는 교육학 연구방법론으로서 메타분석(meta-analysis)의 발전과정을 고찰함으로써, 기존 문헌연구의 한계 및 메타분석의 의의를 이해하고, 메타분석을 통한 교육학연구의 학문적 발전을 위한 시사점을 찾고자 하였다. 이를 위해 우선 국내·외 메타분석연구의 증가 빈도를 시기별로 살펴보고, 통시적으로 메타분석이 발전된 과정을 연구결과의 종합화라는 메타분석의 본질적 특성 측면에서 고찰하였다. 우선 Glass가 메타분석이라는 용어를 사용한 1976년 이전의 개념적 발전기에서 출발하여 이후 연구결과를 종합하려는 학자들의 노력들을 조망해 보고, 또한 1976년 이후 메타분석에 대한 비판과 그러한 비판을 극복하는 과정을 살펴보았다. 아울러 1980년대의 다양한 교재들의 출현, 1990년대의 증거기반운동(evidence-based movement) 및 현재의 국제적인 네트워크 형성과 주요한 방법론적인 이슈들을 탐색하였다. 이상의 역사적 고찰을 바탕으로 앞으로 교육학 연구에서 메타분석의 발전을 위한 시사점을 몇 가지 제시해 보았다. 첫째, 메타분석과 유사 연구방법과의 개념적 차별화가 필요하고, 둘째, 기존 연구를 양적으로 통합하고 질적으로 종합하는(synthesizing qualitative research) 노력을 통하여 학술적으로도 검증된 지식을 축적하는 노력이 필요하며, 셋째, 경험적 교육학에서 많이 쓰이는 회귀분석 연구들을 종합하는 문제, 내재적 자료(nested data) 구조를 가진 연구물을 종합하는 문제, 메타분석에서의 독립성 가정 위반, 구조방정식 모형을 활용한 연구물들을 종합하여 이론 모형을 형성하려는 접근(model based meta-analysis, Becker 2009) 등 충분한 방법론적 발전이 부가되어야 함을 제시하였다.

Abstract

This study attempted to understand the limits of existing research review and the importance of meta-analysis, and to suggest some implication for future development of the method by reviewing the historical development of meta-analysis as an educational research methodology. We compared meta-analysis with other methods of research review such as narrative review and vote counting. Glass coined the term of 'meta-analysis' in 1976 and we investigated the phenomena of synthesizing quantitative research from 1900s to present. Especially, we focused on methodological critiques and overcoming efforts made by several frontiers on the field. Lastly, we presented the current issues and future research implications in addition to the present problems of meta-analysis research in Korea. Conceptual differentiation between meta-analysis and other similar methods, diffusion of the importance and knowledge sharing on meta-analysis, and additional academic efforts to solve some disputes around the data analysis, assumption, and approaches should be made in further research and practices.

참고문헌 (79)

  1. 나장함, "질적 메타분석에 대한 고찰", 교육과정연구, 26(4), pp.229~252 (2008), 한국교육과정학회
  2. 박세훈, "교육연구에 있어서의 메타분석의 쟁점", 사회교육연구, 12, pp.1~16 (2003)
  3. 서미옥, "메타분석 연구의 고찰과 연구방법론적인 제안", 교육학연구, 49(2), pp.1~23 (2011), 한국교육학회
  4. 송인섭, "메타분석의 문제", 아동연구, 5, pp.43~53 (1990)
  5. 안민호, "커뮤니케이션 연구들의 일반적 특징과 언급된 주요이론들에 대한 메타분석", 사회교육과학연구, 9(1), pp.175~198 (2006)
  6. 이종승, "최근 연구방법의 동향, in 교육연구방법론편" (1982), 한국교육개발원
  7. 이종승, "메타분석: 연구결과의 통계적 종합", 교육학 연구, 21(1), pp.83~92 (1983)
  8. 오성삼, "메타분석방법의 활용동향과 컴퓨터 프로그램을 이용한 메타분석방법", 교육평가연구, 5(2), pp.123~166 (1992)
  9. 오성삼, "메타분석에 대한 고찰", 교육논총, 25, pp.33~62 (1995)
  10. 오성삼, "古典的 메타분석에 대한 補完的 接近方法의 探索", 교육과정평가연구, 6(2), pp.107~124 (2003), 한국교육과정평가원
  11. 오성삼, "선행연구 결과의 통합과 재분석을 위한 메타분석의 이론과 실제" (2009), 건국대학교 출판부
  12. 이희숙, "교육행정연구에서 메타분석법 적용가능성 탐색", 한국교육학회 2011 춘계학술대회 발표자료, pp.162~176 (2011)
  13. 조지민, "유의수준 비교방법의 점근분포 유도와 정확성 검증", 교육방법연구, 14(1), pp.19~34 (2002), 한국교육방법학회
  14. 황용석, "한국 온라인저널리즘 연구의 주제와 접근방법에 대한 메타분석", 커뮤니케이션 이론, 2(1), pp.128~169 (2006), 한국언론학회
  15. 황정규, "Meta-analysis의 이론과 방법론: 경험과학적 연구 결과의 종합을 위하여", 성곡논총, 19 (1988)
  16. 한용진, "교육학사(敎育學史) 서설", 교육문제연구, (29), pp.23~43 (2007), 교육문제연구소
  17. Aguinis, H., "Comparison of three meta-analytic procedures for estimating moderating effects of categorical variables", Organizational research methods, 11(1), pp.9~34 (2008)
  18. Becker, B. J, "Multivariate meta-analysis: Contributions of Ingram Olkin", Statistical Science, 22(3), pp.401~406 (2007)
  19. Becker, B. J, "Model based meta-analysis, in The handbook of research synthesis and meta-analysis", pp.377~395 (2009), Russell Sage Foundation
  20. Bergh, J. C., "Meta-analysis in environmental economics" (1997), Kluwer Academic Publishers
  21. Bickman, L., "The SAGE Handbook of applied social research methods" (2008), Sage Publications
  22. Borenstein, M., "Introduction to meta-analysis" (2009), John Wiley & Sons, Ltd
  23. Chalmers, L., "A brief history of research synthesis", Evaluation & The Health professions, 25(1), pp.12~37 (2002)
  24. Cochran, W. G, "Problems arising in the analysis of a series of similar experiments", Journal of the Royal Statistical Society, 4, pp.102~118 (1937)
  25. Cook, T. D., "Meta-analysis for future explanation: A case book" (1992), Russell Sage Foundation
  26. Cooper, H.M., "Statistical versus traditional procedures for summarizing research findings", Psychological Bulletin, 87(3), pp.442~449 (1980)
  27. Cooper, H.M, "Scientific principles for conducting integrative research reviews", Review of Educational Research, 52, pp.291~302 (1982)
  28. Cooper, H.M, "Integrating research: A guide for literature reviews" (1989), Sage
  29. Cooper, H..M, "Synthesizing research: A guide for literatitre synthesis" (1998), Sage
  30. Cooper, H., "The handbook of research synthesis" (1994), Russell Sage
  31. Dunkin, M.J, "Types of errors in synthesizing research in education", Review of Educational Research, 66(2), pp.87~97 (1996)
  32. Eddy, D. M., "Meta-analysis by the confidence profile method: The statistical synthesis of evidence" (1992)
  33. Eysenck, "The effects of psychotheraphy: An evaluation", Journal of Consulting Psychology, 16, pp.319~324 (1952)
  34. Eysenck, H. J, "An exercise in mega-silliness", American Psychology, 33(517) (1978)
  35. Feldman, K. A, "Using the work of others: Some observations on reviewing and integrating", Sociology of Education, 44, pp.86~102 (1969)
  36. Fisher, R. A, "Statistical methods for research workers" (1932), Oliver and Boyd
  37. Glass, G. V, "Primary, secondary and meta-analysis of research", Educational Researcher, 10, pp.3~8 (1976)
  38. Glass, G. V, "Meta-analysis at 25. Paper presented to Office of Special Education Programs Research Project", Directors' Conference, U.S. Department of Education (1999)
  39. Glass, G.V., "Meta-analysis in social research" (1981), Sage
  40. "Meta-analysis at 25" (2001)[URL]
  41. Glass, G. V., "Meta-analysis of the relationship between class size and achievement", Educational Evaluation and Policy Analysis, 1, pp.2~16 (1979)
  42. Greenwald, R., "The effect of school resources on student achievement", Review of Educational Research, 66(3), pp.361~396 (1996)
  43. Jackson, "Methods for integrative reviews", Reviews of Educational Research, 50, pp.438~460 (1980)
  44. Jensen, L. A., "Meta-synthesis of qualitative findings", Qualitative Health Research, 6(4), pp.553~560 (1996)
  45. Hanushek, E. A, "Throwing money at schools", Journal of Policy Analysis and Management, 1, pp.19~41 (1981)
  46. Hanushek, E. A, "The economics of schooling: Production and efficiency in public schools", Journal of Economic Literature, 24, pp.1141~1177 (1986)
  47. Hanushek, E. A, "The impact of differential expenditures on school performance", Educational Researcher, 18(4), pp.45~65 (1989)
  48. Hanushek, E. A, "When school finance "reform" may not be good policy", Harvard Journal on Legislation, 28, pp.423~456 (1991)
  49. Hedges, L. V, "Distribution thoery for Glass's estimator of effect size and related estimators", Journal of Educational Statistics, 6(2), pp.107~128 (1981)
  50. Hedges, L. V., "Statistical methods for meta-analysis" (1985), Academic Press
  51. Huberty, C. J, "A history of effect size indices", Educational and Psychological Measurement, 62, pp.227~240 (2002)
  52. Hunter, J. E., "Differential validity of employment tests by race: A comprehensive review and analysis", Psychological Bulletin, 86, pp.721~735 (1979)
  53. Hunter, J.E., "Meta-analysis: Cumulating research findings across studies" (1982), Sage
  54. Hunter, J.E., "Meta-analysis: Correcting error and bias research findings" (1990), Sage
  55. Hunt, M, "How science takes stock: The story of meta-analysis" (1997), Russell Sage
  56. Hyde, J. S., "The psychology of gender: Advances through meta-analysis" (1986), Johns Hopkins Press
  57. Light, R. J., "Summing up : the science of reviewing research" (1984), Harvard University Press
  58. Light, R. J., "Accumulating evidence: Procedures for resolving contradictions among research studies", Harvard Educational Review, 41, pp.429~471 (1971)
  59. Mosteller, F, "Meta-analysis for explanation" (1992), Sage
  60. Mulrow, C. D, "The medical review article: State of the science", Annals of Internal Medicine, 106, pp.485~488 (1987)
  61. Mullen, B, "Advanced BASIC meta-analysis" (1989), Erlbaum
  62. Noblit, G.W., "Meta-ethnography: Synthesizing qualitative studies" (1988), Sage
  63. Olkin, I, "History and goals, in The future of meta analysis", pp.3~10 (1990), Russell Sage Foundation
  64. Olkin, I, "Meta-analysis: Current issues in research synthesis", Statistics in medicine, 15, pp.1253~1257 (1996)
  65. O'Rourke, K, "An historical perspective on meta-analysis: dealing quantitatively with varying study results", Journal of the royal society of medicine, 100, pp.579~582 (2007)
  66. Oxman, A. D., "for reading literature review", Canadian Medical Association Journal, 138, pp.697~703 (1988)
  67. Panel on Statistical Issues and Opportunities for Research in the Combination of Information, "Combining information: Statistical issues and opportunity for research" (1992), National Academy Press
  68. Pearson, K, "Report on certain enteric fever inoculation statistics", British Medical Journal, 3, pp.1243~1246 (1904)
  69. Rosenthal, R., "Interpersonal expectancy effects: The first 345 studies", Behavioral and Brain Sciences, 3, pp.377~415 (1978)
  70. Rosenthal, R, "The "file drawer problem" and tolerance for null results", Psychological Bulletin, 86, pp.638~641 (1979)
  71. Rosenthal, R, "Meta-analytic procedures for social research" (1991)
  72. Rosenthal, R., "Meta-analysis: Recent developments in quantitative methods for literature reviews", Annu. Rev. Psychol, 52, pp.59~82 (2001)
  73. Smith, M. L., "Meta-analysis of psychotherapy outcome studies", American Psychologist, 32, pp.752~760 (1977)
  74. Valentine, "Judging the quality of primary research, in The handbook of research synthesis and meta-analysis", pp.129~146 (2009), Russell Sage Foundation
  75. Taveggia, T. C, "Resolving research controversy through empirical cumulation: Toward reliable sociological knowledge", Sociological Methods & Research, 2, pp.335~407 (1974)
  76. Tippett, L.H.C, "The method of statistics" (1931), Williams and Norgate
  77. Winkelstein,W, "The first use of meta-analysis", American Journal of Epidemiology, 147(8), pp.717~ (1998)
  78. Wacher, K. W., "The future of meta-analysis: A project of the Committee on National Statistics, Commission on Behavioral and Social Sciences and Education, National Research Council" (1990), Russell Sage Foundation
  79. Wolf, F. M, "Meta-analysis: Quantitative methods for research synthesis" (1986)

관련 논문AI추천

古典的 메타분석에 대한 補完的 接近方法의 探索오성삼한국교육과정평가원 · 교육과정평가연구2003 · 제6권 제2호메타분석의 내적타당성 확보를 위한 1차 연구의 질 평가에 대한 고찰김순근, 심승엽, 윤소영, 한기순교육발전연구소 · 교육혁신연구2023 · 제33권 제3호특수교육 및 관련 분야의 메타분석 논문에 대한 고찰박은영, 신인수한국지체·중복·건강장애교육학회 · 지체.중복.건강장애연구2011 · 제54권 제4호한국 영어교과교육의 발전 방안으로서의 연구 종합이상기한국영어교과교육학회 · 영어교과교육2010 · 제9권 제3호SEM 기반 메타분석의 이론 및 적용 - Cheung의 접근법 중심으로손수경, 이현정, 장유나, 홍세희한국심리학회 · 한국심리학회지:일반2018 · 제37권 제1호상담학 분야 메타분석의 방법론적 탐색과 고찰김동일, 김학중, 손수빈, 이예슬한국상담학회 · 상담학연구2025 · 제26권 제2호

이 간행물의 다른 논문 (15건)

글로벌·다문화 시대에 적합한 정체성 교육의 내용영역 구안 및 교과교육과의 연계방안 탐색홍원표pp. 1-232007 개정 교육과정의 국어 교과서 구현 양상 -8학년, ‘문법’ 영역을 중심으로-김억조pp. 25-52국어 교사의 검정 교과서 선정 경험 연구김호정, 박재현, 남가영, 김은성pp. 53-81한국의 초등학교 바른생활과 교육과정과 일본의 1, 2학년 도덕 교육과정의 비교서보윤pp. 83-100광물ㆍ암석 용어의 적절성 검토 및 새로운 용어 제안류춘렬, 이창진, 정영란, 전철웅pp. 101-128
원문 보기