본문 바로가기
KERD
논문KCI 등재

메타분석연구에서 나타난 프로그램 구성요소의 실태: 증거기반 프로그램 개발의 관점에서

The Feature of the Program components in the Meta Analysis Research: Evidence Based Program Development Perspective

공계순|서인해
한국사회복지연구회 (Korean Association For Social Welfare Studies)|2018.09|사회복지연구 (Korean Journal of Social Welfare Studies)|제49권 제3호|pp. 247-275|DOI 10.16999/kasws.2018.49.3.247

0

조회

0

다운로드

5

인용

0

참고문헌

키워드

메타분석Meta-AnalysisProgram Development and Evaluation프로그램 개발 및 평가프로그램 구성요소 증거수준Evidence Level of Program Components
주제분류사회복지학

초록

메타분석을 프로그램 개발 측면에서 조사한 연구가 부족한 상황에서 본 연구는 최근 18년간 발표된 메타분석연구논문에 나타난 프로그램 구성요소의 실태를 분석하고, 이를 토대로 ‘프로그램 구성요소의 증거수준’을 파악하여 프로그램 개발활동에서 어떤 의미를 주는가를 탐색하였다. 연구대상은 2000년부터 2017년 6월 현재까지 전국주요학술지에서 검색된 사회복지, 심리, 상담, 보건 영역의 110개 메타분석연구논문(5,781개 프로그램 평가논문)이며 분석방법은 내용분석을 활용하였다. 분석결과는 다음과 같다. 조사된 메타분석논문은 인구대상, 문제, 프로그램 유형에서 범위를 좁혀 연구하는 경향이 많았지만, 여러 이질적인 유형을 포함하여 분석하는 경우도 상당했다. 통계분석방법에서는 프로그램 효과성에 대한 이질적 배경이 되는 요인을 설명할 수 있는 조절효과분석이 상대적으로 적었다. 메타분석을 위한 프로그램 구성요소 선정은 연구자의 임의적인 선택도 매우 많았으며, 특정한 구성요소들 중심으로 편중되게 조사하는 경향이 있었다. 프로그램 구성요소의 효과성과 관계된 통계적인 유의성 비율에 대한 분석결과에서는 대상자의 연령과 문제 심각성, 제공자의 전문성, 개입강도와 개입활동내용이 높은 수준의 ‘프로그램 구성요소 증거수준’을 보여주고 있었다. 연구결과에 대한 논의와 프로그램 메타분석의 유용성을 높이기 위한 과제도 제시되었다.

Abstract

In the absence of a research study on meta-analysis in terms of program development, the purpose of the study is to analyze the contents of the meta-analysis research studies which has been conducted for 18 years, and is to identify the level of program component evidence for the development of social work program. In order to achieve these purposes, the study analyzed the feature and usefulness of the 110 meta-analysis studies(5,781 program evaluation studies)published from 2010 to June 2017 in major academic journals related to the areas of the social welfare, psychology, counseling and health. The major findings are as follows. The 110 meta-analysis studies tended to narrow down the scope of the population, problems, and program types, but they also included a lot of heterogeneous types. In the statistical methods, there were relatively few studies to explain the factors behind the heterogeneity of program effectiveness. In addition, researchers tended to select program components arbitrarily with bias on specific components. The important program components with the statistical validity are as follows; the age of the subjects, the severity of the problem, the expertise of the providers, and the strength and activities of the intervention, The academic meanings of the study results was discussed, and the direction of future research was presented to increase the usefulness of the meta-analysis for program development.

참고문헌 (64)

  1. 강현, "메타분석에서 통계학적 고려사항들", Hanyang Medical Reviews, 35(1), pp.23~32 (2015), 한양대학교 의과대학[DOI]
  2. 공계순, "증거기반 사회복지실천에 대한 이해와 한국에서의 적용가능성에 관한 연구", 사회복지연구, (31), pp.77~102 (2006), 한국사회복지연구회
  3. 김정희, "국내 간호학 분야 메타분석 논문의 질 평가", Journal of Korean Academy of Nursing, 43(6), pp.736~745 (2013), 한국간호과학회
  4. 서미옥, "메타분석 연구의 고찰과 연구방법론적인 제안", 교육학연구, 49(2), pp.1~23 (2011), 한국교육학회
  5. 서인해, "사회복지 프로그램 구성요소개발활동의 실태 및 구성요소의 동질적인 범주성에 대한 실증적 연구 : 3단계 디자인 활동 중심으로", 사회복지연구, 44(3), pp.237~269 (2013), 한국사회복지연구회[DOI]
  6. 서인해, "사회복지 프로그램 차원의 증거기반 활동에 대한 이해 : 증거확보, 증거인증, 증거전파의 통합적인 접근 중심으로", 사회복지연구, 45(4), pp.55~87 (2014), 한국사회복지연구회[DOI]
  7. 송영신, "노인관련 메타분석 연구의 방법론적 질평가- 국내 연구를 중심으로 -", 한국자치행정학보, 28(4), pp.349~369 (2014), 한국자치행정학회[DOI]
  8. 송영신, "국내 운동 관련 메타분석 논문의 질 평가", Journal of Korean Academy of Nursing, 44(5), pp.459~470 (2014), 한국간호과학회
  9. 신인수, "특수교육 및 관련 분야의 메타분석 논문에 대한 고찰", 지체.중복.건강장애연구, 54(4), pp.157~176 (2011), 한국지체·중복·건강장애교육학회[DOI]
  10. 오성삼, "선행연구 결과의 통합과 재분석을 위한 메타분석의 이론과 실제" (2009), 건국대학교출판부
  11. 이상균, "사회복지실천 프로그램에 대한 메타분석", 한국사회복지학, 40, pp.131~156 (2000)
  12. 이현정, "SEM 기반 메타분석의 이론 및 적용 - Cheung의 접근법 중심으로", 한국심리학회지:일반, 37(1), pp.127~152 (2018), 한국심리학회[DOI]
  13. 장덕호, "교육학 연구방법으로서 메타분석(Meta-analysis)의 발전과정 고찰", 교육과정평가연구, 14(3), pp.309~332 (2011), 한국교육과정평가원
  14. 황성동, "알기 쉬운 메타분석의 이해" (2014), 학지사
  15. Acton, G. J., "Meta-analysis: A tool for evidence-based practice", AACN Advanced Critical Care, 12, pp.539~545 (2001)
  16. Banzi R., "Qualtity assessment versus risk of bias in systematic reviews : AMSTAR and ROBIS has similar reliability but differed in their construct and applicability", Journal of Clinical Epidemiology, 99, pp.24~32 (2018)
  17. Beck, A. T., "The current state of cognitive therapy : A 40-year retrospective", Archives of General Psychiatry, 62(9), pp.953~959 (2005)
  18. Becker, B. J., "Multivariate meta-analysis : Contributions of Ingram Olkin", Statistical Science, 22(3), pp.401~406 (2007)
  19. Borenstein, M., "Introduction to Meta-Analysis" (2009), John Wiley & Sons, Ltd
  20. Card, D., "What works? A meta analysis of recent active labor market program", Journal of the European Economic Association, 16(3), pp.894~931 (2018)
  21. Cheung, M., "Multivariate meta-analysis as structural equation models", Structural Equation Modeling, 20, pp.429~454 (2013)
  22. Cooper, H. M., "Research Synthesis and Meta-Analysis: A Step-by-Step Approach" (2010), Sage Publication
  23. Cordray, D., "Using Theory to Improve Program and Policy Evaluations", pp.146~162 (1992), Greenwood Press
  24. Cournoyer, B. R., "The Evidence-Based Social Work Skills Book" (2004), Allyn & Bacon
  25. David, P., "Systematic review found AMSTAR, but not R-AMSTAR, to have good measurement properties", Journal of Clinical Epidemiology, 68(5), pp.574~583 (2015)
  26. Donaldson, S. I., "Handbook of Program Development for Health Behavior Research & Practice", pp.449~470 (2001), Sage Publications, Inc
  27. Forness, S. R., "Intervention Research: Design and Development for Human Service", pp.117~132 (1994), The Haworth Press
  28. Fraser, M., "Intervention Research: Developing Social Programs" (2012), Oxford University Press, Inc
  29. Glass, C., "Primary, secondary, and meta-analysis of research", Educational Researcher, 5(10), pp.3~8 (1976)
  30. Guzzo, R. A., "Meta analysis", Research in Organizational Behavior, 9, pp.407~442 (1987)
  31. Hedges, L. V., "Statistical Methods for Meta-Analysis" (1985), Academic Press
  33. Hollin, C. R., "Treatment programs for offenders : Meta-analysis, what works, and beyond", International Journal of Law and Psychiatry, 22, pp.361~372 (1999)
  34. Howell, J. C., "Mark Lipsey's contribution to evidence-based services for juvenile. offenders : What works across juvenile justice systems", Criminology & Public Policy, 13(1), pp.15~20 (2014)
  35. Hulsherger, U., "Team-level predictors of innovation at work : A comprehensive meta-analysis spanning three decades of research", Journal of Applied Psychology, 94(5), pp.1128~1145 (2009)
  36. Kaminski, J. W., "A meta-analytic review of components associated with parent training program effectiveness", Journal of Abnormal Child Psychology, 36(4), pp.567~589 (2008)
  37. Krippendorf, K., "Content Analysis: An Introduction to Its Methodology" (1998), Sage
  38. Lipsey, M. L., "Using Theory to Improve Program and Policy Evaluations", pp.45~78 (1994), Greenwood Press
  39. Lipsey, M. L., "Those confounded moderators in meta-analysis : Good, bad, and ugly", Annals of the American Academy of Political and Social Science, 587, pp.69~81 (2003)
  40. Lipsey, M. L., "A broader view of evidence-based programs reveals more options for state juvenile justice systems", Criminology & Public Policy, 11(3), pp.515~524 (2012)
  42. Marznano R., "A Theory-Based Meta-Analysis of Research on Instruction" (1998), Mid-continent Regional Educational Laboratory Aurora
  43. Noortgate, W., "Three-level meta analysis of dependent effect sizes", Behavior Research, 45, pp.576~594 (2013)
  44. Petrosino, A., "Whether and why? the potential benefits of including program theory evaluation in meta-analysis", New Directions for Evaluation, 87, pp.59~69 (2000)
  45. Popova, S., "Estimation of national, regional, and global prevalence of alcohol use during pregnancy and fetal alcohol syndrome : A systematic review and meta-analysis", European Journal of Medical Genetics, 60, pp.32~48 (2017)
  46. Reid, W., "Developing Practice Guidelines for Social Work Intervention: Issues, Methods, and Research Agenda", pp.59~80 (2003), Columbia University
  47. Rosen, A., "Developing Practice Guidelines for Social Work Intervention: Issues, Methods, and Research Agenda" (2003), Columbia University Press
  48. Rosenthal, R. N., "Evidence-Based Practice Manual: Research and Outcome Measures in Health and Human Services", pp.20~28 (2004), Oxford University Press
  49. Rosenthal, R. N., "Meta-analysis : Recent developments in quantitative methods for literature reviews", Annual Review of Psychology, 52, pp.59~82 (2001)
  50. Rothman J., "Intervention Research: Design and Development for Human Service", pp.133~162 (1994), The Haworth Press
  51. Rothman. J., "Intervention Research: Design and Development for Human Service" (1994), The Haworth Press
  52. Ryzin, M. J., "A component-centered meta analysis of family based prevention programs for adolescent substance use", Clinical Psychology Review, 45, pp.72~80 (2016)
  53. Sanchez-Meca, J., "Testing continuous moderators in meta-analysis : A comparison of procedures", British Journal of Mathematical and Statistical Psychology, 51, pp.311~326 (1998)
  54. Schmidt F., "What do data really mean? research findings, meta-analysis, and cumulative knowledge in psychology", American Psychologist, 47(10), pp.1173~1181 (1992)
  55. Schwab, A., "Why all researchers should report effect sizes and their confidence intervals: Paving the way for meta-analysis and evidence based management practices", Entrepreneurship Theory and Practice, (4), pp.719~725 (2017)
  56. Scott, A., "Strength of theory and theory of strength", Evaluation and Program Planning, 12, pp.329~336 (1989)
  57. Shadish, W. R., "Mediators and moderators in meta-analysis : There's a reason we don't let dodo birds tell us which psychotherapies should have prizes", Journal of Consulting and Clinical Psychology, 59(6), pp.883~893 (1991)
  58. Shea, B. J., "Development of AMSTAR: A measurement tool to assess the methodological quality systematic reviews", BMC Medical Research Methodology, 7(10) (2007)
  59. Smith, M. J., "Meta-analysis of psychotherapy outcome studies", American Psychologist, 32, pp.752~760 (1977)
  60. Snedecor, S., "Multivariate meta-Analysis: concepts and applications", Value & Outcomes Spotlight, pp.9~10 (2016)
  61. Stephen J., "A meta-analysis of the effectiveness of mental health care management over 20 years", Psychiatric Services, 51(11), pp.1410~1421 (2000)
  62. Thomas, A. T., "An empirical comparison of univariate and multivariate meta-analysis for categorical outcomes", Statistics in Medicine, 33, pp.1441~1459 (2014)
  63. Thomas, E. J., "Designing Interventions for the Helping Professions" (1984), Sage Publications
  64. Thomas, E. J, "Advances in developmental research", Social Service Review, 63(4), pp.579~597 (1989)

관련 논문AI추천

청소년상담 프로그램의 효과에 대한 메타분석방소희, 신인수, 양미진, 유준호한국청소년상담복지개발원 · 청소년상담연구2018 · 제26권 제2호상담학 분야 메타분석의 방법론적 탐색과 고찰김동일, 김학중, 손수빈, 이예슬한국상담학회 · 상담학연구2025 · 제26권 제2호청소년상담연구 동향 및 청소년 프로그램 효과에 관한 메타분석: 「청소년상담연구」 학술지를 중심으로소수연, 손영민, 손재환, 이지은한국청소년상담복지개발원 · 청소년상담연구2020 · 제28권 제1호청소년 우울 개선 프로그램의 특성 및 효과크기 분석: 다층메타분석을 통한 효과크기 검증권정아, 이윤희한국정서행동장애학회 · 정서·행동장애연구2015 · 제31권 제4호지역아동센터 이용 아동의 자아존중감 향상 프로그램에 대한 설명적 메타분석: 단일변량 및 다중변량 메타회귀분석공계순, 서인해한국사회복지연구회 · 사회복지연구2019 · 제50권 제4호사회복지 프로그램 구성요소개발활동의 실태 및 구성요소의 동질적인 범주성에 대한 실증적 연구 : 3단계 디자인 활동 중심으로공계순, 서인해한국사회복지연구회 · 사회복지연구2013 · 제44권 제3호

이 간행물의 다른 논문 (8건)

현장의 시각으로부터 구조화된 자활 개념 탐색 연구: 자활사업 실무자의 이해를 중심으로홍송이, 최상미pp. 5-33국가의 재정분권이 복지재정에 미치는 영향_OECD 19개 국가를 중심으로홍경준, 이슬이pp. 35-60기혼 직장인들의 직무만족도가 결혼만족도에 미치는 영향: 부부폭력 매개효과를 중심으로김소정pp. 61-86사회적 바람직성 척도(SDS-24)의 타당화 및 적용김용석pp. 87-114베이비붐 세대의 사회참여에 관한 인식유형 분석김현정pp. 115-145
원문 보기