메타분석의 내적타당성 확보를 위한 1차 연구의 질 평가에 대한 고찰
Exploring the Quality Assessment of Primary Research for Ensuring the Internal Validity of Meta-Analysis
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
연구목적: 이 연구는 2001년부터 2023년까지 출판된 교육학 분야 메타분석 708편을 대상으로 메타분석의 내적타당성을 확보하기 위한 1차 연구의 질 평가 실태를 분석하는 데 그 목적이 있다. 연구방법: 2001년 이후 KCI에 발표된 국내 교육학 관련 메타분석 논문 708편을 분석 대상으로 선정하여, 이 중 1차 연구에 대한 질 평가를 실시한 80편을 선별하고 연도별, 세부 주제별, 질 평가 도구별로 나누어 분석하였다. 아울러 대표적인 1차 연구 질 평가 도구인 RoB2와 ROBINS-I의 질 평가 사례도 보고하였다. 연구결과: 연구 결과는 다음과 같다. 첫째, 메타분석에서 1차 연구의 질 평가를 보고하는 비율은 꾸준히 상승하고 있으나 최근 3년간(2021~2023년) 16.2%로 전체 비율은 높지 않았다. 둘째, 주제별로 분석했을 때 특수교육 분야에서 상대적으로 1차 연구 질 평가 보고 비율이 높았다. 셋째, 질 평가 결과가 기준에 부합하지 않음에도 분석 대상에서 제외한 경우는 1편에 불과하여, 질 평가 결과를 적극적으로 반영하려는 노력이 부족하였다. 논의 및 결론: 교육학에서 메타분석 연구는 확고하게 자리매김하고 있지만 투입될 1차 연구의 품질을 평가하려는 노력이 여전히 부족한 실정에서, 질 평가의 중요성을 강조하고 나아가 샘플 데이터를 사용하여 평가 결과를 보고하는 사례를 제시하였다는 점에서 이 연구의 의의가 있다.
Abstract
Purpose: This study aims to analyze the status of primary research quality assessments in educational meta-analysis, focusing on 708 meta-analyses published in the field of education from 2001 to 2023. Method: We selected and analyzed 708 meta-analysis papers related to education that were published in the KCI after 2001. Among them, we singled out 80 papers that conducted quality assessments of the primary studies, analyzing them according to year, specific topic, and type of quality assessment tool. In addition, we reported quality assessment cases using the representative quality assessment tools for primary studies, RoB2, and ROBINS-I. Results: Firstly, the reporting rate of primary research quality assessment in meta-analysis has been steadily increasing, yet the overall rate remains low, accounting for just 16.2% over the past three years (2021-2023). Secondly, when analyzed by topic, the field of special education showed a relatively higher rate of reporting for primary research quality assessments. Thirdly, there was only one case where a study was excluded from the analysis due to its quality assessment results not meeting the criteria, indicating a lack of efforts to actively reflect the results of quality assessments. Over 60 meta-analysis papers in the field of domestic education have been consistently published annually since 2018. Despite the solid presence of meta-analysis research in education, there is still a lack of efforts to assess the quality of the primary research to be incorporated. Conclusion: The significance of this study lies in emphasizing the importance of quality assessments, and presenting cases of reporting assessment results using sample data in a situation where such efforts are still lacking.
참고문헌 (32)
- 고영숙, "근거 기반의 실제(Evidence-Based Practice)를 구축하기 위한 메타분석: 자폐 범주성 장애인의 사회성과 의사소통을 중심으로", 정서·행동장애연구, 23(1), pp.1~27 (2007), 한국정서행동장애학회
- 길한아, "ADHD학생의 문제행동 중재를 위한 단일대상연구의 전반적인 동향 분석과 CEC 질적 지표에 의한 분석 - 문제행동유형을 중심으로", 특수교육저널:이론과 실천, 20(2), pp.323~351 (2019), 한국특수교육문제연구소[DOI]
- 김수영, "NECA 비뚤림위험 평가도구 매뉴얼", 한국보건의료연구원, ~ (2021)
- 김수영, "임상진료지침 실무를 위한 핸드북 Version 2.0", 한국보건의료연구원, ~ (2022)
- 김지형, "더 깊게 파고 들어간 메타분석_메타분석 적용을 위한 모든 것" (2022), 북앤에듀
- 김진주, "부모와 청각장애 아동의 상호작용에서 공동주의 확립과 부모의 단서 사용에 관한 체계적 문헌고찰 및 메타분석", Communication Sciences and Disorders, 28(2), pp.340~353 (2023), 한국언어청각임상학회
- 류지은, "국내 청소년의 직업포부 수준 영향요인에 대한 메타분석", 직업능력개발연구, 20(1), pp.27~56 (2017), 한국직업능력연구원[DOI]
- 문소영, "자폐범주성장애 학생 또래관계 증진에 대한 국외 연구 동향 및 질적평가지표에 의한 분석", 자폐성장애연구, 16(2), pp.83~109 (2016), 한국자폐학회
- 박성덕, "유아교육 분야의 메타분석 논문에 대한 고찰", 유아교육연구, 34(2), pp.393~412 (2014), 한국유아교육학회[DOI]
- 백경랑, "VSD를 활용한 AAC 중재가 CCN을 지닌 사람의 의사소통 능력에 미치는 영향에 대한 메타분석 연구", 지체.중복.건강장애연구, 65(4), pp.147~181 (2022), 한국지체·중복·건강장애교육학회[DOI]
- 서봉언, "대학 입학전형요소와 교육성과 간 메타분석", 교육사회학연구, 28(1), pp.35~62 (2018), 한국교육사회학회[DOI]
- 서봉언, "디지털교과서 활용 수업의 효과 : 메타분석을 활용하여", 제주대학교 교육과학연구, 23(3), pp.27~50 (2021), 교육과학연구소[DOI]
- 신인수, "특수교육 및 관련 분야의 메타분석 논문에 대한 고찰", 지체.중복.건강장애연구, 54(4), pp.157~176 (2011), 한국지체·중복·건강장애교육학회[DOI]
- 심승엽, "온라인 원격수업시대 영재들의 자기주도학습능력에 대한 메타분석: 초등 vs. 고등 그리고 교실 vs. 온라인", 영재교육연구, 31(1), pp.17~35 (2021), 한국영재학회[DOI]
- 오철영, "한국의 의료기관에서 수행된 비뇨의학 관련 메타분석과 체계적 고찰에 대한 질적분석", 박사, pp.2019
- 이강은, "부모와 영유아 간 발성 차례주고받기에서의 시간적 반응양상에 관한 체계적 문헌고찰 및 메타연구", Communication Sciences and Disorders, 27(1), pp.175~189 (2022), 한국언어청각임상학회
- 장한별, "성인학습자 대상 이러닝에서의 상호작용이 학습효과에 미치는 영향에 대한 메타분석", 학습자중심교과교육연구, 22(3), pp.705~720 (2022), 학습자중심교과교육학회[DOI]
- 정은영, "임상간호사의 임파워먼트와 직무만족에 대한 체계적 문헌고찰", 간호행정학회지, 19(5), pp.599~612 (2013), 간호행정학회[DOI]
- 조현근, "특수교육에서 메타분석 연구의 보고 수준에 대한 고찰: APA 메타분석 보고 기준을 중심으로", 유아특수교육연구, 20(4), pp.83~106 (2020), 한국유아특수교육학회[DOI]
- 최윤정, "고기능 자폐범주성장애 집단의 아이러니 이해에 대한 메타분석", Communication Sciences and Disorders, 28(1), pp.16~29 (2023), 한국언어청각임상학회
- 한기순, "APA 보고기준에 따른 국내 영재교육관련 메타분석 논문 고찰", 영재교육연구, 33(2), pp.89~105 (2023), 한국영재학회
- 황성동, "R을 이용한 메타분석" (2020), 학지사
- APA Publications, "Reporting standards for research in psychology : Why do we need them? What might they be", American Psychologist, 63(9), pp.839~851 (2008)
- APA Publications, "Journal article reporting standards for quantitative Research in Psychology : The APA Publications and Communications board task force report", American Psychologist, 73(1), pp.3~25 (2018)
- Cho, S. H., "A reporting quality assessment of systematic reviews and meta-analyses in sports physical therapy : a review of reviews", In Healthcare, 9(10), pp.1368~ (2021)
- Cicolini, G., "Workplace empowerment and nurses' job satisfaction : a systematic literature review", Journal of Nursing Management, 22(7), pp.855~871 (2014)
- Gersten, R., "Quality indicators for group experimental and quasi-experimental research in special education", Exceptional Children, 71(2), pp.149~164 (2005)
- Hohn, R. E., "Primary study quality in psychological meta-analyses : An empirical assessment of recent practice", Frontiers in Psychology, 9, pp.2667~ (2019)
- McGuinness, L. A., "Risk-of-bias VISualization(robvis) : an R package and Shiny web app for visualizing risk-of-bias assessments", Research Synthesis Methods, 12(1), pp.55~61 (2021)
- Moher, D., "Preferred reporting items for systematic reviews and meta-analyses : the PRISMA statement", Annals of Internal Medicine, 151(4), pp.264~269 (2009)
- Schalken, N., "The reporting quality of systematic reviews and meta-analyses in industrial and organizational psychology : A systematic review", Frontiers in Psychology, 8, pp.1395~ (2017)
- Wong, C. A., "The relationship between nursing leadership and patient outcomes : a systematic review", Journal of Nursing Management, 15(5), pp.508~521 (2007)