한국어 교육학 양적 연구의 질: 연구 보고 관행을 중심으로
Study quality in quantitative TKSOL research: Focusing on research reporting practices
0
조회
0
다운로드
3
인용
0
참고문헌
키워드
초록
본 연구는 2017년에서 2020년까지의 4년의 기간 동안 한국어교육에 게재된 양적 한국어 교육학 연구(N = 67)의 질을 연구 보고 관행의 측면에서 분석한 논문이다. 심리학과 제2 언어 연구 분야의 기존 양적 연구 보고 기준 또는 지침에 대해 논의하고 비교 목적으로 코딩 체계를 채택한 Plonsky(2013)를 자세히 고찰한다. 분석의 주요 결과는 다음과 같다: (1) 기술 통계: 분석된 연구의 16%와 4%는 효과 크기와 신뢰 구간을 각각 보고했고, 평균과 표준편차를 모두 보고한 연구는 64%였음, (2) 추론 통계: 논문의 57%는 정확한 p값을 보고했고, 평균 기반 분석에 기반을 둔 F값과 t값은 각각 27%와 33%의 논문에서 보고되었음; (3) 기타 보고 관행: 단 하나의 연구만이 연구 질문과 가설을 모두 보고했고, 사용된 통계 분석 유형에 대한 가정을 확인한 연구는 21%에 불과했다. 본 논문은 연구의 한계점, 향후 연구에 대한 시사점 및 한국어 교육학 분야의 연구의 질 개선 방안으로 마무리된다.
Abstract
This study analyzes the study quality, in terms of reporting practices, of quantitative TKSOL (Teaching Korean to Speakers of Other Languages) research (N = 67) published from 2017 to 2020 in Korean Language Education. It discusses the existing quantitative research reporting standards or guidelines from the disciplines of Psychology and Second Language Studies and reviews Plonsky (2013) in detail from which a coding scheme has been adopted for a comparison purpose. The main results of the analysis are as follows: (1) descriptive statistics: 16% and 4% of the studies analyzed reported effect sizes and confidence intervals, respectively, compared to the number of studies reporting both means and standard deviations (i.e., 64%); (2) inferential statistics: 57% of the studies reported exact ps, and Fs and ts, based on means-based analyses, were reported in the 27% and 33% of the studies, respectively; and (3) other reporting practices: only one study reported both research questions and hypotheses, and only 21% of the studies checked assumptions for the types of statistical analysis used. This paper ends with the limitations of the current study and the suggestions for future research as well as ways to improve the quality of research in the field.
참고문헌 (22)
- 고길곤, "설문조사 연구에서 결측치의 영향과 대체방법의 적절성에 대한 실증연구", 정책분석평가학회보, 24(3), pp.49~75 (2014), 한국정책분석평가학회[DOI]
- 고길곤, "설문자료의 결측치 처리방법에 관한 연구: 다중대체법과 재조사법을 중심으로", 행정논총, 54(4), pp.291~319 (2016), 한국행정연구소
- 김영규, "한국어교육학 연구방법론의 과제와 전망", 한국어교육, 17(2), pp.267~287 (2006), 국제한국어교육학회
- 김영규, "한국어 교육학 연구 유형의 분류를 위한 제언", 외국어교육연구, 32(3), pp.77~96 (2018), 외국어교육연구소[DOI]
- 민경모, "계량적 분석에 기반한 한국어교육 연구의 현황과 과제", 언어와 문화, 12(1), pp.1~24 (2016), 한국언어문화교육학회[DOI]
- 신지원, "한국어교육 연구방법론에 대한 동향분석-양적연구를 중심으로-", 한국어교육, 28(4), pp.87~119 (2017), 국제한국어교육학회[DOI]
- 윤준채, "한국어교육에서의 양적 연구방법에 대한 연구자의 인식", 새국어교육, (109), pp.517~541 (2016), 한국국어교육학회[DOI]
- APA Publications and Communications Board Working Group on Journal Article Reporting Standards, "Reporting standards for research in psychology: Why do we need them? What might they be?", American Psychologist, 63(9), pp.839~851 (2008)
- Publication manual of the American Psychological Association, "American Psychological Association", American Psychological Association, ~ (2010)
- Publication manual of the American Psychological Association, "American Psychological Association", American Psychological Association, ~ (2020)
- Appelbaum, M., "Journal article reporting standards for quantitative research in psychology: The APA Publications and Communications Board task force report", American Psychologist, 73(1), pp.3~25 (2018)[DOI]
- Cooper, H., "Reporting quantitative research in psychology: How to meet APA Style Journal Article Reporting Standards" (2020), American Psychological Association
- Cumming, G., "The new statistics: Why and how", Psychological Science, 25(1), pp.7~29 (2013)[DOI]
- Hu, Y., "Statistical assumptions in L2 research: A systematic review", Second Language Research, 37(1), pp.171~184 (2021)
- Larson-Hall, J., "Reporting and interpreting quantitative research findings: What gets reported and recommendations for the field", Language Learning, 65(S1), pp.127~159 (2015)
- Levitt, H. M., "Journal article reporting standards for qualitative primary, qualitative meta-analytic, and mixed methods research in psychology : The APA Publications and Communications Board task force report", American Psychologist, 73(1), pp.26~46 (2018)[DOI]
- Loewen, S., "Statistical literacy among applied linguists and second language acquisition researchers", TESOL Quarterly, 48(2), pp.360~388 (2014)
- Norris, J. M., "Guidelines for reporting quantitative methods and results in primary research", Language Learning, 65(2), pp.470~476 (2015)
- Plonsky, L., "Study quality in SLA : An assessment of designs, analyses, and reporting practices in quantitative L2 research", Studies in Second Language Acquisition, 35(4), pp.655~687 (2013)
- Plonsky, L., "Study quality in quantitative L2 research(1990–2010) : A methodological synthesis and call for reform", The Modern Language Journal, 98(1), pp.450~470 (2014)
- Thall, P. F, "Statistical remedies for medical researchers" (2020), Springer
- Vogt, W. P., "The Sage dictionary of statistics & methodology: A nontechnical guide for the social sciences" (2016), Sage