KOICA 학위연수사업 종료 평가 타당화 연구
A study on the validation of the KOICA Scholarship Program end-of-course evaluation survey
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 한국국제협력단(KOICA)에서 시행하는 학위연수사업의 종료 설문 평가 도구를 검토하고 타당화하는것을 목표로 한다. 현재 KOICA 학위연수사업의 종료 평가 설문은 43개 문항으로 개발되어 활용 중이지만, 전문가검토를 통해 개발됨에 직접 수혜자인 연수생의 응답이 성과평가 개발 도구로 고려되지 않았다. 따라서 본 연구는연수생의 종료 평가 설문 결과를 도구로 활용하여 종료 평가 설문 문항을 검토하고 타당화 하고자 하였다. 문항검토를 위해 A, B 두 대학에서 시행한 3년간의 종료 설문 결과를 활용하였다. 연구 결과, 첫째, 현재 시행 중인 KOICA 학위연수사업 종료 평가 설문의 43개 문항에 대해 탐색적 요인분석과 내용 검토를 통해 ‘교과 교육’, ‘비교과 교육’, ‘한국 생활’, ‘지식활용도’, ‘관계’ 5개 영역으로 재구성하였다. 둘째, 내용타당도와 요인부하량을 고려하여 각 영역별로 4개 문항을 선정하여 총 20개 문항을 선정하였다. 셋째, 최종 선정된 문항에 대해 확인적 요인분석, 신뢰도, 판별타당도 분석을 통해 선정된 문항 타당도를 확보하였다. 본 연구 결과는 KOICA 학위연수사업 종료 평가의 주요영역이 교과 교육, 비교과 교육, 한국 생활, 지식활용도, 관계 5가지임을 나타내며, 학위연수사업의 수혜자인 연수생의응답을 활용하여 평가 문항을 타당화함에 의의가 있다.
Abstract
This study aims to review and validate the end-of-course evaluation survey of a scholarship program implemented by the Korea International Cooperation Agency (KOICA). This performance management tool is a 43-item questionnaire that is currently used in the end-of-course evaluation survey of the KOICA Scholarship Program. Previously, this survey tool has been developed mainly based on expert review, and the responses of program participants, the direct beneficiaries, were employed to only a limited extent. Therefore, this study reviews and validates the end-of-course evaluation survey questionnaire using the actual evaluation responses of participants. The questions and participant responses to end-of-course evaluation surveys conducted in two universities, A and B, over three years were reviewed for this research. The results of this study are as follows. First, through exploratory factor analysis and content review, 43 question items in the current KOICA Scholarship Program’s end-of-course evaluation survey were reorganized into five domains: 'Curricular Education', 'Extra-curricular Education', 'Life in Korea', 'Knowledge Utilization', and 'Personal Relationships'. Second, four items were selected for each domain in consideration of content validity and factor loadings, resulting in a total of 20 items. Third, the final selected items were subjected to confirmatory factor analysis, reliability, and discriminant validity analysis to ensure the validity of the selected items. The results of this study indicate that the major themes in the KOICA Scholarship Program’s end-of-course evaluation are curricular education, extra-curricular education, life in Korea, knowledge utilization, and personal relationships. This research is significant in its validation of the evaluation questionnaire using the responses of actual beneficiaries of the program.
참고문헌 (36)
- 강현철, "구성타당도 평가에 있어서 요인분석의 활용", 대한간호학회지, 43(5), pp.587~594 (2013)
- 김수영, "구조방정식 모형의 기본과 확장" (2016), 학지사
- 김슬기, "ODA초청연수사업의 성과지표와 현업적용도 측정 개선방향 연구 - KOICA-부경대 ‘석사학위연수사업’ 사례를 중심으로", 동북아 문화연구, 63, pp.311~333 (2020)
- 성태제, "교육평가의 기초" (2019), 학지사
- 우종필, "구조방식 모델 개념과 이해" (2017), 한나래 출판사
- 이지현, "문항묶음 : 원리의 이해와 적용", 한국심리학회지, 35(2), pp.327~353 (2016)
- 이찬, "KOICA 글로벌 연수사업(CIAT)평가준거 개발", 농업교육과 인적자원개발, 48(4), pp.209~234 (2016)
- 2017-2019 글로벌연수 학위연수사업 종료평가 및 성과분석 보고서, "정동렬", 한국국제협력단, ~ (2021)
- 차은주, "역량개발사업 동향 및 성과제고 방안", 국제개발협력, 2014(1), pp.125~137 (2014)
- 최윤희, "강의평가 문항 개발 및 타당도 연구-H대학의 사례를 중심으로", 교육정보미디어연구, 26(1), pp.25~49 (2020)
- 홍성걸, "ODA 성과관리체계 개선방안", 정책분석평가학회보, 28(4), pp.219~249 (2018)
- 황재상, "KOICA 차원에서의 2017 동료검토 주요 내용 및 향후 개선 과제", 국제개발협력, 2018(1), pp.3~19 (2018)
- 국제개발협력의 이해, "KOICA", 한국국제협력단, ~ (2013)
- KOICA, "글로벌연수(CIAT 프로그램)길라잡이", 한국국제협력단, ~ (2017)
- KOICA 글로벌 연수사업 성과사례 분석, "KOICA", 한국국제협력단, ~ (2017)
- KOICA, "KOICA 학위연수 가이드라인", 한국국제협력단, ~ (2023)
- 2021 글로벌연수 단기연수사업 연차평가 및 지표체계 개선, "KOICA", 한국국제협력단, ~, pp.업무자료 연수 2023-04-155 (2023)
- 글로벌연수사업 성과관리 매뉴얼 (단기연수), "KOICA", 한국국제협력단, ~, pp.업무자료 2023-06-157 (2023)
- 글로벌연수사업 성과관리 매뉴얼 (학위연수), "KOICA", 한국국제협력단, ~, pp.업무자료 2023-07-158 (2023)
- Berlin Statement on International Development Training: Final Declaration of the High Level Retreat on the Effectiveness of International Development Training, "Berlin Statement", World Bank, ~ (2008)
- Doyle, J., "Applying Mixed Methods Research in Large-scale Programs : Tracing the Long-term Outcomes of Development Scholarship Alumni", Journal of Studies in International Education, 28(1), pp.87~104 (2024)
- Thematic Evaluation FY2020: Analysis of Evaluation Methodologies for Scholarship Programs - Final Report, "JICA.", Japan International Cooperation Agency, ~ (2021)
- Kang, K., "The Impact of Training Developing Country Ministerial Officials at Korean Universities", 글로벌교육연구, 9(3), pp.163~202 (2017)
- Kim, J., "Win-win Prosperity? A Case Study on the Donor Benefits of the KOICA Scholarship Program", 국제개발협력연구, 13(4), pp.139~155 (2021)
- Mawer, M., "Approaches to Analyzing the Outcomes of International Scholarship Programs for Higher Education", Journal of Studies in International Education, 21(3), pp.230~245 (2017)
- Moon, R. J., "Aid as Transnational Social Capital : Korea's Official Development Assistance in Higher Education", Pacific Affairs, 89(4), pp.817~837 (2016)
- Niño-Zarazúa, M., "Aid, education policy, and development", Journal of Educational Development, 48, pp.1~8 (2016)
- Training and Beyond: Seeking Better Practices for Capacity Development, "OECD", OECD Publishing, ~, pp.OECD Development Cooperation Working Papers, No.1 (2011)
- OECD, "OECD Development Assistance Peer Reviews: Korea 2012" (2012), OECD Publishing
- OECD, "OECD Development Co-operation Peer Reviews : Korea 2018" (2018), OECD Publishing
- Target 4b: A Global Measure of Scholarships, "UNESCO", UNESCO, ~, pp.Global Education Monitoring Report (2016)
- Exploring international aid for tertiary education: recent developments and current trends, "UNESCO", UNESCO International Institute for Higher Education in Latin America and the Caribbean, ~ (2022)
- The capacity development results framework : a strategic and results-oriented approach to learning for capacity development (English), "World Bank", World Bank Group, ~ (2009)
- Guide to evaluating capacity development results : a collection of guidance notes to help development practitioners and evaluators assess capacity development efforts (English), "World Bank", World Bank Group, ~ (2012)