대안적 교육정책평가 모델로서의 실재론적 평가(realist evaluation): “정말 쓸모 있는” 교육정책평가를 위한 ‘이론적’ 재음미
Realist evaluation as an alternative model for education policy evaluation: A ‘theoretical’ review for a “really useful” education policy evaluation
0
조회
0
다운로드
15
인용
0
참고문헌
키워드
초록
본 연구는 지방 분권화되는 교육현장에 “정말 쓸모 있는” 교육정책평가의 이론적 모델로서 실재론적 평가의 철학적 기반과 연구방법론을 논의하는 데 그 목적을 둔다. 먼저 실재론적 평가의 이론적 기반인 비판적 실재론의 독특한 세 가지 철학적 가정들을 논의하였다. 비판적 실재론은 1) ‘층화된 존재론’을 가정하여 숨겨진 메커니즘을 찾아 교육정책 평가에서 인과성을 설명하는 데 유용하다; 2) ‘복잡한 개방 체계’를 상정하여, 복잡한 교육 현실을 반영한 현실적합성을 띤 이론적 토대를 제공한다; 3) ‘상대주의적 인식론’을 바탕으로 (평가)지식을 지속적으로 축적할 수 있게 해준다. 다음으로 실재론적 평가의 연구방법론을 연구 문제, 연구의 목적, 연구 대상과 연구 절차를 중심으로 살펴보았다. 실재론적 평가의 독특한 연구방법론에 대한 이해를 도모하기 위해 2011년에 중앙정부에서 지방정부로 정책평가사업이 이양된 교육복지우선지원사업 평가연구(김광혁ㆍ임윤섭, 2015)를 실례로 들어 설명하였다. 실재론적 평가는 ‘무엇이 작동하는가? (혹은 작동하지 않는가?) 누구를 위해? 어떤 환경에서?’라는 기본 연구 질문으로 시작한다. 실재론적 평가는 이러한 연구 질문에 답하면서 ‘맥락-메커니즘-결과’로 구성된 프로그램 이론들을 개발하고, 이를 정책의 경험적 증거들과 비교분석하면서, 프로그램 이론들을 검증하고 다듬는다. 실재론적 평가의 목적은 프로그램 이론들을 축적하여 정책 투입으로 인해 왜, 어떻게 이러한 다양한 결과들이 발생하였는지 정책 개선에 실제적인 도움을 주는 ‘설명’을 제공하는 데 있다. 이는 기존의 교육정책평가가 정책개입이 ‘작동하였는가? 안하였는가?’란 연구 질문을 바탕으로 개별 교육정책프로그램의 성과 달성 여부를 ‘판단’하는 주류 평가모형과 차별된다. 마지막으로 대안적 교육정책평가 모델로서 실재론적 평가의 유용성과 이론적ㆍ실천적 제약을 논의하였다.
Abstract
This article aimed to explore the realist evaluation in terms of its philosophical foundation and its methodology. It proposed the realist evaluation as a “really useful” theoretical and methodological model for education policy evaluation in the decentralization era. Firstly, three underlying assumptions of critical realism, the philosophical base of the realist evaluation, were discussed. They were stratified ontology, an open system of complexity and relative epistemology. Those philosophical hypotheses were useful as regards explaining the causation of the education policy evaluation, reflecting the complex educational fields, and accumulating the evaluation knowledge individually. Secondly, the methodology of the realist evaluation was examined. To promote the understanding of the realist evaluation methodology, Kim and Yoon(2005)’s evaluation study on Education Welfare Priority Policy was used as an illustrative case study. The basic research questions of the realist evaluation are ‘what works? for whom? in what circumstances? and how?’ To respond to this, realist evaluators formulate a programme theory, consisting of context-mechanism-outcomes. The aim of the realist evaluation is to generate, test and refine the programme theories by comparing the initial programme theories with the empirical policy evidences. This is distinguished from the mainstream education policy evaluation method: It asks ‘did it work? or not?’; its main purpose is to evaluate the intervention of an individual education policy programme. Lastly, this paper discussed the advantages and the constraints of the realist evaluation.
참고문헌 (29)
- 교육복지우선지원사업의 성과조사, "김광혁", 전라북도교육청&전주대학교 산학협력단, ~ (2015)
- 김선희, "비판적 실재론에 의한 제도변화 설명가능성 탐색: 역사적 제도주의와 비교를 중심으로", 행정논총, 47(2), pp.338~374 (2009), 한국행정연구소
- 김숙이, "교복우 평가지표 개발에 관한 연구자와의 전화 면담. 2018. 3.28. 통화", ~ (2018)
- 박경미, "EduNext9. 4차 산업혁명시대의 교육, 상상에서 현실로!", 종합토론 국회대토론회 겸 제117차 KEDI 교육정책포럼, pp.49~60 (2018)
- 박찬종, "사회학에서 인과성의 문제: ‘분석사회학’과 ‘비판적 실재론’", 경제와 사회, (94), pp.177~208 (2012), 비판사회학회[DOI]
- 서민규, "한국 사회의 현실에 대한 비판적 실재론의 개입 김명희, 『합적 인간과학의 가능성: 맑스와 뒤르케임의 실재론적 귀환』 (한울아카데미, 2017)", 경제와 사회, (115), pp.218~227 (2017), 비판사회학회[DOI]
- 엄준용, "교육정책평가 연구의 경향 분석 ― 「교육행정학연구」를 중심으로 ―", 교육문제연구, (36), pp.29~55 (2010), 교육문제연구소
- 윤영근, "증거기반 정책과 정책품질관리제도", 한국행정학회 학술발표논문집, 12, pp.1~26 (2012)
- 교육복지우선지원사업 성과관리체제 개발 연구, "이은미", 한국교육개발원, ~ (2012)
- 이성회, "아처의 형태발생론적 접근(Morphogenetic Approach)에 대한 탐색적 연구: ‘성찰’의 재개념화를 중심으로", 교육사회학연구, 25(1), pp.189~210 (2015), 한국교육사회학회[DOI]
- 정일환, "교육정책평가의 이론모형 정립 및 적용성 탐색에 관한 연구", 교육정치학연구, 2(1), pp.98~120 (1995), 한국교육정치학회
- Archer, M., "Realist social theory: the morphogenetic approach" (1995), Cambridge University Press
- Astbury, B., "Some reflections on Pawson’s science of evaluation : a realist manifesto", Evaluation, 19, pp.383~401 (2013)
- Bhaskar, R., "A realist theory of science" (2008), Routledge
- Dalkin, S., "What’s in a mechanism? Development of a key concept in realist evaluation", Implementation Science, 10, pp.1~7 (2015)
- Goldthrope, J., "Causation, science, and sociology", European Sociological Review, 17(1), pp.1~20 (2001)
- Guba, G., "Fourth generation evaluation" (1989), Sage
- Johnson, R., "Radical approaches to adult education: a reader" (1988), Crrom Helm
- Mutch, A., "Technology, organization, and structure – a morphogenetic approach", Organization Science, 21, pp.507~520 (2010)
- Ogrinc, G., "Realist evaluaion as a framework for the assessment of teaching about the improvement of care", Journal of Nursing Education, 48, pp.661~667 (2009)
- Pawson, R., "Evidence-based policy: a realist perspective" (2006), Sage
- Pawson, R., "The science of evaluation : a realist manifesto" (2013), Sage
- Monstrous thoughts: weaknesses in the strong programme of the sociology of science, "Pawson, R.", University of Leeds, 1~15, pp.Occasional Paper in Sociology, 14 (1982)
- Pawson, R., "What works in evaluation research?", British Journal of Criminology, 34, pp.291~306 (1994)
- Pawson, R., "Realistic evaluation" (1997), Sage
- Sayer, A., "Methods in social science: a realist approach" (1992), Routledge
- Sims, S., "Realist synthesis of intentional rounding in hospital wards: exploring the evidence of what works, for whom, in what circumstances and why", BMJ Quality &Safety, 0, pp.1~15 (2018)
- Westhorp, G., "Realist impact evaluation: an introduction" (2014), A Methods Lap Publication
- "Realist synthesis rameses training materials" (2013)[URL]