본문 바로가기
KERD
논문KCI 등재

활용자 소속에 따른 평가활용의 영향요인 차이 분석* : 국가연구개발사업 특정평가의 경우를 중심으로

An Analysis of Factors Affecting Evaluation Utilization as a Function of the Users? Institutions : An In-depth Evaluations of National R&D Programs

이봉락|강근복
한국행정연구원 (The Korea Institute of Public Administration)|2010.07|한국행정연구 (The Korean Journal of Public Administration)|제19권 제2호|pp. 65-101|DOI 10.22897/kipajn.2010.19.2.003

0

조회

0

다운로드

2

인용

0

참고문헌

키워드

평가활용특정평가평가결과활용국가연구개발사업평가Evaluation UtilizationEvaluation Results of UtilizationNational Research and Development Program EvaluationIn-depth Evaluations
주제분류행정학

초록

평가활용의 영향요인에 관한 선행연구들은 활용자의 특성에 대해서는 별다른 관심을 보이지 않았다. 평가활용의 일반적인 영향요인에만 관심을 가졌을 뿐 평가활용자의 구체적인 특성이 평가활용에 어떤 영향을 미치는지에 대한 연구는 찾아보기 힘들다. 이 연구는 평가활용자가 어느 기관에 소속되어 있느냐에 따라 평가결과를 활용하는데 미치는 요인들이 상이할 것이라는 가정아래 2006년과 2007년에 실시된 국가연구개발사업의 특정평가를 대상으로 소속기관(정부 부처, 연구관리기관, 연구수행기관)에 따른 활용요인의 차이를 분석하였다. 분석 결과, 정부부처는 수용성과 상호작용이, 연구관리기관은 수용성, 상호작용, 정치맥락이, 그리고 연구수행기관은 수용성, 조직맥락, 평가결과 전달이 중요한 활용요인으로 나타났다. 이 연구결과를 토대로 평가결과의 활용 증대 방안을 제시해 보면, 활용자의 소속 기관에서 실질적으로 필요한 평가정보의 제공, 평가의 공정성 확보를 전제로 한 피평가자와 평가자 간의 상호작용 확대, 평가활용의 정치적 맥락 이해, 평가활용을 강제하는 규범에 근거해서 이루어지는 활용의 형식화 배제, 그리고 평가결과 제시의 적시성 확보 등을 들 수 있다.

Abstract

Previous studies on the utilization of policy evaluations focus on factors affecting their utilization and not on how user characteristics affect utilization. Under the assumption that there would be differences in utilization factors based on the users’ affiliations, we studied the utilization of In-depth Evaluations of national research and development (R&D) programs conducted in 2006 and 2007. We analyzed differences in utilization factors in terms of the users’ affiliations (government ministries, R&D management agencies, and R&D institutions). We found that acceptance and interaction are important for government ministries; acceptance, interaction, and political context are important for R&D management agencies; and acceptance, organizational context, and communication are important for R&D institutions. Based on these results, we argue that in order to increase the utilization of policy evaluations it is necessary to provide useful evaluation information to users, to increase the interaction between the evaluator and the person being evaluated, to understand the political context of the evaluation, and to provide timely evaluation results.

참고문헌 (60)

  1. 공공부문 평가제도 실태조사, "감사원 평가연구원", 감사원 평가연구원, ~ (2006)
  2. 정책평가결과 활용방안에 관한 연구, "강영철", 한국행정연구원, ~ (2006)
  3. 2009년도 국가연구개발 성과평가 실시계획(안), "국가과학기술위원회 운영위원회", ~ (2008)
  4. 2009년도 국가연구개발 성과평가 실시계획, "국가과학기술위원회 운영위원회", ~ (2009)
  5. AMOS 16.0 구조방정식모형 분석, "김계수", 한나래, ~ (2008)
  6. 김명수, "공공정책평가론(개정증보판)" (2003), 박영사
  7. 김승태, "국가연구개발사업 성과평가 제도개선을 위한 정책적 시사점 도출: 평가자 및 평가대상자 대상 설문결과를 중심으로", 한국정책분석평가학회 하계학술대회논문집, pp.109~131 (2009)
  8. 김현구, "정부업무평가 기본법의 논리와 과제: 평가성공의 제도적 요인 분석", 정책분석평가학회보, 16(4), pp.1~28 (2006), 한국정책분석평가학회
  9. 노유진, "정책평가결과 활용의 영향요인과 활용 유형의 특성에 관한 연구", 박사, 행정학, pp.2005
  10. 노유진, "한국정부에 있어서 정책평가결과 활용의 영향요인과 활용유형의 특성", 정책분석평가학회보, 14(3), pp.226~268 (2004), 한국정책분석평가학회
  11. 노화준, "정책평가론(제4판)" (2006), 법문사
  12. 류영수, "정부의 R&D평가 시스템에 대한 메타평가", 한국정책학회보, 18(1), pp.157~186 (2009), 한국정책학회
  13. 명승환, "활용을 위한 정책평가의 설계: 정보화사업평가를 중심으로", 사이버커뮤니케이션학보, 9, pp.125~148 (2002)
  14. 배병렬, "AMOS 7에 의한 구조방정식모델링: 원리와 실제" (2007), 청람
  15. 성태제, "알기 쉬운 통계분석" (2008), 학지사
  16. 오철호, "Utilization of Policy Evaluation: Logic and Reality", 한국정책학회보, 11(4), pp.415~456 (2002), 한국정책학회
  17. 오철호, "정책평가와 활용: 정치심리학적 관점에서", 행정논총, 44(4), pp.455~484 (2006), 한국행정연구소
  18. 유승현, "평가활용의 영향요인에 관한 연구: 구조방정식 모형에 의한 책임운영기관 사례분석", 박사, 행정학, pp.2008
  19. 이길우, "국가연구개발사업평가제도의 진화과정", 한국정책분석평가학회 춘계학술대회, pp.57~80 (2005)
  20. 이봉락, "정책평가 활용에 대한 이론적 재검토", 지역개발논총, 17, pp.73~106 (2005), 충남대학교 지역개발연구소
  21. 이봉락, "정책평가 활용의 영향요인", 한국정책분석평가학회 동계학술논문집, pp.109~142 (2007)
  22. 이봉락, "정부업무평가와 국가연구개발사업평가 활용의 영향요인 비교연구", 박사, 행정학, pp.2009
  23. 이봉락, "중앙행정기관 자체평가의 활용요인 분석", 한국정책학회보, 18(3), pp.187~222 (2009), 한국정책학회
  24. 이봉락, "지방자치단체 자체평가활용의 영향요인 분석 - 대전광역시와 충청남도를 대상으로 -", 지방행정연구, 23(3), pp.45~80 (2009), 한국지방행정연구원
  25. 이승종, "정책평가결과의 활용도 평가: 연구경향 및 방법", 정책분석평가학회보, 1(1), pp.19~29 (1991)
  26. 이윤식, "기관평가 결과 활용의 개선방안에 관한 연구: ICT활용과 평가결과 활용의 관계를 중심으로", 정책분석평가학회보, 12(2) (2002), 한국정책분석평가학회
  27. 이윤식, "지식기반사회에서 정책평가결과활용촉진을 위한 IT의 역할 분석", 한국사회와 행정연구, 14(1), pp.173~196 (2003)
  28. 이찬구, "과학기술계 연구회의 기관평가 제도 발전 방안 : 산업기술연구희의 사례를 중심으로", 한국사회와 행정연구, 15(1), pp.405~434 (2004), 서울행정학회
  29. 이형우, "국가연구개발(R&D)사업 평가체제에 관한 소고", 정책분석평가학회보, 15(2), pp.191~219 (2005), 한국정책분석평가학회
  30. 정부업무평가결과 환류의 정책방안연구, "임동진", 한국행정연구원, ~ (2008)
  31. 임동진, "정부업무평가결과 환류제도의 운영실태 및 환류활동 영향요인 분석: 중앙행정기관 공무원의 인식을 중심으로", 정책분석평가학회보, 19(2), pp.225~253 (2009), 한국정책분석평가학회
  32. 전형원, "정책평가 활용에 관한 이론적 연구", 논문집, 22, pp.75~94 (1996), 군산대학교
  33. 정명주, "정보화사업 평가결과활용 분석: ʻ99년도 정보화사업 중점평가결과를 중심으로", 정보화저널, 7(2), pp.57~74 (2000), 한국전산원
  34. 정정길, "정책평가: 이론과 적용(신판)" (2004), 법영사
  35. 조연숙, "지방정부의 평가 및 성과관리 실태에 관한 연구: 전국 광역 및 기초자치단체를 중심으로", 정책분석평가학회보, 15(3), pp.161~184 (2005), 한국정책분석평가학회
  36. 국가연구개발사업평가시스템에 대한 메타평가 연구, "홍성걸", 한국과학기술기획평가원, ~ (2007)
  37. 홍형득, "국가연구개발사업의 메타평가에 관한 실증연구 - 선도기술개발사업을 중심으로 -", 한국행정논집, 14(4), pp.867~892 (2002), 한국정부학회
  38. Alkin, Marvin C., "A Guide for Evaluation Decision Makers" (1985), Sage Publications
  39. Alkin, Marvin C., "Using Evaluations: Does Evaluation Make a Difference?" (1979), Sage Publications
  40. Boyer, John F., "Factors Influencing the Use of Health Evaluation Research in Congress", Evaluation Review, 15(5), pp.507~532 (1991)
  41. Cousins, J. Bradley, "Current Empirical Research on Evaluation Utilization", Review of Educational Research, 56(3), pp.331~364 (1986)
  42. Henry, Gary T., "Beyond Use: Understanding Evaluation's Influence on Attitudes and Actions", The American Journal of Evaluation, 24(3), pp.293~314 (2003)
  43. Hofstetter, Carolyn. H., "Evaluation Use Revisited. in: International Handbook of Educational Evaluation", pp.197~222 (2003), Klunner Academic Publishers
  44. Johnson, R. Burke, "Toward a Theoretical Model of Evaluation Utilization", Evaluation and Program Planning, 21(1), pp.93~110 (1998)
  45. Knorr, Karin. D., "Policymakers' Use of Social Science Knowledge: Symbolic or Instrumental?. in: Using Social Research in Public Policy Making", pp.165~182 (1977), Lexington Books
  46. Leviton, Laura. C., "Research on the Utilization of Evaluation", Evaluation Review, 5(4), pp.525~548 (1981)
  47. Mark, Melvin M., "The Mechanisms and Outcomes of Evaluation Influence", Evaluation, 10(1), pp.35~75 (2004)
  48. Patton, M. Q., "In search of impact: An analysis of the utilization of the federal health evaluation research. in: Using social research in public policy making", pp.141~164 (1977), Lexington Books
  49. Patton, Michael Quinn, "Utilization-focused Evaluation(3rd ed.)" (1997), Sage Publications
  50. Patton, Michael Quinn, "Utilization-Focused Evaluation. in: International Handbook of Educational Evaluation", pp.223~244 (2003), Klunner Academic Publishers
  51. Pelz, D. C., "Some expanded perspectives on use of social science in public policy. in: Major social issues: A multidisciplinary view", pp.346~357 (1978), Macmillan
  52. Preskill, Hallie, "Current and developing conceptions of use: Evaluation use TIG survey results", Evaluation Practice, 18(3), pp.209~225 (1997)
  53. Rich, Robert F., "Use of social science information by federal bureaucrats: Knowledge for action versus knowledge for understanding. in: Using social research in public policy making", pp.199~211 (1977), Lexington Books
  54. Shulha, Lyn M., "Evaluation use: Theory, research, and practice since 1986", Evaluation Practice, 18(3), pp.195~208 (1997)
  55. Siegel, Karolynn, "The Utilization of Evaluation Research", Evaluation Review, 9(3), pp.307~328 (1985)
  56. Turnbull, B., "The mediating effect of participation efficacy on evaluation use", Evaluation and Program Planning, 22, pp.131~140 (1999)
  57. Weiss, Carol H., "The challenge of social research to decision making. in: Using social research in public policy making", pp.213~230 (1977), Lexington Books
  58. Weiss, Carol H., "Truth Tests and Utility Tests", American Sociological Review, 45(2), pp.302~313 (1980)
  59. Weiss, Carol H., "Utilizing Evaluation: Concepts and Measurement Techniques" (1981), Sage Publications
  60. Weiss, Carol H., "An Alternate Route to Policy Influence: How Evaluation Affect D.A.R.E", American Journal of Evaluation, 26(1), pp.12~30 (2005)

관련 논문AI추천

연구개발 평가의 전문성 향상 방안: 국가 연구개발사업 특정평가를 중심으로이찬구한국행정연구원 · 한국행정연구2011 · 제20권 제3호국가연구개발사업 평가체계 비교분석에 관한 연구홍형득한국공공관리학회 · 한국공공관리학보2018 · 제32권 제2호공공부문의 정책평가 수용도 제고에 대한 영향요인:중앙정부 중심으로윤수재한국공공관리학회 · 한국공공관리학보2005 · 제19권 제2호국가연구개발사업 관리자의 성과정보 활용에 영향을 미치는 요인유나리성균관대학교 국정전문대학원 · 국정관리연구2024 · 제19권 제4호공적개발원조 통합평가 활용에 영향을 미치는 요인 분석류은영, 이숙종, 홍윤미재단법인 경기연구원 · GRI연구논총2021 · 제23권 제1호공공기관의 정책과제 평가를 위한 정책평가방법에 대한 분석손영수, 이우진한국IT정책경영학회 · 한국IT정책경영학회 논문지2018 · 제10권 제4호

이 간행물의 다른 논문 (7건)

건강불평등 해소를 위한 로컬 보건의료 거버넌스(Local Health Care Governance)체계의 구축방안 : 영국 Health Action Zones 사업의 분석 및벤치마킹김순양pp. 3-37복권기금사업 메타평가에 관한 연구 : 자체평가의 상위평가와 사업 재평가를 중심으로이환성pp. 39-63우리나라 공적개발원조(ODA)체계 분석 : 선진공여국의 제도비교분석을 중심으로진상기pp. 103-131제도분석 관점에서 본 화물운송시장 이해관계자간 갈등의 탐색 : 표준운임제를 중심으로배귀희, 장현주pp. 133-153사회서비스 제공 비영리조직에 대한 보조금과 감사 간의 관계에 관한 연구 : 사회복지기관 종사자 인식을 중심으로박치성pp. 155-180
원문 보기