본문 바로가기
KERD
논문KCI 등재

자체평가 관대화에 대한 실증분석 - 국가연구개발사업을 중심으로 -

An Empirical Analysis on the self-evaluation leniency - Cases of National research and development projects in Korea

이삼열|조현정
한국혁신학회|2015.12|한국혁신학회지 (Innovation studies)|제10권 제2호|pp. 1-37

0

조회

0

다운로드

8

인용

0

참고문헌

키워드

자체평가Self-evaluation국가연구개발사업Meta-evaluation상위평가자체평가 관대화 현상Self-evaluation leniencyCases of national research and development projects in Korea

초록

본 논문은 한국의 국가연구개발사업 평가에서 나타나는 자체평가 관대화 현상과 그 원인을 실증적으로 분석한다. 본 논문에서는 ‘자체평가 관대화’를 “국가연구개발사업의 평가에서 미래창조과학부가 수행하는 상위평가점수보다 수행기관이 실시하는 자체평가점수가 지속적으로 높은 현상”이라고 정의한다. 자체평가 관대화는 일부 연구에서 평가운영상또는 평가오류의 문제점으로 분류되어 평가제도의 개선이나 평가위원의 전문성향상 등 사업운영 외적인 부분을 중심으로 논의되고 있지만, 관대화 현상의 존재 자체에 대한 실증연구는 상대적으로 부족한 상황이다. 본 논문의 연구대상은 2010~2013년 사이의 국가연구개발사업이며, 회귀분석을 사용하였다. 분석결과 종속변수인 자체평가 관대화 현상은 통계적으로 유의미하였으며, 독립변수인총지표대비 산출지표의 비중, 성과피드백 비율의 변수들이 자체평가 관대화에 통계적으로유의미한 영향을 끼친다는 것을 확인하였다. 상위평가는 사실상 자체평가와 중복된 옥상옥이라 할 수 있기 때문에 자체평가를 내실화하여 관대화 현상을 없애고 궁극적으로 상위평가를 간소화하거나 축소할 필요가 있다. 해당정책에 대한 정보를 가장 많이 갖고 있고 그 결과에 대해 책임을 지는 주무부처가 실시하는자체평가를 강화하여 평가를 위한 평가 또는 줄세우기를 위한 평가가 아닌 학습을 위한평가로 변화시킬 필요가 있다.

Abstract

This study explains self-evaluation leniency in the national research and development policy in Korea. Self-evaluation leniency refers to the cases where the meta-evaluation scores by higher authority are higher than self-evaluation scores. The meta-evaluation on R&D projects by a higher authority is redundant and consumes a significant amount of resources but the existence of the self-evaluation lenience provides with a strong justification for it. At the same time, it is a very effective tool for Ministry of Science, ICT and Future Planning (MSIP) to check with other ministries which implement their own R&D projects and evaluation on them. The self-evaluating ministries have strong incentives to give their R&D projects higher marks. First, since the scores are compared with those of other ministries, they want to 'look good' on the scores. Second, since there is a meta evaluation by MSIP, they tend to give their own R&D projects higher marks by anticipating that those will be slashed out by MSIP. At the same time, MSIP wants to be tough in the meta-evaluation in order to keep other ministries under control. The existence of the self-evaluation leniency has been pointed out in a few qualitative studies but there has been little empirical studies so far. Also the studies explaining the causes of them is sparse. This study covers the national research and development projects in Korea from 2010 to 2013 and analyzes them by using regressions. The analysis confirms the existence of the self-evaluation leniency. Although the absolute size of the gap has decreased over times, the gap is positive and statistically significant. Regression results show that the ratio of feedback, the size of a project have a statistically significant relationship with the size of the gap.

참고문헌 (70)

  1. 기획재정부, "2009년 국가연구개발 자체평가 메뉴얼", ~ (2009)
  2. 김주환, "정부업무평가제도에 대한 운영평가연구: 자체평가의 운영방향을 중심으로", 정책분석평가학회보, 19(3), pp.181~211 (2009), 한국정책분석평가학회
  3. 김태희, "평가위원간 네트워크가 국가연구개발사업의 효율성에 미치는 영향에 관한 연구 - 원자력연구개발사업을 중심으로 -", 기술혁신학회지, 13(4), pp.794~817 (2010), 한국기술혁신학회
  4. 김태희, "국가연구개발사업의 평가위원 인식과 효율성 분석간 연계 방안에 관한 연구 - 원자력연구개발사업을 중심으로 -", 기술혁신학회지, 13(1), pp.184~204 (2010), 한국기술혁신학회
  5. 제2차 국가연구개발 성과평가 기본계획, "미래창조과학부", ~ (2013)
  6. 제3차 국가연구개발 성과평가 기본계획(안), "미래창조과학부", ~ (2015)
  7. 송건섭, "정부업무평가제도하의 자체평가역량에 관한 실증분석", 한국정책과학학회보, 11(1), pp.57~79 (2007), 한국정책과학학회
  8. 신동로, "회원 발표 논문 : 교사의 교정적 피드백이 자기 효능감 향상과학업성취에 미치는 영향", 교육과정연구, 19(1), pp.319~342 (2001)
  9. 안정은, "국가연구개발사업 성과평가 제도에 관한 소고", 한국정보과학회 2015한국컴퓨터종합학술대회 논문집, pp.339~341 (2015)
  10. 국가연구개발사업 유형별 성과평가 논리모형 개발에 관한 연구, "이도형", 1~99 (2010)
  11. 이란희, "자원봉사센터 평가에 대한 메타평가: 서울특별시를 사례로", 한국지방자치학회보, 23(3), pp.233~257 (2011), 한국지방자치학회
  12. 이봉락, "활용자 소속에 따른 평가활용의 영향요인 차이 분석* : 국가연구개발사업 특정평가의 경우를 중심으로", 한국행정연구, 19(2), pp.65~101 (2010), 한국행정연구원
  13. 국가연구개발사업의 효율적 평가를 위한 이슈도출 및 분석에관한 연구, "이상엽", 한국과학기술기획평가원, ~ (2007)
  14. 이석민, "임파워먼트 평가(Empowerment Evaluation)에 대한 고찰과 정부업무평가에의 적용 가능성 탐색: 자체평가를 중심으로", 정책분석평가학회보, 20(1), pp.23~53 (2010), 한국정책분석평가학회
  15. 이원희, "재정사업 자율평가의 실효성 평가 - 환경부 사례를 중심으로", 한국비교정부학보, 19(1), pp.225~246 (2015), 한국비교정부학회
  16. 이윤식, "정책평가론" (2010), 도서출판 대영문화사
  17. 이찬구, "연구개발 평가의 신뢰성 증진 방안:정보통신 연구지원 기관의 사례", 한국사회와 행정연구, 23(3), pp.155~182 (2012), 서울행정학회
  18. 이환성, "복권기금사업 메타평가에 관한 연구 : 자체평가의 상위평가와 사업 재평가를 중심으로", 한국행정연구, 19(2), pp.39~63 (2010), 한국행정연구원
  19. 임보혜, "국가연구개발사업의 특허성과의 질적 향상을 위한 평가지표 연구", 한국기술혁신학회 2013년도 추계학술대회 (2013)
  20. 유승현, "재정사업 목표치 달성도에 영향을 미치는 비평가 요인 분석: 재정성과목표관리제도를 중심으로", 한국행정연구, 24(2), pp.1~28 (2015), 한국행정연구원
  21. 미국의 연구개발 프로그램 평가방법 및 체계분석, "장용석", 한국산업기술재단, ~ (2006)
  22. 2013년도 글로벌 R&D 투자동향 및 이슈분석, "정상기", 1~506 (2014)
  23. 제갈돈, "새로운 정부업무평가제도의 발전을 위한 개선방안 모색", 정책분석평가학회보, 18(1), pp.65~99 (2008), 한국정책분석평가학회
  24. 조경민, "해상교통안전진단제도의 메타평가 모형설계에 관한 연구", 해양환경안전학회지, 19(4), pp.382~390 (2013), 해양환경안전학회[DOI]
  25. 조성만, "일개 대학병원의 상향․하향 인사평가결과 비교분석", 보건의료산업학회지, 6(1), pp.117~128 (2012), 보건의료산업학회
  26. 김병우, "Innovation and FDI: Applying Random Parameters Methods to KIS Data", 기술혁신학회지, 13(3), pp.494~518 (2010), 한국기술혁신학회
  27. 최성락, "성과관리 도입과 관료의 대응:톱니효과를 중심으로", 행정논총, 46(2), pp.135~161 (2008), 한국행정연구소
  28. 2011년도 국가연구개발사업 자체평가보고서, "한국과학기술기획평가원", 국가과학기술위원회, ~ (2011)
  29. 2012년도 국가연구개발사업 자체평가보고서, "한국과학기술기획평가원", 국가과학기술위원회, ~ (2012)
  30. 2013년도 국가연구개발사업 자체평가보고서, "한국과학기술기획평가원", 미래창조과학부, ~ (2013)
  31. 2014년도 국가연구개발사업 자체평가보고서, "한국과학기술기획평가원", 미래창조과학부, ~ (2014)
  32. 2011년도 국가연구개발사업 상위평가보고서, "한국과학기술기획평가원", 국가과학기술위원회, ~ (2011)
  33. 2012년도 국가연구개발사업 상위평가보고서, "한국과학기술기획평가원", 국가과학기술위원회, ~ (2012)
  34. 2013년도 국가연구개발사업 상위평가보고서, "한국과학기술기획평가원", 미래창조과학부, ~ (2013)
  35. 2014년도 국가연구개발사업 상위평가보고서, "한국과학기술기획평가원", 미래창조과학부, ~ (2014)
  36. 하연섭, "사업특성별 성과관리제도의 유효성에 관한 연구 : 2012년 재정사업 자율평가 결과를 중심으로", 한국행정연구, 22(3), pp.61~90 (2013), 한국행정연구원
  37. 허만형, "정부업무평가 기본방향과 제도운영에 대한 실태분석", 한국정책과학학회보, 12(1), pp.1~18 (2008), 한국정책과학학회
  38. 홍형득, "국가연구개발사업의 메타평가에 관한 실증연구 - 선도기술개발사업을 중심으로 -", 한국행정논집, 14(4), pp.867~892 (2002), 한국정부학회
  39. 황병상, "정부출연연구기관평가의 발전방안 논고:기초기술연구회의 평가사례에 대한 메타평가를 중심으로", 한국정책학회보, 14(1), pp.121~149 (2005), 한국정책학회
  40. Ashford, S. J., "Reflections on the looking glass: A review of research on feedback-seeking behavior in organizations", Journal of Management, 29(6), pp.773~799 (2003)
  41. Chen, Z., "Leader-member exchange and member performance: a new look at individual-level negative feedback-seeking behavior and team-level empowerment climate", Journal of Applied Psychology, 92(1), pp.202~ (2007)
  42. Chun, Y.H., "Goal ambiguity in US federal agencies", Journal of public administration research and theory, 15(1), pp.1~30 (2005)
  43. Cyert, R.M., "A behavioral theory of the firm" (1963), Prentice-Hall
  44. Denrell, J., "Adaptation as information restriction: The hot stove effect", Organization science, 12(5), pp.523~538 (2001)
  45. Greve, H. R., "A behavioral theory of R&D expenditures and innovations: Evidence from shipbuilding", Academy of Management Journal, 46(6), pp.685~702 (2003)
  46. Hannan, M.T., "The population ecology of organizations", American journal of sociology, pp.929~964 (1977)
  47. Huber, G. P., "Organizational learning: The contributing processes and the literatures", Organization science, 2(1), pp.88~115 (1991)
  48. Chan Su, J., "Navigating a Rough Terrain of Public Management: Examining the Relationship between Organizational Size and Effectiveness", Journal of Public Administration Research & Theory, 23(3), pp.663~686 (2013)
  49. Kelman, S., "Performance improvement and performance dysfunction:an empirical examination of distortionary impacts of the emergency room wait-time target in the English National Health Service", Journal of public administration research and theory (2009)
  50. Levitt, B., "Organizational learning", Annual review of sociology, pp.319~340 (1988)
  51. Locke, E.A., "Goal setting and task performance: 1969-1980", Psychological bulletin, 90(1), pp.125~ (1981)
  52. March, J.G., "Organizations" (1958), John Wiley & Sons
  53. Mayer, R. E., "Educational psychology: A cognitive approach" (1987), Brown Boston
  54. Miner, A.S., "Ugly duckling no more: Pasts and futures of organizational learning research", Organization science, 7(1), pp.88~99 (1996)
  55. Nelson, R.R., "The Schumpeterian tradeoff revisited", The American Economic Review, pp.114~132 (1982)
  56. Nielsen, P. A., "Learning from performance feedback: Performance information, aspiration levels, and managerial priorities", Public Administration, 92(1), pp.142~160 (2014)
  57. Nonaka, I., "A dynamic theory of organizational knowledge creation", Organization science, 5(1), pp.14~37 (1994)
  58. Ocasio, W., "TOWARDS AN ATTENTION-BASED VIEW OF THE FIRM WILLIAM OCASlO", Psychology, 1, pp.403~404 (1997)
  59. Ocasio, W., "Attention to attention", Organization science, 22(5), pp.1286~1296 (2011)
  60. Main Science and Technology Indicators, Organisation for Economic Cooperative Development, "OECD", ~ (2005)
  61. Pandey, S.K., "Connecting the dots in public management: Political environment, organizational goal ambiguity, and the public manager's role ambiguity", Journal of public administration research and theory, 16(4), pp.511~532 (2006)
  62. Rhee, M., "The liability of good reputation: A study of product recalls in the US automobile industry", Organization science, 17(1), pp.101~117 (2006)
  63. Salge, T. O., "A behavioral model of innovative search: Evidence from public hospital services", Journal of public administration research and theory, 21(1), pp.181~210 (2011)
  64. Walsh, J.P., "Organizational memory", Academy of management review, 16(1), pp.57~91 (1991)
  65. The teaching of learning strategies, "Weinstein, C.E.", ERIC, ~ (1983)
  66. Yukl, G.A., "Interrelationships among employee participation, individual differences, goal difficulty, goal acceptance, goal instrumentality, and performance", Personnel Psychology, 31(2), pp.305~323 (1978)
  67. 노컷뉴스, "우수 평가 찾기 힘든 국가연구개발사업", ~ (2015)
  68. "정부업무평가 홈페이지"[URL]
  69. "e나라지표 홈페이지"[URL]
  70. "NTIS 홈페이지"[URL]

관련 논문AI추천

정부 기관 자체평가 행태에 관한 조직학습이론 분석: 중앙행정기관 자체평가 개선을 중심으로김준현한국인사행정학회 · 한국인사행정학회보2020 · 제19권 제4호국가연구개발사업 평가체계 비교분석에 관한 연구홍형득한국공공관리학회 · 한국공공관리학보2018 · 제32권 제2호연구개발 평가의 전문성 향상 방안: 국가 연구개발사업 특정평가를 중심으로이찬구한국행정연구원 · 한국행정연구2011 · 제20권 제3호국가연구개발사업 성과평가제도의 효과 분석 연구: 과학기술지식생산함수 활용배정회, 정선양, 황두희국가정책연구소 · 국가정책연구2017 · 제31권 제4호정부연구개발사업의 목표 부합성에 관한 연구- 목표 모호성과 관대화 오류를 중심으로구훈영한국혁신학회 · 한국혁신학회지2020 · 제15권 제4호자체평가가 정부업무평가에 미치는 영향분석: 패널순서형 프로빗 모형 이용권영상, 김기만한국행정연구원 · 한국행정연구2024 · 제33권 제1호

이 간행물의 다른 논문 (6건)

개발도상국 신재생에너지 시장진출을 위한 투자환경 유형 구분이동준, 부경진pp. 39-58국내 IT Shared Service 도입 저해 요인 연구 - IT아웃소싱 중심으로최욱pp. 59-84연구개발조직의 인력 다양성과 기업 성과와의 관계한상연pp. 85-121셰일가스 생산기술 성공으로 발생한천연가스가격의 구조변화 및 특성변화 고찰: 미국 헨리허브 시장가격을 대상으로정세록, 허은녕pp. 123-142연구개발 파트너십이 기술혁신에 미치는 영향: 한국 방위산업 중심으로유승훈, 김연배, 이정민pp. 143-158
원문 보기