본문 바로가기
KERD
논문KCI 등재

HRD 프로그램의 반응평가에 대한 메타평가 연구

Meta evaluation on reaction assessment in HRD

박소연
한국기업교육학회 (Korean society for learning and performance)|2008.12|기업교육과인재연구 (Journal of Corporate Education and Talent Research)|제10권 제2호|pp. 119-137

0

조회

0

다운로드

19

인용

0

참고문헌

키워드

메타평가Meta evaluation반응평가1단계 평가Reaction assessmentLevel 1 evaluation
주제분류교육학

초록

본 연구는 HRD 프로그램 반응평가의 속성을 이해하고 평가로서의 질을 분석하기 위하여 반응평가에 대한 메타평가를 실시하여 구체적인 문제점을 도출하고 개선방안을 도출하는 것을 목적으로 한다. 이를 위해 15개 기업의 HRD 담당자를 대상으로 메타평가 설문 조사를 실시하였으며, 총 188명의 응답을 분석한 후 확인 조사 면접을 통해 평가 결과를 해석하였다. 평가 결과를 메타평가 항목 간에 비교한 결과, 반응평가의 공정성이 가장 높게 나타났으며, 이어서 실행가능성, 정확성, 유용성, 공식성의 순으로 나타났다. 평가 결과를 세부 항목별로 분석한 결과, 공정성 부문의 이해관계자의 권위 및 가치 존중, 이해관계자에 대한 윤리적, 도덕적 배려, 정확성 부문의 평가 결과에 대한 왜곡 없는 보도는 높게 평가되었나, 유용성 부문의 평가정보 해석 및 가치판단 기준의 명확성 및 평가 정보의 충분성, 공식성 부문의 평가절차에 대한 계획의 공식성 등은 낮게 평가되었다. 즉, 반응평가는 인간적 배려에 기초한 정치적 생존력, 실행의 용이성, 평가방법 및 절차의 안정성 등의 특징을 가지고 있으며, 평가의 질 향상을 위해 평가방법의 다양화, 평가정보 분석 및 해석 절차의 구체화, 정확한 평가정보 생성 등의 노력이 요구된다.

Abstract

The purpose of this study is to understand the characteristic of reaction assessment and value the quality of it as a evaluation system. To meta-evaluate reaction assessment a survey of 188 HRD professionals in 15 Korean large enterprises and confirmation survey interview were conducted. The results of the analysis are as follows: First, the characteristic of reaction assessment descended from justice, feasibility, accuracy, utility, publicity. In detail, reaction assessment conducted to protect the rights and welfare of human subjects and respect human dignity and worth in interactions with stakeholder but on the other hand the information collected isn't broadly selected to address pertinent questions about the program and isn't responsive to the needs and interests of stakeholders. These results lead to the conclusion that reaction assessment has political viability based on human rights, feasibility of implement evaluation and stability of evaluation procedure. To improve the quality of reaction assessment triangulation of information gather method, elaboration standards of data analysis and interpretation of it and accurate reporting of evaluation are required.

참고문헌 (63)

  1. 강이철, "기업교육론", pp.225~249 (2003), 학지사
  2. 고대환, "표준화된 교육효과 반응평가 도구 개발에 관한 연구:Y사 집합교육을 중심으로", 석사, pp.1996
  3. 곽삼근, "성인을 위한 평생교육방법" (2000), 원미사
  4. 권대봉, "성인교육방법론" (2007), 학지사
  5. 권대봉, "인적자원개발의 개념 변천과 이론에 대한 종합적 고찰" (2003), 원미사
  6. 김정선, "산업훈련에 있어서의 반응 평가 도구의 평가 요인에 대한 조사연구", 석사, pp.1996
  7. 류지헌, "기업 이러닝의 학습자 만족도에 영향을 미치는 요인", 기업교육연구, 9(1), pp.121~142 (2007)
  8. 문영세, "한국 중앙심사평가 기능의 위상 재정립을 위한 메타평가:설문조사를 중심으로", 한국행정논집, 9(2), pp.231~255 (1997)
  9. 송영수, "국내 대기업의 인적자원개발(HRD) 동향: 대기업 HRD 관리자의 인식을 중심으로", 교육정보미디어연구, 13(2), pp.139~160 (2007), 한국교육정보미디어학회
  10. 유영만, "한국 기업교육의 경쟁력 강화방안" (1998), 엘테크
  11. 유한준, "DiSC 행동유형에 따른 교육만족도 차이분석", 석사, pp.2004
  12. 이성흠, "교육 훈련 프로그램 반응평가를 위한 평가범주와 질문지 개발준거", 교육공학연구, 21(3), pp.187~214 (2005)
  13. 이은영, "기업내 교육 반응평가도구 개발에 관한 연구:M사의 사외합숙교육을 중심으로", 석사, pp.1993
  14. 이찬구, "정보통신경누개발사업의 메타평가에 관한 연구", 한국행정논집, 9(4), pp.651~667 (1997)
  15. 정진우, "행정자치부 고객만족도조사에 대한 메타평가", 국가정책연구, 20(1), pp.189~217 (2006)
  16. 정해욱, "기업교육에서 학습 만족도와 성취도의 상관관계 연구", 석사, pp.2003
  17. 제갈돈, "정부업무평가제도의 발전을 위한 메타평가모형 구축방안", 한국정책학회보, 17(1), pp.1~27 (2008)
  18. 조광남, "인재개발 실태조사를 통해서 본 대한민국 HRD의 과제.공무원", HRD, 54, pp.99~105 (2008)
  19. 차갑부, "성인교육방법론" (1993), 양서원
  20. 홍형득, "국가연구개발사업의 메타평가에 관한 실증연구:선도기술개발사업을 중심으로", 한국행정논집, 14(4), pp.867~892 (2002)
  21. American Evaluation Association, "Guiding principles for evaluators, Guiding principles for evaluators", New Directions for program evaluation, 34, pp.19~26 (1995)
  22. Alliger, G. M, "Kirkpatrick's levels of training criteria:Thirty years later.Personnel", Psychology, 42(2), pp.331~342 (1989)
  23. Alliger, G. M, "A meta-analysis of the relations among training criteria", Personnel Psychology, 50(2), pp.341~358 (1997)
  24. Campbell, D. T, "Experimental and quasi-experimental designs for research" (1966), Rand McNally
  25. Carnevale, A. P, "Training in America:The organization and strategic role of training" (1990), Jossey-Bass
  26. Chelimsky,E, "The definition and measurement of evaluation quality as a management tool", New directions for program evaluation, 18, pp.113~126 (1983)
  27. Cook, T. D, "Metaevaluation", Evaluation quarterly, 2(1), pp.5~51 (1978)
  28. Cronbach,L.J, "Course improvement through evaluation", Teachers college record, 64, pp.672~683 (1963)
  29. Davidson,E.J, "Evaluation methodology basic: The nuts and bolts of sound evaluation" (2005), Sage
  30. Hammond,R, "Context evaluation of instruction in local school districts", Educational technology, 9, pp.13~18 (1969)
  31. Dyer,S, "Kirkpatrick's mirror", Journal of European Industrial Training, 18(5), pp.31~32 (1994)
  32. Easterby-Smith,M, "Turning course evaluation from an end to a means", Personnel Management, 17(4), pp.25~27 (1985)
  33. Faerman, S. R, "Trainee satisfaction and training impact: Issues in training evaluation", Public Productivity & Management Review, 16(3), pp.299~314 (1993)
  34. Gall, M. C, "Educational research: An introduction (6ed ed.)" (1996), Longman
  35. Gotlieb, B, "Consumer satisfaction and perceived quality: Complementary or divergent constructs", Journal of Applied Psychology, 79(6), pp.875~885 (1994)
  36. Hamblin,A.C, "Evaluation and control of training" (1974), McGraw-Hill
  37. Holton,E.F, "The flawed 4-level evaluation model", Human Resource Development Quarterly, 7(1), pp.5~21 (1996)
  38. Keller,J.M, "Strategies for stimulation the motivation to learn", Performance and instruction journal, 26, pp.1~7 (1987)
  39. Keller,J.M, "Evaluation diversity training: 17 ready-to-use tools" (1996), Pfeiffer
  40. Kirkpatrick,D.L, "Evaluating training programs:The four levels(2nd ed.)" (1998), Berrett-Koehler
  41. Knowles,M.S, "The adult learner:A neglected species" (1990), Gulf
  42. Larson, R, "On evaluating evaluation", Policy sciences, 16(2), pp.147~163 (1983)
  43. Mehrabian, A, "An approach to environmental psychology" (1974), MIT
  44. Merriam, S. B, "Learning in adulthood: A comprehensive guide (2nd ed.)" (1999), Jossey-Bass
  45. Merriam,S.B, "The new update on adult learning theory" (2001), Jossey-Bass
  46. OECD, "Improving evaluation practices: Best practice guidelines for evaluation and background paper" (1999), OECD
  47. Orata,P.T, "Evaluating evaluation", The journal of educational research, 33 (1940)
  48. Patrick,J, "Training research and practice" (1992), Academic Press
  49. Phillips,J.J, "Handbook of training evaluation and measurement methods: Proven models and methods for evaluating any HRD program (3rd ed.)" (1997), Gulf
  50. Preskill,H, "HRD evaluation as the catalyst for organizational learning", Proceedings of the Academy of Human Resource Development (1997)
  51. "Leveling about the levels: technologies and metrics"[URL]
  52. Rossi,P.H., "Standards for evaluation practice", New direction for program evaluation, 15 (1982)
  53. Schouborg,G, "Flex:A flexible tool for continuously improving your evaluation of training effectiveness" (1993), HRD
  54. Scriven,M, "The methodology of evaluation. Curriculum evaluation.(American educational research association monograph series on evaluation,1,39-83)" (1967), Rand McNally
  55. Scriven,M, "Key evaluation checklist, Evaluation thesaurus" (1991), Sage
  56. Stake,R.E, "Objectives, priorities, and other judgement data", Review of educational research, 40, pp.181~212 (1970)
  57. Stufflebeam,D.L, "Evaluation as enlightenment for decision making" (1968), Ohio state university evaluation center
  58. Stufflebeam,D.L, "Educational evaluation and decision making" (1971), Peacock
  59. Stufflebeam,D.L, "Metaevaluation (Occasional Paper No. 3)" (1974), Western michigan university evaluation center
  60. Stufflebeam,D.L, "A review of progress in educational evaluation", Paper presented at the annual meeting of the evaluation network (1981)
  61. Swanson, R. A, "Results: How to assess performance, Learning and perceptions in organizations" (1999), Berrett-Koehler
  62. Swanson, R. A, "Foundations of human resource development" (2001), Berrett-Koehler
  63. The Joint Committee on Standards for Educational Evaluation, "The program evaluation standards (2nd ed.)" (1994), Sage

관련 논문AI추천

HRD 프로그램 평가 보고서의 내용 분석: 보고서의 형식과 실체를 중심으로박소연한국기업교육학회 · 기업교육과인재연구2010 · 제12권 제2호HRD 프로그램 평가의 질이 평가결과 활용에 미치는 영향박소연한국인력개발학회 · HRD연구2009 · 제11권 제2호평가에 대한 HRD 이해관계자들의 인식 탐구 : Q 방법론을 중심으로박소연한국인력개발학회 · HRD연구2010 · 제12권 제4호현업 HRD 담당자들의 Kirkpatrick 평가 모형에 대한 인식: 적용 현장에서의 장점, 한계, 개선 방향을 중심으로우성미, 정은정, 성세실리아한국인력개발학회 · HRD연구2016 · 제18권 제3호HRD 평가 국내 연구동향: 2007~2016년 학술지 게재 논문을 중심으로박소연한국인력개발학회 · HRD연구2017 · 제19권 제2호이론과 실제에 대한 비판적 고찰을 통한HRD 효과성 평가 체계 개발정보영한국인력개발학회 · HRD연구2021 · 제23권 제4호

이 간행물의 다른 논문 (8건)

기업 이러닝 강좌평가를 위한 측정도구 개발 및 양호도 검증조일현, 주영주, 조현국pp. 1-20직무특성과 창의성 및 임파워먼트의 관계분석이선규, 최성우pp. 21-58기업의 인적자원 환경이 재직자의 직무만족과 조직몰입에 미치는 영향이수영, 이영민pp. 59-78기업 사이버교육에서 중도탈락에 영향을 미치는 요인 측정도구 개발 및 양호성 검증주영주, 김지연, 박성희, 심우진pp. 79-97Performance Analysis: Application to Competency Modeling정재삼, 이진구pp. 99-117
원문 보기