본문 바로가기
KERD
논문KCI 등재

평가형식 및 척도화 방법이 다면평가에서 관대화 오류 및 후광효과에 미치는 영향

Format and scale effects on leniency error and halo effect in 360° feedback

이광진|김명소
한국산업및조직심리학회 (Korean Society for Industrial and Organizational Psychology)|2008.05|한국심리학회지: 산업 및 조직 (Korean Journal of Industrial and Organizational Psychology)|제21권 제2호|pp. 201-224|DOI 10.24230/ksiop.21.2.200805.201

1

조회

0

다운로드

10

인용

0

참고문헌

키워드

다면평가후광효과halo effect평가형식척도화 방법관대화 오류평가오류 측정360°feedbackrating formatscale typeleniency errormeasurement of rating errors
주제분류심리과학

초록

본 연구는 다면평가 상황에서 평가자에게 제공되는 평가형식(리커트 척도 형식, 행동기술평정척도 형식) 및 척도화 방법(균형적 척도, 긍정적 어조의 불균형적 척도)이 평가의 관대화 오류와 후광효과에 어떠한 영향을 미치는지를 살펴보고자 하였다. 이를 위해, 현재 역량 다면평가를 실시하고 있는 A기업의 다양한 직군과 직위의 현직자 133명을 대상으로 자기 · 상사 · 부하 · 동료로 구성된 440명의 평가자들로 하여금 피평가자의 역량 수준을 측정토록 하였으며, 각 독립변인의 효과성을 검증하고자 각 수준에 따라 2Ⅹ2 피험자간 실험설계를 실시하였다. 관대화 오류 분석방법으로 2Ⅹ2 ANOVA와 왜도(degree of skewness)분석을 실시한 결과, 평가형식은 피평가자의 점수에 유의미한 영향을 미치지 않는 것으로 나타난 반면 척도화 방법의 경우 유의미한 차이를 보였다. 구체적으로, 긍정적 어조의 불균형적 척도는 각각 상대적으로 낮은 평가점수와 작은 음의 왜도지수를 지닌 것으로 나타나 관대화 오류가 더 적은 것으로 해석된다. 한편, 후광효과 분석방법으로 표준편차 비교 분석법과 상관비교 분석을 실시한 결과, 평가 형식에서 행동기술평정척도는 상관비교분석을 사용한 경우에 리커트 척도와 비교해 유의미한 차이를 보이며 후광효과가 더 적은 것으로 나타났으나, 척도화 방법은 두 분석결과에서 서로 상반되는 결과를 보이며 그 효과를 입증하지 못했다. 또한 이 같은 결과를 토대로 본 연구의 의의 및 제한점과 함께 앞으로의 추후 연구과제에 대해 논의하였다.

Abstract

The purpose of the present study was to investigate the effect of rating format(Likert, Behavioral description rating format) and scale type(balanced scale, positively unbalanced scale) on leniency error and halo effect in 360° feedback. The competency scale developed to appraise the job performance of employees in a large Korean company was administered to a sample of 440 raters who are composed of oneself, supervisor, subordinate, and peer. The raters of four groups rated the level of 133 ratees on thirty core competencies of the company through the 5-point scale. The results of 22 ANOVA and degree of skewness analysis indicated that positively unbalanced scale showed less leniency than the conventional measure of balanced scale, while there was no effect of rating format. Furthermore, the results of analyses of both standard deviation and correlation demonstrated that Behavioral description rating was more effective in reducing halo effect than Likert scale format. However, no scale effect was found since the two analyses of standard deviation and correlation produced inconsistent results. Finally, the limitations and future direction of the present study were discussed.

참고문헌 (51)

  1. 김명소, "심리검사 제작의 이론과 실제:척도화 방법", 1992년 한국심리학회 학술대회 발표집, pp.197~227 (1992)
  2. 김판석, "다면평가제 사례연구: 신화와 실상", 1999년도 하계학술대회, pp.19~41 (1999), 한국정책학회
  3. 문화일보, "<사설>고위공무원단 실험 1년과 하나마나한 직무평가. 7월 28일자", ~ (2007)
  4. 박경규, "부하의 체면중시가 상사-부하간 교환관계 및 조직행동에 미친 영향", 경영학 연구, 30(4), pp.1093~1114 (2001)
  5. 박영석, "리더십 다면평가에서 나타난 평가자 조망.한국심리학회지", 산업 및 조직, 16(3), pp.75~87 (2003)
  6. 양진환, "인사고과의 조작적 정의에 대한 평정정확성", 강남대학교 논문집, 34(3), pp.111~136 (1999)
  7. 이승계, "다면평가제도의 실효성에 관한 연구", 대한경영학회지, 18(1), pp.297~329 (2005)
  8. 이종구, "SAS와 통계자료분석" (2001), 학지사
  9. 임창희, "360도 다면평가" (1999), 21세기 북스
  10. 장재윤, "연구개발 관리자에 대한 다면평가의 일치도 및 수행과의 관계", 산업 및 조직, 12(1), pp.31~53 (1999), 한국심리학회지
  11. "중앙인사위원회 (2003). 다면평가 운영관련 유의사항", ~
  12. 한영석, "9개 리더십 역량이 성과평가에 미치는 영향", 007년 한국 산업 및 조직 심리학회 추계학술대회 및 심포지움 발표집, pp.19~28 (2007), SK Telecom 미래경영연구원.
  13. Bernardin, H. J., "Performance appraisal: Assessing human behavior at work" (1984), Kent
  14. Bernardin, H. J., "Effect of rater training and diary-keeping on psychometric error in rating", Journal of Applied Psychology, 62, pp.64~69 (1977)
  15. Bernardin, H. J., "A recomparison of behavioral expectation scales to summated scales", Journal of Applied Psychology, 61, pp.564~570 (1976)
  16. Bernardin, H. J., "Behavioral expectation scales: Effects of development procedures and format", Journal of Applied Psychology, 61, pp.75~79 (1976)
  17. Bretz, Jr., R. D., "The current state of performance appraisal research and practice: Concerns , directions and implications", Journal of Management, 18(2), pp.321~322 (1992)
  18. Campbell, J. D., "Self-esteem and perceptions of conveyed impression: Is negative affectivity associated with greater realism", Journal of Personality and Social Psychology, 58, pp.122~123 (1990)
  19. Chruch, A. H, "First-rate multi-rater feedback", pp.42~43 (1995), Training and Development
  20. Cooper,W.H, "Ubiquitous halo.Psychological", Psychological Bulletin, 90(2), pp.218~244 (1981)
  21. Decotiis, T. A, "An analysis of the external validity and applied relevance of three rating formats", Organizational Behavior and Human Performance, 19, pp.247~266 (1977)
  22. Dickinson, T. L., "The discriminant validity of scales developed by retranslation", Personnel Psychology, 30, pp.255~268 (1977)
  23. Feldman,J.M, "Beyond attribution theory: Cognitive processes in performance appraisal", Journal of Applied Psychology, 66, pp.127~148 (1981)
  24. Finley, D. M., "Behaviorally based rating scales: Effects of specific anchors and disguised scale continua", Personnel Psychology, 30(4), pp.659~669 (1977)
  25. Firedman, B. A., "Effect of rater participation in scale construction on the psychometric characteristics of two rating scale format", Journal of Applied Psychology, 61, pp.210~216 (1976)
  26. Friedman. H. H., "Label versus position in rating scales", Journal of the Academy of Marketing Science, 9, pp.1~2 (1981)
  27. Fisicaro, S. A, "A re-examination of the relation between halo error and accuracy", Journal of Applied Psychology, 73, pp.239~244 (1988)
  28. Fox, S., "Variables affecting leniency, halo and validity of self-appraisal", Journal of Occupational and Organizational Psychology, 67, pp.45~56 (1994)
  29. Friedman, H. H., "Rating the rating scales", The Journal of Marketing Management, 9(3), pp.114~123 (1999)
  30. Harris, M. M, "Rater motivation in the performance appraisal context: A theoretical framework", Journal of Management, 20(4), pp.753~756 (1994)
  31. Harris,M.M., "A meta-analysis of self-supervisor, self-peer and peer-supervisor ratings", Personnel Psychology, 41, pp.43~62 (1988)
  32. Jeffrey, S. K., "Stability of Rater Leniency: Three Studies", The Academy of Management Journal, 38(4), pp.1036~1051 (1995)
  33. Jones, L., "Self-assessment in a selection situation: An evaluation of different measurement approaches", Journal of Occupational and Organizational Psychology, 75, pp.145~161 (2002)
  34. Kasten, R., "Rating errors and rating accuracy: A field experiment", Human Performance, 12(2), pp.137~153 (1999)
  35. Keaveny, T. J., "A comparison of behavioral expectation scales and graphic rating scales", Journal of Applied Psychology, 60, pp.695~703 (1975)
  36. Landy. F. J., "Behaviorally anchored scales for rating the performance of police officers", Journal of Applied Psychology, 61, pp.750~758 (1976)
  37. Latham,G.P., "Increasing productivity through performance appraisal" (1981), Addison-Wesley Company
  38. Levy, P. E., "Reactions to appraisal discrepancies: Performance ratings and attributions", Journal of Business and Psychology, 12(4), pp.437~455 (1998)
  39. Longenecker,C.O., "Behind the mask:The politics of employee appraisal.Academy of Management", Academy of Management Executive, 1, pp.183~193 (1987)
  40. Mount, M. K, "Psychometric properties of subordinate ratings of managerial performance", Personnel Psychology, 37(4), pp.687~702 (1984)
  41. Mikovich,G.T.,&?Boudreau.J.W, "Human Resource Management(7th ed.)" (1994), Irwin.
  42. Motowidlo, S. J., "Behaviorally anchored scales for measuring morale in military units", Journal of Applied Psychology, 62, pp.177~183 (1977)
  43. Murphy, K. R., "Rater errors and rating accuracy", Journal of Applied Psychology, 74, pp.619~624 (1989)
  44. Ronen, K, "Rating errors and rating accuracy: A field experiment", Human Performance, 12(2), pp.137~153 (1999)
  45. Saal, F. E., "Rating the ratings: Assessing the quality of rating data", Psychological Bulletin, 88, pp.413~428 (1980)
  46. Schwab, D. P., "Behaviorally anchored rating scales: A review of the literature", Personnel Psychology, 28(4), pp.549~562 (1975)
  47. Steele, R. P, "Self-appraisal based upon supervisory feedback", Personnel Psychology, 37, pp.667~685 (1984)
  48. Thornton, III, G. C, "Psychometric properties of self-appraisal and job performance", Personnel Psychology, 33, pp.263~271 (1980)
  49. Viswesvaran, C., "Comparative analysis of the reliability of job performance ratings", Journal of Applied Psychology, 81, pp.557~574 (1996)
  50. Wayne, S. J., "Journal of Applied Psychology", Psychology, 75, pp.487~499 (1990)
  51. Wildt, A. R., "Determinants of scale response: Label versus position", Journal of Marketing Research, 15(2), pp.261~267 (1978)

관련 논문AI추천

다면평가 정보가 정확성에 대한 지각 및 수행평정에 미치는 영향: 정보의 출처 및 일치성의 조절효과를 중심으로김범준, 윤소연한국산업및조직심리학회 · 한국심리학회지: 산업 및 조직2003 · 제16권 제3호일반화 가능도 이론을 적용한 다면평가의 평가자 효과 연구정재창한국인력개발학회 · HRD연구2009 · 제11권 제3호평가정확성에 대한 평가자 훈련 유형의 영향: 책임성과 평가자 기분(mood)의 상호작용 효과조재한, 한태영한국산업및조직심리학회 · 한국심리학회지: 산업 및 조직2008 · 제21권 제4호자율관리팀 내 차별적 동료평가 성향에 관한 연구권석균, 박종혁, 이정훈한국기업경영학회 · 기업경영연구2011 · 제18권 제4호평가자의 직급 및 피평가자와의 관계가 리더십 평가에 미치는 효과박영석, 이윤재한국산업및조직심리학회 · 한국심리학회지: 산업 및 조직2005 · 제18권 제1호리더십 다면평가에서 나타난 평가자 조망오인수한국산업및조직심리학회 · 한국심리학회지: 산업 및 조직2003 · 제16권 제3호

이 간행물의 다른 논문 (7건)

도로안내표지의 정보량과 운전 외 행동이 도로안내표지 탐색반응에 미치는 영향박선진, 노관섭, 이순열, 오주석, 이순철pp. 225-243여성종업원의 조직 내 성차별 지각이 경력몰입과 이직의도에 미치는 영향박지현, 탁진국pp. 245-263직장 및 가정에서의 성역할 행동특성의 차이, 행동 전이 및 직장-가정 양립간의 관계: 맞벌이 여성공무원들을 대상으로김효선, 장재윤pp. 265-283피드백 추구를 위한 모니터링과 묻기의 선행변인과 결과변인에 관한 연구정성훈, 유태용pp. 285-312의견개진 기대와 실제의 차이가 절차공정성지각에미치는 효과의 문화간 유사성과 차이점김용주, 남기덕, 고재원pp. 313-337
원문 보기