일반화 가능도 이론을 적용한 다면평가의 평가자 효과 연구
A Generalizability Theory Approach in Investigating the Rater Effect in 360 Degree Feedback
0
조회
0
다운로드
4
인용
0
참고문헌
키워드
초록
이 연구는 최근 기업에서 확산되고 있는 인사평가나 인력개발의 새로운 형태인 다면평가(360 degree feedback)의 평가자 효과에 대한 연구이다. 다면평가에서는 다수의 평가자가 한 명의 평가대상을 평가하게 되는데, 이 때 다수의 평가자들 간의 응답패턴이 서로 다를 수 있다. 이러한 경우 평가결과의 신뢰도가 낮아지게 되며, 낮은 신뢰도는 인사평가 결과의 활용을 제한하는 요인으로 작용하게 된다. 이 연구는 현재 기업에서 사용되고 있는 리더십 역량 다면평가에서 평가자의 영향력을 일반화 가능도 이론을 적용하여 분석하였다. 일반화 가능도 이론을 통해 평가자 효과를 검정할 수 있으며, 적정 수준의 신뢰도 확보를 위한 평가 구조를 결정할 수 있다. 연구 결과, 서로 다른 평가주체(본인, 상사, 부하집단)들은 서로 다른 평가결과를 제공하고 있었다. 본인평가 점수는 상사평가나 부하평가 점수보다 더 높았다. 다수의 평가자를 포함하고 있는 부하집단의 평가 결과를 분석한 결과, 적절한 신뢰도를 확보하기 위한 평가자 집단 규모는 평가 결과의 활용에 따라 서로 다른 것으로 나타났다. 하위 영역별 점수를 활용하기 위해서는 5명이상의 평가자가 필요한 것으로 분석되었고, 하위 영역 점수를 합산한 합성점수로 사용할 경우는 3명의 평가자만으로도 높은 신뢰도를 확보하는 것으로 나타났다.
Abstract
The 360 degree feedback, an alternative evaluation method in the fields of human resources and organization, is gaining more and more popularity in recent years. Previous studies revealed that the response patterns among superior, self, and subordinate raters were not analogous, and the subordinate raters could provide more reliable and informative information. This study aimed to investigate the rater effect in 360 degree feedback using the results of subordinate group ratings. The generalizabiltiy theory was adopted in analyzing rater effect and deriving reliability. In this study, it was found that there existed disimilarities among superior, self, and subordinate raters. It was suspected that the self-evaluation is positively biased than other results. It was also found that the appropriate numbers of rater were depending on the practical uses of scores. When sub factor scores were used in decision making, more than 5 raters would be needed. When composite score is used, 3 raters would be sufficient.
참고문헌 (32)
- 강애남, "학생들의 동료평가를 활용한 수행평가 결과의 일반화가능도 분석", 교육평가연구, 19(3), pp.107~121 (2006), 한국교육평가학회
- 박준성, "인터렉티브 인사평가시스템", pp.51~62 (2001), 명경사
- 이승계, "다면평가제도의 실효성에 관한 연구", 대한경영학회지, 18(1), pp.297~329 (2005), 대한경영학회
- 이규민, "단위검사 개념의 적용 -일반화가능도 이론을 중심으로-", 교육평가연구, 16(1), pp.60~80 (2003), 한국교육평가학회
- 이영식, "다변량 일반화가능도 이론에 의한 말하기 시험의 타당도와 신뢰도에 관한 연구", Foreign Languages Education, 11(2), pp.249~265 (2004), 한국외국어교육학회
- 임창의, "신인적관리" (2003), 명경사
- 한국교육평가학회, "교육평가 용어사전" (2004), 서울:학지사
- Antonioni,D., "Improve the performance management precess before discontinuing performance appraisals", Compensation Benefits Review, 26, pp.29~37 (1994)
- Atater.L.E., "Self-other agreement does it really matter?", Personnel Psychology, 51, pp.577~598 (1998)
- Brennan,R.L., "Elements of generalizability theory" (1992), Iowa City, IA: The American College Testing Program
- Brennan,R.L., "Generalizability theory" (2001), New York:Springer-Verlan
- Campbell,J.D., "Self-esteem and perceptions of conveyed impressions: is negative affectivity associated with greater realism?", Journal of Personality and Social Psychology, 58, pp.122~33 (1990)
- Colvine,C.R., "Overly positive self-evaluations and personality: negative implications for mental health", Journal of Personality and Social Psycholgy, 68, pp.1152~1162 (1995)
- Cronbach,L.J., "The dependability of behavioral measurement: Theory of generalizability for scores and profiles" (1972), New York: Wiley
- Furnham.A., "Congruence in job-perfomance ratings: a study of 360° feedback examining self, manager, peers, and consultant ratings", Human Relations, 51, pp.517~530 (1998)
- Harris,M.M., "meta-analysis of self-supervisor, self-peer, and peer-supervisor ratings", Personnel Psychology, 41, pp.43~62 (1988)
- Holzbach,R.L., "Rater bias in performance ratings: superior-, self-, and peer ratings", Journal of Applied Psychology, 63, pp.579~588 (1978)
- Klimoski,R.J., "Role of the rater in performance appraisal", Journal of Applied Psychology, 59, pp.445~451 (1974)
- Marcoulides,G.A., "Estimating variance component in generalizability theory: the covariance structure analysis approach", Structural Equation Modeling, 3, pp.290~299 (1996)
- Mount,M.K., "Supervisor, self, and subordinate ratings of performance and satisfaction with supervision", Journal of Management, 10, pp.305~320 (1984)
- Nilsen,D., "Self-observer rating discrepancies: once an overater always an overrater?", Human Resource Management, 32, pp.265~281 (1993)
- Numssbaum,A., "Multivariate generalizability theory in educational measurement: an empirical study", Applied Psychological Measurement, 34, pp.133~166 (1984)
- Paulhus,D.L., "Enhancement and denial in socially desirable responding", Journal of Personality and Social Psychology, 60, pp.307~317 (1991)
- Salam,S., "In the eye of the beholder: how leadership relates to 360-degree performance ratings", Groups and Organization Management, 22, pp.185~209 (1997)
- Shalvelson,R.J., "Generalizability theory: 1973-1980", British Journal of Mathematical and Statistical Psychology, 34, pp.133~166 (1981)
- Steele,R.P., "Self-appraisal based upon supervisory feedback", Personnel Psychology, 37, pp.667~685 (1984)
- Tornow,W.W., "Editor's note: introduction to special issue on 360-degree feedback", Human Resource Management, 32, pp.211~219 (1993)
- Taylor,S.E., "Positive illusions: creative self-deception and the healthy mind" (1989), New York:Basic Books
- Milliman,J.F., "Companies evaluate emplyees from all perspectives", Personnel Journal, 73, pp.99~ (1994)
- 김판석, "업적평가체계로서의 다면평가제도의 도입과 추진방법에 관한 사례연구", 한국행정학보, 34, pp.348~349 (2000)
- 남명호, "수행평가에 있어서 일반화가능도 이론의 활용", 교육평가연구, 9, pp.73~93 (1996)
- 유선희, "수행평가의 일반화가능도,채점결과의 신뢰도 및 지필 검사와의 상호관계에 관한 연구", 교육평가연구, 11, pp.23~41 (1998)