본문 바로가기
KERD
논문KCI 등재

지식형 상황판단검사의 채점용 답(Scoring key) 결정과 채점 방식에 따른 준거관련 타당도 비교 연구

The Study of Criterion-related Validities of Different Combinations of Keying and Scoring Methods in Situational Judgment Test with Knowledge Instructions

박동건|정현선
한국산업및조직심리학회 (Korean Society for Industrial and Organizational Psychology)|2009.02|한국심리학회지: 산업 및 조직 (Korean Journal of Industrial and Organizational Psychology)|제22권 제1호|pp. 53-70|DOI 10.24230/ksiop.22.1.200902.53

0

조회

0

다운로드

4

인용

0

참고문헌

키워드

리더십Leadership상황판단검사Scoring채점방식채점용 답(Scoring key) 결정Situational Judgment TestsKeying
주제분류심리과학

초록

본 연구는 상황판단검사의 채점용 답 결정 방식(SME 합의, 응답자 평균, 경험적 결정 방식)과 채점 방식(-2~2, B-W 방식)의 조합에 따라 산출된 점수의 유사성과 준거 관련 타당도가 어떠한 양상으로 나타나는지를 지식형 리더십 상황판단검사를 통해 탐색적으로 접근하여 비교하고자 하였다. 국내 A기업에서 근무하는 과장 이상의 재직자들을 대상으로 상황판단검사의 문항 개발, 채점용 답 결정 단계를 거쳐, 과장급 이상의 395명에게 검사가 실시되었다. 그 결과, 채점용 답 결정과 채점 방식 조함에 따라 산출된 점수들 중 SME × B-W의 조합이 가장 높은 준거 관련 타당도를 보이는 것으로 나타났다. 본 연구 결과로 볼 때, 상황판단검사의 채점용 답을 어떤 방식으로 결정하는가가 검사의 측정적, 예측력 측면에서 중요한 이슈임을 파악할 수 있다.

Abstract

The purpose of this study is to examine the different criterion-related validities from six different combinations of three keying methods(SME consensus, average in response and empirical keying) and two scoring methods(-2~2, B-W) using a leadership situational judgment test with knowledge instructions. The test was administered to 395 employees who has managerial positions in a Korean company after developing items and deciding on keys. The results reveal that the combination of SME × B-W has the highest criterion-related validity among the six combinations. This study suggests that the keying method of a situational judgement test is one of the important factors that determine the psychometric and predictive aspects of the test.

참고문헌 (41)

  1. 강민우, "지시문과 채점방식에 따른 상황판단검사의 타당도 비교", 한국심리학회지: 산업 및 조직, 18(3), pp.547~565 (2005), 한국산업및조직심리학회
  2. 이상철, "지필형 상황판단검사에 대한 비평적 고찰", 한국심리학회지: 산업 및 조직, 16(3), pp.129~154 (2003), 한국산업및조직심리학회
  3. 박동건, "전기자료(Biodata) 문항의 가중치 부여 체계간의 타당도 연구: 분석집단 크기에 따른 비교연구", 산업 및 조직, 14(1), pp.101~113 (2001)
  4. Borman,W.C, "Expanding the criterion domain to include elements of contextual performance. In Personnel selection in organizations", pp.71~98 (1993), Jossey- Bass
  5. Borman,W.C, "Models of supervisory job performance ratings", Journal of Applied Psychology, 76, pp.863~872 (1991)
  6. Bruce,M.M, "A supervisory practices test", Personnel Psychology, 11, pp.207~216 (1958)
  7. Cardall,A.J, "Preliminary manual for the Test of Practical Judgment", Science Research, ~ (1942)
  8. Chan,D, "Video-based versus paper-and-pencil method of assessment in situational judgment tests: Subgroup differences in test performance and face validity perceptions", Journal of Applied Psychology, 82, pp.143~159 (1997)
  9. Chan,D, "Situational Judgment and Job Performance", Human Performance, 15(3), pp.233~254 (2002)
  10. Clevenger,J, "Incremental validity of situational judgment tests", Journal of Applied Psychology, 86(3), pp.410~417 (2001)
  11. Conn,S.R, "The 16PF fifth edition technical manual", Institute for personality and ability Testing, ~ (1994)
  12. File,Q.W, "The measurement of supervisory quality in industry", Journal of Applied Psychology, 29, pp.381~387 (1945)
  13. File,Q.W, "How Supervise? manual 1948 revision" (1948), Psychological Corporation
  14. Flanagan,J.C, "The critical incident technique", Psychological Bulletin, 51, pp.327~358 (1954)
  15. J. P. Campbell, "Exploring the limits in personnel selection and classfication", Lawrence Erlbaum Associates, ~
  16. Greenberg,S.H, "Supervisory Judgment Test manual", U. S. Civil Service Commission, ~ (1963)
  17. Knapp,D.J, "Performance assessment for a population of jobs. In Exploring the limits in personnel selection and classfication", Lawrence Erlbaum Associates, ~ (2001)
  18. Latham,G.P, "The reliability, validity, and practicality of the situational interview. In The employment interview: theory, research, and practice", pp.169~182 (1989), Sage
  19. McDaniel, M. A, "Situational Judgment Tests, Knowledge, Behavioral Tendency, and Validity: A Meta-Analysis", Paper presented at the 18th Annual Conference of the Society for Industrial and Oraganizational Psychology (2003)
  20. McDaniel,M.A, "Situational judgment tests, response instructions, and validity: A meta-analysis", Personnel psychology, 60, pp.63~91 (2007)
  21. McDaniel, M. A, "Use of situational judgment tests to predict job performance: a clarification of the literature", Journal of Applied Psychology, 86(4), pp.730~740 (2001)
  22. McDaniel,M.A, "Situational judgment tests: a review of practice and constructs assessed", International Journal of Selection and Assessment, 9, pp.103~113 (2001)
  23. McDaniel, M. A, "Incremental validity of a situational judgement test", Paper presented at the 19th Annual Conference of the Society for Industrial and Oraganizational Psychology (2004)
  24. Motowidlo,S.J, "Some basic issues related to contextual performance and organizational citizenship behavior in human resource management", Human Resource Management Review, 10, pp.115~126 (2000)
  25. Motowidlo,S.J, "Further studies of the low-fidelity simulation in the form of a situation inventory", Journal of Occupational and Organizational Psychology, 66, pp.337~344 (1993)
  26. Motowidlo,S.J, "Evidence that task performance should be distinguished from contextual performance", Journal of Applied Psychology, 79(4), pp.475~480 (1994)
  27. Motowidlo, S. J, "An alternative seleciton procedure: the low-fidelity situation", Journal of Applied Psychology, 75(6), pp.640~647 (1990)
  28. Motowidlo,S.J, "Low-fidelity simulations. In Applied measurement methods in industrial psychology" (1997), Davies-Black Publishing
  29. Motowidlo, S.. J, "A theory of individual differences in task and contextual performance", Human Performance, 10, pp.71~83 (1997)
  30. Oswald,F.L, "Developing a biodata measure and situational judgement inventory as predictors of college student performance", Journal of Applied Psychology, 89(2), pp.187~207 (2004)
  31. Parker,C.W, "The development of a construct-related scoring key of a situational judgment inventory for enhancing criterion-related validity", Paper presented at the 15th annual conference of the Society of Industrial and Organizational Psychology (2000)
  32. Ployhart,R.E, "Be careful what you ask for: effects of response instructions on the construct validity and reliability of situational judgment tests", International Journal of Selection and Assessment, 11(1), pp.1~16 (2003)
  33. Pulakos,E.D, "An evaluation of two strategies for reducing adverse impact and their effects on criterion-related validity", Human Performance, 9, pp.241~258 (1996)
  34. Reynolds, D. H, "Factors affecting situational judgment test characteristics", Paper presented at the 15th Annual Conference of the Society for Industrial and Organizational Psychology (2000)
  35. Smith,C.A, "Organizational citizenship behavior: Its nature and antecedents", Journal of Applied Psychology, 68, pp.653~663 (1993)
  36. Smith,K.C, "Criterion and construct validity evidence for a situational judgment measure", Paper presented at the 13th Annual Conference of the Society for Industrial and Organizational Psychology (1998)
  37. Wagner,R.K, "Tacit knowledge in everyday intelligent behavior", Journal of Personality and Social Psychology, 52, pp.1236~1247 (1987)
  38. Wagner,R.K, "Practical intelligence in real-world pursuits: the role of tacit knowledge", Journal of Personality and Social Psychology, 49(2), pp.436~458 (1985)
  39. Waugh,G, "Selecting response options and items for a situational judgment test", Paper presented as part of the following symposium - Understanding and Predicting Performance in Future Jobs. 17th Annual Conference of the Society for Industrial and Organizational Psychology (2002), 1
  40. Weekley,J.A, "Video-based situational testing", Personnel Psychology, 50, pp.25~49 (1997)
  41. Weekley,J.A, "Further studies of situational tests", Personnel Psychology, 52, pp.679~700 (1999)

관련 논문AI추천

지시문과 채점방식에 따른 상황판단검사의 타당도 비교강민우, 윤창영, 이순묵한국산업및조직심리학회 · 한국심리학회지: 산업 및 조직2005 · 제18권 제3호상황판단검사의 채점용 답 결정방식과 채점방식이 타당도에 미치는 영향: 왜곡여부에 따른 비교 연구김명소, 김의수, 한영석한국산업및조직심리학회 · 한국심리학회지: 산업 및 조직2011 · 제24권 제1호지필형 상황판단검사에 대한 비평적 고찰이상철, 이순묵, 조영일한국산업및조직심리학회 · 한국심리학회지: 산업 및 조직2003 · 제16권 제3호업무 시뮬레이션을 활용한 상호평가 기반 논술형 SJT와 직무적성검사의 타당도 비교김송의, 박주용한국산업및조직심리학회 · 한국심리학회지: 산업 및 조직2025 · 제38권 제3호상황판단검사에서 시나리오 효과를 통제한 탐색적 요인분석김효선, 이순묵, 남궁준재한국산업및조직심리학회 · 한국심리학회지: 산업 및 조직2013 · 제26권 제4호내재설계 평가센터의 신뢰도 및 타당도신강현, 허창구한국산업및조직심리학회 · 한국심리학회지: 산업 및 조직2010 · 제23권 제2호

이 간행물의 다른 논문 (6건)

임파워링 리더행동과 팀원들의 학습행동 및 교류기억의 관계: 팀 효능감, 혁신성향 및 리더에 대한 신뢰의 매개효과손영우, 박희진pp. 1-25개인 특성이 조직 내 사회적 네트워크 크기에 미치는 영향과 직무수행에 대한 사회적 네트워크 크기와 강도의 효과유태용, 김영주pp. 27-51운전행동결정요인과 직무만족이 택시운전자의 위험운전행동에 미치는 영향이순철, 박선진, 오주석pp. 71-86시내버스 및 택시운전자의 작업부하가 피로에 미치는 영향과 부적정서상태의 매개효과이순철, 황윤숙, 오주석pp. 87-108조종사의 안전행동을 예측하는 조직의 안전문화와 개인의 안전태도 및 안전동기 간의 관계: 공군 부대와 조종사를 대상으로 한 다층자료 분석박찬신, 한정원, 손영우, 이경수pp. 109-129
원문 보기