본문 바로가기
KERD
논문KCI 등재

상황판단검사에서 시나리오 효과를 통제한 탐색적 요인분석

Exploratory Factor Analysis on Situational Judgment Data after Controling for Scenario Effect

이순묵|김효선|남궁준재
한국산업및조직심리학회 (Korean Society for Industrial and Organizational Psychology)|2013.11|한국심리학회지: 산업 및 조직 (Korean Journal of Industrial and Organizational Psychology)|제26권 제4호|pp. 599-624|DOI 10.24230/ksiop.26.4.201311.599

2

조회

0

다운로드

9

인용

0

참고문헌

키워드

탐색적 요인분석exploratory factor analysis상황판단검사method effect탐색적 구조방정식 모형방법효과situational judgment testexploratory structural equation modeling시나리오 효과scenario effect
주제분류심리과학

초록

이 글에서는 상황판단의 방식으로 제작된 검사 자료에서 탐색적 요인분석을 실시하는 방식을 제시하였다. 상황판단 방식은 심리학에서 80여년의 역사를 가진 검사제작 방식이고, 산업 및 조직 장면에서 지난 20여 년 동안에 선발용 검사로 정착되었지만 아직은 구성개념을 추정하는데 많은 어려움을 극복하지 못한 상태이다. 그것은 상황판단검사에서 문항점수에 문항에 대한 반응 뿐 아니라 시나리오 효과가 함께 포함되어 있고, 내용적인 구조를 탐색하는 단계에서 시나리오 효과를 제거하고서 요인분석을 하는 것에 매우 큰 어려움이 있었기 때문이다. 본 연구에서는 시나리오 효과를 제거하기 위하여 시나리오 내 문항들에서 측정오차 간 상관의 추정을 허용하는 탐색적 요인분석을 하였다. 즉, 시나리오 내 측정오차 간 상관을 추정하는 것과 나머지 부분에 대한 탐색적 요인분석을 하는 것을 동시에 수행함으로써, 분석 과정이 어느 한 쪽으로 편향되지 않는 방식인 탐색적 구조방정식 모형을 사용하였다. 그 결과로 시나리오 효과가 통제된 상태에서 요인이 탐색되어 앞으로 상황판단검사의 구성개념 타당화에 새로운 가능성을 제시하였다.

Abstract

We demonstrated how to perform exploratory factor analysis on situational judgment data of creative personality. Situational judgment test(SJT) has a long history of 80 years and has settled down in industrial/organizational settings for the last 20 years. However, we have not overcome the problem of estimating construct because item scores in SJT contain method effect generated by the scenarios as well as response scores to the substantive questions. We applied Asparouhov and Muthen’s(2009) logic of explorary structural equation modeling(ESEM) to open an approach to estimating common factor structures after controling for the method effect generated by scenarios. Using ESEM, it is possible to specify measurement error correlations in the frame of structural equation modeling and to use exploratory approach to factor analysis on the remaining part of data. As a result we could estimate a four-factor structure on data of 40 items with eight scenarios measuring creative personality of college students.

참고문헌 (43)

  1. 강민우, "지시문과 채점방식에 따른 상황판단검사의 타당도 비교", 한국심리학회지: 산업 및 조직, 18(3), pp.547~565 (2005), 한국산업및조직심리학회
  2. 김효선, "대학생용 상황판단형 창의적 성격 검사 개발 및 타당화", 석사, 인재개발학과 인재개발전공, pp.2014
  3. 이상철, "지필형 상황판단검사에 대한 비평적 고찰", 한국심리학회지: 산업 및 조직, 16(3), pp.129~154 (2003), 한국산업및조직심리학회
  4. 이순묵, "상황역량 측정에서 상황에 대한 두관점:측정오차인가 해석되어야할 환경요인인가?", 한국심리학회지: 산업 및 조직, 17(2), pp.243~263 (2004), 한국산업및조직심리학회
  5. 이순묵, "요인분석 I" (1995), 학지사
  6. 이순묵, "MTMM 자료분석에 대한 비평적 고찰", 한국심리학회지: 산업 및 조직, 18(3), pp.455~480 (2005), 한국산업및조직심리학회
  7. AERA, APA, "Standards for Educational and Psychological Testing" (1999), Authors
  8. Asparouhov, T., "Exploratory structural equation modeling", Structural Equation Modeling, 16, pp.397~438 (2009)
  9. Becker, T. E., "Additive and multiplicative method effects in applied psychological research : An empirical assessment of three models", Journal of Management, 20, pp.625~641 (1994)
  10. Bovaird, J. A., "Measurement models for ordered-categorical indicators, In Handbook of Structural Equation Modeling" (2012), Guilford Press
  11. Browne, M. W., "The maximum-likelihood solution in inter-battery factor analysis", British Journal of Mathematical and Statistical Psychology, 32, pp.75~86 (1979)
  12. Browne, M. W., "Factor analysis of multiple batteries by maximum likelihood", British Journal of Mathematical and Statistical Psychology, 33, pp.184~199 (1980)
  13. Browne, M. W., "An overview of analytic rotation in exploratory factor analysis", Multivariate Behavioral Research, 36, pp.111~150 (2001)
  14. Browne, M. W., "Noniterative Estimation for the Multiple Battery Factor Analysis Model", Behaviometrika, 24(1), pp.3~18 (1997)
  15. Campbell, D. T., "Convergent and Discriminant Validation by Multitrait-Multimethod Matrix", Psychological Bulletin, 56, pp.81~105 (1959)
  16. Chan, D., "Video-based versus paper-and-pencil method of assessment in situational judgment tests : subgroup differences in test performance and face validity perceptions", Journal of Applied Psychology, 82, pp.143~159 (1997)
  17. Conway, J. M., "Analysis and design of multitrait-multirater performance appraisal studies", Journal of Management, 22, pp.139~162 (1996)
  18. Conway, J. M., "Estimation and uses of the proportion of method variance for multitraitmultimethod data", Organizational Research Methods, 1, pp.209~222 (1998)
  19. Gorsuch, R. L., "Factor Analysis(2nd Ed. )" (1983), LEA
  20. Hunter, J. E., "A causal analysis of cognitive ability, job knowledge, job performance", Journal of Vocational Behavior, 29, pp.340~362 (1983)
  21. James, L. R., "Validity generalization in the context of situational models", Journal of Applied Psychology, 77, pp.3~14 (1992)
  22. Landy, F. J., "Personnel selection and placement", Annual Review of Psychology, 45, pp.261~296 (1994)
  23. Lee, G., "Incorporating the testlet concept in test score analyses", Educational Measurement : Issues and Practice, 19, pp.9~15 (2000)
  24. Lievens, F., "Dimension and Exercise Variance in Assessment Center Scores : A large-scale evaluation of multitrait multimethod studies", Journal of Applied Psychology, 86, pp.1202~1222 (2001)
  25. Lowry, P. E., "The assessment center process : New directions", Journal of Social Behavior and Personality, 12, pp.53~62 (1997)
  26. MacCallum, R. C., "Model modifications in covariance structure analysis : The problem of capitalization on chance", Psychological Bulletin, 111, pp.490~504 (1992)
  27. Marsh, H. W., "Confirmatory factor analysis of multitrait-multimethod data : Many problems and few solutions", Applied Psychological Measurement, 13, pp.335~361 (1989)
  28. Marsh, H. W., "Confirmatory factor analyses of multitrait-multimethod data : comparison of the behavior of alternative models", Applied Psychological Measurement, 15, pp.47~70 (1991)
  29. McDaniel, M. A., "Situational Judgment Tests, Knowledge, Behavioral Tendency", presented at the 18th Annual Conference of the Society for Industrial and Organizational Psychology (2003)
  30. McDaniel, M. A., "Use of Situational Judgment Tests to Predict Job Performance : A Clarification of the Literature", Journal of Applied Psychology, 86, pp.730~740 (2001)
  31. McDaniel, M. A., "Incremental validity of a situational judgment test", Paper presented at the 19th Annual Conference of the Society for Industrial and Organizational Psychology (2004)
  32. Montanelli, R. G. Jr., "Latent Roots of Random Data Correlation Matrices with Squared Multiple Correlation on the Diagonal : A Monte Carlo Study", Psychometrika, 41, pp.341~347 (1976)
  33. Moss, F. A., "Do you know how to get along with people? Why some people get ahead in the world while others do not", Scientific American, 135, pp.26~27 (1926)
  34. Motowidlo, S. J., "An Alternative Selection Procedure : The low-fidelity simulation", Journal of Applied Psychology, 75, pp.640~647 (1990)
  35. Mulaik, S. A., "Foundations of Factor Analysis", pp.2010, Chapman & Hall
  36. Mullins, M. E., "Situational judgment testing: Will the real constructs please present themselves?", Paper presented at the 13th Annual Conference of the Society for Industrial and Organizational Psychology (1998)
  37. Robertson, I., "The psychometric properties of managerial assessment centres : Dimensions into exercises won’t go", Journal of Occupational Psychology, 60, pp.187~195 (1989)
  38. Smith, K. C., "Criterion and construct validity evidence for a situational judgment measure", Paper presented at the 13th Annual Convention of the Society for Industrial and Organizational Psychology (1998)
  39. Sternberg, R. J., "People's Conceptions of Intelligence", Journal of Personality and SocialPsychology, 41, pp.37~55 (1981)
  40. Wagner, R. K., "Practical intelligence in real-world pursuits : The role of tacit knowledge", Journal of Personality and Social Psychology, 49(2), pp.436~458 (1985)
  41. Wagner, R. K., "TKIM : The commonsense manager, user manual" (1993), Hartcourt Brace Jovanovich, Inc
  42. Weekley, J. A., "Video-based situational testing", Personnel Psychology, 50, pp.25~49 (1997)
  43. Weekley, J. A., "Further Studies of Situational Tests", Personnel Psychology, 52, pp.679~700 (1999)

관련 논문AI추천

지시문과 채점방식에 따른 상황판단검사의 타당도 비교강민우, 윤창영, 이순묵한국산업및조직심리학회 · 한국심리학회지: 산업 및 조직2005 · 제18권 제3호교육 및 심리검사 자료에 대한 탐색적 요인분석에서 복수요인에 부하되는 문항 활용을 위한 고려 사항 탐색강태훈, 오민아한국교육방법학회 · 교육방법연구2016 · 제28권 제4호소검사(testlet)로 구성된 검사에서의 요인구조와 신뢰도강민우, 이순묵한국심리학회 · 한국심리학회지:일반2004 · 제23권 제1호지식형 상황판단검사의 채점용 답(Scoring key) 결정과 채점 방식에 따른 준거관련 타당도 비교 연구박동건, 정현선한국산업및조직심리학회 · 한국심리학회지: 산업 및 조직2009 · 제22권 제1호지필형 상황판단검사에 대한 비평적 고찰이상철, 이순묵, 조영일한국산업및조직심리학회 · 한국심리학회지: 산업 및 조직2003 · 제16권 제3호상황판단검사의 채점용 답 결정방식과 채점방식이 타당도에 미치는 영향: 왜곡여부에 따른 비교 연구김명소, 김의수, 한영석한국산업및조직심리학회 · 한국심리학회지: 산업 및 조직2011 · 제24권 제1호

이 간행물의 다른 논문 (6건)

강화의 지연성과 규칙의 구체성이 직무수행에 미치는 효과오세진, 강민지, 이계훈pp. 489-505직업가치 유형이 조직몰입에 미치는 차별적 영향:직무열의, 직무만족의 매개효과와 개인-조직 적합성의 조절효과손영우, 정예슬, 박지영, 하유진pp. 507-532리더의 임파워링 행동이 혁신행동과 직무열의에 미치는 영향:상사신뢰 및 학습조직의 조절효과정선화, 탁진국pp. 533-553물리적 환경과 안전행동 간의 관계: 조직몰입의 매개효과와 안전 분위기의 조절효과이범진, 박세영pp. 555-577서비스 장면에서 감정이입(정서전염, 공감배려)이 직무탈진과 직무열의에 미치는 영향신강현, 조중연, 허창구pp. 579-597
원문 보기