본문 바로가기
KERD
논문KCI 등재

긍정문항과 부정문항으로 이루어진 심리검사에 대한 방법효과 검증

An Investigation of Methods Effects Associated With Positively- and Negatively-Worded Items in Self-Report Psychological Test

홍세희|조기현|이현정
한국교육방법학회 (The Korean Journal Of Educational Methodology Studies)|2019.02|교육방법연구 (The Korean Journal of Educational Methodology Studies)|제31권 제1호|pp. 147-168|DOI 10.17927/tkjems.2019.31.1.147

0

조회

0

다운로드

14

인용

0

참고문헌

키워드

method effect방법효과동의편파긍정문항부정문항CTCMCTCUagreement biaspositively worded itemnegatively worded item
주제분류교육학

초록

자기보고식 검사에서는 문항 내용과 상관없이 동의하려는 경향인 동의편파(묵종)를 줄이기 위해 긍정문항과 부정문항을 혼용하여 사용하게 되는데, 이 때 의도치 않은 방법효과가 발생하여 검사의 타당성을 저해할 수 있다. 따라서 본 연구는 긍정문항과 부정문항이 함께 쓰인 검사에서 문항 표현에 따른 방법효과를 분석하여 검사가 측정하고자 하는 실제적 요인과 방법효과 요인이 구분될 수 있는지 알아보고자 하였다. 이를 위해 자아존중감 검사와 친구관계 검사를 사용하여 초등학교, 중학교, 고등학교 집단에 대해 각각 확인적 요인분석을 수행하여 결과를 비교하였다. 분석 결과 각 검사에 대한 연구모형에서 CTCM 모형과 CTCU 모형이 다른 모형에 비해 좋은 적합도 지수를 보였으며, 자아존중감 검사에서는 부정문항의 방법효과, 친구관계 검사에서는 긍정문항의 방법효과가 있는 것으로 판단하였다. 본 연구는 자아존중감 검사와 친구관계 검사를 분석하여, 긍정문항과 부정문항이 혼재된 검사의 요인구조 탐색 시 연구모형에서 반드시 방법효과를 고려해야함을 확인했다는 점에서 그 중요성이 있다. 또한 본 연구의 결과를 바탕으로 추후 방법효과와 관련하여 후속 연구에서 다뤄져야 할 몇 가지 사항을 추가로 제안하였다.

Abstract

In order to reduce agreement bias(acquiescence) that occurs when respondents agree regardless of questions in survey, negatively- and positively-worded items are often mixed. However, methods effects can be caused from the mixed format and the effects leads to problems in test validity. Using tests with negatively- and positively-worded items, the present study examined whether theoretical factors a test tried to measure and method-effect factors could be distinguished. For this purpose, self-esteem and peer relationship scales were used for elementary, middle and high school groups respectively, and analyzed applying confirmatory factor analysis. Results showed that CTCM and CTCU models considering methods effects fitted well. However, for the self-esteem scale, methods effects appeared for negatively-worded items while for the peer relationship scale, methods effects appeared for positively-worded items. The significance of this study indicates that it is necessary to consider methods effects when exploring the factor structure of a test with negatively- and positively-worded items in a mixed format. This study also suggests further investigations regarding method effects using various tests in future studies to generalize current results.

참고문헌 (48)

  1. 김은정, "초기 청소년 자녀의 자아존중감에 미치는 가정 내 사회자본의 역할과 특성에 관한 연구", 가족과 문화, 18(3), pp.33~61 (2006), 한국가족학회
  2. 이미리, "청소년기 자아존중감과 가족, 친구, 학업, 여가, 직업 변인들의 관계: 긍정적 자아평가와 부정적 자아평가를 중심으로", 한국청소년연구, 16(2), pp.263~293 (2005), 한국청소년정책연구원
  3. 이은해, "대학생의 친구에 대한 만족감과 친구의 기능 및 친구 관계망의 구조적 변인간의 관계", 교육학 연구, 37(3), pp.201~219 (1999)
  4. 이자영, "문화차에 의해 발생한 심리검사 문항의 번역오류: Rosenberg의 자아존중감 척도 8번 문항의 수정을 중심으로", 상담학연구, 10(3), pp.1345~1358 (2009), 한국상담학회[DOI]
  5. 정병삼, "부모-자녀애착과 부모지도감독이 청소년의 자아존중감의 변화에 미치는 종단적 영향", 한국청소년연구, 21(4), pp.5~30 (2010), 한국청소년정책연구원
  6. 최수미, "부정문항이 포함된 척도의 요인구조 및 방법효과 검증과 남녀 간의 차이 비교: Rosenberg 자기존중감 척도를 중심으로", 한국심리학회지:일반, 32(3), pp.571~589 (2013), 한국심리학회
  7. 홍세희, "구조방정식모형의 적합도 지수 선정기준과 그 근거", 한국심리학회지 : 임상, 19(1), pp.161~177 (2000)
  8. 홍세희, "부정문항이 포함된 검사의 요인구조: 자아존중감 검사의 예", 교육평가연구, 24(3), pp.713~732 (2011), 한국교육평가학회
  9. Anastasi, A., "Psychological testing" (1982), Macmillan
  10. Andrews, F. M., "Construct validity and error components of survey measures : A. Structural Modeling Approach", Public Opinion Quarterly, 48, pp.409~442 (1984)
  11. Bachman, J. G., "Self-concepts, self-esteem and educational experiences : The frog pond revisited(again)", Journal of Personality and Social Psychology, 50(1), pp.35~46 (1986)
  12. Benson, J., "The impact of item phrasing on the validity of atiitude scale for elementary school children", Journal of Educational Measurement, 22, pp.231~240 (1985)
  13. Bentler, P. M., "Identification of content and style : A two-dimensional interpretation of acquiescence", Psychological Bulletin, 76(3), pp.186~204 (1971)
  14. Browne, M. W., "Testing structural equation models", pp.136~162 (1993), Sage
  15. Campbell, J. P., "Handbook of industrial and organizational psychology", pp.185~ (1976)
  16. Carmines, E. G., "Reliability and Validity assessment" (1979), Sage
  17. Cheung, G. W., "Evaluating goodness-of-fit indexes for testing measurement invariance", Structural equation modeling, 9(2), pp.233~255 (2002)
  18. Conroy, D. E., "Progress in the development of a multidimensional measure of fear of failure: The Performance Failure Appraisal Inventory(PFAI)", Anxiety, Stress, and Coping, 14, pp.431~452 (2001)
  19. Corwyn, R. F., "The factor structure of global self-esteem among adolescents and adults", Journal of Research in Personality, 34, pp.357~379 (2000)
  20. Cronbach, L. J., "Response sets and test validity", Educational and Psychological Measuremnet, 6, pp.475~494 (1946)
  21. Edwards. A. L., "The social desirability variable in personality assessment and research" (1957), Holt, Rinehart and Winston
  22. Fleishman J., "Using LISREL to evaluate measurement models and scale reliabilities", Educational and Psychological Measurement, 47, pp.925~939 (1987)
  23. Hensley, W. E., "Dimensions of Rogenberg's Self-Esteem Scale", Psychological Reports, 78, pp.1071~1074 (1976)
  24. Holden, R. R., "Three common social desirability scales : friends, acquaintances, or strangers", Journal of Rsesearch in Personality, 23, pp.180~191 (1989)
  25. Horan, R. H., "Wording effects in self-esteem scales: methodological artifact or response style?", Structural Equation Modeling, 10, pp.435~455 (2003)
  26. National Educational Longitudinal Study of 1988. Quality of the responses of eighth-grade students in NELS88, "Kaufman, P.", U.S. Department of Education, ~ (1991)
  27. Kohn, M. L., "Class and Conformity: A study of values" (1977), University of Chicago Press
  28. Marsh., H. W., "Positive and negative global self-esteem: A substantively meaningful distinction or artifactors?", Journal of Personality and Social Psychology, 70(4), pp.810~819 (1996)
  29. Mehrabian, A., "Dimensionality and content of optimism-pessimiss analyzed in terms of the PAD Temperament Model", Personality and Individual Differences, 23, pp.729~737 (1997)
  30. Mendelson, M. J., "Measuring friendship quality in late adolescents and young adults : McGill Friendship Questionnaires", Canadian Journal of Behavioural Science, 1999, pp.31(2), 130~
  31. Motl, R. W., "Validity and factorial invariance of the Social Physique Anxiety Scale", Medicine and Science in Sports Exercises, 32, pp.1007~1017 (2000)
  32. Motl, R. W., "the Social Physique Anxiety Scale : An example of the potential consequencesa of negatively worded items in factorial validity studies", Journal of Applied Measurement, 1, pp.327~345 (2000)
  33. Motl, R. W., "Self-motivation and physical activity among Black and White adolescecnt girls", Medicine and Science in Sports and Exercise, 35, pp.128~136 (2003)
  34. Motl, R. W., "Longitudinal invariance of self-esteem and method effects associated with negatively worded items", Structural Equation Modeling, 9(4), pp.562~578 (2002)
  35. Nunnally, J. C., "Psychometric theory" (1967), mcGraw-Hill
  36. Nunnally, J. C., "Psychometric theory" (1994), mcGraw-Hill
  37. Quilty, L. C., "Correlates of the Rosenberg Self-Esteem Scale method effects", Structural Equation Modeling, 13(1), pp.99~117 (2006)
  38. Rauch, W. A., "Method effect due to social desirability as a parsimonious explanation of the deviation from unidimensionality in LOT-R scores", Personality and Individual Differences, 42, pp.1597~1607 (2007)
  39. Rosenberg, M., "Society and the adolescent child" (1965), Princeton University Press
  40. Scheier, M. F., "Disinguishing optimism from neuroticism(and trait anxiety, self-mastery, and self-esteem) : A reevaluation of the Life Orientation Test", Journal of Personality and Social Psychology, 67, pp.1063~1078 (1994)
  41. Schmitt, N., "Factors defined by negatively keyed items: The result of carless responsents?", Applied Psychological Measurement, 4, pp.367~373 (1985)
  42. Spector, P. E., "Method Variance as a Artifact in Self-Reported Affect and Perceptions at Work: Myth or Significant Problem?", Journal of Applied Psychology, 72(3), pp.438~443 (1987)
  43. Tepper, B. J., "The Effect of Method variance Within Measures", Journal of Psychology, 127(3), pp.293~302 (1993)
  44. Tomás, J. M., "Rosenberg's Self-Esteem Scale : Two factors or method effects", Structural Equation Modeling, 6(1), pp.84~98 (1999)
  45. Tucker, L. R., "A reliability coefficient for maximum likelihood factor analysis", Psychometrika, 38, pp.1~10 (1973)
  46. Vautier, S., "Dimensionality of The Revised Life Orientation Test and the status of filler items", International Journal Of Psychology, 38, pp.390~400 (2003)
  47. Wang, J., "Factorial structure of Rosenberg's self-esteem scale among crack-cocaine drug users", Structural Equation Modeling, 8, pp.275~286 (2001)
  48. Zickar, M. J., "Detecting faking on a personality instrument using appropriateness measurement", Applied Psychological Measurement, 20(1), pp.71~87 (1996)

관련 논문AI추천

부정문항이 포함된 척도의 요인구조 및 방법효과 검증과 남녀 간의 차이 비교: Rosenberg 자기존중감 척도를 중심으로조영일, 최수미한국심리학회 · 한국심리학회지:일반2013 · 제32권 제3호쌍요인(Bifactor) 모형을 이용한 심리척도의 측정적 속성 연구방법 개관신재은, 이태헌한국심리학회 · 한국심리학회지:일반2017 · 제36권 제4호종단 문항반응이론 혼합모형의 적용을 통한 청소년 자아존중감 변화 유형 탐색박찬호, 서공주한국청소년정책연구원 · 한국청소년연구2020 · 제31권 제3호Rosenberg의 자아존중감 척도: 문항수준 타당도분석남숙경, 이미경, 이상민, 이자영, 이지희한국상담심리학회 · 한국심리학회지: 상담 및 심리치료2009 · 제21권 제1호청소년의 이원적 자아존중감의 상호관계: 자기회귀교차지연모형을 적용한 종단연구유창민한국청소년정책연구원 · 한국청소년연구2017 · 제28권 제4호청소년 대상 단축형 13문항 Marlowe-Crowne 사회적 바람직성 척도의 요인 구조박중규한국심리학회산하학교심리학회 · 한국심리학회지:학교2009 · 제6권 제3호

이 간행물의 다른 논문 (9건)

대학 교수학습센터 운영 사업의 통합적 성과평가방법에 관한 소고박선향pp. 1-20지역아동센터 이용 청소년의 우울과 학교생활적응, 학업성취에 대한 스트레스의 영향: 사회적 지지의 조절효과이선영, 송주연pp. 21-43경기도 초·중·고 학생의 수학선행학습 실태 및 영향 분석박인우, 장재홍pp. 45-66중학교 수학에서 성취목표, 자기효능감, 교실목표구조에 의한 비적응적 학습전략 사용과 성취도 설명 및 상호작용 검증박진현, 봉미미, 강상진, 신다정pp. 67-95공감 공동체 역량 증진 프로그램 개발: 중학생을 대상으로한우진, 이상수, 김현지, 김은정pp. 97-119
원문 보기