본문 바로가기
KERD
논문KCI 등재

과학과 자기보고식 정의적 영역 평가의 정확성에 영향을 주는 요소 탐색

Exploring the Factors Influencing on the Accuracy of Self-Reported Responses in Affective Assessment of Science

신동희|정수임
한국과학교육학회 (The Korean Association for Science Education)|2019.06|한국과학교육학회지 (Journal of the Korean Association for Science Education)|제39권 제3호|pp. 363-377|DOI http://dx.doi.org/10.14697/jkase.2019.39.3.363

2

조회

0

다운로드

4

인용

0

참고문헌

키워드

response bias과학 관련 정의적 영역 평가자기보고식 검사 도구검사의 오차 반응반응 왜곡과학 특이적 요소검사 도구 개선science education assessmentscience-related affective characteristicself-reporting test toolerror in testscience-specific errorimprovement of test tool
주제분류교육학

초록

이 연구는 자기보고식 검사를 통해 과학 관련 정의적 영역을 평가 하려할 때 검사 결과에서 나타나는 주관성의 양상을 과학 특이적 측면에서 밝혔다. 과학 관련 개념이나 인식을 측정하려할 때 학생이 지닌 과학 특성, 본성에 대한 인식이 원인이 되어 나타나는 반응을 과학 특이적 반응으로 정의했다. 그 중에서 과학 특이적 반응이 특별히 측정 구인을 방해하거나 정확한 자기 보고를 벗어나게 하는 경우에 대해 탐색했다. 고등학교 1, 2학년 649명의 정의적 특성 및 심리적 특성을 검사한 양적 자료와 학생 44명을 면담한 질적 자료로부터 과학 특이적 요소로 인한 오차 결과를 도출했다. 학생이 일상과 과학 학습 경험으로부터 내면화한 과학에 대한 관점과 과학 특성은 검사 도구를 이루는 문항들과 상호작용한다. 그 결과 과학의 특성, 개인의 과학 경험, 검사 도구 속 과학이라는 세 측면에서 정확한 자기 보고를 방해하는 요소가 발견되었다. 과학 본질적 측면과 관련 있는 과학의 특성은 학생들이 과학을 보는 관점과 주관적으로 인식한 과학의 특성이 측정하려는 구인에 관계없이 문항에 반응하도록 한다. 학습자 측면에서 개인의 과학 경험은 학생이 지닌 과학 동기, 과학 경험과의 상호작용, 과학과 삶에 대한 인식으로 구성된다. 마지막으로 도구적 측면에서 검사 도구 속 과학은 과학 개념의 불명확성으로 인한 용어 혼동으로 연결되며 정확한 자기보고를 방해할 수 있다. 본 연구 결과에 의한 시사점으로 검사 문항에서 과학 특이적 요소의 포함 여부 검토, 측정 개념을 명확히 하기 위한 주의점, 개발 단계에서의 과학 특이성 요소 검토, 일상 과학과 학교 과학의 괴리를 줄이려는 노력 필요 등을 제안했다.

Abstract

This study reveals the aspects of subjectivity in the test results in a science-specific aspect when assessing science-related affective characteristic through self-report items. The science-specific response was defined as the response that appear due to student’s recognition of nature or characteristics of science when his or her concepts or perceptions about science were attempted to measure. We have searched for cases where science-specific responses especially interfere with the measurement objective or accurate self-reports. The results of the error due to the science-specific factors were derived from the quantitative data of 649 students in the 1st and 2nd grade of high school and the qualitative data of 44 students interviewed. The perspective of science and the characteristics of science that students internalize from everyday life and science learning experiences interact with the items that form the test tool. As a result, it was found that there were obstacles to accurate self-report in three aspects: characteristics of science, personal science experience, and science in tool. In terms of the characteristic of science in relation to the essential aspect of science, students respond to items regardless of the measuring constructs, because of their views and perceived characteristics of science based on subjective recognition. The personal science experience factor representing the learner side consists of student’s science motivation, interaction with science experience, and perception of science and life. Finally, from the instrumental point of view, science in tool leads to terminological confusion due to the uncertainty of science concepts and results in a distance from accurate self-report eventually. Implications from the results of the study are as follows: review of inclusion of science-specific factors, precaution to clarify the concept of measurement, check of science specificity factors at the development stage, and efforts to cross the boundaries between everyday science and school science.

참고문헌 (62)

  1. Abd-El-Khalick, F., "Development and large-scale validation of an instrument to assess Arabic-speaking students’ attitudes toward science", International Journal of Science Education, 37(16), pp.2637~2663 (2015)
  2. Anastasi, A., "Psychological testing" (1988), Macmillan & Co
  3. 어윤경, "심리검사의 운영모드와 실명기입 여부에 따른사회적 바람직성 변인 탐색", 교육평가연구, 20(4), pp.235~258 (2007), 한국교육평가학회
  4. 배병훈, "Rasch 모형을 이용한 한국판 사회적 바람직성 척도 단축형(SDS-9)의 타당화", 상담학연구, 16(6), pp.177~197 (2015), 한국상담학회[DOI]
  5. Brunetti, D., "Instructed faking and MMPI-2 response latencies : The potential for assessing response validity", Journal of Clinical Psychology, 54, pp.143~153 (1998)
  6. 최지수, "한국판 축약표준성격평가-자기보고형(Self-Report Standardized Assessment of Personality- Abbreviated Scale)의 성격장애 선별 진단의 유용성 : 예비타당도 연구", 신경정신의학, 54(4), pp.534~541 (2015), 대한신경정신의학회[DOI]
  7. 천은겸, "‘실행공동체’ 관점에서 과학교실문화 분석을 위한 조사도구의 개발 및 적용", 한국과학교육학회지, 35(1), pp.131~142 (2015), 한국과학교육학회[DOI]
  8. 정수임, "과학 교육에서의 평가 연구 동향", 한국과학교육학회지, 36(4), pp.563~579 (2016), 한국과학교육학회[DOI]
  9. 정수임, "과학 교육 평가에서 나타나는 고등학생들의 성취 불일치 사례 - 정의적 영역 검사 도구를 중심으로 -", 한국과학교육학회지, 37(5), pp.891~909 (2017), 한국과학교육학회[DOI]
  10. Cronbach, L., "Response sets and test validity", Educational and Psychological Measurement, 6(3), pp.475~494 (1946)
  11. Crowne, D., "A new scale of social desirability independent of psychopathology", Journal of Consulting Psychology, 24, pp.349~354 (1960)
  12. Ferrando, P., "Detecting dissimulation in personality test scores : A comparison between person-fit indices and detection scales", Educational and Psychological Measurement, 61, pp.997~1012 (2001)
  13. Fives, H., "Developing a measure of scientific literacy for middle school students", Science Education, 98(4), pp.549~580 (2014)
  14. George, M., "Using response latency to detecting accurate response in a computerized lifestyle assessment", Computers in Human Behavior, 6, pp.167~175 (1990)
  15. Holden, R., "International validity of response latencies for detecting fakers on a personality test", Journal of Research in Personality, 29, pp.362~372 (1995)
  16. Holden, R., "Relative efficacy of differential response latencies for detecting faking on a self-report measure of psychopathology", Psychological Assessment, 4, pp.170~173 (1992)
  17. Holden, R., "A model of personality test item response dissimulation", Journal of Personality and Social Psychology, 63, pp.272~279 (1992)
  18. Hong, S., "Interaction between science and technology : Technology as knowledge and science as practice", The Quarterly Changbi, 22(4), pp.329~350 (1994)
  19. Hough, L., "Criterion-related validity of personality constructs and the effect of response distortion on those validities", Journal of Applied Psychology, 75, pp.581~595 (1990)
  20. Hsu, L., "Faking detection validity and incremental validity of response latencies to MMPI subtle and obvious items", Journal of Personality Assessment, 53, pp.278~295 (1989)
  21. Hui, C. H., "The instability of response sets", Public Opinion Quarterly, 49, pp.253~260 (1985)
  22. 주연호, "정신분열병 환자의 주관적 증상과 객관적 정신병리와의 관련성", 신경정신의학, 40(4), pp.667~678 (2001), 대한신경정신의학회
  23. 김성덕, "초등학생들의 과학윤리성을 측정하기 위한 검사도구 개발", 한국과학교육학회지, 36(1), pp.1~13 (2016), 한국과학교육학회[DOI]
  24. Kim, H., "Secondary students’ attitudes toward science-technology related issues in Korea", Journal of the Korean Association for Science Education, 16(4), pp.461~469 (1996)
  25. 김명소, "성격검사의 형식이 응답왜곡(faking)에 미치는 효과:Normative 형식과 ipsative 형식의 비교", 한국심리학회지: 산업 및 조직, 19(3), pp.371~393 (2006), 한국산업및조직심리학회
  26. 김진실, "NCS를 활용한 채용시스템 운영실태에 관한 연구 -2015년 상반기 공공기관 NCS 채용 성과를 중심으로", 직업과 자격 연구, 4(1), pp.65~84 (2015), (사)한국직업자격학회
  27. Kim, Y., "World of science education" (2014), Book’s hill
  28. Kluger, A., "Faking biodata tests: Are option-keyed instruments more resistant?", Journal of Applied Psychology, 76, pp.889~896 (1991)
  29. Lederman, N., "Views of NOS questionnaire toward valid and meaningful assessment of learners’ conceptions of NOS", Journal of Research in Science Teaching, 39, pp.497~521 (2002)
  30. Lee, J., "An analysis on the university entrance examination system`s change process and main contents of occasional-regular admissions", Comtemporary Educational Research, 27, pp.97~130 (2015)
  31. The Results from PISA 2006, "Lee, M.", Seoul:Korea Institute for Curriculum and Evaluation, ~ (2007)
  33. London, M., "London’s career motivation theory : An update on measurement and research", Journal of Career Assessment, 5(1), pp.61~80 (1997)
  34. Markus, H., "Self-schemata and processing information about the self", Journal of Personality and Social Psychology, 35, pp.63~78 (1977)
  35. McDaniel, M., "Lying takes time: Predicting deception in biodata using response latency", Paper presented at the American Psychological Association Annual Convention (1990)
  36. Messick, S., "Improving inquires in social science", pp.161~200 (1991), Erlbaum
  37. Messick, S., "Standards of validity and the validity of standards in performance assessment", Educational Measurement : Issues and Practice, 14(4), pp.5~8 (1995)
  38. Munsterberg, H., "On the witness stand: Essays on psychology and crime" (1908), Doubleday, Page & Co
  39. "NSTA position statement of the nature of science" (2000)[URL]
  40. Noe, R., "Research in personnel and human resources management", pp.345~384 (1992), JAI Press
  41. Osborne, J., "Attitudes towards science: An update", Paper presented at the annual meeting of the American Educational Research Association (2009)
  42. Paulhus, D., "Two component models of socially desirable responding", Journal of Personality and Social Psychology, 46, pp.589~609 (1984)
  43. Paulhus, D. L., "The role of constructs in psychological and educational measurement", pp.49~69 (2002), Lawrence Erbaum Associates
  44. Pickering, A., "Science as practice and culture" (1992), The University of Chicago
  45. Ratcliffe, M., "Science education for citizenship: teaching socio-scientific issues" (2003), McGraw-Hill International
  46. Reise, S. P., "Assessing person-fit on measures of typical performance", Applied Measurement in Education, 9(1), pp.9~26 (1996)
  47. Rust, J., "Modern psychometrics: The science of psychological assessment" (2014), Routledge
  48. Scheuneman, J. D., "A theoretical framework for the exploration of causes and effects of bias in testing", Educational Psychologist, 19(4), pp.219~225 (1984)
  49. Schluf, Boaz, "Factors affecting responses to Likert type questionnaires : Introduction of the ImpExp, a new comprehensive model", Social Psychology of Education, 11(1), pp.59~78 (2008)
  50. Schwartz, R., "Developing views of nature of science in authentic context : An explicit approach of bridging the gap between nature of science and scientific inquiry", Science Education, 88, pp.610~645 (2004)
  51. 설현수, "정서적 공감척도의 타당화 및 차별기능문항 탐색", 교육평가연구, 19(2), pp.179~201 (2006), 한국교육평가학회
  52. 신세인, "고등학생들의 융합에 대한 태도 검사도구의 일반화 타당도 검정 및 집단간 차이 분석", 학습자중심교과교육연구, 14(5), pp.107~124 (2014), 학습자중심교과교육학회
  53. 신세인, "고등학생들을 위한 이공계 진로동기 검사도구 개발 및 타당화", 한국과학교육학회지, 36(1), pp.75~86 (2016), 한국과학교육학회[DOI]
  54. 신영준, "과학긍정경험 지표 검사를 위한 도구 개발 연구", 한국과학교육학회지, 37(2), pp.335~346 (2017), 한국과학교육학회[DOI]
  55. 손은영, "사회적 바람직성 상, 하위 집단 간 성격검사의 구인동등성 검증", 한국심리학회지: 사회및성격, 21(2), pp.71~87 (2007), 한국사회및성격심리학회[DOI]
  56. Stöber, J., "The Social Desirability Scale-17(SDS-17) : Convergent validity, discriminant validity, and relationship with age", European Journal of Psychological Assessment, 17(3), pp.222~232 (2001)
  57. Stricker, L. J., "Acquiescence and social desirability response styles : Item characteristics, and conformity", Psychological Reports, 12, pp.319~341 (1963)
  58. Sweeney, P., "Self-schemas and the perseverance of beliefs about the self", Paper presented at the meeting of American Psychological Association (1980)
  59. Vasilopoulos, N., "The influence of job familiarity and impression management on self-report measure scale scores and response latencies", Journal of Applied Psychology, 85, pp.50~64 (2000)
  60. 류동희, "한국 대기업의 채용패턴 변천과정과 시대별 특성 비교분석에 관한 연구 - 1980년대 이후 삼성・현대・LG・SK 중심으로 -", 경영사연구, 27(4), pp.33~58 (2012), 한국경영사학회[DOI]
  61. Zerbe, W. J., "Socially desirable responding in organizational behavior : A reconception", Academy of Management Review, 12, pp.250~264 (1987)
  62. Zickar, M., "Detecting faking on a personality instrument using appropriateness measurement", Applied Psychological Measurement, 20, pp.71~87 (1996)

관련 논문AI추천

과학 교육 평가에서 나타나는 고등학생들의 성취 불일치 사례 - 정의적 영역 검사 도구를 중심으로 -신동희, 정수임한국과학교육학회 · 한국과학교육학회지2017 · 제37권 제5호이공계 고등학생들의 과학 학습 경험의 의미 탐색: 인지적·정의적 성취 유형에 따른 공통점과 차이점을 중심으로신동희, 정수임교과교육연구소 · 교과교육학연구2018 · 제22권 제3호과학 관련 정의적 영역 검사 도구 활용 및 개선 내용 분석신동희, 정수임한국과학교육학회 · 한국과학교육학회지2019 · 제39권 제2호초⋅중⋅고등학생들의 과학 정의적 성취가 낮은 원인에 대한 질적 연구강훈식, 김현정, 박지선, 윤혜경, 이성희, 이재원, 정은영, 정지현한국과학교육학회 · 한국과학교육학회지2022 · 제42권 제3호과학관련 정의적 영역 검사도구에 대한 조사 연구강훈식, 곽영순, 김희경, 신영준, 이성희, 이수영한국생물교육학회 · 생물교육2017 · 제45권 제1호과학 교육에서의 평가 연구 동향신동희, 정수임한국과학교육학회 · 한국과학교육학회지2016 · 제36권 제4호

이 간행물의 다른 논문 (11건)

자연계열 고등학생의 과학 자기효능감 향상 과정 탐색신승희, 문공주, 김성원pp. 321-335논의기반 탐구(ABI) 과학수업에서 나타나는 중학생들의 인식론적 사고 분석박지연, 남정희pp. 337-348교육 소외계층 청소년을 위한 과학 진로체험 활동이 학생의 과학선호도와 진로성숙도에 미치는 영향김용성, 임성민pp. 349-3622015개정 통합과학 수업관찰을 통한 실행된 교육과정 분석신영준, 곽영순pp. 379-388예비 초등교사들의 동료 탐구 수업 비평 분석이신영pp. 389-403
원문 보기