본문 바로가기
KERD
논문KCI 등재

과학 교육 평가에서 나타나는 고등학생들의 성취 불일치 사례 - 정의적 영역 검사 도구를 중심으로 -

Cases of Discrepancy in High School Students’ Achievement in Science Education Assessment: Focusing on Testing Tool in Affective Area

신동희|정수임
한국과학교육학회 (The Korean Association for Science Education)|2017.10|한국과학교육학회지 (Journal of the Korean Association for Science Education)|제37권 제5호|pp. 891-909|DOI http://dx.doi.org/10.14697/jkase.2017.37.5.891

0

조회

0

다운로드

4

인용

0

참고문헌

키워드

response bias인지적 성취cognitive achievement정의적 성취affective achievement사회적 바람직성social desirability불일치 사례자기보고식 검사 도구science education assessment왜곡 반응과학 교육 평가cases of discrepancyselfreported testing tool
주제분류교육학

초록

이 연구는 과학 교육 현장에서 인지적⋅정의적 평가를 중심으로한 양적 자료와 질적 자료에서 나타나는 몇 가지 불일치 사례를 분석 했다. 308명의 고등학교 2학년 학생을 대상으로 학업 성취도와 정의적 성취도를 양적 자료로 수집했고, 그 중 33명의 학생을 면담한 질적 자료를 분석했다. 주로 검사 도구의 측면에서 불일치 사례의 원인과 유형을 고찰했다. 연구 결과 양적 자료인 인지적 성취와 정의적 성취 영역 각각에서 과목별, 구인별 차이가 크게 나타나는 학생들이 상당수 있었고, 특히 두 영역 간 성취도 경향이 일치하지 않는 학생들도 20% 이상 분석되었다. 선택한 진로와 진학을 위해 의도적으로 과학 학습을 조절한 사례, 학교 과학과 과학에 대한 인식 차이에 따라 다른 반응 등의 사례가 면담을 통해 발견되었다. 도구로 측정한 양적 자료와 학생들의 면담 내용인 질적 자료를 비교한 결과 스스로 반응한 양적 자료와 다르게 자신을 평가하는 학생들이 대부분이었다. 이는 다양한 특성을 지닌 학생들이 검사 도구와 상호작용하는 과정에서 비롯된다. 검사 도구와 관련된 불일치 유형은 ‘문항 개발자가 의도한 개념과 학생들이 이해하는 개념 간 차이’와 ‘표현된 반응과 속마음 간의 차이’로 나타났다. 검사 도구에서 사용한 용어가 학생들에게 모호하게 인식될 때 자의적이거나 일관성 없이 반응하는 경우가 전자에, 사회적 바람직성이나 자아 방어 기제에 의한 반응 왜곡은 후자에 해당한다. 이상 연구 결과를 바탕으로 자기보고식 검사 도구가 학생들의 실제 인식을 잘 반영하고 있는지 검토하고 정교화하려는 노력, 학습 경험을 획일적으로 고정시키는 평가 개선 등이 필요하다.

Abstract

This study analyzed some of the discrepancies in quantitative and qualitative data focusing on cognitive and affective achievement in science education. Academic and affective achievement score of 308 high school students were collected as quantitative data, and 33 students were interviewed for qualitative data. We examined the causes and types of discrepancies in terms of testing tools. As a result from quantitative data, there were a large number of students with a big difference between subjects in cognitive achievement, and constructs in affective achievement. More than 20% of the students did not match tendency between achievements in two areas. Through interviews, some examples such as intentional control of science learning for future study and careers, different responses by differences in perception between school science and science, appeared. A comparison of quantitative data by testing tool between qualitative ones and interviews showed conflicting result, where most students evaluated themselves differently from their own quantitative data. That is due to the students’ interaction with the testing tools. Two types of discrepancy related to testing tool are found. One is ‘the concept difference between the item developer and students,’ the other is ‘the difference between students’ exposed response and their real mindset.’ These are related to the ambiguity of the terms used in the tool and response bias due to various causes. Based on this study, an effort is required to elaborate the testing item that matches students’ actual perception and to apply students’ science learning experience to testing items.

참고문헌 (73)

  1. Abd-El-Khalick, F., "Development and large-scale validation of an instrument to assess Arabic-speaking students’ attitudes toward science", International Journal of Science Education, 37(16), pp.2637~2663 (2015)
  2. Aikenhead, G., "Students’ ease in crossing cultural borders into school science", Science Education, 85, pp.180~188 (2001)
  3. Aikenhead, G., "Cross-cultural science education : A cognitive explanation of a cultural phenomenon", Journal of Research in Science Teaching, 36(3), pp.269~289 (1999)
  4. 어윤경, "심리검사의 운영모드와 실명기입 여부에 따른사회적 바람직성 변인 탐색", 교육평가연구, 20(4), pp.235~258 (2007), 한국교육평가학회
  5. 배병훈, "Rasch 모형을 이용한 한국판 사회적 바람직성 척도 단축형(SDS-9)의 타당화", 상담학연구, 16(6), pp.177~197 (2015), 한국상담학회[DOI]
  6. Charmaz, K., "Constructing grounded theory: A practical guide through qualitative analysis" (2006), Sage
  7. 지은림, "국제비교평가 검사들의 국가간 차이 분석을 위한 Rasch 모형 적용", 교육평가연구, 24(1), pp.89~106 (2011), 한국교육평가학회
  8. 조윤경, "한국인의 나의식-우리의식과 개별성-관계성, 심리사회적 성숙도 및 대인관계문제와의 관계", 한국심리학회지: 상담 및 심리치료, 15(1), pp.91~109 (2003), 한국상담심리학회
  9. Ways of improving Korean students’ affective characteristic based on PISA and TIMSS results, "Cho, J.", Korea Institute for Curriculum and Evaluation, ~ (2012)
  10. Strategies for improving the affective characteristics of Korean students based on the results of PISA and TIMSS, "Choe, S.", Korea Institute for Curriculum and Evaluation, ~ (2013)
  11. Choi, S., "Social psychology of Korean people", The Korean Psychological Association, 2, pp.151~162 (2004)
  12. 정수임, "과학 교육에서의 평가 연구 동향", 한국과학교육학회지, 36(4), pp.563~579 (2016), 한국과학교육학회[DOI]
  13. Corbin, J., "Basics of qualitative research: Techniques and procedures for developing grounded theory" (2008), Sage
  14. Costa, V., "When science is"another world" : Relationships between worlds of family, friends, school, and science", Science Education, 79(3), pp.313~333 (1995)
  15. Cronbach, L., "Response sets and test validity", Educational and Psychological Measurement, 6(3), pp.475~494 (1946)
  16. Crowne, D., "A new scale of social desirability independent of psychopathology", Journal of Consulting Psychology, 24, pp.349~354 (1960)
  17. Dudley, N., "Racial differences in socially desirable responding in selection contexts : Magnitude and consequences", Journal of Personality Assessment, 85(1), pp.50~64 (2005)
  18. Ferrando, P., "Detecting dissimulation in personality test scores : A comparison between person-fit indices and detection scales", Educational and Psychological Measurement, 61, pp.997~1012 (2001)
  19. Ferrari, J., "Looking good or being good? The role of social desirability tendencies in student perception of institutional mission and values", College Student Journal, 39(1), pp.7~13 (2005)
  20. Fives, H., "Developing a measure of scientific literacy for middle school students", Science Education, 98(4), pp.549~580 (2014)
  21. Ganster, D., "Social desirability response effects : Three alternative models", Academy of Management Journal, 26(2), pp.321~331 (1983)
  22. Heine, S., "What’s wrong with cross-cultural comparisons of subjective Likert scales? : The reference-group effect", Journal of Personality and Social Psychology, 82(6), pp.903~918 (2002)
  23. Jűrges, H., "The effect of central exit examinations on student achievement : Quasi-experimental evidence from TIMSS Germany", Journal of the European Economic Association, 3(5), pp.1134~1155 (2005)
  24. Keillor, B., "A cross-cultural", cross-national study of influencing factors and socially desirable response biases, 2001, pp.43(1), 63~84
  25. OECD Programme for International Student Assessment: An analysis of PISA 2015results, "Ku, J.", Korea Institute for Curriculum and Evaluation, ~ (2016)
  26. OECD Programme for International Student Assessment : Establishing a foundation of PISA 2018 field trial, "Ku, J.", Korea Institute for Curriculum and Evaluation, ~ (2016)
  27. 김수진, "중학생들의 수학에 대한 흥미와 가치 인식 변화가 수학 성취도에 미치는 영향 분석", 교과교육학연구, 18(3), pp.683~701 (2014), 교과교육연구소
  28. Comparative analysis of curriculum and achievement characteristics between Korea and high performing countries in PISA & TIMSS, "Kim, K.", Korea Institute for Curriculum and Evaluation, ~ (2009)
  29. 김승현, "사회적 규범의 측정: 응답편향의 실험적 연구", 한국정치연구, 22(2), pp.153~178 (2013), 사회과학연구원 한국정치연구소
  30. 김순옥, "중학생의 자기조절학습능력 수준에 따른 과학의 탐구능력 및 과학의 정의적 영역 특징 분석", 과학교육연구지, 35(2), pp.307~323 (2011), 과학교육연구소
  31. 김미영, "TIMSS 결과에 기초한 과학의 정의적 성취 특성 및 과학 교사의 인식 분석", 한국과학교육학회지, 33(1), pp.46~62 (2013), 한국과학교육학회
  32. Findings from TIMSS for Korea: TIMSS 2011 international results, "Kim, S.", Korea Institute for Curriculum and Evaluation, ~ (2012)
  33. 김용석, "사회적 바람직성 척도의 개발", 한국사회복지행정학, 12(3), pp.1~39 (2010), 한국사회복지행정학회
  34. Kind, P., "Developing attitudes towards science measures", International Journal of Science Education, 29(7), pp.871~893 (2007)
  35. Koballa, T. R., "Attitude and related concepts in science education", Science Education, 72(2), pp.115~126 (1988)
  36. Krynowsky, B., "Problems in assessing student attitude in science education : A partial solution", Science Education, 72(4), pp.575~584 (1988)
  37. 곽영순, "우리나라 중학교 2학년 학생들의 과학에 대한 정의적 태도 특성 탐색", 한국과학교육학회지, 37(1), pp.135~142 (2017), 한국과학교육학회[DOI]
  38. 이재봉, "중학교 과학 수업 학습 환경에 대한 변화 분석", 한국과학교육학회지, 36(5), pp.717~727 (2016), 한국과학교육학회[DOI]
  39. 이미경, "과학에 대한 태도와 과학 성취도의 관계", 한국과학교육학회지, 24(2), pp.399~407 (2004), 한국과학교육학회
  40. The results from PISA 2006, "Lee, M.", Korea Institute for Curriculum and Evaluation, ~ (2007)
  41. Technical report for PISA 2006 main study, "Lee, M.", Korea Institute for Curriculum and Evaluation, ~ (2007)
  42. Lee, M., "A preliminary study of defensive response style on a self-report personality assessment", The Journal of the Korean Association of Psychotherapy, 8(2), pp.61~80 (2016)
  43. MaCrae, R., "Social desirability scales: More substance than style", Journal of Consulting and Clinical Psychology, 51, pp.882~888 (1983)
  44. TIMSS 2011 international science report, "Martin, M.", Boston College, ~ (2012)
  45. Messick, S., "Improving inquires in social science" (1991), Erlbaum
  46. Ministry of Education Science, and Technology., "Science curriculum. Notification No. 2011-361 of MOEST", MOEST, ~ (2011)
  47. TIMSS 2011 international mathematics report, "Mullis, I.", Boston College, ~ (2012)
  48. Murayama, K., "A cross-cultural examination of the psychometric properties of response to the achievement goal questionnaire", Educational and Psychological Measurement, 69(2), pp.266~286 (2009)
  49. Myeong, J., "Predicting and understanding Korean high school students’ science track choice : Testing the theory of reasoned action by structural equation modeling", Journal of Research in Science Teaching, 30(4), pp.381~400 (1993)
  50. Ones, D., "Role of social desirability in personality testing for personnel selection : The red herring", Journal of Applied Psychology, 81, pp.660~679 (1996)
  51. Osborne, J., "Attitudes towards science : A review of the literature and its implications", International Journal of Science Education, 25(9), pp.1049~1079 (2003)
  52. Osborne, J., "Attitudes towards science: An update", Paper presented at the annual meeting of the American Educational Research Association (2009)
  53. 박정, "우리나라 중학생의 수학에 대한 정의적 특성 변화와 수학 성취에 미치는 영향력 분석", 수학교육, 46(1), pp.19~31 (2007), 한국수학교육학회
  54. Teachers, instruction, and achievement based on TIMSS 1999, "Park, C", Korea Institute for Curriculum and Evaluation, ~ (2004)
  55. 박현정, "학습동기, 자아개념, 학업성취간 관계의 집단간 동등성 분석: PISA 2006을 중심으로", 교육평가연구, 21(3), pp.43~67 (2008), 한국교육평가학회
  56. Paulhus, D., "Two component models of socially desirable responding", Journal of Personality and Social Psychology, 46, pp.589~609 (1984)
  57. Paulhus, D. L., "Interpersonal and intrapsychic adaptiveness of trait self-enhancement : A mixed blessing?", Journal of Personality and Social Psychology, 74, pp.1197~1208 (1998)
  58. Reise, S., "Assessing person-fit on measures of typical performance", Applied Measurement in Education, 9(1), pp.9~26 (1996)
  59. Saldaña, J., "The coding manual for qualitative researchers" (2009), Sage
  60. The Trends in International Mathematics and Science Study (TIMSS): Findings from TIMSS 2015for Korea, "Sang, K.", Korea Institute for Curriculum and Evaluation, ~ (2016)
  61. Schluf, Boaz, "Factors affecting responses to Likert type questionnaires : Introduction of the ImpExp, a new comprehensive model", Social Psychology of Education, 11(1), pp.59~78 (2008)
  62. Schunk, D., "Handbook of motivation at school" (2009), Routledge
  63. 서정희, "고등학교 과학 영재 학생과 일반 학생의 생애 학습 능력 비교", 생물교육, 35(1), pp.61~72 (2007), 한국생물교육학회
  64. Shen, C., "The relationship between students’achievement and their self-perception of competence and rigour of mathematics and science : A cross-national analysis", Assessment in Education, 7(2), pp.237~253 (2000)
  65. 신학경, "혼합라쉬모형을 적용한 TIMSS 2011 수학흥미 척도의 응답양식 탐색", 교육평가연구, 27(2), pp.429~448 (2014), 한국교육평가학회
  66. 손원숙, "자기보고식 설문 응답척도 사용의 개인차 및 일관성", 교육학연구, 55(1), pp.23~43 (2017), 한국교육학회
  67. 손은영, "사회적 바람직성 상, 하위 집단 간 성격검사의 구인동등성 검증", 한국심리학회지: 사회및성격, 21(2), pp.71~87 (2007), 한국사회및성격심리학회
  68. 송현주, "한국 고교생 대상 자기 보고식 집행 기능 척도 개발 예비 연구", Korean Journal of Clinical Psychology, 29(1), pp.109~124 (2010), 한국임상심리학회
  69. Stephen, A., "A quantitative review of the effect of computerized testing on the measurement of social desirability", Educational and Psychological Measurement, 60(3), pp.340~360 (2000)
  70. Stöber, J., "The social desirability scale-17(SDS-17): Convergent validity, discriminant validity, and relationship with age", European Journal of Psychological Assessment, 17(3), pp.222~232 (2001)
  71. Strauss, A. L., "Qualitative analysis for social scientists" (1987), Cambridge University Press
  72. Suzuki, L., "Handbook of multicultural assessment:Clinical, psychological, and educational applications" (2007), John Wiley & Sons, Inc
  73. Vailant, G., "Ego mechanism of defense" (1992), American Psychiatric Press

관련 논문AI추천

이공계 고등학생들의 과학 학습 경험의 의미 탐색: 인지적·정의적 성취 유형에 따른 공통점과 차이점을 중심으로신동희, 정수임교과교육연구소 · 교과교육학연구2018 · 제22권 제3호과학과 자기보고식 정의적 영역 평가의 정확성에 영향을 주는 요소 탐색신동희, 정수임한국과학교육학회 · 한국과학교육학회지2019 · 제39권 제3호초⋅중⋅고등학생들의 과학 정의적 성취가 낮은 원인에 대한 질적 연구강훈식, 김현정, 박지선, 윤혜경, 이성희, 이재원, 정은영, 정지현한국과학교육학회 · 한국과학교육학회지2022 · 제42권 제3호과학 관련 정의적 영역 검사 도구 활용 및 개선 내용 분석신동희, 정수임한국과학교육학회 · 한국과학교육학회지2019 · 제39권 제2호과학관련 정의적 영역 검사도구에 대한 조사 연구강훈식, 곽영순, 김희경, 신영준, 이성희, 이수영한국생물교육학회 · 생물교육2017 · 제45권 제1호과학 교육에서의 평가 연구 동향신동희, 정수임한국과학교육학회 · 한국과학교육학회지2016 · 제36권 제4호

이 간행물의 다른 논문 (9건)

과학영재 발굴⋅육성 종합계획 성과분석을 통한 과학영재교육 발전방안 탐색이봉우, 손정우pp. 775-785과학관련 사회쟁점(SSI) 토론 수업에서 스마트 기기의 활용 방식과 수업의 특징남혜인, 강훈식, 노태희pp. 787-797한국, 미국, 영국, 싱가포르의 과학 교육과정 비교 - 에너지 개념을 중심으로 -정용욱, 윤혜경pp. 799-812과학적 모형의 사회적 구성에서 스마트기기의 역할 모색김찬종, 최승언, 장은진pp. 813-824STEAM R&E를 통한 고등학생의 창의적 인재 역량 변화문공주, 김성원, 문지영, 황요한pp. 825-833
원문 보기