본문 바로가기
KERD
논문KCI 등재

문항 반응 분석을 활용한 초등학생과 중학생의 시스템 사고 검사 도구 타당도 검증

Validity Verification of Systems Thinking Measuring Instrument of Elementary School Students’ and Middle School Students’ : Using Item Response Analysis

이현동
사범대학부속중등교육연구소 (Secondary Education Institute)|2019.06|중등교육연구 (SECONDARY EDUCATION RESEARCH)|제67권 제2호|pp. 249-277|DOI 10.25152/ser.2019.67.2.249

0

조회

0

다운로드

6

인용

0

참고문헌

키워드

시스템 사고Systems ThinkingRating Scale Model시스템 사고 검사 도구문항 반응 분석System Thinking Measuring InstrumentItem Reponse Analysis
주제분류교육학

초록

이 연구의 목적은 초등학생과 중학생을 대상으로 시스템 사고 검사 도구의 구인 타당도와 결과 타당도를 검증하는 것이다. 이를 위해 초등학생 1150명과 중학생 324명의 데이터를 수집하였으며, SPSS를 활용하여 문항 내적 일치도와 독립 표본 t-test 및 winsteps의 Rating Scale Model을 활용한 문항 반응 분석을 실시하였다. 연구 결과는 다음과 같다. 첫째, SPSS 분석 결과 시스템 사고 검사 도구의 문항 내적 일치도는 .883으로 높은 신뢰도로 분석되었다. 그리고 초등학생과 중학생 집단의 분산은 같았으며 두 집단에 대하여 t-test를 실시한 결과 유의확률 .000으로 평균에 유의미한 차이가 나타났다. 둘째, Rating Scale Model 분석 결과 학생들의 시스템 사고 능력이 높을수록 각 문항의 5점에 응답할 확률이 높아졌다. 그리고 시스템 사고 능력 평균값의 경우 초등학생은 1.04, 중학생은 1.52로 중학생이 높았다. 또한 시스템 사고 검사 도구 20문항의 분포는 문항 곤란도의 평균을 중심으로 정규 분포로 나타났다. 셋째, DIF 분석 결과 시스템 사고 검사 도구의 각 문항은 초등학생과 중학생에게 동일한 기능을 한 것으로 분석되었다. 연구 결과로부터 시스템 사고 검사 도구는 Rating Scale Model 분석 결과에서도 타당한 결과를 보여주어 구인 타당도와 결과 타당도가 검증된 검사지로 판단된다. 또한 이 연구의 결과는 앞으로 시스템 사고 연구에서 문항 반응 분석을 활용하여 학생들의 시스템 사고 수준을 분석할 수 있는 근거가 될 것으로 판단된다.

Abstract

The purpose of this study is to verify the construct validity and the consequential validity of the systems thinking measuring instrument for elementary school students and middle school students. For this study, data were collected from 1150 elementary school students and 324 middle school students. Analysis was performed using SPSS(Cronbach-α, two-independent sample t-test) and Winsteps(Rating scale model). The results of the study are as follows. First, Cronbach-α of systems thinking measuring instrument was highly reliable(.883). The variance of elementary and middle school students were same and t-test analysis revealed significant differences. Second, Rating scale model analysis Results showed that the higher the students' systems thinking ability, the higher the probability of responding to the 5 points of each item. And in the case of systems thinking were middle school students was higher by 1.52 logit than elementary school students by 1.04 logit. In addition, the distribution of the 20 items of the systems thinking measuring instrument showed a normal distribution centering on the average of the item difficulty. Third, DIF analysis, each item of the systems thinking measuring instrument was analyzed to have the same function for elementary school students and middle school students. From the results of the study, it is judged that the systems thinking measuring instrument is a verified about the construct validity and the consequential validity. Also, the results of this study will be a basis for analyzing the systems thinking level of students using item response analysis in following research.

참고문헌 (60)

  1. 강천덕, "물의 순환에 대한 고등학생들의 지구시스템 관련 개념과 시스템 사고의 분석", 과학교육연구지, 32(1), pp.61~72 (2008), 과학교육연구소[DOI]
  2. "교육부", 2015
  3. 권용주, "생태계에 대한 생물교사의 시스템 사고 분석", 생물교육, 39(4), pp.529~543 (2011), 한국생물교육학회[DOI]
  4. 김도훈, "청소년의 시스템 사고 교육을 통한 창의성의 기반이 되는 사고의 확장 효과 분석", 한국시스템다이내믹스연구, 7(1), pp.51~65 (2006), 한국시스템다이내믹스학회
  5. 김영민, "기초공통개념으로서 에너지에 대한 3∼9학년 학생들의 문항 반응 분석", 한국과학교육학회지, 36(6), pp.815~833 (2016), 한국과학교육학회[DOI]
  6. 김형욱, "시스템 사고 기반 STEAM형 ESD 프로그램이 초등학생의 환경소양 및 시스템 사고 능력에 미치는 영향", 환경교육, 30(1), pp.85~102 (2017), 한국환경교육학회[DOI]
  7. 김형욱, "초등학생을 위한 시스템 사고 기반의 융합인재교육 프로그램 개발 및 적용 효과", 현장과학교육, 11(3), pp.288~301 (2017), 한국현장과학교육학회[DOI]
  8. 맹승호, "학습 발달과정 연구의 현황, 방법론적 특징 및 연구 사례", 한국과학교육학회지, 33(1), pp.161~180 (2013), 한국과학교육학회
  9. 맹승호, "판구조론의 학습발달과정 개발을 위한 지구적 인지과정 평가의 횡단적 문항 반응 분석: Rasch 모델", 한국과학교육학회지, 35(1), pp.37~52 (2015), 한국과학교육학회[DOI]
  10. 맹승호, "순위 선다형 문항을 이용한 천문 시스템 학습 발달과정 개발 및 타당화 연구", 한국과학교육학회지, 34(8), pp.703~718 (2014), 한국과학교육학회[DOI]
  11. 문병찬, "예비교사들의 탄소 순환에 대한 지구시스템의 관련개념과 시스템 사고의 적용", 한국지구과학회지, 25(8), pp.684~696 (2004), 한국지구과학회
  12. 박민정, "PBL 연계 투약시뮬레이션교육이 간호대학생의 시스템 사고능력, 학습몰입, 문제해결 적극성 및 투약간호수행능력에 미치는 효과", 디지털융복합연구, 16(8), pp.221~231 (2018), 한국디지털정책학회[DOI]
  13. 설현수, "Messick의 타당도 관점에서 Rasch 측정모형 적용을 통한 대학 강의평가 도구개발의 타당화", 교육평가연구, 20(4), pp.31~51 (2007), 한국교육평가학회
  14. 성태제, "문항반응이론의 이해와 적용" (2016), 교육과학사
  15. 성태제, "연구방법론" (2014), 학지사
  16. 오현석, "중학교 과학 천문 수업에서 나타나는 시스템 사고 분석: 별과 우주 단원에 대한 과학 교사의 교수 실행 사례", 한국지구과학회지, 36(6), pp.591~608 (2015), 한국지구과학회
  17. 이기영, "초등학생의 지구의 운동과 태양계 학습 발달과정의 타당성 검증: 구인 타당도 및 결과 타당도를 중심으로", 한국과학교육학회지, 36(1), pp.177~190 (2016), 한국과학교육학회[DOI]
  18. 이현동, "교육격차 해소를 위한 취약계층 학생과 일반 학생의 시스템 사고 비교 분석: 탐색적 연구", 중등교육연구, 66(1), pp.307~327 (2018), 사범대학부속중등교육연구소[DOI]
  19. 이현동, "시스템 사고가 고등학생의 과학 자기 효능감에 미치는 영향", 한국지구과학회지, 37(3), pp.173~185 (2016), 한국지구과학회
  20. 이현동, "Iceberg(IB) 모델을 적용한 고등학생의 시스템 사고 분석 및 효과", 한국과학교육학회지, 37(4), pp.611~624 (2017), 한국과학교육학회[DOI]
  21. 이효녕, "고등학생들의 시스템 사고 향상을 위한 교육프로그램 개발 및 적용 - 지구온난화를 중심으로 -", 한국지구과학회지, 32(7), pp.784~797 (2011), 한국지구과학회
  22. 이효녕, "고등학생들의 시스템 사고 측정을 위한 측정 도구 개발과 타당화", 한국과학교육학회지, 33(5), pp.995~1006 (2013), 한국과학교육학회
  23. 이효녕, "과학 고등학교와 일반 고등학교 학생들을 대상으로 시스템 사고측정 도구의 타당도 검증 및 시스템 사고 비교", 한국과학교육학회지, 33(6), pp.1237~1247 (2013), 한국과학교육학회
  24. 이효녕, "학생들의 시스템 사고 수준 측정을 위한 Framework와 Rubric의 개발", 한국과학교육학회지, 38(3), pp.355~367 (2018), 한국과학교육학회[DOI]
  25. 이효녕, "초등학생의 시스템 사고 요인 구조 검증과 선호 과목에 따른 시스템 사고 비교", 한국과학교육학회지, 39(2), pp.161~171 (2019), 한국과학교육학회[DOI]
  26. 임영구, "시스템 사고력 향상을 위한 글쓰기 교육 프로그램의 개발 및 효과 분석", 학습자중심교과교육연구, 14(12), pp.407~427 (2014), 학습자중심교과교육학회
  27. 전재돈, "고등학생을 위한 시스템 사고 기반의 융합인재교육 프로그램 개발 및 적용 효과", 한국과학교육학회지, 35(6), pp.1007~1018 (2015), 한국과학교육학회[DOI]
  28. 조규동, "시스템 사고에 기반한 STEAM 교육 프로그램이 기후변화 학습에 미치는 효과", 한국콘텐츠학회 논문지, 17(7), pp.113~123 (2017), 한국콘텐츠학회[DOI]
  29. 조옥희, "시뮬레이션 교육이 간호대학생의 교육실재감, 시스템사고능력 및 문제해결 적극성에 미치는 효과", 가정간호학회지, 23(2), pp.147~154 (2016), 한국가정간호학회[DOI]
  30. 하민수, "과학사에 근거한 진화개념검사도구의 타당도 확인 및 맥락에 따른 진화개념 발달 탐색", 한국과학교육학회지, 36(3), pp.509~517 (2016), 한국과학교육학회[DOI]
  31. 하민수, "2015 개정 과학과 교육과정에 기초한 과학과 핵심역량 조사 문항의 개발 및 적용", 한국과학교육학회지, 38(4), pp.495~504 (2018), 한국과학교육학회[DOI]
  32. 한동균, "사회과 지속가능성교육을 위한 환경소양과 시스템사고의 관계 탐색", 사회과교육, 54(2), pp.65~83 (2015), 한국사회과교육연구학회
  33. Ben-zvi-Assaraf, O., "Development of System Thinking Skills in the Context of Earth System Education", Journal of Research in Science Teaching, 42(5), pp.518~560 (2005)
  34. Ben-zvi-Assaraf, O., "A Study of Junior High Students’Perceptions of the water cycle", Journal of Geoscience Education, 53(4), pp.366~373 (2005)
  35. Ben-Zvi-Assaraf, O., "Four case studies, six years later : Developing system thinking skills in junior high school and sustaining them over time", Journal of Research in Science Teaching, 47(10), pp.1253~1280 (2010)
  36. Boone, W., "The Role of Rasch Analysis When Conducting Science Education Research Utilizing Multiple-Choice Tests", Science Education, 90, pp.253~269 (2006)
  37. Boone, W., "Rasch Analysis in the Human Sciences" (2014), Springer
  38. Boone, W., "Using Rasch Theory to Guide the Practice of Survey Development and Survey Data Analysis in Science Education and to Inform Science Reform Efforts : An Exemplar Utilizing STEBI Self-Efficacy Data", Science Education, 95, pp.258~280 (2011)
  39. Boone, W., "Utilizing Multifaceted Rasch Measurement Through FACETS to Evaluate Science Education Data Sets Composed of Judges, Respondents, and Rating Scale Items : An Exemplar Utilizing the Elementary Science Teaching Analysis Matrix Instrument", Science Education, 100, pp.221~238 (2016)
  40. Breslyn, W., "Developing a learning progression for sea level rise : A major impact of climate change", Journal of Research In Science Teaching, 53(10), pp.1471~1499 (2016)
  41. Davis A., "The Relationship between Systems Thinking and the New Ecological Paradigm", Systems Research and Behavioral Science, 33, pp.575~586 (2016)
  42. Dorani, K., "Developing Question Sets to Assess Systems Thinking Skills", Paper presented at the International Conference of the System Dynamics Society (2015)
  43. Dyehouse, M., "A comparison of linear and systems thinking approaches for program evaluation illustrated using the Indiana Interdisciplinary GK-12", Eval Program Plann, 32(3), pp.187~196 (2009)
  44. Groves, K. S., "Linear and Nonlinear Thinking : A Multidimensional Model and Measure", The Journal of Creative Behavior, 49(2), pp.111~136 (2015)
  45. Kali, Y., "Effect of Knowledge Integration Activities on Students’ Perception of the Earth’s Crust as a Cyclic System", Journal of Research in Science Teaching, 40(6), pp.545~565 (2003)
  46. Kim, D., "Introduction to Systems Thinking" (1999), Pegasus Communications
  48. Maani, K. E., "Links between systems thinking and complex decision making", System Dynamics Review, 20(1), pp.21~48 (2004)
  49. Messick, S., "Validity of Psychological Assessment", American Psychologist, 50(9), pp.741~749 (1995)
  50. Mohan, L., "Developing a multi-year learning progression for carbon cycling in socio-ecological systems", Journal of Research in Science Teaching, 46(6), pp.675~698 (2009)
  51. Mohan, L., "Developing a carbon cycling learning progression for K-12", Paper presented at the annual meeting of the National Association for Research on Science Teaching (2006)
  52. 남윤경, "Developing a Framework of Conceptual Understandings of Earth Systems", 한국지구과학회지, 37(5), pp.309~322 (2016), 한국지구과학회
  53. Neumann, I., "Evaluating Instrument Quality in Science Education : Rasch-based analyses of a Nature of Science test", International Journal of Science Education, pp.1~33 (2010)
  54. Orion, N., "Characterization of High School Students' System Thinking Skills in the Context of Earth Systems", Presented in the 2008 NARST Annual Meeting (2008)
  55. Plummer, J., "Building a learning progression for celestial motion : An exploration of students’ reasoning about the Season", Journal of Research in Science Teaching, 51(7), pp.902~929 (2014)
  56. Rasch, G., "Probabilistic Models for Some Intelligence and Attainment Tests" (1960), Danish Institute for Education Research
  57. Senge, P. M., "The fifth discipline: Fieldbook" (1996), Broadway Business
  58. Senge, P. M., "The fifth discipline : The art & practice of the learning organization" (2006), Crown Business
  59. Senge, P. M., "Schools that learn(Updated and Revised): A fifth discipline fieldbook for educators, parents, and everyone who cares about education" (2012), Doubleday
  60. Wright, B., "Reasonable mean-square-fit values", Rasch Measurement Transactions, 8(3), pp.370~ (1994)

관련 논문AI추천

초등학생의 시스템 사고 요인 구조 검증과 선호 과목에 따른 시스템 사고 비교이현동, 이효녕, 전재돈한국과학교육학회 · 한국과학교육학회지2019 · 제39권 제2호고등학생들을 대상으로 한 개정 시스템 사고 검사도구(Re_STMI)의 타당도 검증박병열, 이현동, 이효녕, 전재돈뇌·AI기반교육연구소 · Brain, Digital, & Learning2024 · 제14권 제1호과학 고등학교와 일반 고등학교 학생들을 대상으로 시스템 사고측정 도구의 타당도 검증 및 시스템 사고 비교이현동, 이효녕한국과학교육학회 · 한국과학교육학회지2013 · 제33권 제6호고등학생들의 시스템 사고 측정을 위한 측정 도구 개발과 타당화권혁수, 박경숙, 이현동, 이효녕한국과학교육학회 · 한국과학교육학회지2013 · 제33권 제5호예비 교사를 대상으로 한 시스템 사고 검사 도구 개정 및 타당화이현동과학교육연구소 · 교사교육연구2024 · 제63권 제2호초⋅중등학교 학생의 STEAM 문제해결력 평가 도구의 개발박현주, 백윤수, 변수용, 심재호과학교육연구소 · 교사교육연구2017 · 제56권 제2호

이 간행물의 다른 논문 (4건)

특성화 고등학생의 진로교육 유형 탐색과 유형별 진로개발역량 및 자기효능감 차이권미소pp. 173-198지구 환경에 대한 예비 중등 과학 교사들의 인식김윤지, 박종근pp. 199-219소외계층 영재 셀프리더십 프로그램의 효과분석 연구 : 도시재생 프로젝트 중심으로이미순pp. 221-247싱가포르 사회과 교육과정 분석을 통한 시사점 탐색조철기, 이해영, 김현미, 이정우, 배화순pp. 279-311
원문 보기