본문 바로가기
KERD
논문KCI 등재

학생들의 시스템 사고 수준 측정을 위한 Framework와 Rubric의 개발

Development of Framework and Rubric for Measuring Students’ Level of Systems Thinking

이현동|전재돈|이효녕
한국과학교육학회 (The Korean Association for Science Education)|2018.06|한국과학교육학회지 (Journal of the Korean Association for Science Education)|제38권 제3호|pp. 355-367|DOI http://dx.doi.org/10.14697/jkase.2018.38.3.355

0

조회

0

다운로드

22

인용

0

참고문헌

키워드

시스템 사고Systems Thinking시스템 사고 수준시스템 사고 정의시스템 사고 측정을 위한 루브릭Level of Systems ThinkingDefinition of Systems ThinkingRubric of Systems Thinking Evaluation
주제분류교육학

초록

이 연구의 목적은 학생들의 시스템 사고 수준을 측정하는 문항을 개발하기 위하여 첫째, 문헌 분석을 통해 시스템 사고 수준과 정의를 제시하고 둘째, 시스템 사고 정의와 수준에 근거하여 문항 개발을 위한 Framework을 개발하고 셋째, 시스템 사고 측정을 위한 열린 응답형 검사지를 채점할 수 있는 루브릭을 개발하는 것이다. 이를 위하여 문헌 분석 틀을 적용하여 국외 논문 60편에 대한 문헌 분석을 실시하였으며 분석된 내용을 근거로 시스템 사고 수준과 정의를 제시 하였다. 그리고 시스템 사고 수준과 정의에 근거하여 각 수준별 핵심 아이디어와 평가 요소를 포함한 Framework을 개발하였다. 또한 순위 선다형 문항 외에 열린 응답형 검사 문항의 채점을 위한 루브릭을 개발하였다. 루브릭은 Hung(2008)이 개발한 시스템 사고 측정을 위한 루브릭에 기반하여 연구팀에서 시스템 사고 수준과 정의에 적합하 도록 문항과 위계를 수정하였다. 그리고 각 문항마다 1∼5점 척도로 변환이 가능하도록 각 점수에 대한 정의를 제시하였다. 연구팀이 개발한 시스템 사고 수준과 정의, 문항 개발을 위한 Framework, 열린 응답형 검사지 채점을 위한 루브릭에 대하여 과학교육 전문가 7인에게 내용 타당도 검증을 의뢰하였으며 그 결과 CVI가 세 도구에서 모두 .95이상이 확인되었다. 이 연구 결과를 바탕으로 앞으로 학생들의 시스템 사고 수준을 측정할 수 있는 문항을 개발하고 개발된 문항에 대한 구인 타당도 및 준거 타당도 검증을 실시하고자 한다. 나아가 2015 개정 교육과정에서 강조하는 핵심 역량과 관련된 시스템 사고 수준의 체계적인 측정을 위한 타당화 연구도 진행하고자 한다.

Abstract

The purposes of this study are 1) to identify systems thinking level and definition, 2) to develop a framework for the assessment of systems thinking level, and 3) to develop a rubric for scoring open-ended written responded test. In order to achieve these purposes, a total of 60 articles were analyzed by using the literature analysis framework. The systems thinking level and definition are identified through the results of systems thinking literature analysis. Based on the systems thinking level and definitions, the research derived a framework that includes the core ideas and evaluation content of each level. In addition, rubric for the scoring of open-ended response test items was revised and supplemented. It is concluded that a content validity test on the tools (systems thinking level and definition, framework for item development, rubric) has been developed in the study. The content validity was verified by 7-science education experts. According to the result of CVI, it was found to be more than .95 in all three tools. Based on the results of this study, the research will develop items that can measure students’ level of systems thinking. The construct validity and criterion validity of the developed items should be verified systematically. The research could carry out a validation study for the systems thinking measurement related to the core competence emphasized in the 2015 revised curriculum.

참고문헌 (65)

  1. American Educational Research Association, "Standards for educational and psychological testing", ~ (1999)
  2. Arter, J., "Scoring rubrics in the classroom: Using performance criteria for assessing and improving student performance" (2001), Corwin Press
  3. Ben-Zvi Assaraf, O., "Development of System Thinking Skills in the Context of Earth System Education", Journal of Research in Science Teaching, 42(5), pp.518~560 (2005)
  4. Ben-Zvi Assaraf, O., "A Study of Junior High Students’Perceptions of the water cycle", Journal of Geoscience Education, 53(4), pp.366~373 (2005)
  5. Ben-Zvi Assaraf, O., "A Design Based Research of an Earth Systems Based Environmental Curriculum", Eurasia Journal of Mathematics, Science & Technology Education, 5(1), pp.47~62 (2009)
  6. Ben-Zvi Assaraf, O., "Four Case Studies, Six Years Later : Developing System Thinking Skills in Junior High School and Sustaining Them over Time", Journal of Research in Science Teaching, 47(10), pp.1253~1280 (2010)
  7. Bosch, O. J. H., "Getting the big picture in natural resource management—systems thinking as ‘method’for scientists, policy makers and other stakeholders", Systems Research and Behavioral Science, 24(2), pp.217~232 (2007)
  8. Bosch, O. J., "Managing complex issues through evolutionary learning laboratories", Systems Research and Behavioral Science, 30(2), pp.116~135 (2013)
  9. Breslyn, W., "Developing a learning progression for sea level rise : A major impact of climate change", Journal of Research In Science Teaching, 53(10), pp.1471~1499 (2016)
  10. Broks, A., "Systems Theory Of Systems Thinking – General And Particular Within Modern Science And Technology Education(STE)", Journal of Baltic Science Education, 15(4), pp.408~410 (2016)
  11. Cabrera, D., "Systems thinking", Evaluation and program planning, 31(3), pp.299~310 (2008)
  12. Checkland, P., "Systems thinking, systems practice" (1981), John Wiley & Son Ltd
  13. Davis A., "The Relationship between Systems Thinking and the New Ecological Paradigm", Systems Research and Behavioral Science, 33, pp.575~586 (2016)
  14. Yehudit J. Dori, "Teaching biotechnology through case studies?can we improve higher order thinking skills of nonscience majors?", Science Education, 87(6), pp.767~793 (2003), Wiley[DOI]
  15. Fehring, R. J., "Methods to validate nursing diagnoses", Heart and Lung, 16(6), pp.625~629 (1987)
  16. Gudovitch, Y., "The global Carbon cycle as a model for teaching ‘earth systems’ in high school: Development, implementation, and evaluation", master’s, pp.1997
  17. Hung, W., "Enhancing systems thinking skills with modelling", British Journal of Educational Technology, 39(6), pp.1099~1120 (2008)
  18. 임영구, "시스템 사고력 향상을 위한 글쓰기 교육 프로그램의 개발 및 효과 분석", 학습자중심교과교육연구, 14(12), pp.407~427 (2014), 학습자중심교과교육학회
  19. Ison, R., "Applying Systems Thinking to Higher Education", Systems Research and Behavioral Science, 16, pp.107~112 (1999)
  20. Jackson, M., "Systems Thinking : Creative Holism for Manager" (2003), John Wiley & Son Ltd
  21. 전재돈, "고등학생을 위한 시스템 사고 기반의 융합인재교육 프로그램 개발 및 적용 효과", 한국과학교육학회지, 35(6), pp.1007~1018 (2015), 한국과학교육학회[DOI]
  22. Kali, Y., "Effect of Knowledge Integration Activities on Students’ Perception of the Earth’s Crust as a Cyclic System", Journal of Research in Science Teaching, 40(6), pp.545~565 (2003)
  23. 강천덕, "물의 순환에 대한 고등학생들의 지구시스템 관련 개념과 시스템 사고의 분석", 과학교육연구지, 32(1), pp.61~72 (2008), 과학교육연구소[DOI]
  24. Kim, D., "Introduction to Systems Thinking" (1999), Pegasus Communications
  25. 김동환, "시스템사고의적용에 관한 내면적 성찰:점진적 시스템사고의 모색", 정부학연구, 11(2), pp.63~85 (2005), 정부학연구소
  26. 권용주, "생태계에 대한 생물교사의 시스템 사고 분석", 생물교육, 39(4), pp.529~543 (2011), 한국생물교육학회[DOI]
  27. 이효녕, "과학 고등학교와 일반 고등학교 학생들을 대상으로 시스템 사고측정 도구의 타당도 검증 및 시스템 사고 비교", 한국과학교육학회지, 33(6), pp.1237~1247 (2013), 한국과학교육학회
  28. 고주영, "포항시 우현동 두호층에서 산출된 Pleuronichthys sp. 화석", 한국지구과학회지, 37(3), pp.133~142 (2016), 한국지구과학회
  29. 이현동, "Iceberg(IB) 모델을 적용한 고등학생의 시스템 사고 분석 및 효과", 한국과학교육학회지, 37(4), pp.611~624 (2017), 한국과학교육학회[DOI]
  30. 이효녕, "고등학생들의 시스템 사고 측정을 위한 측정 도구 개발과 타당화", 한국과학교육학회지, 33(5), pp.995~1006 (2013), 한국과학교육학회
  31. 이효녕, "고등학생들의 시스템 사고 향상을 위한 교육프로그램 개발 및 적용 - 지구온난화를 중심으로 -", 한국지구과학회지, 32(7), pp.784~797 (2011), 한국지구과학회
  32. Maani, K. E., "Links between systems thinking and complex decision making", System Dynamics Review, 20(1), pp.21~48 (2004)
  33. Maani, K., "Systems thinking, system dynamics:Managing change and complexity" (2007), Prentice Hall
  34. Mayer, V. J., "Using the Earth system for integrating the science curriculum", Science Education, 79, pp.375~391 (1995)
  35. Meadows, D. L., "The climate change playbook" (2016), Chelsea Green
  36. "2015", ~
  37. Mitroff, I. I., "The unbound mind" (1993), Oxford University Press
  38. Mohan, L., "Developing a multi-year learning progression for carbon cycling in socio-ecological systems", Journal of Research in Science Teaching, 46(6), pp.675~698 (2009)
  39. Mohan, L., "Developing a carbon cycling learning progression for K-12", Paper presented at the annual meeting of the National Association for Research on Science Teaching (2006)
  40. 문병찬, "예비교사들의 탄소 순환에 대한 지구시스템의 관련개념과 시스템 사고의 적용", 한국지구과학회지, 25(8), pp.684~696 (2004), 한국지구과학회
  41. Nguyen, N., "Creating ‘Learning Laboratories’ for Sustainable Development in Biosphere : A Systems Thinking Approach", Systems Research and Behavioral Science, 28, pp.51~62 (2011)
  42. Nguyen, N., "Educating Systems Thinking for Sustainability : Experience with a Developing Country", Systems Research and Behavioral Science, 29(1), pp.14~29 (2012)
  43. O’Connor, J., "The art of systems thinking : Essential skills for creativity and problem solving" (1997), Thorsons Publishers
  44. Orion, N., "Global Science Literacy", pp.159~168 (2002), Kluwer Academic Publishers
  45. Orion, N., "Characterization of High School Students’System Thinking Skills in the Context of Earth Systems", Presented in the 2008 NARST Annual Meeting (2008)
  46. Ossimitz, G., "Teaching system dynamics and systems thinking in Austria and Germany", Proceedings of the 18th International Conference System Dynamics Society (2000)
  47. 박병열, "중등 과학 영재학생들의 시스템 사고력 향상을 위한 융합인재교육 프로그램의 개발 및 적용", 영재교육연구, 24(3), pp.421~444 (2014), 한국영재학회
  48. 박경숙, "예비 과학 교사들의 시스템 사고력의 향상을 위한융합인재교육 프로그램의 개발 및 적용", 교사교육연구, 57(1), pp.108~128 (2018), 과학교육연구소[DOI]
  49. Plummer, J., "Building a learning progression for celestial motion : An exploration of students’ reasoning about the Season", Journal of Research in Science Teaching, 51(7), pp.902~929 (2014)
  50. Raudenbush, S. W., "Higher order instructional goals in secondary schools : Class, teacher, and school influences", American Educational Research Journal, 30(3), pp.523~553 (1993)
  51. Resnick, L. B., "Changing assessments", pp.37~75 (1992), Springer
  52. Richmond, B., "Systems thinking : critical thinking skills for the 1990s and beyond", System Dynamics Review, 9, pp.113~133 (1993)
  53. Senge, P. M., "The fifth discipline : Fieldbook" (1996), Broadway Business
  54. Senge, P. M., "The fifth discipline : The art & practice of the learning organization" (2006), Crown Business
  55. Senge, P. M., "Schools that learn(Updated and Revised) : A fifth discipline fieldbook for educators, parents, and everyone who cares about education" (2012), Doubleday
  56. When Science Learners are Language Learners:Designing Linguistically Aware Instruction to Teach Science" the Knew Way", "Shear, L. F.", University of California, ~ (1998)
  57. Sibley, D., "Box Diagrams to Assess Students’ Systems thinking about the Rock, Water and Carbon Cycle", Journal of Geoscience Education, 55(2), pp.138~146 (2007)
  58. Stave, K., "What Constitutes Systems Thinking? A Proposed Taxonomy", Proceedings of the 25th International Conference of the System Dynamics Society, 3 (2007)
  59. Sterman, J. D., "Business dynamics: systems thinking and modeling for a complex world (No. HD30. 2 S7835 2000)", ~ (2000)
  60. Sweeney, L., "Bathtub dynamics: initial results of a systems thinking inventory", System Dynamics Review, 16(4), pp.249~286 (2000)
  61. Sweeney, L. B., "The systems thinking playbook:Exercises to stretch and build learning and systems thinking capabilities" (2010), Chelsea Green Publishing
  62. Vo, H. V., "Integrating systems thinking into IS education", Systems Research and Behavioral Science, 23(1), pp.107~121 (2006)
  63. Walker, G. H., "From telephones to iPhones : Applying systems thinking to networked, interoperable products", Applied Ergonomics, 40(2), pp.206~215 (2009)
  64. Zeidler, D. L., "Fallacies and student discourse : Conceptualizing the role of critical thinking in science education", Science Education, 76(4), pp.437~450 (1992)
  65. Zohar, A., "Higher order thinking skills and low-achieving students : Are they mutually exclusive?", The journal of the learning sciences, 12(2), pp.145~181 (2003)

관련 논문AI추천

시스템 사고력 평가를 위한 활동지와 루부릭 개발-통합과학 지구 시스템 단원을 중심으로손미현, 정대홍한국현장과학교육학회 · 현장과학교육2019 · 제13권 제1호고등학생들의 시스템 사고 측정을 위한 측정 도구 개발과 타당화권혁수, 박경숙, 이현동, 이효녕한국과학교육학회 · 한국과학교육학회지2013 · 제33권 제5호탄소 순환에 대한 시스템 사고 능력 수준 측정을 위한 검사도구 개발 및 적용이현동, 이효녕, 전재돈한국과학교육학회 · 한국과학교육학회지2022 · 제42권 제4호과학 탐구 과정 평가를 위한 루브릭 개발 및 적용이유정, 이현동, 이효녕사범대학부속중등교육연구소 · 중등교육연구2017 · 제65권 제1호시스템 사고 평가 루브릭을 활용한 예비교사들의 지구 시스템 내 탄소 순환에 대한 시스템 사고 수준 분석박경숙, 이현동, 이효녕, 전재돈한국과학교육학회 · 한국과학교육학회지2019 · 제39권 제5호과학적 논증과정 평가를 위한 루브릭 개발양일호, 이효녕, 이효정, 조현준한국과학교육학회 · 한국과학교육학회지2009 · 제29권 제2호

이 간행물의 다른 논문 (11건)

블랙박스 시뮬레이션에 참여한 초등예비교사의 모형 구성의 특징과 인식적 기준신명경, 이경건, 심한수, 박정우, 이선경pp. 305-317고등학교 과제 연구 수업에서 탐구 문제 도출 과정 탐색김성원, 이지선pp. 319-329실행공동체로서의 과학교실이 가지는 구조적 요인 사이의 관계 탐색 -초등과학 실험수업의 모둠활동 사례를 중심으로-송진웅, 정용재, 나지연, 박준형pp. 331-341문화역사적 활동이론을 통한 학부생 연구지원 프로그램 참여자의 과학연구 수행과정의 분석이지원pp. 343-354예비과학교사가 수업을 위한 비유를 생성하는 과정에서 나타나는 특징노태희, 김혜리, 김민환pp. 369-378
원문 보기