본문 바로가기
KERD
논문KCI 등재

문항반응이론을 적용한 창의⋅비판적 사고역량 진단도구 개발 및 타당화 연구

Development and Validation of Creative and Critical Thinking Competency Diagnostic Scale Using Item Response Theory

김영우|김종숙
한국교양교육학회 (The Korean Association of General Education)|2022.10|교양교육연구 (Korean Journal of General Education)|제16권 제5호|pp. 317-331

0

조회

0

다운로드

5

인용

0

참고문헌

키워드

진단도구타당화문항반응이론ValidityItem Response Theory창의⋅비판적 사고역량Creative and Critical ThinkingDiagnostic Scale
주제분류학제간연구

초록

본 연구 목적은 창의⋅비판적 사고역량을 객관적으로 측정할 수 있는 지필고사 형태의 진단도구를 개발하고 이를 타당화하는데 있다. 연구방법은 사고교육 전문가의 타당도 검증을 거친 톡트(TOCT) 문항 중 I대학 학부생에게 맞게 수정⋅보완한 40문항을 가지고 2021년 1월 예비검사를 거쳐 20개 문항을 최종 확정하였다. 그리고 2021년 10월에는 예비검사에서 개발한 진단도구의 타당성 검증을 위해 기초교양 사고교육영역 ‘논리적 사고’ 교과목 수강자 93명을 대상으로 본검사를 실시하였다. 이 진단도구는 5지선다형 객관식 문항으로 포괄적 이해, 창조적 구성, 합리적 평가, 문제해결 영역으로 구성되어 있다. 본 연구에서는 기술통계량, 상관관계 분석, 신뢰도 분석, 문항반응이론의 2-모수 로지스틱모형을 활용하여 문항별 정답률, 독립성, 신뢰도, 문항특성 등을 살펴보았다. 연구결과는 다음과 같다. 첫째, 연구참여자의 진단평가 평균 점수는 20점 만점에 9.26점으로 낮은 정답률(46.3%)을 보였다. 둘째, 상관관계 분석 결과 포괄적 이해와 문제해결 간, 창조적 구성과 문제해결 간, 창조적 구성과 합리적 평가 간 다소 낮은 양(+)의 상관관계를 보였지만 상관계수가 0.4 미만으로 다중공선성 문제가 없는 것으로 확인되었다. 셋째, 신뢰도 분석 결과 하위영역별 문항난이도가 적절한 문항이 상대적으로 적어 신뢰도가 매우 낮게 나타났다. 넷째, 문항난이도 분석 결과 난이도가 쉬운 문항 8개, 적절한 문항 5개, 어려운 문항 7개로 나타났다. 다섯째, 문항변별도 분석 결과 변별도가 있는 문항 4개, 높은 문항 6개였지 만 10개 문항은 변별도가 없는 문항으로 확인되었다. 이러한 연구결과를 토대로 창의⋅비판적 사고역량 진단도구가 지니는 한계점과 제언에 대해 논의하였다.

Abstract

The purpose of this study is to develop and validate a diagnostic scale in the form of a written test from which creative and critical thinking (two key competencies at university) can be objectively measured. The research method consisted of 40 questions, modified and supplemented to suit the undergraduate students of I University, from the TOCT questionnaire. This survey had been verified for its validity by education professionals. It was used in a preliminary test in January 2021, and narrowed down to 20 questions. Furthermore, in October 2021 the official test was conducted on 93 students enrolled in the ‘Logical Thinking’course for the unit of Thinking Education as a basic subject to verify the validity of the diagnostic scale developed in the preliminary test. This diagnostic scale comprises objective multiple choice questions with 5 possible answers in the areas of comprehensive understanding, creative composition, objective evaluation, and problem-solving. This study used a two-parameter logistic model of descriptive statistics, correlation analysis, reliability analysis, and item response theory to examine the correction rate, independence, reliability and question characteristics. The results of the study showed the following: First, the average score of the participants in the study displayed a low correction rate (46.3%) of 9.26 out of 20. Second, the result of the correlation analysis displayed a rather low positive (+) correlation analysis between comprehensive understanding and problem-solving between creative composition and problem-solving, as well as between creative composition and objective evaluation. However, the correlation coefficient was less than 0.4, which indicated that there is no multi-collinearity. Third, the result of the reliability analysis displayed a very low reliability due to a relatively small number of questions having a suitable item difficulty in each sub-category. Fourth, the result of the item difficulty analysis displayed 8 easy questions, 5 moderately difficult questions and 7 difficult questions. Fifth, the result of item discrimination analysis showed that there were 4 questions with item discrimination, and 6 questions with high discrimination, whereas 10 questions had no item discrimination. Based on these study results, the limitations and implications inherent in the creative and critical thinking diagnostic scale were discussed.

참고문헌 (67)

  1. 강순부, "고전검사이론과문항반응이론을 이용한 사관학교 1차 선발 수학시험의문항분석", 군사과학논집, 67(1), pp.113~128 (2016), 공군사관학교
  2. 강민수, "대학생 핵심역량 진단도구 개발 및 타당화 연구 -S대학 사례를 중심으로-", 한국산학기술학회논문지, 21(4), pp.236~247 (2020), 한국산학기술학회[DOI]
  3. 교육부, "2015 개정 교육과정 총론 및 각론 확정⋅발표", ~ (2015)
  4. 별책5 국어과 교육과정, "교육부", ~ (2015)
  5. 교육부, "초⋅중등학교 교육과정 총론" (2015)
  6. 권순구, "혁신교육과정 기반 핵심역량척도 개발 및 타당화 연구 : 공과대학을 중심으로", 교육문화연구, 26(2), pp.129~152 (2020), 교육연구소[DOI]
  7. 2020 KEDI 학생역량 조사 연구, "권희경", 한국교육개발원, ~ (2020)
  8. 교양교육에서의 학생 성과평가 도구의개발, "김동심", 한국대학교육협의회⋅한국교양기초교육원, ~ (2020)
  9. 김동심, "교양교육 학생성과 평가도구(ESOGE) 개발 및 타당화", 한국교육, 48(1), pp.61~88 (2021), 한국교육개발원[DOI]
  10. 김영채, "학교 창의력을 어떻게 교육할 수 있는가?", 사고개발, 16(1), pp.1~21 (2020), 대한사고개발학회[DOI]
  11. 김윤영, "공학계열 학생 핵심역량 진단도구 개발 및 타당화 연구", 공학교육연구, 24(4), pp.3~20 (2021), 한국공학교육학회[DOI]
  12. 김은경, "대학 교양교육에서의 창의, 융합역량 학습성과 루브릭 개발", 교양교육연구, 13(6), pp.497~519 (2019), 한국교양교육학회
  13. 김지원, "대학생 인문역량 자가진단 평가도구 개발 및 타당화 연구", 인문사회과학연구, 22(2), pp.447~472 (2021), 인문사회과학연구소[DOI]
  14. 김화영, "대학생 핵심역량 진단도구 개발 및 타당화: H 대학을 중심으로", 학습자중심교과교육연구, 20(24), pp.123~151 (2020), 학습자중심교과교육학회[DOI]
  15. 2016 KEDI 학생역량 조사 연구, "남궁지영", 한국교육개발원, ~ (2016)
  16. 박수정, "대학 특성화에 따른 대학생 핵심역량 진단도구 개발", 직업능력개발연구, 19(2), pp.79~107 (2016), 한국직업능력연구원[DOI]
  17. 박영신, "대학생 핵심역량 자가진단 평가도구 개발 및 타당화 연구", 교육방법연구, 29(4), pp.567~595 (2017), 한국교육방법학회[DOI]
  18. 박준호, "비판적 사고" (2013), 신아출판사
  19. 방선희, "비판적 사고 교육의 국내 연구동향과 시사점", 평생학습사회, 7(1), pp.61~83 (2011), 원격교육연구소
  20. 손원숙, "초등 예비교사의 핵심역량 진단도구 개발 및 타당화: 요인 분석 및 Rasch 모형의 적용", 교사교육연구, 60(4), pp.683~698 (2021), 과학교육연구소[DOI]
  21. 대학생 핵심역량진단(K-CESA) 지원과 활용(2019), "손유미", 한국직업능력개발원, ~ (2019)
  22. 대학생 핵심역량 진단(K-CESA) 지원과 활용(2017), "손유미", 한국직업능력개발원, ~ (2017)
  23. 성태제, "문항반응이론의 이해와 적용" (2019), 교육과학사
  24. 성태제, "문항반응이론 입문" (2019), 학지사
  25. 신윤선, "창의적 사고 역량과 학업적 자아개념의 종단적 관계: 자기회귀교차지연 효과 검증", 교육심리연구, 35(4), pp.663~686 (2021), 한국교육심리학회[DOI]
  26. 양미석, "중·고등학생 창의핵심역량 진단도구 개발", 교육정보미디어연구, 24(1), pp.95~124 (2018), 한국교육정보미디어학회[DOI]
  27. 우수명, "마우스로 잡는 26.0 SPSS" (2019), 양서원
  28. 윤지영, "대학생용 핵심역량 진단도구 타당화 연구: C대학의 핵심역량을 중심으로", 교육문화연구, 24(6), pp.353~373 (2018), 교육연구소[DOI]
  29. 이미라, "대학생 핵심역량 진단도구의 개발과 타당화 연구 : M대학교를 중심으로", 해양환경안전학회지, 24(5), pp.576~582 (2018), 해양환경안전학회[DOI]
  30. 이선경, "고차 확인적 요인분석을 적용한 대학생용 핵심역량 진단검사 개발 및 타당화", 한국교육, 47(1), pp.167~196 (2020), 한국교육개발원[DOI]
  31. 정혜진, "국어 교과 ‘비판적·창의적 사고 역량’ 측정도구 개발 및 타당화에 대한 탐색적 연구", 교육평가연구, 33(2), pp.511~532 (2020), 한국교육평가학회
  32. 조연순, "창의적 문제해결력 신장을 위한 초등과학교육과정 개발 연구: 과학의 내용지식, 과정지식, 창의적 사고기능의 융합", 초등교육연구, 13(2), pp.5~28 (2000), 한국초등교육학회
  33. 차혜경, "기독교 정신을 바탕으로 한 S대학 핵심역량 진단도구 개발 연구", 교육문화연구, 27(6), pp.295~321 (2021), 교육연구소[DOI]
  34. 천호준, "대학생 핵심역량 진단도구 개발: W대학교 학생들을 대상으로", 창의정보문화연구, 4(3), pp.261~271 (2018), 한국창의정보문화학회[DOI]
  35. 최선일, "A전문대학 학생들을 위한 핵심역량 진단척도 고도화", 인문사회 21, 12(6), pp.1325~1340 (2021), 인문사회 21
  36. 최훈, "김영정 교수의 비판적 사고론", 논리연구, 13(2), pp.1~26 (2010), 한국논리학회[DOI]
  37. 홍경남, "대학『비판적 사고』평가시스템 개발에 관한 연구 - 중앙대학교 <논리와 사고> 평가시스템 개발을 중심으로 -", 교양교육연구, 4(1), pp.41~71 (2010), 한국교양교육학회
  38. 교양교육 영역별 성과진단 방안 연구: 교양교육 전반영역, "홍성연", 한국대학교육협의회⋅한국교양기초교육원, ~ (2016)
  39. "Value Rublic for creative thinking" (2009)[URL]
  40. Richard, P., "Critical Thinking Tools for Taking Charge of your Learning and Your Life", pp.2006, Pearson
  41. Congelosi, J. S., "Designing Tests for Evaluating Student Achievement" (1990), Longman
  42. "건국대학교 홈페이지"[URL]
  43. "경남대학교 홈페이지"[URL]
  44. "경성대학교 홈페이지"[URL]
  45. "고신대학교 홈페이지"[URL]
  46. "광운대학교 홈페이지"[URL]
  47. "국민대학교 홈페이지"[URL]
  48. "대진대학교 홈페이지"[URL]
  49. "덕성여자대학교 홈페이지"[URL]
  50. "동국대학교 홈페이지"[URL]
  51. "동아대학교 홈페이지"[URL]
  52. "명지대학교 홈페이지"[URL]
  53. "부산외국어대학교 홈페이지"[URL]
  54. "상명대학교 홈페이지"[URL]
  55. "서경대학교 홈페이지"[URL]
  56. "서울여자대학교 홈페이지"[URL]
  57. "성신여자대학교 홈페이지"[URL]
  58. "세종대학교 홈페이지"[URL]
  59. "아주대학교 홈페이지"[URL]
  60. "이화여자대학교 홈페이지"[URL]
  61. "인제대학교 홈페이지"[URL]
  62. "인하대학교 홈페이지"[URL]
  63. "창신대학교 홈페이지"[URL]
  64. "창원대학교 홈페이지"[URL]
  65. "한양대학교 홈페이지"[URL]
  66. "홍익대학교 홈페이지"[URL]
  67. "4차 산업혁명시대, 미래 인재에게 필요한 역량은?" (2019)[URL]

관련 논문AI추천

문항반응이론을 적용한 융합적 사고 및 문제해결 역량진단 도구의 병렬 단축형 개발 : H 대학교를 중심으로남나라, 유현주한국공학교육학회 · 공학교육연구2023 · 제26권 제3호대학생 창의적 문제해결 역량 측정도구 개발송홍준, 이병임한국창의력교육학회 · 창의력교육연구2016 · 제16권 제4호대학생 핵심역량 진단도구 개발 및 타당화 연구-A대학 사례를 중심으로김희연, 민경석, 정지영한국교양교육학회 · 교양교육연구2018 · 제12권 제3호창의성과 비평적 사고를 연계한 교양 교과목 및 평가도구 개발의 방향민춘기한국교양교육학회 · 교양교육연구2021 · 제15권 제5호과학영재교육대상자 선발에 사용되는 창의적 문제해결력 검사의 타당성 검토송은선, 한기순한국창의력교육학회 · 창의력교육연구2019 · 제19권 제4호Rasch 모형을 적용한 대학생 핵심역량의 동형진단도구 개발: K대학교 핵심역량진단도구를 중심으로이연주, 임경수교육발전연구소 · 교육혁신연구2021 · 제31권 제2호

이 간행물의 다른 논문 (25건)

시대 전환기에 제기하는 국립교양대학전용숙, 안현효, 김영우pp. 11-23자유학예교육의 현대적 변용을 위한 조건과 방향 탐색－개념적, 역사적 접근을 중심으로정연재pp. 25-38근원적 인지메커니즘을 통한 인성의 정체성 탐구송광한pp. 41-50학습자 맞춤형 고전교육의 가능성 탐색조혜경pp. 51-67메타버스 시대, 교양교육 텍스트로서 <구운몽> 읽기박은정pp. 69-85
원문 보기