강의평가 문항 개발 및 타당도 연구- H대학의 사례를 중심으로
A Study on Developing and Validating the Lecture Evaluation Tool-Focusing on the H University case
0
조회
0
다운로드
10
인용
0
참고문헌
키워드
초록
본 연구에서는 H대학의 강의평가 도구를 개발하고 타당화했다. 연구대상은 H대학교의 2019년 1학기 재학생 1,189명이며, 총 강좌수는 전공 및 교양을 포함한 28개이다. 조사를 위한 예비문항 제작을 위해서 교내 학생 20명과 교내 교수 9명이 문항검토에 참여하였다. 문항검토에 의해 조사도구는 8개의 요소, 37개의 강의평가 문항으로 구성되었다. 연구결과는 다음과 같다. 첫째, 37개의 예비문항에 대해 탐색적 요인분석 결과, 요인 3개를 추출하였다. 각각의 요인을 ‘수업계획역량, ‘수업진행역량’, ‘평가계획역량’으로 명명하였다. 둘째, 각각의 요인에 대해 탐색적 요인분석을 실시하고, 내용타당성과 요인부하량을 고려하여 최종 문항을 선정하였다. 그 결과, ‘수업계획역량’ 6개, ‘수업진행역량’ 8개, ‘평가계획역량’ 8개 문항을 최종적으로 선정하였다. 전체 문항수는 22개이다. 셋째, 선정된 문항의 요인 구조 적합성을 알아보기 위해 확인적 요인분석을 실시하였으며, 문항의 양호도를 알아보기 위해서는 Cronbach α계수를 산출하였다. 그 결과 강의평가 최종 문항 3개의 영역 모두 양호하게 나타났다. 연구결과에 의해 다음과 같은 결론을 내릴 수 있다. 첫째, 강의에 관련한 교수자의 역량은 ‘수업계획역량’, ‘수업진행역량’, ‘평가계획역량’ 3가지임을 알 수 있다. 둘째, 각 역량간의 문항내적합치도가 .9 이상으로 높게 나타나기 때문에 강의평가 문항 수를 각 대학의 상황에 맞게 조정해서 사용하는 것이 가능하다. 본 연구의 의의는 교내 연구결과를 반영하고 강의평가 개발 과정에 교내 구성원을 참여시켰으며 타당화 과정을 거쳤다는 것이다.
Abstract
This study developed and validated the teaching assessment tools of H University. The data were collected from 1,189 students enrolled first semester at H University in 2019. The total number of courses is 28, including majors and liberal arts. The research was conducted by using 37 newly developed lecture assessment questions. The results of the study are as follows. First, as a result of the exploratory factorial analysis of the 37 pilot questionnaires, three factors were extracted which were named ‘teaching performance capability’, ‘teaching plan capability’ and ‘assessment plan capability’, respectively. Second, exploratory factorial analysis was conducted with each factor, and the final question was selected by considering content validity and factor loading. As a result, eight ‘teaching performance capability’, six ‘teaching plan capability’ and eight ‘assessment plan capability’ questions were finally categorized and selected. The total number of questions is 22. Third, it was found that all three areas were good with confirmatory factor analysis, and they showed that internal consistency reliability for the final selected question. Based on the present results, we can arrive the following conclusions. First, the teaching competencies for lectures are ‘teaching plan capability’, ‘teaching performance capability’ and ‘assessment plan capability’. Second, because the internal consistency among the three competencies is over .9, the present suggested questions can be selectively reconstructed through adjusting the question number depending on each university’s situation. In order to develop the lecture assessment questions, H University has already conducted the relevant research and laid the foundation for this study. This study is meaningful in that it reflects the results of campus studies and involved its school member in the process of developing lecture assessment and has undergone a rationalization process.
참고문헌 (30)
- 강현철, "구성타당도 평가에 있어서 요인분석의 활용", Journal of Korean Academy of Nursing, 43(5), pp.587~594 (2013), 한국간호과학회
- 고은미, "전문대학 수업유형별 강의평가도구 개발 연구", 인문학논총, 31, pp.365~394 (2013), 인문과학연구소
- 김경언, "대학 강의평가 도구 개선 및 타당화 연구: K대학 사례를 중심으로", 한국교육문제연구, 36(4), pp.1~26 (2018), 한국교육문제연구소[DOI]
- 김명화, "강의평가의 타당도와 신뢰도", 아시아교육연구, 6(3), pp.1~24 (2005), 교육연구소
- 김선연, "대학교수의 교육역할 진단도구 타당화 연구", 교육정보미디어연구, 16(4), pp.575~599 (2010), 한국교육정보미디어학회
- "Educational Role", Journal of Korean Association for Educational Information and Media, 16(4), pp.575~599
- 김성숙, "학기중 적용을 위한 강의진단 평가도구 개발과 타당성 분석", 교육평가연구, 21(1), pp.55~78 (2008), 한국교육평가학회
- 김주환, "구조방정식 모형으로 논문쓰기" (2012), 커뮤니케이션북스
- 문수백, "구조방정식모델링의 이해와 적용" (2009), 학지사
- 박노진, "핵심 문항들을 활용한 모델링-강의 평가 자료를 활용한 사례연구", 한국데이터정보과학회지, 20(6), pp.1075~1083 (2009), 한국데이터정보과학회
- 백순근, "위계선형모형을 활용한 대학생의 강의평가 분석 - S대학교 교양강의를 중심으로 -", 교육평가연구, 21(2), pp.1~24 (2008), 한국교육평가학회
- 설현수, "Messick의 타당도 관점에서 Rasch 측정모형 적용을 통한 대학 강의평가 도구개발의 타당화", 교육평가연구, 20(4), pp.31~51 (2007), 한국교육평가학회
- 신소영, "강의평가결과의 신뢰성 제고 방안 연구:강의평가제도의 운영을 중심으로", 순천향 인문과학논총, 35(4), pp.115~145 (2016), 인문학연구소
- 염시창, "대학 강의평가도구의 타당화 및 관련 변인의 다층분석", 교육평가연구, 21(2), pp.25~52 (2008), 한국교육평가학회
- 오숙영, "강의평가점수 영향력 요인에 대한 사후조정 연구", 교육평가연구, 28(4), pp.1225~1254 (2015), 한국교육평가학회
- 윤유진, "강의평가에 영향을 미치는 변인 연구- 교양교과목을 중심으로", 교양교육연구, 12(5), pp.185~210 (2018), 한국교양교육학회
- 이명근, "교수설계이론의 재개념화와 지향점", 교육공학연구, 12(1), pp.125~138 (1996)
- 이은해, "아동 연구방법의 이해" (2007), 학지사
- 이정기, "대학 강의평가 문항 개선 및 활용 방안 연구", 교양교육연구, 7(6), pp.247~274 (2013), 한국교양교육학회
- 이종승, "교육, 심리, 사회 연구방법론" (2009), 교육과학사
- 이희원, "수업 개선을 위한 강의평가 결과 활용 방안 탐색 -S대학의 강의평가 결과 피드백 시스템의 개발 및 적용", 열린교육연구, 21(3), pp.257~283 (2013), 한국열린교육학회
- 지은림, "대학 교수자를 위한 강의자가진단도구 개발의타당화 및 관련변인 분석", 교육평가연구, 19(1), pp.51~72 (2006), 한국교육평가학회
- 최윤희, "강의평가에 대한 학생과 교수의 인식 비교", 교육정보미디어연구, 25(2), pp.251~272 (2019), 한국교육정보미디어학회[DOI]
- 하오선, "강의평가 응답분석을 통한 강의평가도구 개선방안 - D대학 강의평가 사례를 중심으로 -", 열린교육연구, 22(3), pp.273~294 (2014), 한국열린교육학회
- Donovan, J., "Constructive student feedback: Online vs. traditional course evaluations", Journal of Interactive Online Learning, 5(3) (2006)
- Eric, A. A., "Improvement of instruction and teacher effectiveness: are student ratings reliable and valid?", Higher education, 16(3), pp.267~278 (1987)
- Keley, J., "The Teacher Behaviors Checklist: Factor Analysis of Its Utility for Evaluating Teaching", Teaching of Psychology, 33(2), pp.84~91 (2009)
- Gable, R. K., "Instrument development in the affective domain" (1993), Kluwer Academic Publisher
- Marsh, H. W., "Students’ evaluations of university teaching: Dimensionality, reliability, validity, potential baises, and utility", Journal of Educational Psychology, 76(5), pp.707~754 (1984)
- Zwick, W. R., "Comparison of Five Rules for Determining the Number of Components to Retain", Psychological Bulletin, 99, pp.432~442 (1986)