본문 바로가기
KERD
논문KCI 등재

위계적 선형모형을 활용한 대학생 강의평가 관련 요인 탐색 : 무성의 응답의 영향을 중심으로

Multilevel Analysis of the Effects of Student and Course Characteristics on Student Evaluations of University Teaching

김재웅|최보금
한국열린교육학회 (The Korea Association of Yeolin Education)|2013.02|열린교육연구 (The Journal of Yeolin Education)|제21권 제1호|pp. 77-100

1

조회

0

다운로드

34

인용

0

참고문헌

키워드

위계적 선형모형multilevel modeling교양교육과정대학생 강의평가무성의 응답student evaluations of teaching (SETs)student insincere responsegeneral education courses
주제분류교육학

초록

최근 대학생 강의평가에서 모든 문항에 똑같은 번호를 체크하는 무성의한 응답 문제가 심각하게 제기되고 있다. 우리나라 거의 모든 대학들에서 강의평가는 교수의 질을 보장하고 개선하고자 하는 목적으로 활용되고 있으나 무성의 응답 비율이 높아질수록 강의평가 결과의 타당도가 위협받고 이에 따라 결과 활용 역시 제한된다. 본 연구에서는 강의평가 자료의 다층 구조를 반영하여 대학생 강의평가 결과에 영향을 미치는 학생 및 수업 수준의 변인들을 고려한 상태에서 무성의 응답이 실제로 강의평가 총점에 영향을 주는지를 분석하였다. 그 결과, 해당 수업에 대한 학생의 무성의한 응답은 학생의 성별, 학년, 전공, 성취도, 공부시간, 수업난이도, 수강환경, 그리고 교수 연령과 더불어 강의평가 점수에 통계적으로 유의한 정적 영향을 미치는 요인으로 확인되었다. 특히 무성의한 응답은 학생수준에서 강의평가 총점을 유의하게 높이는 요인으로 나타나 합리적인 강의평가 결과 활용을 위해서는 이를 줄이기 위한 학문적‧행정적 관심이 요구된다.

Abstract

Nearly every Korean post-secondary institution employs mandatory student evaluations ofteaching (SETs) to assure and improve the quality of teaching in classes. In these days, however,Korean colleges and universities suffer from high rate of student insincere response which meansstudents mark the same option number to all set of questions. The higher rate of insincereresponse appears, the lower validity of the result of SETs is to be unavoidable. To increaseunderstanding the effects of student insincere response on SETs, this study examined 11,203SETs cases from general education courses at S University located in Seoul. The hierarchicallinear model (HLM) was used to analyze the multilevel data, which includes student-level datasuch as student characteristics(sex, academic year, major, achievement), classexperiences(study hours, student perception of course difficulty, physical classroomenvironment), and insincere response as well as course-level data comprising facultycharacteristics(sex, status, age) and course characteristics(type, size). The results empiricallyshowed that student insincere response had positive influence on the score of SETs aftercontrolling for the effects of all the student- and course-level variables. It provides newperspectives about the administration of current course evaluation system on the one hand, andthe interpretation of the SETs results on the other hand.

참고문헌 (51)

  1. 강상진, "다층통계모형의 방법론적 특성과 활용방법", 교육평가연구, 8(2), pp.63~94 (1995)
  2. 김명화, "강의평가의 타당도와 신뢰도", 아시아교육연구, 6(3), pp.1~24 (2005), 교육연구소
  3. 김진화, "대학경영환경이 강의평가에 미치는 영향 - Y대학교 강의평가를 중심으로 -", 경영사학, 26(2), pp.201~224 (2011), 한국경영사학회
  4. 김학일, "이공계 강의평가 결과의 실증적 분석을 통한 강의평가제도 개선방안", 공학교육연구, 10(4), pp.58~77 (2007), 한국공학교육학회
  5. 김현철, "분산분석과 범주형 자료 분석에 의한 강의평가 결정요인의 탐색", 한국교육, 33(3), pp.121~144 (2006), 한국교육개발원
  6. 길양숙, "수업평가 결과와 쟁점", 교육학연구, 41(3), pp.13~323 (2003), 한국교육학회
  7. 류춘호, "대학의 강의평가에 영향을 미치는 학생관련 요인에 관한 연구", 경영학연구, 32(3), pp.8~807 (2003), 한국경영학회
  8. 박인우, "대학 강의평가에서의 무성의 응답에 대한 학생의 자기평가의 영향에 관한 연구", 교육방법연구, 24(1), pp.257~281 (2012), 한국교육방법학회
  9. 백순근, "위계선형모형을 활용한 대학생의 강의평가 분석 - S대학교 교양강의를 중심으로 -", 교육평가연구, 21(2), pp.1~24 (2008), 한국교육평가학회
  10. 서울대학교의 기초교육에 대한 평가 연구, "백순근", 서울대학교기초교육원, ~ (2005)
  11. 손충기, "수업평가 관련 변인에 따른 수업평가 결과 차이 탐색 연구", 교육평가연구, 20(2), pp.1~24 (2007), 한국교육평가학회
  12. 송미섭, "강의평가 설문지에 관한 문항분석", 교육평가연구, 7(2), pp.263~283 (1994)
  13. 양미경, "학생의 평정에 의거한 대학 강의평가의 의의와 한계", 교육원리연구, 13(1), pp.93~122 (2008), 한국교육원리학회
  14. 염시창, "대학 강의평가도구의 타당화 및 관련 변인의 다층분석", 교육평가연구, 21(2), pp.25~52 (2008), 한국교육평가학회
  15. 이기훈, "강의평가의 타당성과 신뢰성에 관한 연구 전주대학교 강의평가 결과를 중심으로", 한국데이터정보과학회지, 21(1), pp.87~98 (2010), 한국데이터정보과학회
  16. 이선아, "강의평가에 대한 대학생들의 인식 분석", 석사, 교육학, pp.2011
  17. 이성흠, "교수설계 이론에 근거한 대학 강의평가 도구개발을 위한 기초연구", 교육공학연구, 17(1), pp.81~108 (2001)
  18. 지은림, "대학 교수자를 위한 강의자가진단도구 개발의타당화 및 관련변인 분석", 교육평가연구, 19(1), pp.51~72 (2006), 한국교육평가학회
  19. 채수진, "수업평가에 나타난 학생들의 일관적 응답 경향 분석", Korean Journal of Medical Education, 21(3), pp.307~311 (2009), 한국의학교육학회
  20. 한경수, "강제적인 대학 강의평가의 문제점", Communications for Statistical Applications and Methods, 18(1), pp.35~45 (2011), 한국통계학회
  21. 한신일, "학생에 의한 강의평가의 관련요인 분석 : 교수, 학생, 수업관련요인을 중심으로", 교육행정학연구, 19(4), pp.247~266 (2001)
  22. 한신일, "강좌규모와 강의평가결과의 관계분석", 고등교육연구, 13(1), pp.155~176 (2002)
  23. 한신일, "한국대학의 강의평가실태 분석", 교육행정학연구, 23(3), pp.379~404 (2005), 한국교육행정학회
  24. 홍경선, "대학교 강의평가에 나타난 일관적 응답 분석", 교육정보미디어연구, 12(2), pp.97~127 (2006), 한국교육정보미디어학회
  25. Adams, M. J. D., "Nonresponse and online student evaluations of teaching : Understanding the influence of salience, fatigue, and academic environments", Research in Higher Education, 53(5), pp.576~591 (2012)
  26. Banning, J. H., "The physical environment of the college classroom: An instructional aid", Campus Ecologist, 11(4) (1990)
  27. Basow, S. A., "Student ratings and professor self-ratings of college teaching: Effects of gender and divisional affiliation", Journal of Personnel Evaluation in Education, 18(2), pp.91~106 (2005)
  28. Blumenfeld, P., "Creating usable innovations in systemic reform : Scaling up technology-embedded project-based science in urban schools", Educational Psychologist, 35(3), pp.149~164 (2000)
  29. Brockx, B., "Taking the grading leniency story to the edge. The influence of student, teacher, and course characteristics on student evaluations of teaching in higher education", Educational Assessment, Evaluation, and Accountability, 23(4), pp.289~306 (2011)
  30. Centra, J. A., "Is there gender bias in student evaluations of teaching?", Journal of Higher Education, 71(1), pp.17~33 (2000)
  31. Civian, J. T., "Student and course factors predicting satisfaction in undergraduate courses at Harvard University", Paper presented at the annual meeting of the American Educational Research Association (1996)
  32. Dillman, D. A., "Internet, mail, and mixed-mode surveys: The tailored design method" (2009), Jossey-Bass
  33. Dori, Y. J., "How does technology-enabled active learning affect undergraduate students’ understanding of electromagnetism concepts?", The Journal of the Learning Science, 14(2), pp.243~279 (2005)
  34. Feldman, K. A., "Seniority and experience of college teachers as related to evaluations they receive from students", Research in Higher Education, 18(1), pp.3~124 (1983)
  35. Fidelman, C. G., "Course evaluation surveys: In-class paper surveys versus voluntary online surveys", 박사, pp.2007
  36. Gage, N. L., "The appraisal of college teaching", Journal of Higher Education, 32(1), pp.17~22 (1961)
  37. Groves, R. M., "Survey errors and survey costs" (1989), Wiley
  38. Hill, M. C., "The impact of physical classroom environment on student satisfaction and student evaluation of teaching in the university environment", Academy of Educational Leadership Journal, 14(2), pp.65~79 (2010)
  39. Hoy, W., "Educational administration: Theory, research, and practice" (2005), Mcgraw Hill
  40. Koushki, P. A., "How reliable are student evaluations of teachers?", Engineering Education, 72(3), pp.362~367 (1982)
  41. Marsh, H. W., "Students’ evaluations of university teaching : Dimensionality, reliability, validity, potential biases, and utility", Journal of Educational Psychology, 76(5), pp.707~754 (1984)
  42. Marsh, H. W., "Do university teachers become more effective with experience? A multilevel growth model of students' evaluations of teaching over 13 years", Journal of Educational Psychology, 99(4), pp.775~790 (2007)
  43. Marsh, H. W., "Making students’ evaluations of teaching effectiveness effective", American Psychologist, 52(11), pp.1187~1197 (1997)
  44. Nowell, C., "The impact of relative grade expectations on student evaluation of teaching", International Review of Economic Education, 6(2), pp.42~56 (2007)
  45. Ory, J. C., "Teaching evaluation : Past, present, and future", New Directions for Teaching and Learning, 83, pp.13~18 (2000)
  46. Porter, S. R., "Pros and cons of paper and electronic surveys", New Directions for Institutional Research, 121, pp.91~98 (2004)
  47. Raudenbush, S. W., "Hierarchical linear models" (2002), Stage
  48. Smith, B. P., "Student ratings of teaching effectiveness for faculty groups based on race and gender", Education, 129(4), pp.615~624 (2009)
  49. Smith, G., "Students' ratings of professors : The teaching style contingency for Latino", a professors, 2005, pp.4(2), 115~136
  50. Ting, K., "A multilevel perspective on student ratings of instruction: Lessons from the Chinese experience", Research in Higher Education, 41(5), pp.637~661 (2000)
  51. Zong, S., "The meaning of expected grade and the meaning of overall rating of instruction: A validation of student evaluation of teaching with hierarchical linear models", 박사, pp.2000

관련 논문AI추천

대학 강의평가 영향 요인에 대한 메타 연구양길석한국교육방법학회 · 교육방법연구2014 · 제26권 제2호대학 강의평가 척도에 영향을 미치는 배경변인 연구설현수한국홀리스틱융합교육학회 · 홀리스틱융합교육연구2019 · 제23권 제4호수강소감 설문 문항반응 패턴과 강의 만족도박혜숙인문사회과학연구소 · 인문사회과학연구2009 · 제1권 제22호강의평가에 영향을 미치는 변인 연구- 교양교과목을 중심으로윤유진한국교양교육학회 · 교양교육연구2018 · 제12권 제5호대학 강의평가에서의 무성의 응답에 대한 학생의 자기평가의 영향에 관한 연구박인우한국교육방법학회 · 교육방법연구2012 · 제24권 제1호대학교 강의평가에 나타난 일관적 응답 분석홍경선한국교육정보미디어학회 · 교육정보미디어연구2006 · 제12권 제2호

이 간행물의 다른 논문 (13건)

인지양식 검사의 신뢰도와 타당도에 관한 연구: 언어차원과 시각차원을 중심으로이태연pp. 1-21학습공동체 활동 유형에 따른 대학생의 자기결정성 및 학습만족도의 차이김누리, 장선영, 송청락pp. 23-48질적 연구에서의 대안적 글쓰기 이론화 탐색이동성, 김영천pp. 49-76학교 환경과 학교 적응의 구조적 관계 탐색박종효pp. 101-128수학문장제 문제해결력 검사 타당화 연구 : 학습장애 위험군 선별을 중심으로김붕년, 신재현, 김동일, 이기정, 김우리야, 김이내, 고혜정pp. 129-148
원문 보기