구조적 토픽 모델(STM) 분석을 활용한 수업 질 관리 방안 연구: A대학교 경영대학 강의평가 결과를 중심으로
Developing Teaching Quality Management Strategies Using Structural Topic Modeling of Business Students' Course Evaluations
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 대학 강의평가의 결과를 바탕으로 학생들의 강의에 대한 인식을 파악하고, 강의평가 평균 점수의 높고 낮음에 따른 인식 차이를 분석함으로써, 궁극적으로 강의의 질을 개선하는 것을 목적으로 한다. 이를 위해 구조적 토픽 모델(STM)을 활용하여 분석하였고, 그 결과는 다음과 같다. 첫째, STM분석을 통해 주요 키워드와 토픽을 추출한 결과 7개(교수자로서의 성향, 강의에 대한 만족, 강의를 대하는 교수자의 태도, 강의 방법, 강의 내용의 난이도(수준), 강의 진행 속도, 평가)의 토픽이 도출되었다. 둘째, 강의평가 점수의 상위 구간 및 하위 구간 간 토픽에서 분명한 차이가 있었으며, ‘강의를 대하는 교수자의 태도’와 ‘강의 내용의 난이도’ 토픽이 다른 토픽들과 가장 많이 연관이 있는 것으로 나타났다. 즉, A대학의 경영대 학생들은 ‘수업 요인’을 주요 요인으로 강의평가를 하는 것으로 나타났으므로, 경영대 수업을 하는 교수자들은 강의에서 수업 요인 측면의 개선점을 세심히 살펴 수업을 성찰할 필요가 있다. 또한 수업 질 관리를 위해 수업 내용의 전달력이 어떠한지, 학생들에게 관심을 두고 있다는 표현을 얼마나 하는지, 강의 방법과 강의 진행 속도, 그리고 평가와 관련된 수업 설계를 구체적으로 조직화하여 준비하고 있는지를 점검하고 개선해야 할 것으로 확인되었다.
Abstract
This study aims to understand students' perceptions of lectures based on university lecture evaluation results and to analyze the correlation between differences in these perceptions depending on whether the average lecture evaluation scores are high or low, with the overarching goal of improving lecture quality. We employ Structural Topic Modeling (STM) for our analysis, and the findings are as follows. First, seven topics were extracted from our topic modeling: the professor's characteristics, satisfaction with the lecture, the professor's attitude toward the lecture, teaching methods, the difficulty level(complexity) of the lecture content, the pace of the lecture, and class evaluation. Second, there was a clear difference between topics in the higher and lower ranges of lectures evaluation scores. We found that the topics of "the professor's attitude toward the lecture" and "the difficulty level of the lecture content" were most strongly associated with other topics. In short, students in the business programs in our data evaluate lectures based primarily on 'teaching factors'. Thus, instructors teaching business courses should carefully reflect on ways to improve course-related aspects in their teaching. Additionally, for effective course quality management, professors should assess and improve the extent to which they are systematically organizing and preparing course designs in relation to the clarity of their content delivery, the degree of interest they express in their students, the organization of their teaching methods and lecture pace, and lecture evaluations.
참고문헌 (25)
- 류춘호, "대학의 강의평가에 영향을 미치는 교수 관련 요인에 관한 연구", Korea Business Review, 9(1), pp.249~279 (2005)
- 박한샘, "구조적 토픽모델링 기반 스마트 시티 연구 동향 분석", 디지털콘텐츠학회논문지, 20(9), pp.1839~1846 (2019)
- 백순근, "위계선형모형을 활용한 강의평가 분석", 교육평가연구, 321(2), pp.1~14 (2008)
- 서용희, "강의평가 하위교원을 위한 교수지원 강의컨설팅 사례 분석 : A대학 사례를 중심으로", 문화와 융합, 45(7), pp.199~216 (2023)
- 송영선, "강의저평가교원의 강의개선 컨설팅 사례 연구", 역량개발학습연구, 15(2), pp.165~118 (2020)
- 양길석, "대학의 강의평가 일관적 응답의 경향성과 영향력 분석", 교육평가연구, 13(1), pp.255~278 (2014)
- 윤유진, "강의평가에 영향을 미치는 변인연구", 교양교육연구, 12(5), pp.185~210 (2018)
- 이신행, "토픽모델링을 활용한 강의리뷰 분석", 한국데이터정보과학회지, 34(3), pp.459~466 (2023)
- 최보금, "위계적 선형모형을 활용한 대학생 강의평가 관련 요인 탐색 : 무성의 응답의 영향을 중심으로", 열린교육연구, 21(1), pp.77~100 (2013)
- 한신일, "한국대학의 강의평가 실태 분석", 교육행정학연구, 23(3), pp.379~403 (2005)
- Blei, D. M., "Latent dirichlet allocation", Journal of machine Learning research, 3, pp.993~1022 (2003)
- Centra, J. A, "Reflective Faculty Evaluation" (1993), Jossey-Bass
- Cohen, P. A., "Effectiveness of Student Rating Feedback for Improving College Instruction : A Meta-Analysis of Findings", Research in Higher Education, 13, pp.321~341 (1980)
- Ewell, P. T., "Assessment and public accountability Back to the future", Change, 13(6), pp.12~17 (1991)
- Feldman, K. A., "Seniority and experience of college teachers as related to evaluations they receive from students", Research in Higher Education, 18, pp.3~124 (1983)
- Fligstein, Neil, "A Theory of Fields" (2012), Oxford University Press
- Jackson, D. L., "The dimensions of students' perceptions of teaching effectiveness", Educational and Psychological Measurement, 59(4), pp.580~596 (1999)
- Kulik, J. A., "The evaluation of teachers in higher eduction", Review of Research in Education, 45(3), pp.210~240 (1975)
- Marks, R. B., "Determinants of student evaluations of global measures of instructor and course value", Journal of Marketing Education, 22(2), pp.108~117 (2000)
- Marsh, H. W., "Student’s evaluations of university teaching : research findings, methodological isssues and directions for future research", International Journal of Educational Research, 11(3), pp.253~388 (1987)
- Roberts, M. E., "Structural topic models for open-ended survey responses", American journal of political science, 58(4), pp.1064~1082 (2014)
- Roberts, M. E., "Stm : An R package for structural topic models", Journal of statistical software, 91, pp.1~40 (2019)
- Saroyan. A., "Evaluating University Teaching : time to take stock", Assessment & Evaluation on Higher Education, 36(4), pp.341~353 (2001)
- Sharma, A., "Fifty years of information management research : A conceptual structure analysis using structural topic modeling", International Journal of Information Management, 58, pp.102316~ (2021)
- Ting, K., "A multilevel perspective on student ratings of instruction : lessons from the Chinese Experience", Research in Higher Education, 41(5), pp.637~661 (2000)