본문 바로가기
KERD
논문KCI 등재

대학 비대면 강의 만족도 및 개선점 분석: BTM(Biterm Topic Model)을 이용한 강의평가 주관식 응답 분석을 중심으로

University Online Course Satisfaction and Improvement: Analysis of Students’ Written Comments Using BTM (Biterm Topic Model)

변호승|임수진
한국교육공학회 (Korean Society Of Educational Technology)|2021.12|교육공학연구 (Journal of Educational Technology)|제37권 제4호|pp. 889-915|DOI http://dx.doi.org/10.17232/KSET.37.4.889

0

조회

0

다운로드

9

인용

0

참고문헌

키워드

코로나19COVID-19비대면 강의topic analysis토픽분석online courses중간 강의평가주관식 응답BTMmid-term course evaluationwritten course comments
주제분류교육학

초록

본 연구는 코로나19로 인한 일반대학의 비대면 강의에 대한 학생의 인식을 파악하여 수업의 질 개선을 위한 시사점을 도출하고자 하였다. 이를 위해 지방 4년제 사립대학인 A 대학의 2020-1학기 1,891개 개설 강좌에 대하여 실시한 중간 강의평가 중 총 11,453개의 주관식 응답을 분석대상으로 설정하였다. 2020-1학기는 비대면 강의로 전환된 첫 번째 학기로써 갑작스러운 전면적 온라인 비대면 강의가 시작된 시점의 학생들의 인식 및 요구사항을 파악함에 있어 적극적이며 자유로운 의견 기술이 가능한 주관식 문항의 응답은 분석 가치가 높다. 주관식 응답 분석을 위해 선택한 분석 방법은 텍스트마이닝 기법 중 단문 분석에 더 효과적이라 알려진 BTM(Biterm Topic Model)을 활용하였다. 분석 결과, A 대학의 주관식 강의평가 응답에서는 개선점과 좋은 점에서 각각 5가지의 토픽이 추출되었다. 개선점의 주제는 ‘상호작용 강화’, ‘학습자료의 공유’, ‘수업 진행 속도의 조절’, ‘콘텐츠의 질 향상’, ‘학습내용전달 방법의 다양화’가 요구되는 것으로 요약되었으며, 좋은 점에서는 ‘콘텐츠 수업 운영의 만족’, ‘수업자료 선정 고려사항’, ‘교수자의 수업 태도’, ‘수업완성도 인식’, ‘학습 지속 유인책’으로 요약되었다.

Abstract

The purpose of this study was to identify students’ perceptions of online courses at a university during the early Covid-19 stages and draw implications for improving the quality of courses. To this end, a total of 11,453 written student evaluations were analyzed from 1,891 courses opened in the 2020-1 semester at a four-year private university. Spring semester of year 2020 marked the transition from offline to online and open-ended questions that invite students’ feedback could be an important source. Biterm Topic Model (BTM) was chosen as the analysis method since it is known to be an excellent text-mining strategy for short and simple phrase analysis. As a consequences, five issues were extracted as enhancements and benefits of e-learning courses, respectively. The topics that emerged as rooms for improvements are ‘enhancing interaction’, ‘sharing of learning materials’, ‘adjusting the pace of class progress’, ‘improving the quality of contents’, and ‘diversity of content delivery methods’. The benefits could be summarized as ‘satisfaction of class management’, ‘consideration for learning materials selection’, ‘instructors’ attitude’, ‘recognition for class completeness’, and ‘learning encouragement’.

참고문헌 (48)

  1. 곽민호, "토픽 모델링을 활용한 대학생의 서술형 강의평가 분석", 아시아교육연구, 20(2), pp.491~522 (2019), 교육연구소[DOI]
  2. 교육부, "코로나19 대응을 위한 학사운영 가이드라인", ~ (2020)
  3. 교육부, "2020학년도 1학기 적용 일반대학의 원격수업 운영기준(안내)", ~ (2020)
  4. 교육부, "2020학년도 2학기 적용 일반대학의 원격수업 운영기준(안내)", ~ (2020)
  5. 교육부, "일반대학의 원격수업 운영에 관한 훈령 제367호", ~ (2020)
  6. 김영환, "원격교육의 이론과 실제" (2003), 학지사
  7. 김주연, "대학 수업계획서의 학습자 중심성 분석", 학습자중심교과교육연구, 21(12), pp.193~207 (2021), 학습자중심교과교육학회
  8. 도재우, "면대면 수업의 온라인 수업 전환과정에서 발생하는 설계 장애물에 대한 탐색", 교육문화연구, 26(2), pp.153~173 (2020), 교육연구소[DOI]
  9. 류춘호, "대학의 강의평가에 영향을 미치는 학생관련 요인에 관한 연구", 경영학연구, 32(3), pp.789~807 (2003), 한국경영학회
  10. 문길성, "단문의 주제 분석을 위한 LDA와 BTM 토픽모형 평가", Journal of The Korean Data Analysis Society, 23(3), pp.1313~1326 (2021), 한국자료분석학회[DOI]
  11. 민혜리, "강의평가 주관식 응답에 나타난 교수와 학생의 의견 차이 비교 분석: 강의의 장·단점 의견에 대한 네트워크 및 내용분석", 학습자중심교과교육연구, 17(11), pp.307~330 (2017), 학습자중심교과교육학회[DOI]
  12. "포스트 코로나 시대, 학교교육이 나아갈 길" (2021)[URL]
  13. "R로 하는 텍스트 전처리" (2019)[URL]
  14. 박혜정, "가상강좌 강의평가 도구개발 및 타당화", 교육평가연구, 19(2), pp.203~223 (2006), 한국교육평가학회
  15. 배상훈, "데이터로 교육의 질 관리하기 이론과 실천" (2018), 학지사
  16. 백영민, "R를 이용한 텍스트마이닝" (2020), 한울엠플러스
  17. 사립대학총장협의회, "온라인 강의 관련 참고자료", ~ (2020)
  18. 송애린, "WV-BTM: SNS 단문의 주제 분석을 위한 토픽 모델 정확도 개선 기법", 디지털콘텐츠학회논문지, 19(1), pp.51~58 (2018), 한국디지털콘텐츠학회[DOI]
  19. 송연옥, "학생 피드백에 기반한 교수활동 질 관리 방안 연구: C대학교 사례를 중심으로", 교육공학연구, 34(3), pp.555~586 (2018), 한국교육공학회[DOI]
  20. 송해덕, "비대면 대학강의평가 영역 및 문항 탐색 연구", Global Creative Leader: Education & Learning, 10(4), pp.245~273 (2020), 영재교육연구소[DOI]
  21. 신종호, "텍스트 마이닝을 활용한 서술형 강의평가 내용분석", 학습자중심교과교육연구, 19(16), pp.77~99 (2019), 학습자중심교과교육학회[DOI]
  22. 양길석, "대학 강의평가 일관적 응답의 경향성과 영향력 분석", 교육평가연구, 27(2), pp.255~278 (2014), 한국교육평가학회
  23. 양진연, "코로나19로 인한 대학의 원격수업품질과 강의만족의 구조적 관계연구: 커뮤니케이션 조절효과를 중심으로", 관광경영연구, 25(2), pp.305~330 (2021), 관광경영학회
  24. 오대영, "대학생의 실시간 원격수업 만족도와 지속수강의도에 영향을 주는 요인", Global Creative Leader: Education & Learning, 10(3), pp.79~107 (2020), 영재교육연구소[DOI]
  25. 이대식, "대학의 강의 평가를 통한 수업 개선 방안 연구- 경인교육대학교를 사례로 -", 한국교원교육연구, 24(2), pp.81~117 (2007), 한국교원교육학회[DOI]
  26. 이시철, "대학의 코로나-19 초기 대응과 수업 만족도 평가: 경북대학교의 비대면 학기 사례", 학습자중심교과교육연구, 20(20), pp.993~1019 (2020), 학습자중심교과교육학회[DOI]
  27. 이영희, "코로나19 대응 대학 원격강의 운영 실태 및 학생 만족도 기반 효과적 운영 방안 탐색 - 수도권 소재 대형 종합대학 사례를 중심으로 -", 문화교류와 다문화교육, 10(1), pp.271~306 (2021), 한국국제문화교류학회
  28. 이해듬, "대학 강의평가 주관식 결과의 텍스트마이닝을 통한 전공 계열별 좋은 수업 특성 분석", 한국유아교육연구, 20(2), pp.21~41 (2018), 유아교육연구소[DOI]
  29. 이후희, "대학 서술형 강의평가 자료의 언어 네트워크 분석", 교육혁신연구, 28(2), pp.237~262 (2018), 교육발전연구소[DOI]
  30. 2020학년도 1학기 중간 강의평가 분석 보고서(A대학 내부자료), "임수진", ~ (2020)
  31. 조미원, "비대면 시대의 K대학 원격수업 인식 및 만족도 조사 연구", 인문사회 21, 12(2), pp.1399~1414 (2021), 인문사회 21
  32. 대학의 원격수업 관련 쟁점과 개선과제(NARS. 147), "조인식", 국회입법조사처, ~ (2020)
  33. 하정윤, "학생의 강의 만족 및 불만 요인은 무엇인가? : A대 서술형 강의평가 자료를 중심으로", 교육연구논총, 38(3), pp.61~77 (2017), 교육연구소[DOI]
  34. 한경수, "강제적인 대학 강의평가의 문제점", Communications for Statistical Applications and Methods, 18(1), pp.35~45 (2011), 한국통계학회
  35. 한신일, "대학생들의 서술형 강의평가내용(Written Comments) 분석", 교육행정학연구, 21(3), pp.359~378 (2003), 한국교육행정학회
  36. 홍미영, "대학 원격수업 설문 분석을 통한 학습자 만족도와 불만족 요인 탐색", 인문사회 21, 11(5), pp.1419~1434 (2020), 인문사회 21
  37. Alhija, F. N. A., "Student evaluation of instruction : what can be learned from students’ written comments?", Studies in Educational evaluation, 35(1), pp.37~44 (2009)
  38. Hynninen, T., "Distinguishing the themes emerging from masses of open student feedback", 2019 42nd International Convention on Information and Communication Technology, pp.557~561 (2019), Electronics and Microelectronics (MIPRO)
  39. Roberts, M. E., "Structural topic models for open‐ended survey responses", American Journal of Political Science, 58(4), pp.1064~1082 (2014)
  40. Sun, L., "Coronavirus pushes education online", Nature Materials, 19(6), pp.687~687 (2020)
  41. Sutherland, I., "Topic modeling of online accommodation reviews via latent dirichlet allocation", Susainability, 12(182) (2020)
  42. Svinicki, M. D., "Encouraging your students to give feedback", New Directions for Teaching and Learning, 2001(87), pp.17~24 (2001)
  43. Veeck, A., "The use of collaborative midterm student evaluations to provide actionable results", Journal of Marketing Education, 38(3), pp.157~169 (2016)
  44. Wickramasinghe, S. R., "Mid-Semester student feedback enhances student learning", Education for Chemical Engineers, 1(1), pp.126~133 (2006)
  45. "How to determine number of topics? #8" (2019)[URL]
  46. "BTM: Biterm Topic Models for Short Text" (2020)[URL]
  47. Wongsurawat, W., "What’s a comment worth? How to better understand student evaluations of teaching", Quality Assurance in Education, 19(1), pp.67~83 (2011)
  48. Yan, X., "A biterm topic model for short texts", Proceedings of the 22nd international conference on World Wide Web, pp.1445~1456 (2013)

관련 논문AI추천

토픽 모델링을 활용한 대학 강의평가 개방형 응답분석안수현, 이상준한국실천공학교육학회 · 실천공학교육논문지2023 · 제15권 제3호토픽 모델링 기반 비대면 강의평 분석 및 딥러닝 분류 모델 개발한지영, 허고은한국문헌정보학회 · 한국문헌정보학회지2021 · 제55권 제4호구조적 토픽 모델(STM) 분석을 활용한 수업 질 관리 방안 연구: A대학교 경영대학 강의평가 결과를 중심으로김연국, 서용희, 이성우한국지방교육경영학회 · 지방교육경영2024 · 제27권 제3호텍스트마이닝을 이용한 서술형 강의평가 분석이상철한국컴퓨터정보학회 · 한국컴퓨터정보학회논문지2022 · 제27권 제10호대학 강의평가 주관식 결과의 텍스트마이닝을 통한 전공 계열별 좋은 수업 특성 분석남민우, 이해듬유아교육연구소 · 한국유아교육연구2018 · 제20권 제2호텍스트 마이닝을 활용한 H대학교 학생들의 학습 경험 및 수업 선호도 분석이하얀글로벌교육연구학회 · 글로벌교육연구2025 · 제17권 제1호

이 간행물의 다른 논문 (9건)

학교 역량교육을 위한 수업설계 연구의 체계적 문헌 고찰최정윤, 김현진, 김현영, 김유리pp. 719-765Ranciere의 보편적 가르침에 비추어본 게임기반학습의 존재론적 의미: 학습자에서 플레이어로이은택, 유영만pp. 767-797비대면 플립러닝 환경에서 교수실재감이 인지된 학습성과에 미치는 영향: 팀학습활동과 학습몰입의 매개효과 연구박지원, 한지영, 최경미pp. 799-832실시간 온라인 수업에서의 상호작용과 만족도 간 관계: 지각된 유용성의 조절효과, 학습태도의 매개효과를 중심으로장유진, 송지훈pp. 833-860온라인 그룹 토론활동에서 참여정보에 대한 자동화 피드백과 토론의견 평가에 대한 교수자 피드백의 교육적 효과 비교임고운, 진성희pp. 861-888
원문 보기