학습 분석학 기반 대시보드의 설계와 적용
Design and Application of Visual Dashboard Based on Learning Analytics
2
조회
0
다운로드
40
인용
0
참고문헌
키워드
초록
학습관리시스템은 교수자 및 학습자에게 교육과정의 효과적 관리에서부터 학습자 간의 상호작용까지 물리적 환경에 제한 되었던 교실 수업을 온라인에서의 폭넓은 학습 환경으로 확장시켜 주는 데 중추적 역할을 해왔다. 나아가, 학습관리시스템에 사용자가 남긴 로그 데이터들을 분석하면 그들의 온라인 활동 양상을 읽을 수 있고, 분석 결과들에 기반하여 개별 학생들의 학업을 촉진시킬 수도 있다. 학습관리시스템에 존재하는 빅데이터의 활용, 적절한 데이터 마이닝 기술, 그리고 분석 결과의 시각화는 학습 분석학이라고 하는 새로운 학문 영역의 주요 관심사에 해당한다. 본 연구는 이러한 학습 분석학의 한 응용으로서 학습자의 온라인 행동 양상을 시각적으로 보여주는 대시보드를 설계하여 실제 학생들에게 적용하고 이들의 반응을 확인하고자 하였다. 자료의 수집과 분석은 크게 4가지 단계로 이루어졌다. 첫째, 국내 소재 가상캠퍼스를 활용하는 대학의 학생들을 대상으로 사전 요구조사를 실시하였고, 둘째, 이를 기반으로 설계된 대시보드의 사용성 검사를 실시하였으며, 셋째, 대학 내 중형 수업에 해당하는 서로 다른 두 개 반을 대상으로 대시보드를 제공하여 반 학기 동안 언제든지 확인할 수 있도록 하였다. 마지막으로, 학기가 종료된 후 대시보드의 사용 경험을 설문을 통해 조사하였다. 연구 결과, 전반적으로 대시보드에 대한 학생들의 이해도는 높은 편 이었고, 대시보드와 실제 자신의 행동 인식 간의 일치도 또한 양호한 편이었으나, 대시보드에 대한 인지된 유용성은 상대적으로 저조하게 나타났다. 또한 대시보드의 세부 항목별 이해도에 차이가 나타나서, 이러한 연구 결과를 바탕으로 대시보드를 수정하고 개선하기 위한 설계 시사점이 도출되어 향후 연구 방향과 함께 논의되었다.
Abstract
Learning Management System (LMS) has played important roles to support teaching and learning from the effective course management to the communication and collaboration between an instructor and students, and among students. Further, web log files that instructors and students leave in LMS not only explain their online learning patterns but also enable to provide a useful treatment and learning guidance to students. Use of big data such as the log files, technics of educational data mining (EDM) and provision of appropriate treatments throughout the visualized dashboard have been attractively recognized among researchers and practitioners who connect them with smart learning. This study includes four phases. First, we investigated how students in a large university used Moodle LMS in their virtual campus and how they perceived the needs of learning analytics dashboard. Second, based on the preliminary investigation, we designed and developed a visual dashboard presenting students’ online learning patterns. Third, we conducted a usability test in order to extract design implications for the effective dashboard. Fourth, after implementing the dashboard treatment to students, we surveyed the conformity between their perceptions and tracked online behaviors, the level of understanding, and perceived usefulness on the dashboard. While participants of this study revealed high level of understanding and fair level of conformity, their perceived usefulness was relatively lower. Throughout the survey results as well as the usability test which involved stimulated recall methods as well as interview we learned students had different levels of understanding on six major contents including total login time, login frequency, login regularity, visiting on board, time spent on board, and download of learning materials. Based on the implications from the experiment and survey results, multiple directions to improve the usefulness of dashboard were reviewed and discussed in conclusion. This study is meaningful since the developed dashboard is expected to make an advancement of LMS by adding such learning analytics dashboard in the system.
참고문헌 (20)
- 박연정, "학습관리시스템의 대시보드 설계를 위한 학습자 중심 요구분석: 분석과 설계 도구로서 활동이론의 적용", 교육공학연구, 30(2), pp.221~258 (2014), 한국교육공학회
- 조일현, "LAPA(Learning Analytics for Prediction & Action)모형을 제안하며", 한국지식경영학회 미래연구회 세미나 자료집 (2012)
- 조일현, "사용성 검사 기법으로서 회상 자극기법(Stimulated Recall)의 타당성과 실용성에 관한 연구", 교육정보미디어연구, 12(2), pp.71~96 (2006), 한국교육정보미디어학회
- 조일현, "이러닝에서 학습자의 시간관리 전략이 학업성취도에 미치는 영향: 학습분석학적 접근", 교육정보미디어연구, 19(1), pp.83~107 (2013), 한국교육정보미디어학회
- 조일현, "학습분석학을 활용한 e-러닝 학업성과 추정 모형의 통계적 유의성 확보 시점 규명", 교육공학연구, 29(2), pp.285~306 (2013), 한국교육공학회
- Learning analytics: The coming third wave, "Brown, M.", 1~4, pp.EDUCAUSE Learning Initiative Brief (2011)
- Elias, E., "Learning analytics: definitions, processes and potential", Creative Commons (2011)
- Few, S., "Information dashboard design: Displaying data for at-a-glance monitoring" (2013), Analytics Press
- Govaerts, S., "The student activity meter for awareness and self-reflection", CHI'12 Extended Abstracts on Human Factors in Computing Systems, pp.869~884 (2012), ACM
- Jo, I., "Analysis of relations between learners time management strategy, regularity of learning, and learning performace: A learning analytics approach", Paper presented at the E-learning Korea 2013 (2013)
- 조일현, "Usability Study of Middle School English Digital Textbook: A Stimulated Recall Approach", Educational Technology International, 14(1), pp.109~136 (2013), 한국교육공학회
- Kosba, E., "User Modeling 2005", pp.124~133 (2005), Springer
- Mostow, J., "An educational data mining tool to browse tutor-student interactions: Time will tell", Paper presented at the Proceedings of the Workshop on Educational Data Mining, National Conference on Artificial Intelligence (2005)
- Pistilli, M. D., "In practice: Purdue Signals: Mining real‐time academic data to enhance student success", About Campus, 15(3), pp.22~24 (2010)
- Romero, C., "Data mining in course management systems: Moodle case study and tutorial", Computers & Education, 51(1), pp.368~384 (2008)
- Scanlon, E., "Activity theory and higher education : Evaluating learning technologies", Journal of Computer Assisted Learning, 21(6), pp.430~439 (2005)
- Siemens, G., "Open Learning Analytics: an integrated & modularized platform. Proposal to design, implement and evaluate an open platform to integrate heterogeneous learning analytics techniques" (2011)
- Verbert, K., "Learning Analytics Dashboard Applications", American Behavioral Scientist, 57(10), pp.1500~1509 (2013)
- Yoo, Y., "Evaluation of visual dashboard applications supporting students' ledarning and performance", Paper presented at the Technology, Knowledge and Society (2014)
- Yoo, Y., "Educational Dashboards for Smart Learning: Review of Case Studies", Paper presented at the International Conference of Smart learning Environment (2014)