본문 바로가기
KERD
논문KCI 등재

학습자 대시보드의 사용성 평가: 상호작용 정보의 시각화에 대한 학습자 인식 탐색

Usability test of learner dashboard: Visualization of multi-dimensional interaction information

김윤진|임규연|김혜준|최지수
한국교육정보미디어학회 (Korea Association for Educational Information and Media)|2020.06|교육정보미디어연구 (Journal of Korean Association for Educational Information and Media)|제26권 제2호|pp. 395-424|DOI http://dx.doi.org/10.15833/KAFEIAM.26.2.395

2

조회

0

다운로드

8

인용

0

참고문헌

키워드

사회연결망분석사용성 평가interactionsocial network analysisinformation visualization정보의 시각화learner dashboard학습자 대시보드상호작용 정보usablility test
주제분류교육학

초록

본 연구에서는 온라인 학습 맥락에서 발생하는 다양하고 복잡한 상호작용 현상을 효과적, 효율적으로 표상할 수 있는 대시보드 설계 방안을 제안하고, 이에 대한 학습자의 인식을 탐색하고자 한다. 본연구를 위하여 개발된 대시보드는 학습자-학습자료, 학습자-교수자, 학습자-학습자 간 상호작용 정보를직관적으로 전달하기 위해 사회연결망분석 시각화 기법을 적용하였고, 제시되는 정보의 유형과 양에대하여 학습자의 통제권을 부여하였다. 학습자가 실제로 대시보드를 어떻게 인식하고 활용하는가를알아보기 위해 대학생 8명을 모집하여 대시보드를 사용하도록 한 후 심층 인터뷰를 진행하였다. 이를시각적 매력성, 사용성, 정보 이해도, 정보 유용성, 행동변화 의향의 측면에서 분석한 결과, 참여자들은 대시보드 사용법이 비교적 쉽고 직관적이며, 대시보드 사용 후 행동변화 의향이 생겼다고 응답하였다. 다양한 상호작용 정보를 종합하여 심층적으로 추론하는 학습자도 있었으나 피상적으로 이해하는 학습자도 있었는데, 이러한 차이는 동료 학습자의 활동에 대한 관심, 디지털 기기 사용 경험과 같은 참여자의 특성과 관련이 있었다. 연구결과를 바탕으로 다양한 상호작용 정보를 제공하는 대시보드를 설계할 필요가 있다는 결론을 도출하였으며, 대시보드 설계 시 고려해야 하는 시각화 방법과 학습자 특성에 대해 논의하였다.

Abstract

The purpose of this study is to suggest a dashboard design providing multi-dimensional interaction information between learner-learner, learner-instructor and learner-contents, and explore learners’ perception on the dashboard. The dashboard developed for this study adopted social network analysis visualization techniques to intuitively represent three types of interaction information, providing learners with control over the amount and type of information. In order to evaluate how learners perceive and utilize the given dashboard, eight university students were recruited and then asked to use the dashboard, followed by one-on-one interviews. As a result, participants responded that the use of the dashboard was relatively easy and intuitive, and that they were willing to change their behavior after using them. Some learners put together various interaction information to make in-depth reasoning, while others had a superficial understanding, which related to the characteristics of participants, such as interest in peer learners’ activity and prior experience in using digital devices. The results imply that it is necessary to design a dashboard that integrates various and complicated interaction information to promote monitoring learning more effectively. Furthermore, visualization methods and learner characteristics should be carefully considered in designing the learner dashboard.

참고문헌 (62)

  1. 나종화, "R의 Shiny를 이용한 시각화 분석 활용 사례", 한국데이터정보과학회지, 28(6), pp.1279~1290 (2017), 한국데이터정보과학회[DOI]
  2. 박연정, "학습관리시스템의 대시보드 설계를 위한 학습자 중심 요구분석: 분석과 설계 도구로서 활동이론의 적용", 교육공학연구, 30(2), pp.221~258 (2014), 한국교육공학회
  3. 박연정, "학습 분석학 기반 대시보드의 설계와 적용", 교육정보미디어연구, 20(2), pp.191~216 (2014), 한국교육정보미디어학회
  4. 유미나, "학습분석 기반 온라인 토론활동의 시각화 원리 개발", 교육공학연구, 33(4), pp.901~941 (2017), 한국교육공학회[DOI]
  5. 유미나, "온라인 토론활동의 참여를 촉진하기 위한 대시보드 개발 및 적용", 교육정보미디어연구, 24(3), pp.517~542 (2018), 한국교육정보미디어학회[DOI]
  6. 임규연, "상호작용 네트워크 제공 방법 및 장치", 특허출원: 제 10-2019- 0179634호, ~ (2019)
  7. 임규연, "HCI 이론에 기반한 학습자 대시보드의 평가준거 개발 연구", 교육정보미디어연구, 23(4), pp.861~889 (2017), 한국교육정보미디어학회[DOI]
  8. 임규연, "학습자중심 대시보드 설계를 위한 탐색적 연구: 학습정보를 중심으로", 컴퓨터교육학회 논문지, 21(3), pp.35~50 (2018), 한국컴퓨터교육학회[DOI]
  9. 조영환, "온라인 토론 촉진을 위한 피드백의 역할 탐색", 아시아교육연구, 16(2), pp.289~313 (2015), 교육연구소[DOI]
  10. 진성희, "비동시적 온라인 토론에서 대시보드 유형과 학습자 특성이 교육효과에 미치는 영향", 교육공학연구, 35(2), pp.339~364 (2019), 한국교육공학회[DOI]
  11. 진성희, "이러닝 학습환경에서 학습분석기반 대시보드 연구동향 분석", 교육정보미디어연구, 21(2), pp.185~213 (2015), 한국교육정보미디어학회[DOI]
  12. 진성희, "이러닝 학습참여활동 및 상호작용에 대한 대시보드 설계 연구", 교육공학연구, 31(2), pp.191~221 (2015), 한국교육공학회[DOI]
  13. 2017 고등교육 이러닝 현황조사 결과보고서, "한국교육학술정보원", 한국교육학술정보원, ~ (2017)
  14. Ali, L., "A qualitative evaluation of evolution of a learning analytics tool", Computers & Education, 58(1), pp.470~489 (2012)
  15. Bernard, R. M., "A meta-analysis of three types of interaction treatments in distance education", Review of Educational Research, 79(3), pp.1243~1289 (2009)
  16. Creswell, J. W., "Qualitative inquiry and research design: Choosing among five approaches" (2012), SAGE Publications
  17. Dabbebi, I., "Towards adaptive dashboards for learning analytic: An approach for conceptual design and implementation", 9th international conference on computer supported education, pp.120~131 (2017)
  18. Dado, M., "A review of methodological applications of social network analysis in computer-supported collaborative learning", Educational Research Review, 22, pp.159~180 (2017)
  19. Elias, M., "Exploration views: understanding dashboard creation and customization for visualization novices", Proceedings of 13th IFIP TC 13 International Conference, pp.274~291 (2011)
  20. Few, S., "Show me the numbers: Designing Tables and Graphs to Enlighten" (2004), Analytics Press
  21. Dashboard confusion revisited, "Few, S.", Perceptual Edge, 1~6 (2007)
  22. Govaerts, S., "The student activity meter for awareness and self-reflection", Proceedings of CHI '12 Extended Abstracts on Human Factors in Computing Systems, pp.869~884 (2012)
  23. Iandoli, L., "Socially augmented argumentation tools : Rationale, design and evaluation of a debate dashboard", International Journal of Human-Computer Studies, 72(3), pp.298~319 (2014)
  24. Im, I., "An international comparison of technology adoption : Testing the UTAUT model", Information & management, 48(1), pp.1~8 (2011)
  25. Janssen, J. J. H. M., "Visualizing participation to facilitate argumentation", Proceedings of the 7th International Conference of the Learning Sciences (2006)
  26. "The learning tracker: A learner dashboard that encourages self-regulation in MOOC learners" (2016)[URL]
  27. Jivet, I., "License to evaluate: Preparing learning analytics dashboards for educational practice", Proceedings of the 8th International Conference on Learning Analytics and Knowledge, pp.31~40 (2018)
  28. Kimmerle, J., "Group awareness and self-presentation in computer-supported information exchange", International Journal of Computer-Supported Collaborative Learning, 3(1), pp.85~97 (2008)
  29. Land, S. M., "Theoretical foundations of learning environments", pp.3~25 (2012), Routledge
  30. Leony, D., "GLASS: a learning analytics visualization tool", Proceedings of the 2nd International Conference on Learning Analytics and Knowledge, pp.162~163 (2012)
  31. 임지영, "What is Monitored and by Whom in Online Collaborative Learning?: Analysis of Monitoring Tools in Learner Dashboard", Educational Technology International, 20(2), pp.223~255 (2019), 한국교육공학회
  32. Lin, C. H., "Interactions and learning outcomes in online language courses", British Journal of Educational Technology, 48(3), pp.730~748 (2017)
  33. Lockyer, L., "Informing pedagogical action: Aligning learning analytics with learning design", American Behavioral Scientist, 57(10), pp.1439~1459 (2013)
  34. Marin, A., "Handbook of social network analysis" (2011), Sage
  35. Mayer, R. E., "Multimedia Learning" (2009), Cambridge University Press
  36. Moore, M. G., "Editorial: Three types of interaction", The American Journal of Distance Education, 3(2), pp.1~7 (1989)
  37. Moore, M. G., "Distance education: A systems view" (1996), Wadsworth
  38. Nascimento, B. S., "A flexible architecture for selection and visualization of information in emergency situations", 2016 IEEE International Conference on Systems, Man, and Cybernetics, pp.3317~3322 (2016)
  39. Nielsen, J., "Heuristic evaluation of user interfaces", Proceedings of the SIGCHI conference on Human factors in computing systems, pp.249~256 (1990)
  40. Pappas, L., "Riding the technology wave: Effective dashboard data visualization", Symposium on Human Interface, pp.249~258 (2011)
  41. Park, Y., "Development of the learning analytics dashboard to support students’ learning performance", Journal of Universal Computer Science, 21(1), pp.110~ (2015)
  42. Park, Y., "Factors that affect the success of learning analytics dashboards", Educational Technology Research and Development, 67(6), pp.1547~1571 (2019)
  43. Pohl, A., "Sensing the classroom: Improving awareness and self-awareness of students in Backstage", 2012 15th International Conference on Interactive Collaborative Learning (ICL), pp.1~8 (2012)
  44. Pohl, A., "Introducing Backstage–a digital backchannel for large class lectures", Interactive Technology and Smart Education, 8(3), pp.186~200 (2011)
  45. Potter, G., "Web application teaching tools for statistics using R and shiny", Technology Innovations in Statistics Education, 9(1) (2016)
  46. Rodríguez-Triana, M. J., "Monitoring, awareness and reflection in blended technology enhanced learning: a systematic review", International Journal of Technology Enhanced Learning, 9(2-3), pp.126~150 (2017)
  47. Rubin, J., "Handbook of usability testing: how to plan, design and conduct effective tests", pp.3~20 (2008), John Wiley & Sons
  48. Ruiz, S., "Supporting learning by considering emotions: tracking and visualization a case study", Proceedings of the Sixth International Conference on Learning Analytics & Knowledge, pp.254~263 (2016)
  49. Samah, N. A., "Individual differences in online personalized learning environment", Educational Research and Reviews, 6(7), pp.516~521 (2011)
  50. Santos, J. L., "Goal-oriented visualizations of activity tool tracking: A case study with engineering students", Proceedings of the 2nd International Conference on Learning Analytics and Knowledge LAK !12, pp.143~152 (2012)
  51. Santos, J. L., "Addressing learner issues with StepUp!: an evaluation", Proceedings of the Third International Conference on Learning Analytics and Knowledge, pp.14~22 (2013)
  52. Santoso, H. B., "The development of a learning dashboard for lecturers: A case study on a student-centered e-learning environment", The Journal of Educators Online, 15(1), pp.1~14 (2018)
  53. Schmitz, H. C., "CAMera for PLE", European conference on technology enhanced learning, pp.507~520 (2009)
  54. Schreurs, B., "Visualizing social learning ties by type and topic: rationale and concept demonstrator", Proceedings of the Third International Conference on Learning Analytics and Knowledge, pp.33~37 (2013)
  55. Scheuer, O., "How did the e-learning session go? The Student Inspector", Proceeding of the 2007 conference on Artificial Intelligence in Education: Building Technology Rich Learning Contexts That Work, pp.487~494 (2007)
  56. Sedrakyan, G., "Linking learning behavior analytics and learning science concepts: Designing a learning analytics dashboard for feedback to support learning regulation", Computers in Human Behavior, 107, pp.1~15 (2020)
  57. Shum, S. B., "Using social network analysis to support collective decision-making process", International Journal of Decision Support System Technology, 3(2), pp.15~31 (2011)
  58. Silius, K., "Students’ motivations for social media enhanced studying and learning", Knowledge Management and E-Learning: An International Journal, 2(1), pp.51~67 (2010)
  59. Tan, J. P. L., "Learner dashboards a double-edged sword? Students’ sense-making of a collaborative critical reading and learning analytics environment for fostering 21st century literacies", Journal of Learning Analytics, 4(1), pp.117~140 (2017)
  60. Verbert, K., "Learning analytics dashboards: the past, the present and the future", Proceedings of the Tenth International Conference on Learning Analytics & Knowledge, pp.35~40 (2020)
  61. Wasserman, S., "Social network analysis: Methods and applications (Vol. 8)" (1994), Cambridge university press
  62. Wise, A. F., "Learning analytics for online discussions: A pedagogical model for intervention with embedded and extracted analytics", Proceedings of the third international conference on learning analytics and knowledge, pp.48~56 (2013)

관련 논문AI추천

SNA 대시보드에 대한 학습자 사용 행동과 인식 탐색: 상호작용성(Interactivity)과 데이터 시각화 리터러시임규연, 차수민한국교육공학회 · 교육공학연구2024 · 제40권 제2호학습 분석학 기반 대시보드의 설계와 적용박연정, 조일현한국교육정보미디어학회 · 교육정보미디어연구2014 · 제20권 제2호이러닝 학습참여활동 및 상호작용에 대한 대시보드 설계 연구김태현, 유미나, 진성희한국교육공학회 · 교육공학연구2015 · 제31권 제2호온라인 토론활동의 참여를 촉진하기 위한 대시보드 개발 및 적용유미나, 진성희한국교육정보미디어학회 · 교육정보미디어연구2018 · 제24권 제3호팀기반 온라인 토론의 내용분석을 지원하는 대시보드 개발 및 사용성 평가유미나, 진성희한국교육공학회 · 교육공학연구2018 · 제34권 제3호온라인 토론활동에 대한 학습분석기반 대시보드 사례 분석 연구유미나, 진성희한국교육정보미디어학회 · 교육정보미디어연구2017 · 제23권 제3호

이 간행물의 다른 논문 (4건)

교육용 3D 게임에 활용된 판타지 유형과 학습자들의 판타지경향성이 과학 학습과 학습 도구 사용에 미치는 효과이재진pp. 283-309대학의 미래 교육 혁신을 위한 ICT 융합 최신 기술의 교육적 활용 가능성 탐색임성태, 김은희pp. 311-3362018-2019 국가수준 초․중학생 디지털 리터러시 수준의 연도별 비교 분석이운지, 김수환, 김한성, 이현숙pp. 337-366교사의 AR․VR 테크놀로지 활용 수업 인식에 대한 잠재프로파일 분석 및 영향변인 탐색장재홍, 신원석, 고유정pp. 367-393
원문 보기