본문 바로가기
KERD
논문KCI 등재

온라인 토론활동에 대한 학습분석기반 대시보드 사례 분석 연구

An Analytic Review of Dashboard based on Learning Analysis for Online Discussion Activities

진성희|유미나
한국교육정보미디어학회 (Korea Association for Educational Information and Media)|2017.09|교육정보미디어연구 (Journal of Korean Association for Educational Information and Media)|제23권 제3호|pp. 465-497|DOI http://dx.doi.org/10.15833/KAFEIAM.23.3.465

2

조회

0

다운로드

9

인용

0

참고문헌

키워드

시각화연구동향visualizationdashboard대시보드online discussion시각정보학습분석온라인 토론learning analyticsreview study문헌고찰연구
주제분류교육학

초록

이 연구는 온라인 토론활동에 대한 대시보드 설계 및 개발 관련한 선행연구들을 분석함으로써 연구동향을 정리하고, 향후 학습분석기반 온라인 토론활동을 위한 대시보드 설계 및 개발에 시사점을 제안하고자 하였다. 연구방법은 문헌고찰연구방법론에 의하여 선행문헌 선정 기준 수립, 선행문헌 검색 및 선정, 분석 체계 수립, 선행문헌 선정 및 분석 체계에 대한 전문가 타당화, 그리고 선행문헌 분석 및 교차 검토의 과정을 거쳐 이루어졌다. 20개의 대시보드 관련 선행연구를 선정하였고, 타당성을 검증받은 분석 체계를 기반으로 연구자를 포함한 2명의 교육공학전문가들이 선행연구들을 분석하였다. 연구 결과 토론활동의 시각화 대상인 참여도를 시각화한 연구가 13개(65%), 상호작용을 시각화한 연구가 14개(70%), 토론주제를 시각화한 연구가 8개(40%), 메지시유형을 시각화한 연구가 7개(35%), 메시지관계를 시각화한 연구가 5개(25%)인 것으로 분석되었다. 시각화 데이터 객체는 분반 전체에 대한 데이터를 시각화한 연구가 15개(75%), 개별 학습자에 대한 데이터를 시각화한 연구가 9개(45%), 소집단에 대한 데이터를 시각화한 연구가 8개(40%)로 분석되었다. 시각정보 제시 목적은 과거에서부터 현재까지의 데이터를 기반으로 누적정보 제공이 15개(75%)로 가장 많았으며, 과거에서 현재까지의 변화추이를 나타낸 연구가 7개(35%) 있었고, 미래 예측 정보를 제공한 연구는 없는 것으로 나타났다. 또한 가장 많이 활용되고 있는 시각정보 유형은 비교/서열 16개(80%)였고, 뒤를 이어 관계 15개(75%), 시간 13개(65%), 분포 7개(35%), 텍스트 5개(20%), 상관 1개(5%)인 것으로 나타났다. 연구 결과에 기반하여 시각화 대상별 시각화 방법, 온라인 토론활동에 대한 정성적 정보와 미래예측 정보에 대한 시각화의 필요성에 대해 논의하였고, 온라인 토론에 대한 학습분석기반 대시보드 관련 추후 연구로 시각적 피드백 유형에 따른 교육적 효과 분석 연구, 온라인 토론활동을 자동으로 분석하여 시각화 대상별로 정보를 제공하는 처방적 시스템 개발 연구 등을 제안하였다.

Abstract

The purpose of this study is to synthetically review the studies based on learning analysis for online discussion activities and to suggest directions of future research on design and develop dashboard for online discussion based on learning analysis. To achieve this purpose, the research method was based on the review study methodology: establishing inclusion criteria, search and selection of previous studies, setting up coding scheme, validation of literature selection and coding scheme, analysis, and cross-examination of the results. 20 studies were selected and two experts with Ph. D. in Educational Technology participated in the expert review survey. The research selection and coding scheme was verified(r=0.96). The analysis results were suggested according to coding scheme. As a result of research, there were 13(65%) visualizations of students’ participation, 14(70%) interactions, 8(40%) discussion topics, 7(35%) message types and 5(25%) message relationships. Visualization data objects consisted of 15(75%) studies of data for the entire class, 9(45%) of individual learners, and 8(40%) of small groups. The purpose of presenting visual information was to provide cumulative information 15(75%), alerting the change from past to present 7(35%), and there were no studies that provide future predictive information. The most frequently used types of visual information were comparison / sequence 16(80%), relation 15(75%), time 13(65%), distribution 7(35%), text 5(20%), and relation 1(5%). Based on the results of the research, we discussed the visualization methods for each visualization object, the need for visualization of qualitative information about the online discussion activities and the future prediction information, and suggested the future studies on educational effects on different visual feedback types, and system development that provides visual information by visualization object.

참고문헌 (73)

  1. 나일주, "온라인 학습공동체의 학습게시판에 나타난 메시지 유형별 정서적 표현의 내용요인 분석", 평생학습사회, 1(1), pp.49~70 (2005), 원격교육연구소
  2. 박인우, "영어회화수업에서 의사소통방식과 학습자 특성간의 상호작용 효과", 교육공학연구, 16(1), pp.114~136 (2000)
  3. 서원석, "온라인 토론의 참여환경과 토론집단 크기에 따른 사회연결망 분석(Social Network Analysis)", 교육공학연구, 28(4), pp.757~779 (2012), 한국교육공학회
  4. 성은모, "학습분석학 관점에서 학습자의 자기주도학습 지원을 위한 학습 데이터 탐색 연구", 교육공학연구, 32(3), pp.487~533 (2016), 한국교육공학회[DOI]
  5. 안미리, "해외 학습분석학(Learning Analytics) 연구에 대한 동향 분석: 실증 연구 중심으로", 교육정보미디어연구, 21(4), pp.601~643 (2015), 한국교육정보미디어학회[DOI]
  6. 안미리, "학습분석학 국내 문헌 고찰: 로그 데이터를 이용한 실증연구를 중심으로", 교육공학연구, 32(2), pp.253~291 (2016), 한국교육공학회[DOI]
  7. 유미나, "학습분석학 기반의 온라인 토론활동 시각화 원리 개발 연구", 박사, pp.2017
  8. 임정훈, "상호작용 관점에서 조망해 본 웹 기반 교육의 이론적 기저", 교육공학연구, 15(3), pp.29~49 (1999)
  9. 장은영, "사회비교의 목표, 대상 및 결과에 따른 자기정서의 경험", 한국심리학회지: 사회및성격, 18(3), pp.127~153 (2004), 한국사회및성격심리학회
  10. 조영환, "온라인 토론 촉진을 위한 피드백의 역할 탐색", 아시아교육연구, 16(2), pp.289~313 (2015), 교육연구소
  11. 진성희, "이러닝 학습자들의 사회비교동기 유형에 따른 EngageGram이 학습참여도에 미치는 효과", 한국콘텐츠학회 논문지, 15(9), pp.652~661 (2015), 한국콘텐츠학회[DOI]
  12. 진성희, "이러닝 학습참여활동 및 상호작용에 대한 대시보드 설계 연구", 교육공학연구, 31(2), pp.191~221 (2015), 한국교육공학회[DOI]
  13. 진성희, "이러닝 학습환경에서 학습분석기반 대시보드 연구동향 분석", 교육정보미디어연구, 21(2), pp.185~213 (2015), 한국교육정보미디어학회[DOI]
  14. "Chart suggestions: A thought starter" (2006)[URL]
  15. Ali, L, "A qualitative evaluation of evolution of a learning analytics tool", Computers & Education, 58(1), pp.470~489 (2012)
  16. "A Quantitative Evaluation of LOCO-Analyst: A Tool for Raising Educators' Awareness in Online Learning Environments" (2011)[URL]
  17. Awasthi, P, "INSIGHT: a Semantic Visual Analytics for Programming Discussion Forums", Proceedings of the First International workshop on VISual Approaches to Learning Analytics, in Conjunction with the Fifth International Learning Analytics and Knowledge Conference (LAK15) (2015), Marist College, Poughkeepsie
  18. Beheshitha, S. S, "The role of achievement goal orientations when studying effect of learning analytics visualizations", Proceedings of the Sixth International Conference on Learning Analytics and Knowledge, pp.54~63 (2016), ACM
  19. Card, D, "Handbook of Labor Economics 3", pp.1801~1863 (1999)
  20. Cole, P. G, "Teaching principles and practice" (1994)
  21. Davenport, T. H, "Analytics at work: Smarter decisions, better results" (2010), Harvard Business School Press
  22. Dawson, S, "SNAPP: Realising the affordances of real-time SNA within networked learning environments", Proceedings of the Seventh International Conference on Networked Learning 2010 (2010)
  23. De Liddo, A, "Discourse-centric learning analytics", Proceedings of the First International Conference on Learning Analytics and Knowledge (2011)
  24. Donath, J, "The chat circles series: explorations in designing abstract graphical communication interfaces", Proceedings of the Forth Conference on Designing Interactive Systems: Processes, Practices, Methods, and Techniques, pp.359~369 (2002), ACM
  25. Dyckhoff, A. L, "Design and implementation of a learning analytics toolkit for teachers", Educational Technology & Society, 15(3), pp.58~76 (2012)
  26. Elias, T, "Learning analytics : Definitions, processes and potential", Learning, 23, pp.134~148 (2011)
  27. Ferguson, R, "Social learning analytics: five approaches", Proceedings of the Second International Conference on Learning Analytics and Knowledge, pp.23~33 (2012), ACM
  28. Festinger, L, "A theory of social comparison processes", Human relations, 7(2), pp.117~140 (1954)
  29. Few, S, "Information dashboard design" (2006), O’Reilly
  30. Gonda, D, "Assessing an online discussion forum using a conceptual framework guided by learning analytics", Proceedings of the Seventh International Conference on Learning Analytics and Knowledge (2017)
  31. Greller, W, "Translating learning into numbers : A generic framework for learning analytics", Journal of Educational Technology & Society, 15(3), pp.42~57 (2012)
  32. Gutwin, C, "Workspace Awareness in Real-Time Distributed Groupware", doctor, pp.1997
  33. Hara, N, "Content analysis of online discussion in an applied educational psychology course", Instructional Science, 28(2), pp.115~152 (2000)
  34. Hatala, M, "Associations Between Students' Approaches to Learning and Learning Analytics Visualizations", Proceedings of LAL 2016 Workshop, pp.3~10 (2016)
  35. Hrastinski, S, "What is online learner participation? A literature review", Computers & Education, 51(4), pp.1755~1765 (2008)
  36. Hsiao, I. H, "Topic facet modeling: Semantic visual analytics for online discussion forums", Proceedings of the Fifth International Conference on Learning Analytics And Knowledge, pp.231~235 (2015), ACM
  37. Iandoli, L, "A debate dashboard to enhance online knowledge sharing", VINE, 42(1), pp.67~93 (2012)
  38. Iandoli, L, "Socially augmented argumentation tools : Rationale, design and evaluation of a debate dashboard", International Journal of Human-Computer Studies, 72(3), pp.298~319 (2014)
  39. Janssen, J, "Visualization of participation: Does it contribute to successful computer-supported collaborative learning", Computers & Education, 49(4), pp.1037~1065 (2007)
  40. Jin, S, "Using visualization to motivate student participation in collaborative online learning environments", Educational Technology & Society, 20(2), pp.51~62 (2017)
  41. Jovanović, J, "Using semantic web technologies to analyze learning content. Internet Computing", IEEE, 11(5), pp.45~53 (2007)
  42. Jovanović, J, "LOCO-analyst: A tool for raising teachers’ awareness in online learning environments", Proceedings of European Conference on Technology Enhanced Learning, pp.112~126 (2007)
  43. Kulyk, O, "Situational awareness support to enhance teamwork in collaborative environments", Proceedings of the 15th European Conference on Cognitive ergonomics: The ergonomics of cool interaction (2008), ACM
  44. Lambropoulos, N, "Supporting social awareness in collaborative e learning", British Journal of Educational Technology, 43(2), pp.295~306 (2012)
  45. Levine, J. M, "Acquisition of relative performance information : The roles of intrapersonal and interpersonal comparison", Personality & Social Psychology Bulletin, 10(3), pp.385~393 (1984)
  46. Long, P, "Penetrating the fog : Analytics in learning and education", EDUCAUSE Review, 46(5), pp.30~32 (2011)
  47. Marra, R. M, "Content analysis of online discussion forums : A comparative analysis of protocols", Educational Technology Research & Development, 52(2), pp.23~40 (2004)
  48. Mazza, R, "Monitoring an online course with the GISMO tool : A case study", Journal of Interactive Learning Research, 18(2), pp.251~265 (2007)
  49. Mazza, R, "Gismo: a graphical interactive student monitoring tool for course management systems", TEL’04 Technology Enhanced Learning’04 International Conference, pp.1~8 (2004)
  50. Murray, T, "Brief Overview of Social Deliberative Skills", Proceedings of AIED 2013 Self-Regulated Learning Workshop, pp.1~6 (2013)
  51. Murray, T., "Supporting Deeper Deliberative Dialogue Through Awareness Tools", proceedings of Build Peace 2014 Conference (2014)
  52. Murray, T, "A Dashboard for Visualizing Deliberative Dialogue in Online Learning", Proceedings of Artificial Intelligence in Education 2013 (2013)
  53. Murray, T, "A prototype facilitators dashboard: assessing and visualizing dialogue quality in online deliberations for education and work", Proceedings of 2013 International Conference on e-Learning, e-Business, Enterprise Information Systems, and e-Government (2013)
  54. Offenhuber, D, "Comment flow: visualizing communication along network path" (2007), Poster presented at IEEE InfoVis
  55. Pallotta, V, "Automatic argumentative analysis for interaction mining", Argument & Computation, 2(2-3), pp.77~106 (2011)
  56. Rodenstein, R, "Talking in circles: designing a spatially-grounded audioconferencing environment", Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp.81~88 (2000), ACM
  57. Sack, W, "Conversation map: An interface for very large-scale conversations", Journal of Management Information Systems, 17(3), pp.73~92 (2000)
  58. Santos, J. L, "Scaling up Learning for Sustained Impact", pp.314~327 (2013)
  59. Tan, J. P. L, "Learner dashboards a double-edged sword? Students’ sense-making of a collaborative critical reading and learning analytics environment for fostering 21st century literacies", Journal of Learning Analytics, 4(1), pp.117~140 (2017)
  60. Tan, J. P. L, "Fostering 21st century literacies through a collaborative critical reading and learning analytics environment: User-perceived benefits and problematics", Proceedings of the Sixth International Conference on Learning Analytics and Knowledge, pp.430~434 (2016), ACM
  61. Teplovs, C, "The Knowledge Space Visualizer: A tool for visualizing online discourse", Proceedings of the International Conference of the Learning Sciences, pp.1~12 (2008)
  62. Tobarra, L, "Integrated Analytic dashboard for virtual evaluation laboratories and collaborative forums", Proceedings of Tecnologias Aplicadas a la Ensenanza de la Electronica (Technologies Applied to Electronics Teaching) (TAEE), XI, pp.1~6 (2014), IEEE
  63. Torniai, C, "E-learning meets the social semantic web. In Advanced Learning Technologies", 2008. ICALT'08. Eighth IEEE International Conference on, pp.389~393 (2008), IEEE
  64. "How technology can change assessment" (2012)[URL]
  65. Van Harmelen, M, "Analytics for learning and teaching", CETIS Analytics Series, 1(3), pp.1~40 (2012)
  66. Viégas, F. B, "Chat circles", Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp.9~16 (1999), ACM
  67. Weinberger, A, "Knowledge convergence in collaborative learning : Concepts and assessment", Learning and Instruction, 17, pp.416~426 (2007)
  68. Wise, A. F, "Learning analytics for online discussions: a pedagogical model for intervention with embedded and extracted analytics", Proceedings of the Third International Conference on Learning Analytics and Knowledge, pp.48~56 (2013), ACM
  69. World Economic Forum, "The future of jobs: Employment, skills and workforce strategy for the fourth industrial revolution" (2016), World Economic Forum
  70. Xiong, R, "PeopleGarden: Creating data portraits for users", Proceedings of the Twelfth Annual ACM Symposium on User Interface Software and Technology, pp.37~44 (1999), ACM
  71. Yang, S. J. H, "A social network-based system for supporting interactive collaboration in knowledge sharing over peer-to-peer network", International Journal of Human-Computer Studies, 66(1), pp.36~50 (2008)
  72. Yau, N, "Visualize this: The flowing data guide to design, visualization, and statistics" (2011), John Wiley & Sons
  73. Yau, N, "Data points : Visualization that means something" (2013), John Wiley & Sons

관련 논문AI추천

이러닝 학습환경에서 학습분석기반 대시보드 연구동향 분석유미나, 진성희한국교육정보미디어학회 · 교육정보미디어연구2015 · 제21권 제2호팀기반 온라인 토론의 내용분석을 지원하는 대시보드 개발 및 사용성 평가유미나, 진성희한국교육공학회 · 교육공학연구2018 · 제34권 제3호온라인 토론활동의 참여를 촉진하기 위한 대시보드 개발 및 적용유미나, 진성희한국교육정보미디어학회 · 교육정보미디어연구2018 · 제24권 제3호학습분석 기반 온라인 토론활동의 시각화 원리 개발유미나한국교육공학회 · 교육공학연구2017 · 제33권 제4호학습자 대시보드의 사용성 평가: 상호작용 정보의 시각화에 대한 학습자 인식 탐색김윤진, 김혜준, 임규연, 최지수한국교육정보미디어학회 · 교육정보미디어연구2020 · 제26권 제2호학습 분석학 기반 대시보드의 설계와 적용박연정, 조일현한국교육정보미디어학회 · 교육정보미디어연구2014 · 제20권 제2호

이 간행물의 다른 논문 (10건)

클라우드 컴퓨팅 기술을 활용한 협력적 문제해결에서 자기조절과 그룹조절 활동 탐색조영환, 설보연, 조애리, 강다현, 이현경pp. 345-371What Makes a Mobile Learning Game Enjoyable?김영식, 정복문, 백영균pp. 373-395퀴즈를 활용한 이공계열의 플립드러닝 수업사례 연구이지연, 이승민pp. 397-431스마트교육 기반 플립러닝 실천을 위한 초등교사 역량모델 개발류광모, 임정훈pp. 433-463대학에서의 플립트러닝 수업사례를 통해 본 학습자의 수업참여에 관한 연구전영미, 조진숙pp. 499-521
원문 보기