본문 바로가기
KERD
논문KCI 등재

국내 디지털 교수학습 환경에서의 학습분석 연구 및 데이터 활용에 대한 체계적 문헌 고찰

A Systematic Literature Review of Learning Analytics and Data Utilization in a Digital Teaching and Learning Environment in Korea

조일현|신안나|김혜빈|표은서
한국교육공학회 (Korean Society Of Educational Technology)|2023.06|교육공학연구 (Journal of Educational Technology)|제39권 제2호|pp. 595-638|DOI http://dx.doi.org/10.17232/KSET.39.2.595

0

조회

0

다운로드

0

인용

0

참고문헌

키워드

연구동향데이터 활용체계적 문헌 고찰research trendsystematic literature reviewmultimodal analysisdata utilization학습분석learning analytics다중양식
주제분류교육학

초록

본 연구는 국내 학습분석 연구와 데이터의 활용 동향을 종합적으로 분석하기 위하여 2022년 7월까지 출판된 국내 학습분석 연구에서 총 42편의 문헌을 선정하였으며, 선행연구로부터 도출한 분석 틀을 활용하여 체계적 문헌 고찰을 실시하였다. 학습분석 연구는 학습유형, 연구 대상, 연구 및 데이터 활용 목적, 데이터 수집 환경, 자료분석 방법에 대하여 검토하였다. 학습분석 데이터는 생리심리 데이터, 학습평가 데이터, 교수학습 흔적 데이터, 교수학습 생성 데이터의 네 가지 유형으로 구분하고, 데이터의 속성과 교수자 및 학습자의 행위를 기반으로 지표를 분석하였다. 문헌 분석 결과, 온라인 학습유형의 비율이 높았고, 연구 대상은 성인 학습자가 주를 이루었으나 대학생으로 제한되었다. 연구 목적은 학습자 프로파일링과 학습자 예측이 많았다. 데이터 수집 환경은 대체로 웹 및 플랫폼이었고, 자료분석 방법은 연구 목적에 따라 다르게 적용되었으나 주로 기술통계와 추리통계, 질적분석이 활용되었다. 학습분석 데이터는 교수학습 흔적 데이터, 학업성취 데이터, 생리심리 데이터, 교수학습 생성 데이터 유형 순으로 활용되었다. 특히 빈도와 시간 속성의 교수학습 흔적 데이터와 안구 운동과 관련된 생리심리 데이터의 비중이 높았다. 학습평가 데이터에서는 학업성취 데이터가, 교수학습 생성 데이터에서는 작성 데이터가 주로 활용되었다. 연구 목적에 따라 활용되는 학습분석 데이터의 유형이 달라지는 경향을 보였으나, 교수학습 흔적 데이터의 빈도 데이터가 모든 목적에서 가장 많이 활용되었다. 연구결과에 대한 논의를 바탕으로 교수학습적으로 유의미한 해석이 가능한 지표를 규명하는 후속 연구의 필요성과, 멀티모달 학습분석으로 나아가기 위한 학습분석 데이터의 수집 환경 및 도구에 대한 개선을 제언하였다.

Abstract

This study provides a comprehensive analysis of learning analytics research and data utilization trends in Korea. It performed a systematic literature review of 42 domestic studies published until July 2022 based on the analysis framework derived from prior literature. This study reviewed these studies’ context and purpose, data collection environments, and data analysis methods; classified learning analytics data into four types; and conducted a thorough analysis of indicators based on data attributes and instructor and learner behavior. Results showed a high proportion of online learning and that research subjects were mainly adults, notably limited to college students. Research purposes were focused on learner profiling and prediction, and the data collection environments were generally Web- or platform-based. Primary data analysis methods included descriptive statistics, inferential statistics, and qualitative analysis. The utilization of learning analytics data followed the sequence of teaching and learning trace data, learning evaluation data, psychophysiological data, and teaching and learning generation data. This study suggests the need for further research to identify significant indicators and the improvement of data collection environments and tools to move toward multimodal learning analytics.

참고문헌 (77)

  1. 강금만, "직장인 대상 스마트러닝에서의 적응형 학습분석 활용사례 발표", 한국정보통신학회 종합학술대회 논문집, 24(1), pp.53~56 (2020)
  2. 지능형 학습 분석을 위한 데이터 수집․분석 API 고도화 연구, "계보경", 한국교육학술정보원, ~, pp.RR 2018-9 (2018)
  3. 김동심, "다중양식 학습분석 연구동향 분석: 온라인 학습을 중심으로", 정보교육학회논문지, 27(1), pp.83~92 (2023), 한국정보교육학회
  4. 학습분석 모델 및 확장 방안 연구, 창조 경제 비타민 L 프로젝트 위탁연구, "나일주", 서울특별시교육청, ~ (2015)
  5. 박서희, "초․중학생 대상 온라인교육 학습참여에 영향을 미치는 튜터 활동 탐색", 교육정보미디어연구, 28(1), pp.161~186 (2022), 한국교육정보미디어학회[DOI]
  6. 박연정, "학습 분석학 기반 대시보드의 설계와 적용", 교육정보미디어연구, 20(2), pp.191~216 (2014), 한국교육정보미디어학회
  7. 박연정, "학습관리시스템의 대시보드 설계를 위한 학습자 중심 요구분석: 분석과 설계 도구로서 활동이론의 적용", 교육공학연구, 30(2), pp.221~258 (2014), 한국교육공학회
  8. 박혜정, "동적 시각 단서가 인지부하와 학습 성과에 미치는 영향: 공간능력 요인의 조절효과를 중심으로", 교육정보미디어연구, 27(4), pp.1485~1513 (2021), 한국교육정보미디어학회[DOI]
  9. 서진선, "LMS 로그 데이터 분석을 통한 온라인 학업성취 예측모형에 관한 사례 연구", 현장수업연구, 1(2), pp.121~154 (2020), 교육과학연구소[DOI]
  10. 성은모, "학습분석학 관점에서 학습자의 자기주도학습 지원을 위한 학습 데이터 탐색 연구", 교육공학연구, 32(3), pp.487~533 (2016), 한국교육공학회[DOI]
  11. 성한올, "온라인 학습 상황에서 행동 로그, 생리심리반응 및 시험불안을 통한 멀티모달(Multimodal) 학업성취 예측모형 개발", 교육공학연구, 34(2), pp.287~308 (2018), 한국교육공학회[DOI]
  12. 신종호, "대학 수업 지원을 위한 학습분석 기반 교수자 대시보드 개발", 교육정보미디어연구, 24(3), pp.489~515 (2018), 한국교육정보미디어학회[DOI]
  13. 안미리, "해외 학습분석학(Learning Analytics) 연구에 대한 동향 분석: 실증 연구 중심으로", 교육정보미디어연구, 21(4), pp.601~643 (2015), 한국교육정보미디어학회[DOI]
  14. 안미리, "학습분석학 국내 문헌 고찰: 로그 데이터를 이용한 실증연구를 중심으로", 교육공학연구, 32(2), pp.253~291 (2016), 한국교육공학회[DOI]
  15. 이성혜, "자기조절학습 행동데이터에 대한 탐색적 연구: 해외 학습분석 연구를 중심으로", 교육공학연구, 37(2), pp.191~236 (2021), 한국교육공학회[DOI]
  16. 이슬기, "학습분석학 기반의 인공지능 교육 서비스 활용 활성화 방안 -국어 교과를 중심으로-", 열린교육연구, 29(3), pp.201~224 (2021), 한국열린교육학회[DOI]
  17. 이정은, "텍스트 기반 멀티미디어 학습에서 시각적 단서와 학습자 메타인지 수준이 인지부하에 미치는 영향", 교육정보미디어연구, 26(3), pp.539~565 (2020), 한국교육정보미디어학회[DOI]
  18. 이현경, "학습분석의 윤리적 이슈와 실천방안에 대한 초등학교 교사의 인식", 교육정보미디어연구, 26(1), pp.157~181 (2020), 한국교육정보미디어학회[DOI]
  19. 임규연, "학습자중심 대시보드 설계를 위한 탐색적 연구: 학습정보를 중심으로", 컴퓨터교육학회 논문지, 21(3), pp.35~50 (2018), 한국컴퓨터교육학회[DOI]
  20. 임성태, "학습분석 기반 교수자 피드백 제공을 위한 대시보드 설계", 컴퓨터교육학회 논문지, 20(6), pp.1~15 (2017), 한국컴퓨터교육학회[DOI]
  21. 정겨운, "웹 기반 문제해결 학습상황에서 문제해결 전략 유사도로 분류한 집단 간 선택적 주의, 인지부하 차이 및 결과예측", 박사, pp.2021
  22. 정겨운, "마이크로 콘텐츠 정보제시방식에 따라 구분한 집단 간 학습자 인지·정서적 상태 차이", 교육공학연구, 38(2), pp.509~537 (2022), 한국교육공학회[DOI]
  23. 조용상, "학습 분석 기술 활용 가능성 및 전망", 한국통신학회지(정보와 통신), 31(12), pp.73~80 (2014)
  24. 조일현, "학습분석학과 학습 설계, 그 융합 지평의 전개", 한국교육공학회 학술대회발표자료집, 2015(2), pp.422~434 (2015)
  25. 조일현, "빅데이터 기반 학습 분석학: AI 시대 교육 정책방향을 중심으로", 교육광장, 77, pp.6~9 (2021)
  26. 조일현, "이러닝에서 학습자의 시간관리 전략이 학업성취도에 미치는 영향: 학습분석학적 접근", 교육정보미디어연구, 19(1), pp.83~107 (2013), 한국교육정보미디어학회
  27. 조일현, "학습분석학을 활용한 e-러닝 학업성과 추정 모형의 통계적 유의성 확보 시점 규명", 교육공학연구, 29(2), pp.285~306 (2013), 한국교육공학회
  28. 조일현, "학습분석학의 이해" (2019), 박영스토리
  29. 조일현, "학습분석학 기반 대시보드에 대한 사용자의 정보지각 측정 연구: 시선추적장치의 활용", 교육정보미디어연구, 21(3), pp.441~469 (2015), 한국교육정보미디어학회[DOI]
  30. 진성희, "이러닝 학습환경에서 학습분석기반 대시보드 연구동향 분석", 교육정보미디어연구, 21(2), pp.185~213 (2015), 한국교육정보미디어학회[DOI]
  31. 한동희, "기업 이러닝 학습에서의 학습 성과에 영향을 미치는 학습 행태 요인분석 - 우수 학습자와 전체 학습자 로그 분석 비교를 중심으로", Journal of The Korean Data Analysis Society, 17(2), pp.897~912 (2015), 한국자료분석학회
  32. 한재훈, "사이버 대학에서 학습자 특성 및 학습 활동이 학업성취도에 미치는 영향: 3P 모형을 활용한 학습분석적 접근", 교육정보미디어연구, 21(2), pp.309~332 (2015), 한국교육정보미디어학회[DOI]
  33. 함윤희, "다중양식 학습분석의 연구동향과 발전방안 탐색을 위한 체계적 문헌 고찰", 교육정보미디어연구, 27(2), pp.501~529 (2021), 한국교육정보미디어학회
  34. Ahn, B. T., "Facial expressions when learning with a queer history app: Application of the control value theory of achievement emotions", British Journal of Educational Technology, 51(5), pp.1563~1576 (2020)
  35. Avella, J. T., "Learning analytics methods, benefits, and challenges in higher education: A systematic literature review", Online Learning, 20(2), pp.13~29 (2016)
  36. Banihashem, S. K., "A systematic review of the role of learning analytics in enhancing feedback practices in higher education", Educational Research Review, 37(1), pp.100489~ (2022)
  37. Di Mitri, D., "From signals to knowledge : A conceptual model for multimodal learning analytics", Journal of Computer Assisted Learning, 34(4), pp.338~349 (2018)
  38. Du, X., "A systematic meta-review and analysis of learning analytics research", Behaviour & Information Technology, 40(1), pp.49~62 (2021)
  39. "7 Things You Should Know About Analytics, ELI 7 Things You Should Know" (2010)[URL]
  40. Elias, T., "Learning analytics: Definitions, processes and potential", Learning, 23, pp.134~148 (2011)
  41. Elmoazen, R., "Learning analytics in virtual laboratories : a systematic literature review of empirical research", Smart Learning Environments, 10(1), pp.1~20 (2023)
  42. Fisher, D., "Interactions with big data analytics", Interactions, 19(3), pp.50~59 (2012)
  43. Haapalainen, E., "Psycho-physiological measures for assessing cognitive load", Proceedings of the 12th ACM international conference on Ubiquitous computing, pp.301~310 (2010)
  44. Hadwin, A. F., "Examining trace data to explore self-regulated learning", Metacognition and Learning, 2(2-3), pp.107~124 (2007)
  45. Hellas, A., "Predicting academic performance: A systematic literature review", Proceedings Companion of the 23rd Annual ACM Conference on Innovation and Technology in Computer Science Education, pp.175~199 (2018)
  46. Holmes, N., "Engaging with assessment: Increasing student engagement through continuous assessment", Active Learning in Higher Education, 19(1), pp.23~34 (2018)
  47. Howison, J., "Validity issues in the use of social network analysis with digital trace data", Journal of the Association for Information Systems, 12(12), pp.767~797 (2011)
  48. Ikehara, C. S., "Assessing cognitive load with physiological sensors", Proceedings of the 38th Annual Hawaii International Conference on System Sciences, pp.295~ (2005)
  49. "Learning Measurement for Analytics Whitepaper" (2013)[URL]
  50. "What works clearinghouse procedures and standards handbook, Version 3.0" (2017)[URL]
  51. Jainta, S., "Analyzing the pupil response due to increased cognitive demand : An independent component analysis study", International Journal of Psychophysiology, 77(1), pp.1~7 (2010)
  52. Jo, I. H., "Verification of cognitive load theory with psychophysiological measures in complex problem-solving", The Asia-Pacific Education Researcher, 29, pp.417~429 (2020)
  53. 조일현, "Comparisons on Clustering Methods: Use of LMS Log Variables on Academic Courses", Educational Technology International, 18(2), pp.159~191 (2017), 한국교육공학회
  54. Johar, N. A., "Learning analytics on student engagement to enhance students’ learning performance: A systematic review", Sustainability, 15(10), pp.7849~ (2023)
  55. The 2011 Horizon Report, "Johnson, L.", The New Media Consortium, ~ (2011)
  56. Kew, S. N., "Learning analytics in online learning environment: A systematic review on the focuses and the types of student-related analytics data", Technology, Knowledge and Learning, 27(2), pp.405~427 (2022)
  57. Lai, M., "A review of using eye-tracking technology in exploring learning from 2000 to 2012", Educational Research Review, 10, pp.90~115 (2013)
  58. Larrabee Sønderlund, A., "The efficacy of learning analytics interventions in higher education: A systematic review", British Journal of Educational Technology, 50(5), pp.2594~2618 (2019)
  59. Larusson, J. A., "Learning analytics: From research to practice" (2014), Springer
  60. Learning Analytics Knowledge, "The 1st International Conference on Learning Analytics and Knowledge", ~ (2011)
  61. Lukarov, V., "Data Models in Learning Analytics", Proceedings of DeLFI Workshops, 1014, pp.88~95 (2014)
  62. Ma, J., "Examining the necessary condition for egagement in an online learning environment based on learning analytics approach: The role of the instructor", Internet and Higher Education, 24, pp.26~34 (2015)
  63. Mangaroska, K, "Learning analytics for learning design: A systematic literature review of analytics-driven design to enhance learning", IEEE Transactions on Learning Technologies, 12(4), pp.516~534 (2018)
  64. Nguyen, Q., "Learning analytics to uncover inequality in behavioural engagement and academic attainment in a distance learning setting", Assessment & Evaluation in Higher Education, 45(4), pp.594~606 (2020)
  65. Oviatt, S., "Multimodal learning analytics: Assessing learners' mental state during the process of learning", Handbook of Multimodal-Multisensor Interfaces: Signal Processing, Architectures, and Detection of Emotion and Cognition, 2, pp.331~374 (2018)
  66. Papamitsiou, Z., "Learning analytics and educational data mining in practice: A systematic literature review of empirical evidence", Educational Technology & Society, 17(4), pp.49~64 (2014)
  67. Petersen, J. K, "Introduction to Surveillance Studies" (2012), Routledge
  68. Pijeira-Díaz, H. J., "Profiling sympathetic arousal in a physics course: How active are students?", Journal of Computer Assisted Learning, 34(4), pp.397~408 (2018)
  69. Ravaja, N., "Contributions of psychophysiology to media research : Review and recommendations", Media Psychology, 6(2), pp.193~235 (2004)
  70. "Beautiful soup documentation" (2023)[URL]
  71. Schuurmans, A. A., "Validity of the empatica E4 wristband to measure heart rate variability(HRV)parameters : a comparison to electrocardiography(ECG)", Journal of Medical Systems, 44(11), pp.190~ (2020)
  72. Schwendimann, B. A., "Perceiving learning at a glance : A systematic literature review of learning dashboard research", IEEE Transactions on Learning Technologies, 10(1), pp.30~41 (2016)
  73. (2012)[URL]
  74. Siemens, G., "Special issue on learning and knowledge analytics", Educational Technology & Society, 15(3), pp.1~2 (2012)
  75. Siemens, G., "Penetrating the fog : Analytics in learning and education", Educause Review, 46(5), pp.30~32 (2011)
  76. Willis, J. E., "Ethical oversight of student data in learning analytics : A typology derived from a cross-continental, cross-institutional perspective", Educational Technology Research and Development, 64, pp.881~901 (2016)
  77. Zhao, L., "Academic performance prediction based on multisource, multifeature behavioral data", IEEE Access, 9, pp.5453~5465 (2020)

관련 논문AI추천

다중양식 학습분석의 연구동향과 발전방안 탐색을 위한 체계적 문헌 고찰김혜은, 이한솔, 조영환, 함윤희한국교육정보미디어학회 · 교육정보미디어연구2021 · 제27권 제2호학습분석학 국내 문헌 고찰: 로그 데이터를 이용한 실증연구를 중심으로고윤미, 김민하, 배윤희, 안미리, 최윤영한국교육공학회 · 교육공학연구2016 · 제32권 제2호해외 학습분석학(Learning Analytics) 연구에 대한 동향 분석: 실증 연구 중심으로고윤미, 배윤희, 안미리, 최윤영한국교육정보미디어학회 · 교육정보미디어연구2015 · 제21권 제4호학습자 역량 측정 연구 동향 분석: 멀티모달 학습분석을 중심으로박소영, 이성혜, 장나영한국교육공학회 · 교육공학연구2025 · 제41권 제3호이러닝 학습환경에서 학습분석기반 대시보드 연구동향 분석유미나, 진성희한국교육정보미디어학회 · 교육정보미디어연구2015 · 제21권 제2호교육 데이터와 분석 기법: 사례 연구를 중심으로권영옥사)한국빅데이터학회 · 한국빅데이터학회 학회지2019 · 제4권 제1호

이 간행물의 다른 논문 (8건)

블록 코딩을 활용한 융합형 국어 수업 설계원리 및 모형 개발임철일, 이은서, 이다연, 정혜진pp. 345-377프로그래밍 문제해결 과정 지원도구에 대한 학습자 인식 탐색임규연, 김혜준, 이주원, 박은주, 박하은, 진명화pp. 379-416디자인씽킹 기반 온라인 협력학습 지원 인공지능 챗봇 설계원리 개발고보경, 함윤희, 추영선, 박소미, 이현경pp. 417-450초중등학교 교육에서의 메타버스 활용 교수학습 모형 개발박현경, 조경희, 장명희, 장선영, 김상희, 노광현pp. 451-498에듀테크 기반 학생 정서지원 모델 개발 연구강수미, 성은모, 박정현, 이성혜, 김명섭, 길혜지pp. 499-536
원문 보기