본문 바로가기
KERD
논문KCI 등재

초중등 교수-학습을 지원하는 에듀테크 평가도구 개발 및 타당화: HCI 기준을 중심으로

Development and validation of Edtech evaluation tool to promote elementary and secondary teaching-learning utilizing HCI principles

윤성혜|Yunus Emre Ozturk
한국교육정보미디어학회 (Korea Association for Educational Information and Media)|2022.09|교육정보미디어연구 (Journal of Korean Association for Educational Information and Media)|제28권 제3호|pp. 543-566

0

조회

0

다운로드

8

인용

0

참고문헌

키워드

에듀테크HCI평가도구Evaluation toolEdtech
주제분류교육학

초록

본 연구는 초중등 학교 현장에서 교수-학습을 지원하기 위해 활용되는 에듀테크를 평가할 수 있는 전문가 휴리스틱 평가도구를 개발하였다. 문헌연구와 전문가 FGI를 통해, HCI(Human-Computer Interaction)의 일반적인 기준을 에듀테크 맥락에 적용하여 교육적 유용성, 시스템 사용성, 감성 측면을 평가할 수 있는 하위 요소와 문항을 개발하였다. 이후 두 차례의 전문가 델파이 조사를 실시하여 요소와 문항을 수정․보완하고 내용 타당도를 확인하였다. 그 결과, 세 가지 대분류 하에, 17개 하위 요소와 42문항으로 구성된 평가도구가 도출되었다. 이후 평가도구를 활용하여 A 에듀테크 제품에 대해 파일럿 평가를 실시함으로써, 개발된 평가도구의 적용 가능성을 확인하였다. 본 연구를 통해 개발된 평가도구는 에듀테크 유형을 구분하지 않고 통합적으로 평가할 수 있는 도구이며, 학습분석과 같은 최신 에듀테크 동향을 반영하고 과학적으로 타당화하였다는 데 의의가 있다. 또한 실천적 관점으로 에듀테크 기업에는 바람직한 에듀테크 개발의 가이드라인으로서, 학교 현장에서는 적절한 에듀테크 제품 선택에 기초 정보를 제공하기 위한 도구로 활용될 수 있을 것으로 기대된다.

Abstract

This study developed an expert heuristic evaluation tool that can evaluate Edtech used to promote teaching-learning in elementary and secondary school. Through literature study and expert FGI, sub-elements and items that can evaluate educational usefulness, system usability, and affectability were developed by applying the general criteria of HCI (Human-Computer Interaction) to the Edtech context. After that, two rounds of expert Delphi survey were conducted to revise and improve the elements and items, and to confirm content validity. As a result, the evaluation tool consisting of 17 sub-elements and 42 items was derived under three major categories. Afterward, the applicability of the developed evaluation tool was confirmed by conducting a pilot evaluation of the A Edtech product using the evaluation tool. The evaluation tool developed through this study can be used to evaluate Edtech tools and products in a comprehensive way, without classifying them. This study is also meaningful in such a way that this newly developed evaluation tool reflects the latest Edtech trends and is scientifically validated. In addition, from a practical point of view, it is expected to be used as a guideline for Edtech tool or product development by Edtech companies, and as a tool to provide core information when selecting appropriate Edtech products in schools.

참고문헌 (42)

  1. "교육과 기술의 융합, 에듀테크를 소개합니다" (2020)[URL]
  2. 학교 현장의 에듀테크 활용 및 수요 분석: 에듀테크 설문조사 결과를 중심으로, "김상운", 한국교육학술정보원, ~ (2022)
  3. 김성완, "전자교육 플랫폼 평가도구의 개발 및 타당화", 교육공학연구, 19(2), pp.211~238 (2003), 한국교육공학회
  4. 2021년 이러닝 산업 실태 조사, "산업통상자원부", 정보통신산업진흥원, ~ (2022)
  5. 윤성혜, "증거기반 에듀테크 생태계 구축을 위한 탐색적 연구", 2022년도 한국교육정보미디어학회 춘계학술대회 논문집, pp.377~386 (2022)
  6. 이정희, "HCI 이론에 기반한 게임형 학습 프로그램 평가 준거 개발 및 적용", 정보교육학회논문지, 11(1), pp.1~10 (2007), 한국정보교육학회
  7. 이지은, "비대면 정보보호 교육을 위한 LMS 평가지표 개발", 정보보호학회논문지, 31(5), pp.1055~1062 (2021), 한국정보보호학회[DOI]
  8. 임규연, "HCI 이론에 기반한 학습자 대시보드의 평가준거 개발 연구", 교육정보미디어연구, 23(4), pp.861~889 (2017), 한국교육정보미디어학회[DOI]
  9. 차승희, "초등학교 이러닝 콘텐츠의 학습 유효성 평가 방법에 관한 연구", 정보교육학회논문지, 9(2), pp.309~318 (2005), 한국정보교육학회
  10. 한국교육학술정보원, "국가이러닝품질관리센터 이러닝 콘텐츠 품질인증 안내서", 한국교육학술정보원, ~ (2014)
  11. "A rubric for evaluating e-learning tools in higher education" (2018)[URL]
  12. EdTech testbed: Models for improving evidence, "Batty, R.", NESTA, ~ (2019)
  13. Chang, Y. K., "Learner and User Experience Research: An Introduction for the Field of Learning Design & Technology" (2020), EdTech Book
  14. "Creating the Golden Triangle of Evidence-Informed EdTech" (2021)[URL]
  15. Department of Education, "Realising the potential of technology in education: A strategy for education providers and the technology industry (DFE-00072-2019)", Department of Education, ~ (2019)
  16. "Product Index"[URL]
  17. "The Edtech awards 2021" (2021)[URL]
  18. "The EdTech Genome Project Report" (2021)[URL]
  19. "Standards" (2021)[URL]
  20. "How we evaluate educational products"[URL]
  21. Fitzpatrick, J. L., "Program Evaluation: Alternative Approaches and Practical Guidelines" (2011), Pearson Education, Inc
  22. "How to Design Engaging Educational Solutions?" (2017)[URL]
  23. "2022 Global Education Outlook: HolonIQ’s annual analysis of the global education market and expectations for 2022 and beyond" (2022)[URL]
  24. Kamthan, P., "Beyond utility and usability: towards affectability in agile software requirements engineering", 2018 International Conference on Computational Science and Computational Intelligence (CSCI), pp.846~851 (2018), IEEE
  25. Lawshe, C. H., "A quantitative approach to content validity", Personnel Psychology, 28(4), pp.563~575 (1975)
  26. "2019 EdTech Top 40: School Year 2018-2019" (2019)[URL]
  27. "2020 EdTech Top 40: Special COVID19 Edition" (2020)[URL]
  28. "Digital tool selection checklist and evaluation rubric" (2019)[URL]
  29. Luckin, R., "Mainstreaming innovation in educational technology", Advances in Scholarship of Teaching and Learning, 3(1), pp.1~10 (2016)
  30. McNamara, N., "Functionality, usability, and user experience : three areas of concern", Interactions, 13(6), pp.26~28 (2006)
  31. Murry Jr, J. W., "Delphi : A versatile methodology for conducting qualitative research", Review of Higher Education, 18(4), pp.423~436 (1995)
  32. Nakakoji, K., "A conceptual framework for learning experience design", Proceedings of First Conference on Creating, Connecting and Collaborating Through Computing, pp.76~83 (2003)
  33. "Guidelines for conducting and reporting EdTech impact research in U.S. K-12 schools" (2017)[URL]
  34. Nielsen, J., "Heuristic evaluation of user interfaces", Proceedings of the SIGCHI conference on Human factors in computing systems, pp.249~256 (1990)
  35. "How to conduct a heuristic evaluation" (1995)[URL]
  36. Ozseven, T., "Human-computer interaction" (2019), Nova Science Publishers, Inc
  37. Pellini, A., "A political economy analysis framework for EdTech evidence uptake" (2021), EdTech Hub
  38. Preece, J., "A taxonomy for combining software engineering and human-computer interaction measurement approaches : towards a common framework", International journal of human-computer studies, 41(4), pp.553~583 (1994)
  39. Weatherby, K., "The importance of boundary objects in industry-academia collaborations to support evidencing the efficacy of educational technology", pp.1~14 (2022), TechTrends
  40. "Criteria for evaluating workforce edtech tools"[URL]
  41. "Online tool/resource evaluation rubric" (2020)[URL]
  42. Yen, P. Y., "A comparison of usability evaluation methods: heuristic evaluation versus end-user think-aloud protocol: An example from a web-based communication tool for nurse scheduling", AMIA annual symposium proceedings, pp.714~718 (2009)

관련 논문AI추천

초‧중학생 대상 웹기반 진단평가관리시스템 사용성 개선을 위한 휴리스틱스 개발 연구차현진, 황윤자한국정보교육학회 · 정보교육학회논문지2017 · 제21권 제6호디지털 교과서 플랫폼 사용성 평가도구 개발 및 적용에 관한 연구송해덕, 이영태, 이예경, 임철일한국교육공학회 · 교육공학연구2009 · 제25권 제4호u-러닝 지원시스템(u-LSS) 현장 적용을 통한 사용성 평가 및 개선방안 연구김경, 김경진, 이효진한국교육정보미디어학회 · 교육정보미디어연구2011 · 제17권 제3호초·중등 교육과정 온라인지원시스템의 사용자 중심의 디자인 가이드라인 개발 및 검증노은희, 차현진, 황윤자한국정보교육학회 · 정보교육학회논문지2021 · 제25권 제3호전자교육 플랫폼 평가도구의 개발 및 타당화김성완한국교육공학회 · 교육공학연구2003 · 제19권 제2호K-12 교육을 위한 생성형 AI 활용 평가 준거 개발 및 적용 연구범상윤, 최현종한국정보교육학회 · 정보교육학회논문지2025 · 제29권 제5호

이 간행물의 다른 논문 (13건)

사이버대학 군인학습자의 학습장애요인이 학업성취도에 미치는 영향에 관한 연구박종선pp. 493-514코로나 19 이후 비대면 원격수업에서 사회연결망 중앙성이 집단창의성과 학업성취에 미치는 영향강주리, 김선연pp. 515-541국내 대학의 핵심역량 탐색 연구: 키워드 네트워크 분석을 중심으로이은정, 이은택pp. 567-593COVID-19 상황의 블렌디드러닝 방식이 학습동기 및 학습태도에 미치는 영향이성주pp. 595-621대학 교수자의 디자인 씽킹 활용 수업 경험에 관한 사례연구김주영, 고수연, 이효진pp. 623-653
원문 보기