본문 바로가기
KERD
논문KCI 등재

이러닝 콘텐츠 개발의 질 관리를 위한 학습자 중심의 사용성 평가 방안 연구

A Strategy of Learner-Centered Usability Evaluation for Quality Management in e-Learning Contents Development

박경선|이혜정
한국교육정보미디어학회 (Korea Association for Educational Information and Media)|2009.09|교육정보미디어연구 (Journal of Korean Association for Educational Information and Media)|제15권 제3호|pp. 63-88

0

조회

0

다운로드

26

인용

0

참고문헌

키워드

이러닝 사용성 평가이러닝 콘텐츠 개발의 질 관리체계적 사용성 평가e-learning usability evaluationquality management of e-learning contents developmentsystematic usability evaluation
주제분류교육학

초록

본 연구에서는 HCI(Human-Computer Interaction) 분야의 ‘사용성 평가(usability evaluation)’를 이러닝 콘텐츠 평가에 도입하여, 콘텐츠 개발 초기에 이러닝 콘텐츠에 대한 학습경험을 분석하고 이를 콘텐츠 개발 단계에 반영함으로써 이러닝 콘텐츠 개발의 질 관리를 추구하는 사용성 평가 방안을 제안하고자 하였다. 이를 위해 먼저 콘텐츠 개발 초기에 콘텐츠의 프로토타입에 대한 1) 내용전문가와 학습자에 의한 사용성 평가를 동시에 실시하였고, 2) 학습자가 콘텐츠를 통해 학습하는 상황을 관찰한 자료와 학습활동 종료 후 학습자가 인식하는 사용성 평가 결과 자료를 수집하였으며, 3) 콘텐츠 개발자 관점이 배제된 학습자만의 입장에서 콘텐츠의 문제점을 우선순위로 작성토록 하는 평가를 실시하였다. 연구결과, 첫째, 사용성 평가 설문지 분석에 의하면 학습자는 콘텐츠 평가에서 내용전문가와 다른 경험과 인식을 가지고 있는 것으로 나타났기 때문에 전문가 검수에 더하여 학습자의 사용성 평가가 반드시 병행되어야 함이 드러났다. 둘째, 학생들이 인식하는(perceived) 사용성 평가 결과는 학습활동 녹화 결과와 병행하여 분석해야만 학습 활동을 방해하는 콘텐츠의 문제 지점을 신속하고 정확하게 파악할 수 있었다. 셋째, 콘텐츠의 사용성과 관련된 개선사항을 우선순위로 파악할 수 있는 서술형 설문지 분석은 학습자 입장에서 가장 심각한 문제를 일으키는 요인을 보다 쉽고 빠르게 파악할 수 있도록 해 주었다. 요컨대, 본 연구의 결과 및 제언들을 고려하여 이러닝 콘텐츠 개발에서의 사용성 평가가 전문가 검수, 학습자 검수, 학습과정 녹화 분석 등을 병행하여 수행한다면, 이러닝 콘텐츠 개발의 질 관리 체제가 한층 전문화ㆍ정교화 될 것으로 기대된다.

Abstract

The purpose of this research is to find out a useful strategy for quality management in e-Learning contents development. Usability evaluation, originally from HCI(Human-Computer Interaction) field, is a way to improve quality and completeness in developing e-Learning contents, which is getting feedback from users and revise the contents rapidly at the front of a developing process. To articulate the usability evaluation process, three evaluation methods were implemented concurrently; 1) subject matter experts' inspection and learners' perceived evaluation, 2) recording analysis of learning process, and 3) learners’ free writing about problematic points. Findings showed that learners’ experience and perception on the e-Learning contents were different from subject matter experts’. In addition, learners’ perceived usability evaluation results should be analyzed with recording data of learning process to find out the exact problematic points of contents so as to revise easily and rapidly. The results of this research suggest that concurrent usability evaluation by subject matter experts, learners, and recording analysis of learning process would be a good strategy to improve the completeness of e-Learning contents and consequently to enhance quality management of e-Learning contents development process. Implications and suggestions were discussed.

참고문헌 (46)

  1. 김수욱, "대학 이러닝의 경쟁력 확보를 위한 특성화？차별화 운영 전략에 관한 연구", 농업교육과 인적자원개발, 39(1), pp.167~190 (2007), 한국농·산업교육학회
  2. 나일주, "WBI 완성도 향상을 이한 Usability Test 활용 방안", 컴퓨터교육학회 논문지, 6(3), pp.109~117 (2003), 한국컴퓨터교육학회
  3. 안미리, "e-러닝 콘텐츠 품질관리 기준안 개발 연구", 교육공학연구, 22(4), pp.171~193 (2006), 한국교육공학회
  4. 이동주, "원격교육론" (2009), 한국방송통신대학교출판부
  5. 이상수, "Blended learning을 위한 수업설계 원리", 한국교육공학회 춘계학술대회, pp.83~98 (2006)
  6. 이성흠, "효과적인 컴퓨터 기반 학습 프로그램 개발을 위한 편의성 검사의 이론적 기초", 교육공학연구, 16(1), pp.163~178 (2000)
  7. 이정모, "인지심리학" (2003), 학지사
  8. 이혜정, "대학교육의 질 제고를 위한 블렌디드 이러닝 활성화 방안 : 교수들의 인식 및 요구 조사 분석으로부터", 교육정보미디어연구, 13(4), pp.77~102 (2007), 한국교육정보미디어학회
  9. 이혜정, "대학 ‘교수(teaching)’의 질 제고를 위한 대학교육평가지표 개선 방안 연구", 아시아교육연구, 9(3), pp.173~204 (2008), 교육연구소
  10. 임철일, "e-러닝 내실화 및 고도화 방안에 대한 토론", 한국교육학술정보원 2006년도 e-러닝 정책 포럼, pp.51~54 (2006)
  11. 임철일, "온라인 지원 시스템 기반의 ‘창의적 문제해결 모형’을 활용하는 통합형 대학 수업 모형의 개발", 교육공학연구, 25(1), pp.171~203 (2009), 한국교육공학회
  12. 정영란, "이러닝 코스의 수월성 확보를 위한 질 관리 평가 준거 연구", 교육정보미디어연구, 10(2), pp.159~192 (2004), 한국교육정보미디어학회
  13. 정인성, "원격교육의 질에 관한 논의", 평생학습사회, 1(1), pp.1~24 (2005)
  14. 주영주, "사이버대학 질관리를 위한 준거 개발", 교육공학연구, 21(1), pp.95~130 (2005), 한국교육공학회
  15. 조일현, "기억인출기법(Stimulated Verbal Protocol)을 활용한 e-learning 유저빌리티 테스트사례 연구", 2004년 한국교육정보미디어학회 춘계학술대회 (2004)
  16. e-러닝 질관리 체제 구축 및 운영방안, "한국교육학술정보원", ~, pp.RM2006-5 (2006)
  17. 한국교육학술정보원, "초중등 교육 이러닝 품질관리 가이드라인(ver. 2.0) 개발", ~ (2008)
  18. 한국교육학술정보원, "고등교육 이러닝 품질관리 가이드라인(Ver. 2.0) 개발", ~ (2008)
  19. 한국교육학술정보원, "평생 교육 이러닝 품질관리 가이드라인(ver. 2.0) 개발", ~ (2008)
  20. 한국직업능력개발원, "e-learning 운영관련 제도 개선 연구", ~ (2005)
  21. Ardito, C, "An approach to usability evaluation of e-learning applications", Universal Access in the Infomation Society, 4(3), pp.270~283 (2006)
  22. Ardito, C, "Usability of E-learning tools", Proceedings of the working conference on Advanced visual interfaces (2004)
  23. Berg,G, "Human-Computer Interaction(HCI) in Educational Environments: Implications of Understanding Computers as Media", Journal of Educational Multimedia and Hypermedia, 9(4), pp.347~368 (2000)
  24. Boling, E, "User-centered innovation: A model for early usability testing", Proceedings of selected Research and Development presentations at the 1995 Convention of the Association for Educational Communications and Technology, ~ (1995)
  25. Chalmers,P.A, "User interface improvements in computer-assisted instruction, the challenge", Computers in Human Behavior, 16(5), pp.507~517 (2000)
  26. Ciavarelli,A, "Assessing the Quality of Online Instruction: Integrating Instructional Quality and Web Usability Assessments. In Measuring Up: Assessment Issues for Teachers, Counselors, and Administrators. ERIC Clearinghouse on Counseling and Student Services, Greensboro" (2003), National Board of Certified Counselors
  27. Corry, M. D, "User-centered design and usability testing of a Web site: An illustrative Case Study", Educational Technology Research and Development, 45(4), pp.65~76 (1997)
  28. Danielson, J, "ID and HCI: A Marriage of Necessity. In Instructional and cognitive impacts of web-based education" (2000), Idea Group Publishing
  29. De Angeli, A, "On the advantage of a Systematic Inspection for Evaluating Hypermedia Usability", International Journal of Human-Computer Interaction, 15(3), pp.315~335 (2003)
  30. Dublin, L, "Implementing e-learning: getting the most from your e-learning investment", ~ (2003), Paper presented at the American Society for Training and Development, San Diego, CA.
  31. Feldstein,M, "What is ‘Usable’ E-learning?", eLearn Magazine, ~ (2002), http:
  32. Graham,C.R, "Blended learning systems: Definition, current trends, and future direction. In Handbook of blended learning: Global perspectives, local designs" (2006), Pfeiffer Publishing
  33. Koohang, A, "Architecting Usability Properties E-Learning Instructional Design Process", International Journal on E-Learning, 3(3), pp.38~44 (2004)
  34. Lee,H, "A Strategy to motivate Professor’s Use of e-Learning in a Blended e-Learning Environment", Joint Symposium of Seoul National University and Hokkaido University (2007)
  35. Lohr,L, "Using ADDIE to Design a Web-Based Training Interface", Society for Information Technology &Teacher Education International Conference (1998)
  36. Lohr, L, "Learner-Centered Usability: Tools for Creating a Learner-Friendly Instructional Environment", Performance Improvement, 40(4), pp.24~27 (2001)
  37. Nokelainen,P, "An empirical assessment of pedagogical usability criteria for digital learning material with elementary school students", Educational Technology & Society, 9(2), pp.178~197 (2006)
  38. Nielsen,J, "Jakob Nielsen on e-learning", ~ (2001), Retrieved from http:
  39. Reeves, T. C, "Usability and Instructional Design Heuristics for E-Learning Evaluation.Paper presented at the ED-MEDIA 2002 World Conference on Educational Multimedia,Hypermedia & Telecommunications,Denver", ED-MEDIA 2002 World Conference on Educational Multimedia, Hypermedia & Telecommunications (2002)
  40. Ssemugabi, S, "Usability and Learning: A Framework for Evaluation of Web-Based e-Learning Applications", World Conference on Educational Multimedia, Hypermedia and Telecommunications 2007 (2007)
  41. Storey, M.-A, "Evaluating the usability of Web-based learning tools", Educational Technology & Society, 5(3), pp.91~100 (2002)
  42. Tergan, S, "Assessing the instructional power of e-learning applications: a learner-centred checklist approach", World Conference on Educational Multimeida, Hypermedia and Telecommunications (2003), AACE
  43. Triacca, L, "MiLE: Systematic Usability Evaluation for E-learning Web Applications", World Conference on Educational Multimedia, Hypermedia and Telecommunications 2004 (2004), AACE
  44. Zaharias,P, "Usability and E-learning", ~ (2004), Retrieved from http:
  45. Zaharias, P, "Designing Affective-Oriented e-Learning Courses: An Empirical Study Exploring Quantitative Relations between Usability Attributes and Motivation to Learn", ED-MEDIA 2004 conference (2004)
  46. Zhang, P, "An assessment of human-computer interaction research in management information systems: topics and methods", Computers in Human Behavior, 20(2), pp.125~147 (2004)

관련 논문AI추천

이러닝 콘텐츠 품질관리 평가기준 규명강명희, 김미영, 남혜인, 최형신한국직업능력연구원 · 직업능력개발연구2009 · 제12권 제2호이러닝 코스의 수월성 확보를 위한 질 관리 평가 준거 연구장은정, 정영란한국교육정보미디어학회 · 교육정보미디어연구2004 · 제10권 제2호u-러닝 지원시스템(u-LSS) 현장 적용을 통한 사용성 평가 및 개선방안 연구김경, 김경진, 이효진한국교육정보미디어학회 · 교육정보미디어연구2011 · 제17권 제3호e-러닝 콘텐츠 품질관리 기준안 개발 연구김용, 손경아, 안미리한국교육공학회 · 교육공학연구2006 · 제22권 제4호초등학교 이러닝 콘텐츠의 학습 유효성 평가 방법에 관한 연구김현배, 차승희한국정보교육학회 · 정보교육학회논문지2005 · 제9권 제2호학습 설계를 지원하는 이러닝 플랫폼 프로토타입 탐색 연구임철일, 정다은, 한형종, 홍정현, Yunus Emre Ozturk한국교육공학회 · 교육공학연구2017 · 제33권 제4호

이 간행물의 다른 논문 (4건)

초등학생용 ICT 리터러시 검사의 수직 척도화서순식, 민경석pp. 1-19기업 사이버교육에서 인지적 실재감과 몰입, 만족도, 지속의향과의 구조적 관계김은경, 주영주, 박수영pp. 21-38시뮬레이션 게임에서 학습자ㆍ게임ㆍ몰입 변인의 사회적 문제해결력에 대한 경로분석백영균, 박옥희, 박형성pp. 39-62비계설정을 위한 블렌디드 수업설계 모형 개발 -설계 기반 연구를 적용하여-이상수, 강정찬pp. 89-121
원문 보기