본문 바로가기
KERD
논문KCI 등재

교사용 평가문항 서비스 사이트의 개선을 위한 사용편의성 평가 사례 연구- 한국교육과정평가원의 평가문항 서비스 시스템을 중심으로 -

A Case Study on the Usability Test for the Item Service Site for Teachers

홍선주|박형국
한국교육과정평가원 (Korea Institute for Curriculum and Evaluation)|2006.12|교육과정평가연구 (The Journal of Curriculum and Evaluation)|제9권 제2호|pp. 139-162

0

조회

0

다운로드

1

인용

0

참고문헌

키워드

usabilitythink aloudstimulated recall사용편의성문제은행item bank반성적 검사소리 내며 생각하기자극회상기법retrospective test
주제분류교육학

초록

본 연구에서는 사용편의성에 영향을 미치는 요인으로서 효과성, 효율성, 학습용이성, 시스템 완전성, 만족도 등에 비추어 초ㆍ중ㆍ고 교사에게 평가문항을 제공하는 평가문항 서비스 사이트의 사용편의성을 평가하였다. 검사 방법으로는 반성적 검사 방법(retrospective testing)을 사용하였고, 검사에는 6명의 초ㆍ중ㆍ고 교사들이 참여하였다. 우선 참여 교사들에게 평가문항 서비스 사이트를 사용하여 필요한 문항을 검색 및 활용하는 과제들을 소리 내며 생각하기(think aloud)를 하면서 수행하게 하였고, 이를 녹화 분석하여 1차 분석 자료를 생성하였다. 녹화된 비디오를 보면서 인터뷰를 수행하는 자극회상기법(stimulated recall)을 사용하여 연구자들은 참여 교사들과 함께 비디오 자료를 보면서 1차 분석된 내용을 교사들에게 확인하고 추가적인 개선 사항들을 얻어내었다. 이 인터뷰 역시 녹화하였으며, 인터뷰 녹화 자료와 1차 분석 자료를 기반으로 2차 분석을 수행하였다. 1～2차 분석을 통하여 사이트의 주요 메뉴와 기능별 사용상의 문제점들을 밝히고, 이에 대한 개선안을 제안하였다.

Abstract

This case study implemented a usability test to improve the Item Service Site that provides about 16,800 items for K-12 teachers. It reviewed the concept of usability and usability test, and the general criteria and methods that are generally used for usability testing. This study recruited 6 participants and employed the retrospective testing method. It discussed the usability of the site in terms of effectiveness, efficiency, learnerability, error tolerance and system integrity, and user satisfaction. The participants performed the tasks of searching items, collecting items, classifying items, downloading items, and making/revising tests using the items while doing 'think aloud' and their behaviors and utterances were video-recorded. Through the video analysis, the researchers produced the 1st round findings and developed the interview questions. Then, the researchers used the stimulated recall to interview the participants. The interviews were conducted to get the confirmation on the 1st round findings from the participants, and to seek the additional comments about problems and improvements. These interviews were also video-recorded and analyzed. The 2nd round findings were produced based on the 1st round findings and the stimulated-recall interviews. Through the analysis, the usability problems were identified and the suggestions were devised based on the criteria mentioned above.

참고문헌 (29)

  1. "교육정보화 현황분석 연구" (2004), 한국교육학술정보원
  2. "2005년도 교육정보화 현황분석 연구" (2005), 한국교육학술정보원
  3. "WBI 완성도 향상을 위한 Usability Test 활용 방안", 6(3), pp.109~117 (2003)
  4. "국민공통기본 교육과정 교과별 평가 도구 개발 연구(Ⅱ)" (2003), 한국교육과정평가원
  5. "국민공통기본교육과정 교과별 평가 도구 개발 및 적용 연구(Ⅳ)" (2005), 한국교육과정평가원
  6. "국민공통기본교육과정 교과별 평가 도구 개발 및 적용 연구(Ⅲ)" (2004), 한국교육과정평가원
  7. "효과적인 컴퓨터 기반 학습 프로그램 개발을 위한 편의성 검사의 이론적 기초", 16(1), pp.163~178 (2000)
  8. "국민공통기본 교과별 평가 도구 개발 연구(Ⅰ)" (2002), 한국교육과정평가원
  9. "사용성 검사 기법으로서 회상 자극법(Stimulated Recall)의 타당성과 실용성에 관한 연구", 12(2), pp.71~75 (2006)
  10. Bowers, V. A, "Concurrent versus retrospective verbal protocol for comparing window usability", pp.1270~1274 (1990)
  11. "Usability study of travel websites", 1(1), pp.47~61 (2005)
  12. "A practical guide to usability testing" (1993), Ablex
  13. "The evaluation of usability in interactive information systems Human factors in information systems: Emerging theoretical bases", pp.207~221 (1995), Ablex
  14. "Rigor in usability testing", pp.488~494 (1999)
  15. "User-centered web development" (2001), Jones and Bartlett
  16. "Usability testing and system evaluation" (1994), Chapman & Hall
  17. "Some limits on our capacity for processing information. Psychology Review", pp.81~97 (1956)
  18. "Evaluating hypertext usability Designing hypermedia for learning", pp.147~168 (1990), Springer-Verlag.
  19. "Usability engineering" (1993), Academic Press.
  20. "Things that make us smart: Defending human attributes in the age of the machine" (1993), Addison-Wesley
  21. "Qualitative evaluation and research methods (3rd ed.)" (2002), Sage Publications Inc.
  22. "Who defined usability", 5(12), pp.220~232 (1992)
  23. "Interactive learning systems evaluation" (2003), Educational Technology Publications
  24. "Handbook of usability testing" (1994), John Wiley & Sons
  25. "Issues of human computer interaction", 17(3,4), pp.22~23 (2004)
  26. "Usability-Context, framework, definition, design, and evaluation, Human factors for informatics usability", pp.21~37 (1991), Cambridge University.
  27. "Designing the user interface" (1998), Addison-Wesley
  28. "Designing the user interface: Stratagies for effective human-computer interaction (4th ed.)" (2004), Pearson
  29. "Guidelines for the development of item banks. An NCME instructional module", 13(1), pp.34~39 (1994)

관련 논문AI추천

u-러닝 지원시스템(u-LSS) 현장 적용을 통한 사용성 평가 및 개선방안 연구김경, 김경진, 이효진한국교육정보미디어학회 · 교육정보미디어연구2011 · 제17권 제3호초등학교 교사의 컴퓨터 기반 평가(Computer Based Test) 경험에 대한 질적 고찰정한호한국교육과정평가원 · 교육과정평가연구2009 · 제12권 제3호효율적인 평가를 위한 문항 관리 시스템의 설계 및 구현박경택, 이재무한국정보교육학회 · 정보교육학회논문지2005 · 제9권 제2호디지털 교과서 플랫폼 사용성 평가도구 개발 및 적용에 관한 연구송해덕, 이영태, 이예경, 임철일한국교육공학회 · 교육공학연구2009 · 제25권 제4호웹 사용성 개선에 관한 연구 - 국가과학기술정보시스템을 중심으로 -박민수, 현미환한국비블리아학회 · 한국비블리아학회지2011 · 제22권 제4호ICT활용교육을 위한 웹 코스웨어 평가사례박한숙, 오선우, 이미자한국교육공학회 · 교육공학연구2008 · 제24권 제3호

이 간행물의 다른 논문 (20건)

교사의 교육과정에 대한 이해가 교육과정 실행에 미치는 영향에 관한 사례 연구이경진pp. 1-27사이버공간과 몸 교육고미숙pp. 29-54교사의 ‘격려’ 언어의 유용성: 초등학교 교실수업에 대한 질적 접근김선혜pp. 55-75변칙 사례의 제시 방법이 개념 변화 과정에 미치는 영향- 인지적, 정의적, 동기적 측면을 고려하여 -강훈식, 노태희, 차정호, 강석진, 이정민pp. 77-93학교 주5일제 수업에 대비한 로봇 활용 교육 모형에 관한 연구배영권pp. 95-119
원문 보기