온라인 평가 전략 상담 챗봇 개발 및 사용성 평가
Development of an Online Assessment Strategy Consultation Chatbot and Usability Test
0
조회
0
다운로드
6
인용
0
참고문헌
키워드
초록
온라인 수업이 확대되고 있는 시점에서 온라인 교수자는 온라인 학습자를 효과적으로 평가하기 위해 온라인 수업 환경에 적합한 평가 전략을 활용하여야 한다. 이에 본 연구는 온라인 교수자들이 온라인 평가 전략을 습득하기 위한 학습 도구로 온라인 평가 전략 상담 챗봇을 개발하고자 하였다. 이 연구는 설계·개발 연구 방법(Richey & Klein, 2012)을 활용하여 온라인 교수자가 온라인 평가에 관한 질문을 하면 질문의 의도를 파악하여 적절한 온라인 평가 전략을 알려주는 대화형 챗봇을 개발하였다. 온라인 평가 이슈 사항과 온라인 평가 전략을 도출하기 위하여 문헌 검토를 실시하였고, 전문가에게 전략의 타당성을 확인받았다. 도출된 온라인 평가 전략을 활용하여 챗봇 프로토타입을 개발하였으며, 대학 교수자와 예비교사를 대상으로 사용성 평가를 실시하여 프로토타입의 주요 장점과 개선점을 파악하였다. 대학 교수자와 예비교사 모두 전반적으로 프로토타입을 긍정적으로 인식하였으며, 사용성 평가에서 확인된 개선점을 반영하여 챗봇을 보완하였다. 본 연구에서 개발된 챗봇은 온라인 교수자가 온라인 평가에 대한 궁금증이나 문제점을 즉각적이고 자율적으로 해결할 수 있도록 돕고, 궁극적으로 온라인 교수자가 온라인 수업을 성공적으로 운영하는 데 기여할 수 있을 것이다. 이러한 연구의 결과를 바탕으로 교육용 챗봇의 활용 가능성과 향후 교육용 챗봇의 개발을 위한 시사점을 제언하였다.
Abstract
In the era where online education is expanding, for effectively assessing online learners in online courses, online instructors should apply assessment strategies that fit for online environments. In this study, we developed a chatbot to help online instructors use assessment strategies for effective online teaching. Specifically, we adopted the design and development research procedure suggested by Richey and Klein (2012), in order to develop a conversational chatbot. The chatbot was intended to inform online instructors of assessment strategies by classifying instructors’ questions into pre-determined intent. To obtain reliable data for training the chatbot, we first conducted an extensive review of literature and derived online assessment strategies aligned with a range of online instructional contexts. The strategies were then validated by a group of experts. A prototype of the chatbot was developed by using the identified strategies, then an usability test was conducted on university instructors and pre-service teachers to collect users’ opinions and improvement points. Overall, both university instructors and pre-service teachers positively evaluated the prototype. The chatbot was finally developed by incorporating the participants’ feedback obtained from the usability test. The chatbot developed in this study is expected to support online instructors to handle various assessment issues in online learning environments, which will, in turn, improve online learning environments. Based on our findings, we discussed the implications of this study for further research and practice.
참고문헌 (39)
- 교육부, "포스트코로나 시대 미래교육 전환을 위한"디지털 기반 고등교육 혁신 지원방안"발표", 교육부 보도자료, ~ (2020)
- 지능형 정보서비스 사례 분석과 나이스 시사점, "김두연", 한국교육학술정보원, ~, pp.연구자료 RM 2018-1 (2018)
- 김성근, "챗봇 기술 소개 및 사례 분석", 정보와 통신 열린강좌, 35(2), pp.21~28 (2018)
- 김수민, "구글과 카카오 챗봇 빌더의 사용성 비교", 석사, pp.2019
- 김인석, "인공지능형 대화형 챗봇 현황과 영어교육용 챗봇 개발 방안", 영어영문학21, 33(2), pp.73~92 (2020), 21세기영어영문학회
- 김현숙, "온라인 영어수업의 강의 활성화 전략", 교과교육학연구, 11(1), pp.39~56 (2007), 교과교육연구소
- 박종혁, "킹고봇: 학내 정보 제공 챗봇", 한국정보과학회 학술발표논문집, 5, pp.324~325 (2017)
- 박준호, "인공지능 기반의 챗봇 시스템 기술 동향", 정보처리학회지, 26(2), pp.39~46 (2019)
- 배경진, "챗봇을 이용한 토론 수업 보조 도구 개발", 현대영미어문학, 38(1), pp.169~190 (2020), 현대영미어문학회[DOI]
- 백종남, "코로나 바이러스(COVID-19) 사태로 인한 대체 방법으로서의 실시간 온라인 수업 참여에 대한 대학생의 효능감", 디지털융복합연구, 18(11), pp.539~545 (2020), 한국디지털정책학회[DOI]
- 성민창, "우리나라 초등학교 영어학습자를 위한 순서도 기반 의미협상 챗봇 개발 연구", 초등영어교육, 25(4), pp.101~122 (2019), 한국초등영어교육학회[DOI]
- 안광식, "교육연구논문 작성을 위한 교육통계방법" (2010), 인터비젼
- 이동주, "온라인 협동학습 환경에서 동료평가의 역할: 평가자 및 피평가자 경험을 통한 개별 책무성 강화", 평생학습사회, 9(2), pp.181~211 (2013), 원격교육연구소
- 이의재, "코로나19 펜데믹(pandemic) 상황에서 고등학교 경력 체육 교사가 겪는 온라인 수업 실천의 어려움과 극복 전략 탐색", 학습자중심교과교육연구, 20(14), pp.339~362 (2020), 학습자중심교과교육학회[DOI]
- 이지연, "코로나19 시대 온라인 수업의 도전과 과제", 교육공학연구, 36(3), pp.671~692 (2020), 한국교육공학회[DOI]
- 임이랑, "대학에서의 효과적인 비대면 수업운영을 위한 교수전략 탐색: 학습자 경험분석을 중심으로", 교육혁신연구, 30(4), pp.23~54 (2020), 교육발전연구소[DOI]
- 정임수, "똑똑한 챗봇 만들기" (2019), 영진닷컴
- 정재엽, "Sent2Vec을 이용한 대화형 학사 민원 챗봇 개발", Proceedings of KIIT Conference, pp.271~273 (2020)
- 정효정, "Deriving Design Principles for Educational Chatbots from Empirical Studies on Human–Chatbot Interaction", 디지털콘텐츠학회논문지, 21(3), pp.487~493 (2020), 한국디지털콘텐츠학회
- 챗봇(Chatbot)의 활용 사례 및 이러닝 도입 전략, "조희석", 한국교육학술정보원, ~, pp.연구자료 RM 2018-11 (2018)
- 하연 편집부, "AI기반 챗봇(CHATBOT)의 기술동향 및 시장 전망" (2018), 하연
- Arend, B. D., "Course assessment practices and student learning strategies in online courses", Journal of Asynchronous Learning Networks, 11(4), pp.3~17 (2007)
- Braun, V., "Using thematic analysis in psychology", Qualitative Research in Psychology, 3(2), pp.77~101 (2006)
- Cameron, G., "Assessing the usability of a chatbot for mental health Care", pp.121~132 (2018), Internet Science
- Gaytan, J., "Effective online instructional and assessment strategies", American Journal of Distance Education, 21(3), pp.117~132 (2007)
- Jill Watson: A virtual teaching assistant for online education, "Goel, A. K.", Georgia Institute of Technology, ~ (2016)
- Factors affecting undergraduates’ acceptance of educational game: An application of technology acceptance model (TAM), "Ibrahim, R.", Visual Informatics: Sustaining Research and Innovations, 135~146 (2011)
- Lam, W., "Encourage online participation", Journal of Information System Education, 15(4), pp.345~348 (2004)
- Martin, F., "Award-winning faculty online teaching practices : Course design, assessment and evaluation, and facilitation", The Internet and Higher Education, 42, pp.34~43 (2019)
- Okuda, T., "AI-based chatbot service for financial industry", Fujitsu Scientific and Technical Journal, 54(2), pp.4~8 (2018)
- Olt, M. R., "Ethics and distance education : Strategies for minimizing academic dishonesty in online assessment", Online Journal of Distance Learning Administration, 5(3), pp.1~6 (2002)
- Ondáš, S., "How chatbots can be involved in the education process", 2019 17th International Conference on Emerging eLearning Technologies and Applications (ICETA), pp.575~580 (2019), IEEE
- Pliakos, K., "Integrating machine learning into item response theory for addressing the cold start problem in adaptive learning systems", Computers & Education, 137, pp.91~103 (2019)
- Richey, R. C., (2012), 학지사
- Sandoval, Z. V., "Design and implementation of a chatbot in online higher education settings", Issues in Information System, 19(4), pp.44~52 (2018)
- Santoso, H. A., "Dinus Intelligent Assistance (DINA) chatbot for university admission services", 2018 International Seminar on Application for Technology of Information and Communication, pp.417~423 (2018), IEEE
- Sewell, J. P., "Online assessment strategies : A primer", MERLOT Journal of Online Learning and Teaching, 6(1), pp.297~305 (2010)
- Ursachi, G., "How reliable are measurement scales? External factors with indirect influence on reliability estimators", Procedia Economics and Finance, 20, pp.679~686 (2015)
- Winkler, R., "Unleashing the potential of chatbots in education: A state-of-the-art analysis", Paper presented at the Conference:78th annual meeting of the academy of management(AOM) (2018)