교원 업무경감을 위한 생성형 AI 질의응답 시스템의 개발 및 평가
Development and Evaluation of Generative AI-based QA System for Reducing Teacher Administrative Affairs
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 교원의 업무경감을 위해 생성형 AI 기반의 질의응답 시스템을 개발하고, 시 스템의 정확도, 사용자 경험을 평가하였다. 시스템의 개발 및 평가는 국제 표준 시스템 개 발 생명주기를 바탕으로 하였다. 현장 교원의 요구와 업무를 분석하여 교육법령과 업무 지침 등으로 구성된 지식 데이터 세트를 구축하고 벡터 데이터베이스에 임베딩 하였으며, LangChain 프레임워크를 통해 GPT-4와 벡터 데이터베이스의 API를 연결하여 생성형 AI 기 반 질의응답 시스템을 구축하였다. 질의응답 시스템의 성능 평가는 자체 개발한 교육행정 벤치마크 테스트를 통해 이루어졌으며 100%의 정확도를 달성하였다. 사용자 경험 평가 전 문항에서는 평균 점수 4점 이상을 받아 실제 학교와 교육청에서 활용될 수 있다는 가 능성을 보여주었다. 본 질의응답 시스템은 RAG 기술을 활용하여 답변의 시의성과 신뢰성 을 높였으며, LLM 보안을 위한 프롬프트를 사용하여 시스템의 안정성과 윤리성을 준수하 였다. 질의응답 시스템은 교사가 법령과 지침에 기반한 의사결정을 내리는 데 도움이 될 수 있으며, 교원의 행정업무 부담을 완화하여, 교육행정기관 전반의 효율성을 개선할 수 있을 것으로 기대된다.
Abstract
In this study, a generative AI-based question-answering system was developed to alleviate teachers’ workload, and both its accuracy and user experience were evaluated. The system was created and assessed following the “system development life cycle” procedure. By analyzing the needs and tasks of field teachers, a knowledge dataset comprising educational laws and work guidelines was constructed and embedded in a vector database. This dataset was then integrated with GPT-4, a large language model, to develop the generative AI-based question-answering system, and the API of the vector database via the LangChain framework. The performance of the question-and-answer system was evaluated using a self-developed educational administration benchmark test, achieving an accuracy of 100%. In the user experience evaluation, the system received an average score of 4 or higher, indicating its potential for use in actual schools and educational offices. This system employed RAG technology to enhance the timeliness and reliability of responses, while its stability and ethical considerations were assessed through prompts for LLM security. The question-answering system can assist teachers in making informed decisions based on laws and guidelines, and it is expected to improve the overall efficiency of educational administrative agencies by alleviating teachers’ administrative burdens.
참고문헌 (35)
- 경기도교육청, "경기도교육청, ‘교육활동 중심 새 학년 준비 지원’으로 현장 공감 지원행정 구현", 보도자료, ~ (2024)
- 바이든 행정부의 첫 인공지능(AI) 행정명령과 시사점, "김경숙", 국가안보전략연구원, ~, pp.이슈브리프, 480호 (2023)
- 김이경, "한국 서울특별시와 중국 북경시의 교원업무경감정책 비교 분석", 비교교육연구, 33(3), pp.135~159 (2023)
- 교사의 직무수행 변화 분석과 향후 과제, "김혜진", 한국교육개발원, ~, pp.연구보고 RR 2022-02 (2022)
- "교사 57% 챗GPT, 교사 역할에 도움…행정업무․교수학습 활용 원해" (2023), 동아일보[URL]
- 선생님들은 왜 보직교사를 기피하는가?, "박찬선", 경기도교육연구원, ~, pp.이슈페이퍼 2023-08 (2023)
- 부산광역시교육청, "부산교육청, 전국 최초 ‘학교행정지원청’ 설립 추진", 보도자료, ~ (2023)
- 서울특별시교육청, "학교 공문서 감축을 통한 교직원 업무 경감으로 교육회복 집중 지원", 보도자료, ~ (2021)
- 유네스코「인공지능 윤리 권고」이행과 국제협력, "이상욱", 유네스코한국위원회, ~, pp.유네스코 이슈 브리프 2022년 제2호 (2022)
- 전해영, "초등학교 교무부장이 인식하는 업무 특성과 경험 탐색 : 온라인 단체대화방 내용을 중심으로", 교과교육학연구, 27(5), pp.452~466 (2023)
- 정성식, "같이 읽자, 교육법!" (2021), 에듀니티
- (2021), 한국교원단체총연합회[URL]
- Abdallah, A., "Exploring the state of the art in legal QA systems", Journal of Big Data, 10(1), pp.127~ (2023)
- Auffarth, B., "Generative AI with LangChain" (2023), Packt Publishing
- Borgeaud, S., "Improving language models by retrieving from trillions of tokens", International conference on machine learning, pp.2206~2240 (2022), PMLR
- Cao, Y., "AskHERMES : An online question answering system for complex clinical questions", Journal of Biomedical Informatics, 44(2), pp.277~288 (2011)
- "Building applications with LLMs through composability"[URL]
- Navigating the jagged technological frontier: Field experimental evidence of the effects of AI on knowledge worker productivity and quality, "Dell’Acqua, F.", Harvard Business School Technology & Operations Mgt, ~, pp.Unit Working Paper, (24-013) (2023)
- Dimitrakis, E., "A survey on question answering systems over linked data and documents", Journal of Intelligent Information Systems, 55(2), pp.233~259 (2020)
- Du, W., "PPT: Backdoor Attacks on Pre-trained Models via Poisoned Prompt Tuning", IJCAI, pp.680~686 (2022)
- "EU Artificial Intelligence Act" (2024)[URL]
- Griffith, E., "Anthropic Said to Be Closing In on $300 Million in New A.I. Funding", The New York Times, ~ (2023)
- Hassenzahl, M., "User experience-a research agenda", Behaviour & Information Technology, 25(2), pp.91~97 (2006)
- Izacard, G., "Atlas : Few-shot learning with retrieval augmented language models", Journal of Machine Learning Research, 24(251), pp.1~43 (2023)
- Karpathy, A., "Generative models", OpenAI, ~ (2016)
- Lewis, P., "Retrieval-augmented generation for knowledge-intensive nlp tasks", Advances in Neural Information Processing Systems, 33, pp.9459~9474 (2020)
- Lund, B. D., "ChatGPT and a new academic reality : Artificial Intelligence-written research papers and the ethics of the large language models in scholarly publishing", Journal of the Association for Information Science and Technology, 74(5), pp.570~581 (2023)
- "User Experience Design" (2004)[URL]
- "ChatGPT on track to surpass 100 million users faster than TikTok or Instagram: UBS" (2023)[URL]