학교에서 활용 가능한 한국어 기반 경량화 LLM 개발 및 적용 방안 연구
Research on Developing and Applying a Korean-based Lightweight LLM for Schools
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 학교 현장에서 활용 가능한 한국어 기반 경량화 LLM(sLLM) 개발 및 적용 방안을 제시하고자 한다. 현재 상용 LLM 서비스는 개인정보 유출 위험, 서버 접속 환경 제한, 비용 문제 등으로 교육 현장에서 활용하기에 어려움이 있다. 이를 해결하기 위해 한국어 데이터셋을 활용한 파인튜닝과 양자화를 통해 학교에 보급된 스마트기기에서 구동 가능한 경량화 LLM을 개발하고자 하였다. 연구 결과, Gemma-3-4b LLM을 KorQuAD 2.0데이터셋으로 파인튜닝하고 Q5_K_M 형식으로 양자화한 LLM이 다른 LLM과 비교하여 한국어 이해력 측면에서 우수한 성능을 보였다. 그리고 개발한 모델을 학교에 보급된 스마트기기에서 실행하여 프롬프트에 대한 결과를 응답과 초당 토큰 값을 기준으로 정리하여 교육적 활용 가능성을 확인하였다.
Abstract
This study aims to suggest the development and application of Korean-based lightweight LLM (sLLM) that can be used in the school field. Currently, commercial LLM services are difficult to use in the educational field due to the risk of personal information leakage, server access environment restrictions, and cost problems. To solve this problem, we tried to develop a lightweight LLM that can be operated in smart devices distributed to schools through fine tuning and quantization using Korean datasets. As a result of the study, LLM, which was fine-tuned with the KorQuAD 2.0 dataset and quantized in the form of Q5_K_M, showed superior performance in terms of Korean understanding compared to other LLM. And the developed model was executed on smart devices distributed to schools, and the results of prompts were organized based on response and token values per second to confirm the possibility of educational use.