공개 한국어 언어모델의 국방 도메인 파인튜닝 가능성 연구
A Study on the Fine-Tuning Feasibility of Public Korean Large Language Models for the Defense Domain
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 국방관련 공개된 법령·훈령으로 구성된 3,199개 Q/A 데이터셋을구축하고, Polyglot-Ko, SOLAR, Llama-3 등 19개 공개 한국어 LLM을 파인튜닝해 국방 도메인 특화 LLM의 기술적 가능성을 평가한다. 그 결과 대형·한국어·instruction 특화모델이 우수한 성능을 보였고, LoRA 기반 파인튜닝으로도 제한된 GPU 환경에서 실용적인 성능을 확보할 수 있음을 확인했다. 이를 통해 공개 모델·공개 법령 데이터만으로 국방 법령·규정 영역을 위한 내부용 LLM 구축이 가능함을 보이며, 동시에 데이터 규모· 평가지표·보안·운영상 한계를 짚고 RAG 도입, 도메인 확장, 국방망 배포 아키텍처 설계 등 향후 연구 방향을 제안한다.
Abstract
This study constructs a dataset of 3,199 Q/A pairs derived from defense laws and directives, and fine-tunes eighteen publicly available Korean large language models—including Polyglot-Ko, SOLAR, and Llama-3—to evaluate the technical feasibility of a defense-domain-specialized LLM. The results show that large-scale, Korean-optimized, and instruction-tuned models demonstrate superior performance, and that LoRA-based fine-tuning enables practical performance even in limited GPU environments. These findings indicate that it is feasible to build an internal LLM for military laws and regulations using only open-source models and publicly available legal data. At the same time, the study identifies limitations related to dataset scale, evaluation metrics, security, and operational deployment, and proposes future research directions such as the adoption of RAG, expansion to additional defense-related domains, and the design of deployment architectures for secure defense networks.