RAG 특화 소규모 대규모 언어 모델: 대규모 언어 모델의 지식 증류를 통한 전장 상황 분석 능력 강화
RAG-Enhanced small Large Language Models: Enhancing Battlefield Analysis through Knowledge Distillation of Large Language Models
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
복잡하고 다변화되는 현대 전장 환경에서 실시간 수집되는 데이터 처리 신속성과 신뢰성이 중요한 이슈가 되고 있으며, 이를 위해 효과적인 전장 상황 분석 시스템의 필요성이 대두되고 있다. 본 연구에서는 대규모 언어 모델(LLM)을 활용한 전장 상황 분석 시스템을 제안하며, 특히 검색증강 생성(RAG)과 지도 학습 미세조정(SFT)을 결합한 고도화된 접근 방식을 제시한다. 기존 RAG 기법의 환각 문제와 중간 정보 손실 현상을 해결하기 위해, 본 연구는 3중 구조 SFT 방식을 도입하였다. 군사 전문가들과 협력하여 구축된 합성 전장 데이터를 기반으로 실험을 진행한 결과, 3중구조 SFT를 적용한 8B의 경량화 모델이 405B 모델을 Source Extraction에서 F1 기준 0.07, Answer Quality에서는 5점 척도 기준 대략 1점 정도 능가하는 성능을 보여주어 실제 전장 환경에서의 실용성을 입증하였다. 본 연구의 결과는 전장 상황 분석에서 LLM의 효과적인 활용 가능성을 제시하며, 특히 실시간 데이터 처리와 높은 신뢰성이 요구되는 도메인에서 새로운 방향을 제시한다.
Abstract
The increasing complexity of modern battlefields and the importance of real-time data processing have heightened the need for effective battlefield situation analysis systems. This study proposes a battlefield analysis system utilizing Large Language Models (LLMs), specifically introducing an advanced approach that combines Retrieval-Augmented Generation (RAG) with Supervised Fine-Tuning (SFT). To address the hallucination problems and lost-in-the-middle phenomenon inherent in existing RAG systems, we introduce a triple-structured learning approach that incorporates reference documents in the SFT process. Based on synthetic battlefield datasets developed in collaboration with military experts, our experimental results demonstrate exceptional performance in source extraction accuracy and response quality evaluation. Notably, when applying triple-structured SFT to an 8B parameter model, we achieved comparable performance to a 405B parameter model, proving its practicality in actual battlefield environments. Furthermore, our lightweight model enhanced with specialized training strategies showed minimal performance degradation compared to larger models, suggesting its viability for deployment in resource-constrained environments. This research demonstrates the effective application of LLMs in battlefield situation analysis and presents a novel direction for military domains requiring real-time data processing and high reliability.