안전하고 유용한 전장 상황 분석 RAG 시스템을 위한 sLLM 선호도 학습 기법
Preference-Aligned sLLM for Safe and Helpful RAG-Based Battlefield Analysis System
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
대규모 정보가 실시간으로 유통되는 현대 전장 환경에서, 방대한 양의 데이터를 분석하여 지휘관을 지원하기 위한 인공지능 기반 전장 상황 분석 시스템의 필요성이 증대되고 있다. 본 연구는전장 상황 분석을 위한 검색 증강 생성(RAG) 시스템에 특화된 소형 대규모 언어 모델(sLLM)의선호도 정렬을 목표로 한다. 이를 위해 군사 도메인에 적합한 ‘안전성’을 환각(hallucination)의 최소화 관점에서 재정의하고, Teacher Critique 기반 Inference-with-Hint 기법을 활용하여 Direct Preference Optimization(DPO) 선호도 데이터셋을 구축하였다. 해당 기법은 환각 안전성 선호도에대한 인간 평가에서 47.35%, LLM-as-Judge 평가에서 78.42%의 향상률을 보였다. 이후 DPO 기반선호도 학습 실험을 통해 전장 환경에 최적화된 하이퍼파라미터 설정 =0.9, epoch=15를 도출하였으며, SFT 모델 대비 안전성에서 +24.41%, 유용성에서 +3.77%의 향상을 달성하였다. 또한, 정규화된 안전성 중점 Z-score 기준으로는 +85.58점의 성능 향상을 달성하여 제안하는 기법의 환각 개선 효과를 확인하였다. 본 연구는 군사적 맥락에서 안전성과 유용성의 균형을 동시에 달성하는sLLM 개발 가능성을 제시한다.
Abstract
In the modern battlefield environment, where vast amounts of information are distributed in real time, there is a growing need for AI-based battlefield situation analysis systems to support commanders in analyzing massive volumes of data. This study aims to align the preferences of a small large language model (sLLM) tailored for a Retrieval-Augmented Generation (RAG) system designed for battlefield situation analysis. To this end, we redefine "safety" in the military domain from the perspective of minimizing hallucinations and construct a Direct Preference Optimization (DPO) dataset using a Teacher Critique-based Inference-with-Hint technique. This technique achieved improvements in hallucination-related safety preferences of 47.35% based on human evaluation and 78.42% based on LLM-as-Judge evaluation. Subsequently, through DPO-based preference learning, we identified the optimal hyperparameter configuraion for battlefield environments as =0.9, epoch=15. Under this setting, the model achieved improvements of +24.41% in safety and +3.77% in helpfulness compared to the SFT baseline. Furthermore, it achieved a performance gain of +85.58 points in the normalized safety-focused Z-score metric, demonstrating the effectiveness of the proposed method in reducing hallucinations.This study demonstrates the potential of developing an sLLM that effectively balances safety and helpfulness in defense applications.