군 특화 가드레일 구축을 통한 LLM 안전성과 신뢰성 향상 방안
Enhancing LLM safety and Reliability through the Development of Defense-Specific Guardrails
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
선진 과학강군 구축을 목표로 각 군은 대규모 언어 모델(LLM)을 활용한 체계를 도입하고 있다. 그러나 군의 엄격한 보안 요구사항을 고려할 때 민감 정보와 편향적 응답은 군의 의사결정에중대한 위협이 될 수 있다. 본 연구는 우리 군에 특화된 안전하고 신뢰할 수 있는 국방 LLM 구축을 위해 악의적 질의 및 응답에 대한 검증 방안으로써 군 특화 LLM 가드레일 설계 방안을제시하였다. 군 관련 법령 및 규정을 기반으로 군사기밀, 이데올로기, 군기문란을 포함한 3대민감 주제와 관련된 악의적인 질의를 필터링할 수 있는 군 특화 가드레일 아키텍처를 개발하였다. 제안된 군 특화 가드레일의 필터링 성능을 평가하기 위해 2,100개의 평가용 악성 프롬프트를생성하여 기존의 기본 가드레일 룰셋과 비교·평가하였고, 군 특화 가드레일은 752개의 군 민감질의가 통과된 기본 룰셋 대비 111개의 질의만 통과시켜 차단 성능이 유의미하게 향상됨을확인하였다. 본 연구는 향후 군에 도입될 LLM 체계의 보안성과 신뢰성을 강화하기 위한가드레일 설계 기준과 보안 표준 수립의 기초 자료로 활용될 수 있을 것으로 기대된다.
Abstract
To achieve the goal of building an advanced science-based military, each branch of the armed forces is introducing systems that utilize large language models (LLMs). However, considering the strict security requirements of the military, sensitive information and biased responses can pose significant threats to military decision-making. This study proposes a specialized military LLM guardrail design to build a secure and trustworthy national defense LLM tailored for the Korean military. Based on military-related laws and regulations, a military-specific guardrail architecture was developed to filter malicious queries involving three major sensitive topics: military secrets, ideology, and military discipline. To evaluate the filtering performance of the proposed military-specific guardrail, 2,100 malicious prompts were generated and compared with an existing baseline guardrail rule set. The military-specific guardrail allowed only 111 queries to pass through, compared to 752 queries with the baseline rule set, demonstrating a significant improvement in blocking performance. This study is expected to serve as foundational material for establishing guardrail design standards and security guidelines to enhance the security and reliability of LLM systems to be introduced in the military in the future.