소형 언어 모델 모듈을 활용한 생성형 AI 입력 프롬프트의 악성 행위 차단에 관한 연구
A Study on the Blocking of Malicious Behavior of Generative AI Input Prompts Using Small Language Model Module
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
대규모 언어모델(LLM)은 검색⋅코딩⋅에이전트 등에서 유용하지만, 입력 프롬프트가 거동을 직접 좌우해 프롬프트 인젝션(직⋅간접), 탈옥(jailbreak), 형식⋅유니코드 우회, 리소스 고갈, 툴/플러그인 악용에 취약하다. 본 연구는 경량 전역 분류기와 위협별 소형 언어 모델(SLM) 모듈을결합해 보정된 신뢰도와 정책 매핑에 따라 등급을 라우팅하고, 유니코드 정규화⋅디코딩⋅접미사 정화 등 전처리로 형식 우회를 제거하여 이를통해 모델 호출 전에 위험을 선별⋅차단하는 사전 추론 프롬프트 모델을 제안한다. 평가는 공개 벤치마크와 실제 시나리오에서 차단 실패율, 오차단율, 지연⋅비용, 보정 오차, 도메인 등을 보고하며, 다중 에이전트 방어⋅사후 모더레이션과의 결합 및 최소 권한⋅출처 검증⋅격리 원칙에 기반한배치 가이드를 제시한다.
Abstract
Large language models (LLMs) are useful for search, coding, and agentic workflows, but because input prompts directly control theirbehavior, they are vulnerable to prompt injection (direct and indirect), jailbreaks, format/Unicode evasion, resource exhaustion, and misuseof tools/plugins. We propose a pre-inference prompt model that filters and blocks risks before any model call by combining a lightweightglobal classifier with threat-specific small language model (SLM) modules, routing by calibrated confidence and policy mapping, andremoving format evasions through preprocessing such as Unicode normalization/decoding and suffix sanitization. Our evaluation on publicbenchmarks and real-world scenarios reports block-failure rate, over-blocking rate, latency and cost, calibration error, and domain-relatedmetrics. We also present integration with multi-agent defenses and post-hoc moderation, along with a deployment guide grounded inleast-privilege, provenance verification, and isolation principles.