사실 회상 기반 소형 언어 모델의 백도어 취약 지점 분석에 관한 연구
A Study on Backdoor Vulnerability Analysis of Small Language Models Based on Factual Recall
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
소형 언어 모델은 대형 언어 모델에 비해 경량화된 구조를 가져 온디바이스 환경에 상대적으로 적합하다. 그러나, 소형 언어 모델 역시 Transformer 구조를 근간으로 하므로, 대형 언어 모델이 갖는 백도어 취약성과 동일한 문제를 지니게 된다. 특히, 다수의 연구 결과 언어 모델은 사실적 지식을 특정 계층 및 모듈에 집중적으로 저장하는 경향이 있어, 이러한 구조적 특성은 역으로 모델 공격자가 악용할 수 있는 잠재적 위험 요소에 해당한다. 본 논문에서는 기존 인과 분석을 기반으로 Falcon-3, StableLM-Zephyr, Phi-4와 같은 소형 언어 모델의 지식 저장 및 회상 구조를 정량적으로 분석하였다. 그 결과, 모든 모델에서 초기 계층의 MLP 모듈이 사실 회상에 핵심적인 역할을 하는 것으로 나타났다. 이러한 특성은 지식 편집을 통한 백도어 삽입의 잠재적 경로로 활용될 수 있음을 시사한다. 해당 결과는 향후 백도어 탐지 및 방어 연구의 기반으로 활용될 것으로 기대한다.
Abstract
Small language models are designed with lightweight architectures compared to large language models, making them suitable for on-device environments. However, since they are also based on Transformer architecture, they exhibit the same vulnerabilities to backdoor attacks as large language models. In particular, language models tend to store factual knowledge in specific layers and modules, and this structural property represents a potential risk that adversaries can exploit. This paper quantitatively analyzes the knowledge storage and recall mechanisms of small language models such as Falcon-3, StableLM-Zephyr, and Phi-4 using established causal analysis. The results show that, across all models, the MLP modules in the early layers play a central role in factual recall. This characteristic suggests that knowledge editing can be leveraged as a pathway for backdoor injection. These findings provide a foundation for future research on backdoor detection and defense.