재난 상황에서의 생성형 언어 모델에 대한 백도어 공격 시나리오와 실험적 분석
Backdoor Attacks on Generative Language Models in Disaster Situations: Attack Scenarios and Empirical Analysis
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
인공지능의 눈부신 발전에 따라 여러 분야에서 인공지능 모델을 사용하기 시작했고, 이와 동시에 인공지능에도 보안의 허점이 드리워졌다. 본 논문은 재난 상황에 사용되는 생성형 모델에 데이터 오염과 전이학습을 통해 백도어를 삽입하는 상황을 가정한다. 해당 백도어를 통해 일반적인입력에 대해서는 정상적인 출력을 내놓지만, 특정 트리거가 포함된 입력에 대해서는 의도적으로 변조된 출력을 내놓도록 하여 사회에 혼란을 야기할수 있음을 실험적으로 보여주고, 위험성을 강조한다.
Abstract
With the remarkable advancement of artificial intelligence, AI models have begun to be used across various fields, while simultaneouslyrevealing security vulnerabilities within AI itself. This paper assumes a situation in which a backdoor is inserted into a generative modelused in disaster situations through data poisoning and transfer learning. By means of this backdoor, the model produces normal outputsfor general inputs, yet deliberately yields manipulated outputs for inputs containing a specific trigger, thereby potentially causing socialconfusion. We experimentally demonstrate this possibility and emphasize its associated risks.