한국어 악성 프롬프트 주입 공격을 통한 거대 언어 모델의 유해 표현 유도
Inducing Harmful Speech in Large Language Models through Korean Malicious Prompt Injection Attacks
1
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
최근 거대 언어 모델을 기반으로 한 다양한 인공지능 챗봇이 출시되고 있다. 챗봇은 대화형 프롬프트를 통해 사용자에게 빠르고 간편하게 정보를 제공할 수 있다는 이점을 가지고 있어서 질의응답, 글쓰기, 프로그래밍 등 다양한 분야에서 활용되고 있다. 그러나 최근에는 챗봇의 취약점을 악용하는 ‘프롬프트 주입 공격’이 제안되었는데, 이는 챗봇이 기입력된 지시사항을 위반하도록 하는 공격이다. 이와 같은 공격은 거대 언어 모델 내부의 기밀 정보를 유출하거나 또 다른 악성 행위를 유발할 수 있어서 치명적이다. 반면 이들에 대한 취약점 여부가 한국어 프롬프트를 대상으로는 충분히 검증되지 않았다. 따라서 본 논문에서는 널리 사용되는 챗봇인 ChatGPT를 대상으로 악성 한국어 프롬프트를 생성하여 공격을 수행해보고, 이들에 대한 실행 가능성을 분석하고자 한다. 이를 위해 기존에 제안된 프롬프트 주입 공격 기법을 분석하여 악의적인 한국어 프롬프트를 자동으로 생성하는 시스템을 제안하고자 한다. 특히 유해 표현을 유도하는 악성 프롬프트를 중점적으로 생성하였고 이들이 실제 유효함을 보이도록 한다.
Abstract
Recently, various AI chatbots based on large language models have been released. Chatbots have the advantage of providing users with quick and easy information through interactive prompts, making them useful in various fields such as question answering, writing, and programming. However, a vulnerability in chatbots called "prompt injection attacks" has been proposed. This attack involves injecting instructions into the chatbot to violate predefined guidelines. Such attacks can be critical as they may lead to the leakage of confidential information within large language models or trigger other malicious activities. However, the vulnerability of Korean prompts has not been adequately validated. Therefore, in this paper, we aim to generate malicious Korean prompts and perform attacks on the popular chatbot to analyze their feasibility. To achieve this, we propose a system that automatically generates malicious Korean prompts by analyzing existing prompt injection attacks. Specifically, we focus on generating malicious prompts that induce harmful expressions from large language models and validate their effectiveness in practice.
참고문헌 (27)
- "What are Large Language Mod els (LLM)?" (2024)[URL]
- "LLM Guidance" (2024)[URL]
- "Skelter Labs" (2024)[URL]
- "OpenAI" (2023)[URL]
- "Microsoft Copilot" (2023)[URL]
- "Google Gemini" (2024)[URL]
- "OWASP Top 10 for Large Language Model Applications" (2023)[URL]
- "Prompt Injection" (2023)[URL]
- "These are Microsoft’s Bing AI secret rules and why it says it’s named Sydney" (2023)[URL]
- "AI-powered Bing Chat spills its secrets via prompt injection attack" (2023)[URL]
- "ChatGPT ‘DAN’ (and other ‘Jailbreaks’)" (2023)[URL]
- "Google, successfully extracted personal information from 'Chat GPT', LLM training data can be ident ified" (2024)[URL]
- "KULLM: Korea University L arge Language Model" (2023)[URL]
- "Clova for Writing" (2024)[URL]
- "Medical chatbot using Open AI’s GPT-3 told a fake patient to kill themselves" (2024)[URL]
- "Defense Measures" (2023)[URL]
- "protectai/rebuff: LLM Prompt Injection Detector" (2024)[URL]
- "The Vulnerabilities and Sec urity Threats Facing Large Language Models" (2024)[URL]
- "Anthropic: ‘Overwhelming an LLM with questions can lead to ja ilbreak’, ‘Multishot jailbreak method’" (2024)[URL]