생성AI의 기만수단으로의 오용: 실태, 대응기술, 법적 쟁점
The Misuse of Generative AI for Deception: Status Quo, Mitigating Technologies, and Legal Challenges
0
조회
0
다운로드
8
인용
0
참고문헌
키워드
초록
생성AI(generative AI)의 대중화와 함께 생성한 딥페이크(deepfake) 등 합성매체(synthetic media)를 통해 사람을 참칭하고 사람의 작업으로 위장하며 허위정보의 생성을 조력하는 등 기만수단으로 오용하는 사례가 늘고 있다. 기만을 행하는 실행자ㆍ이용자에 대해서는 소비자ㆍ투자자 보호법, 공직선거법 등 기존 법제를 적극 적용하여 대응하되, 특히 폐해가 크고 사회적 신뢰를 훼손하는 사칭스캠․스피어피싱 등 범죄를 위한 합성매체의 생성에 대한 대응을 강화하는 한편, 기술적 조치 무력화를 금지ㆍ처벌하며, 소비자ㆍ투자자 보호나 공직선거 관련 가이드라인을 정비해야 한다. 생성AI의 기만적 오용이 야기하는 위해와 준수비용을 합산한 사회적 비용을 최소화하기 위해, 기반모델(foundation model) 제공자가 워터마킹(watermarking) 등 기술적 조치를 하고, 플랫폼은 이에 기한 탐지 툴을 제공함으로써, 수용자가 원하는 경우 기만적 합성매체를 쉽고 값싸게 회피하게 해주는 구조를 유도할 필요가 있으나, 이를 법적 의무로 부과하기보다는 세이프하버(safe harbor) 등 인센티브 부여로 구현해야 한다. 나아가 본래 공급자(supplier)인 기반모델의 제공자에게 EU AI 법안과 같이 “합리적으로 예견가능한 오용(reasonably foreseeable misuse)”에 대해서까지 책임을 지우는 등 관리ㆍ감독책임의 확장 방안이 논의될 수 있으나, 기만의 양태가 다른 오용에 비해 맥락특유적(context-specific)이라 합리적으로 예견가능한 경우는 실제 많지 않을 수 있고, 경직된 의무 부과가 남용-이용 상충(misuse-use tradeoff) 하에서 적법한 이용, 제공자의 모델 개방의 유인, 실행자의 활동공간, 표현의 자유를 위축시키고 하류시장에 대한 경영간섭과 남용을 유발할 수 있다는 점에서 신중을 기해야 한다. 다만, API 등 서비스 형태의 제공자가 기만행위의 발생 신고를 수령할 경우 실행자에 대한 API 등의 제공의 중지 또는 제한, 가능한 범위 내에서의 정보제공 등으로 신속히 대응하도록 하고, 피사칭자로부터 개인정보로서의 사진ㆍ영상ㆍ음성 정보의 처리중단을 요구받을 경우 그 구현절차를 명확히 하는 등 기만행위 대응을 위해 기존의 플랫폼과 유사한 비용효과적인 역할을 수행하게 할 필요가 있다.
Abstract
As generative AI applications become more widespread, so do their misuses in the form of deepfakes and other deceptive synthetic media made to impersonate real people, counterfeit or plagiarize authentic works, and disseminate disinformation. This paper explores how law enforcement and AI companies can play different roles and carry varying degrees of responsibility to contain AI abuses in society. Law enforcement must first apply existing laws to protect entities such as consumers and investors as well as social structures such as the electoral process. Lawmakers should also adapt the current legal system to address targeted concerns arising from deepfakes such as spear-phishing or astroturfing. AI companies at various points in the supply chain are also expected to partake in this effort. For instance, foundation model developers can integrate mitigating technologies like watermarking, while deployers and platform services can adapt filtering or detection tools. Here, the extent of responsibility borne by foundation model suppliers is still a point of contention – under the EU AI Act, foundation model suppliers are obligated to monitor downstream usages for “reasonably foreseeable misuse.” It is also crucial to be mindful of over-regulating the industry. Excessive legal obligations could restrict downstream usages, hinder freedom of expression, discourage model open-sourcing, and introduce other variations of market interference in application markets. Hence, this paper recommends law enforcement to facilitate model suppliers to self-regulate as in the U.S. or to implement incentive schemes such as safe harbor provisions. As a minimum safeguard, the providers, upon notice of deceptive output, should be prepared to respond promptly by shutting down or limiting API access, disclosing investigative information, and otherwise addressing requests from affected parties.
참고문헌 (29)
- 구재군, "제조물책임법 개정 방향 - 인공지능(소프트웨어)의 제조물성 인정 여부를 중심으로 -", 법조, 70(2), pp.80~106 (2021), 법조협회[DOI]
- 김재현, "딥페이크(deep fake)기술을 이용한 허위영상물 제작 및 반포죄에 대한 형사법적 고찰", 입법학연구, 18(1), pp.243~276 (2021), 한국입법학회[DOI]
- 박상철, "플랫폼법", 저스티스, 188통권 : 188, pp.347~406 (2022), 한국법학원[DOI]
- 기계학습 기반 보건복지분야 가짜뉴스(fake news)탐지 방법 연구, "오미애", 한국보건사회연구원, ~, pp.연구보고서 제2022-48호 (2022)
- 인공지능기술 발전에 따른 선거운동 제도개선 방안 연구: 딥페이크, 메타버스, 빅데이터 활용 선거운동을 중심으로, "엄기홍", 중앙선거관리위원회, ~ (2022)
- 최진응, "인공지능(AI) 기술 기반 딥페이크 선거운동의 해외 입법동향과 시사점", 외국 입법정책 분석, (26) (2022), 국회입법조사처
- 허순철, "유튜브 딥페이크(deepfake) 영상과 허위사실공표", 미디어와 인격권, 8(1), pp.1~47 (2022), 언론중재위원회[DOI]
- Anderljung, Markus, "Protecting society from AI misuse: When are restrictions on capabilities warranted?", arXiv preprint arXiv:2303.09377, ~ (2023)
- Bommasani, Rishi, "On the opportunities and risks of foundation models", arXiv preprint arXiv:2108.07258, ~ (2021)
- Boney, Laurence, "Digital watermarks for audio signals", 3rd IEEE International Conference on Multimedia Computing and Systems (ICMCS) (1996)
- Colleoni, Elanor, "Echo chamber or public sphere? Predicting political orientation and measuring political homophily in Twitter using big data", Journal of Communication, 64(2) (2014)
- Dutton, William H, "The Routledge Companion to Media Disinformation and Populism" (2021)
- Goodfellow, Ian, "Generative Adversarial Nets", Advances in Neural Information Processing Systems (NIPS) (2014)
- Goldstein, Josh A, "Generative language models and automated influence operations: Emerging threats and potential mitigations", arXiv preprint arXiv:2301.04246v1, ~ (2023)
- Gu, Huang, "Watermarking pre-trained language models with backdooring", arXiv preprint arXiv:2210.07543v2, ~ (2023)
- Hampton, Sarah C., "Parasite and catalyst: The polarizing influence of chatbots in political discourse", pp.2019
- Johnson, Justin, "Cambridge Handbook of Compliance" (2020)
- Lewis, Mike, "Deal or no deal? End-to-end learning for negotiation dialogues", arXiv preprint arXiv:1706.05125, ~ (2017)
- Liang, Weixin, "GPT detectors are biased against non-native English writers", arXiv preprint arXiv:2304.02819v2, ~ (2023)
- Mann, Christopher B, "Can conversing with a computer increase turnout? Mobilization using chatbot communication", Journal of Experimental Political Science, 8(1) (2021)
- McGuffie, Kris, "The radicalization risks of GPT-3 and advanced neural language models", arXiv preprint arXiv:2009.06807, ~ (2020)
- Shafieinejad, Wang, "On the robustness of the backdoor-based watermarking in deep neural networks", arXiv preprint arXiv:1906.07745, ~ (2019)
- Tamkin, Alex, "Understanding the capabilities, limitations, and societal impact of large language models", arXiv preprint arXiv:2102.02503, ~ (2021)
- Tashman, Alexandra, "Malicious deepfakes – How California's AB 730 tries(and fails)to address the Internet’s burgeoning political crisis", Loyola Los Angeles Law Review, 54 (2020)
- Vaswani, Ashish, "Attention is all you need", Advances in Neural Information Processing Systems (NIPS) (2017)
- Wang, Tianhao, "Attacks on digital watermarks for deep neural networks", 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (2019)
- Weidinger, Laura, "Ethical and social risks of harm from language models", arXiv preprint arXiv:2112.04359, ~ (2021)
- Yadollahi, Mohammad M., "Robust black-box watermarking for deep neural network using inverse document frequency", arXiv preprint arXiv:2103.05590v1, ~ (2021)
- Yu, Ning, "Responsible disclosure of generative models using scalable fingerprinting", International Conference on Learning Representations (ICLR) (2022)