본문 바로가기
KERD
논문KCI 등재

자율무기의 법과 윤리

Law and Ethics of Autonomous Weapon System

이상용
법학연구소 (The Institute of Legal Studies Konkuk University)|2023.12|일감법학 (Ilkam Law Review)|제56호|pp. 351-399|DOI 10.35148/ilsilr.2023..56.351

0

조회

0

다운로드

2

인용

0

참고문헌

키워드

국제인도법AWS자율살상무기자율무기체계자율무기치명적 자율무기LAWSMHCREAIMDoDD 3000.09

초록

AI를 비롯한 기술의 발전에 따라 세계 각국이 자율무기체계 개발에 나서고 있다. 자율무기체계는 그 정확성으로 인해 인명 손실과 재산 피해를 줄일 수도 있지만, 전쟁의 문턱을 낮추고, 인간의 존엄성을 위협하며, 책임의 공백을 가져올 것이라는 우려 때문에 반대하는 견해도 많다. 그러나 단순한 찬반론을 넘어 ‘의미 있는 인간 통제’를 확보하는 것이중요하다. 그 통제 방안으로는 윤리적 통제와 법적 통제가 있을 수 있다. 그러나 논의의 전제로서 우선 자율무기체계의 개념을 정립할 필요가 있다. 이에 관하여많은 논쟁이 있어 왔지만, 미 국방부의 입장처럼 기능적‧관계적 관점에 따라 ‘일단 작동되면 운용자에 의한 추가적인 개입 없이도 표적을 선택하고 공격할 수 있는 무기체계’ 정도로 정의하는 것이 적절할 것이다. 한편 완전자율무기체계 개념을 둘러싼 소모적인 논란에휘말리기보다는 의미 있는 인간 통제를 실현하는 방안에 주목해야 할 것이다. 윤리적 통제를 위해서는 윤리이론을 바탕으로 실천적 윤리원칙을 마련하는 방안을검토할 필요가 있다. 그동안 제안되어 온 AI 윤리원칙들을 바탕으로 군사 분야의 특수성을 고려하여 윤리원칙을 마련할 수 있다. CCW의 자율무기체계 지도원칙이나 미 국방부의 AI 윤리원칙 등이 그 사례이다. 모범 관행의 수립이나 정치적 선언 역시 윤리원칙과마찬가지로 구속력 없는 연성 규범으로서 어느 정도 효과를 발휘할 수 있다. 법적 통제는 국제법과 국내법으로 나누어 검토할 수 있다. 다만 그 전에 자율무기체계의 법적 지위가 문제될 수 있는데, 행위성과 책임주체성이 인정되기는 어려울 것이다. 국제법적 측면에서는 국제인도법의 원칙들과 그 위반에 대한 민형사상의 책임이 문제된다. 자율무기체계는 국제인도법상 그 자체로 금지되는 무기라고는 할 수 없지만, 고차원적인 판단이 요구되는 상황에서는 인간의 도움 없이 구별의 원칙과 비례의 원칙을 준수하기는 어려우므로 일정한 경우 사용방법 상의 제한이 이루어질 필요가 있다. 자율무기체계를사용한 전쟁범죄에 대하여는 로마규정에 따른 형사책임이 인정되는데, 다만 자율무기체계를 부하로 취급하여 지휘관책임을 물을 수는 없다. 자율무기체계의 위법한 사용으로인한 피해자는 관련자들을 상대로 민사책임을 물을 수도 있다. 국내법적 통제로서는 사후적으로 민형사상의 책임을 묻는 것 외에 자율무기체계의운용과 통제에 관한 사전적 규율을 마련하는 방안이 검토되어야 한다. 미국은 국방부훈령을 통해 ‘적절한 수준의 인간 판단의 행사’를 기본원칙으로 하여 자율무기체계를개발‧운용하고 실패의 영향과 확률을 최소화하기 위한 규율을 마련하였다. 우리도 이를참고하여 자율무기체계에 관한 개념, 전략 및 전술, 절차를 확립하여 행정법규나 지침으로문서화할 필요가 있다.

Abstract

Advancements in technology, particularly in AI, have spurred countries worldwide to develop autonomous weapon systems (AWS). AWS offer the potential to reduce human casualties and property damage due to their precision but also raise concerns about warfare thresholds, human dignity, and accountability gaps. Addressing these concerns requires establishing meaningful human control over AWS through ethical and legal frameworks. Defining AWS as systems capable of autonomous target selection and engagement, as per the U.S. Department of Defense, is essential. Ethical control involves developing practical ethical principles, adapted from AI ethics, as a foundation. These principles should address the unique challenges of military applications, such as the CCW’s AWS guiding principles and the U.S. Department of Defense’s AI ethics principles. Legal control spans international and domestic law. AWS blur the lines of responsibility, making determining their legal status challenging. While international law addresses principles like proportionality and distinction, implementing them autonomously is difficult. War crimes committed with AWS can be prosecuted under the Rome Statute, but holding commanders accountable for AWS actions is complex. Victims can pursue civil liability against responsible parties. Domestically, regulations must encompass post facto civil and criminal liability and proactive rules governing AWS. The U.S. has set guidelines emphasizing human judgment levels to minimize AWS-related risks. Other nations can use similar frameworks to formalize AWS concepts, strategies, tactics, procedures, and administrative regulations. In conclusion, the global development of AWS, driven by technological progress, presents both benefits and concerns. To navigate this complex landscape, it is essential to ensure substantial human control over AWS, defining the concept, implementing ethical principles, and establishing legal controls. Such measures are crucial to address the ethical and legal implications arising from the evolution and deployment of autonomous weapon systems.

참고문헌 (85)

  1. 김기준, "국제형사법" (2017), 박영사
  2. 한국인공지능법학회, "인공지능과 법" (2019), 박영사
  3. 합동참모본부, "작전법 실무서" (2016)
  4. Bill Boothby, "International Humanitarian Law and the Changing Technology of War", pp.43~63 (2013), Martinus Nijhoff
  5. Dan Saxon, "Fighting Machines : Autonomous Weapons and Human Dignity" (2022), University of Pennsylvania Press
  6. Department of Defense, "Law of War Manual", Office of General Counsel (2016)
  7. ICRC, "A guide to the Legal Review of New Weapons, Means and Methods of Warfare:Measure to Implement Article 36 of Additional Protocol Ⅰ of 1977" (2006), Cambridge University Press
  8. Nils Melzer, "Interpretive Guidance on the Notion of Direct Participation in Hostilities under International Humanitarian Law", ICRC, ~ (2009)
  9. Paul Scharre, "Army of None : Autonomous Weapons and the Future of War" (2018), W. W. Norton & Company
  10. Peter Warren Singer, "Wired for War: The Robotics Revolution and Conflict in the 21st century" (2009), Penguin Books
  11. Robert Coram, "Boyd : The Fighter Pilot Who Changed the Art of War" (2002), Back bay Books
  12. Stephen C. Neff, "Hugo Grotius on the Law of War and Peace" (2012), Cambridge University Press
  13. Stuart Casey-Maslen, "Hague law interpreted: the conduct of hostilities under the law of armed conflict" (2018), Hart Publishing
  14. Tim McFarland, "Autonomous Weapon Systems and the Law of Armed Conflict:Compatibility with International Humanitarian Law" (2020), Cambridge University Press
  15. William A. Schabas, "An Introduction to the International Criminal Court" (2011), Cambridge University Press
  16. Yuna Huh Wong, "Deterrence in the Age of Thinking Machines" (2020), Rand Corporation
  17. 김민혁, "북한 인공지능 기술의 군사화와 우리 군의 대응 무기체계 발전방향 연구", 한국IT서비스학회지, 20(1), pp.29~40 (2021), 한국IT서비스학회[DOI]
  18. 김민혁, "자율살상무기체계에 대한 국제적 쟁점과 선제적 대응방향", 국방연구, 63(1), pp.171~204 (2020), 국가안전보장문제연구소[DOI]
  19. 김보연, "인공지능을 통한 전쟁수행은 정당한가 - 자율무기체계를 통한 국제인도법 준수가능성을 중심으로 -", 고려법학, (107), pp.413~448 (2022), 법학연구원[DOI]
  20. 김자회, "치사성 자율무기시스템에 대한 적법성 검토", 인도법논총, (38), pp.9~41 (2018), 대한적십자사 인도법연구소
  21. 류병운, "드론과 로봇 등 자율무기의 국제법적 적법성", 홍익법학, 17(2), pp.61~80 (2016), 법학연구소[DOI]
  22. 마정목, "통제가능한 자율무기체계의 개념과 설계에 관한 연구", 국방정책연구, 36(2), pp.81~102 (2020), 한국국방연구원[DOI]
  23. 마정목, "강화학습 Q러닝 기반의 자율무기체계 통제 전략에 관한 고찰", 한국군사학논집, 78(2), pp.425~446 (2022), 화랑대연구소[DOI]
  24. 마정목, "미 국방부 무기체계 자율성 훈령 개정에 따른 자율무기체계 정책 분석과 이해", 국방연구, 66(2), pp.111~130 (2023), 국가안전보장문제연구소
  25. 박문언, "자율무기체계의 발전과 우리 군의 현실에 대한 고찰”,", Law & Technology, 12(6), pp.51~67 (2016), 서울대학교 기술과법센터
  26. 박문언, "자율무기체계에 대한 국제적 논의와 우리 군의 대비방향", 국방논단, (1920), pp.1~12 (2022), 한국국방연구원
  27. 안성조, "인공지능 로봇의 형사책임 ―논의방향의 설정에 관한 몇 가지 발전적 제언―", 법철학연구, 20(2), pp.77~122 (2017), 한국법철학회[DOI]
  28. 안준형, "국제인도법상 불법전투원의 법적 지위", 서울국제법연구, 28(1), pp.131~165 (2021), 서울국제법연구원[DOI]
  29. 자율살상무기체계의 논의 동향과 쟁점, "유준구", 국립외교원 외교안보연구소, 1~32, pp.정책연구시리즈 2019-18 (2019)
  30. 윤혜선, "인공지능 규제 정책에 관한 연구: 주요국의 규제 정책 사례를 중심으로", 정보통신정책연구, 26(4), pp.135~176 (2019), 정보통신정책학회
  31. 이상용, "인공지능과 법인격", 민사법학, 89, pp.3~49 (2019), 한국민사법학회[DOI]
  32. 이상용, "알고리즘 규제를 위한 지도 - 원리, 구조, 내용 -", 경제규제와 법, 13(2), pp.129~159 (2020), 법학연구소[DOI]
  33. 이수훈, "러시아 안보․국방 분야의 인공지능 기술 도입과개발 현황: 분석과 한계", 중소연구, 44(3), pp.87~116 (2020), 아태지역연구센터[DOI]
  34. 이장희, "신무기기술의 사용과 국제인도법의 적용 문제", 인도법논총, (33), pp.39~57 (2013), 대한적십자사 인도법연구소
  35. 이종관, "미래전과 국방 인공지능 체계", 한국통신학회논문지, 44(4), pp.782~790 (2019), 한국통신학회[DOI]
  36. 임예준, "인공지능 시대의 전쟁자동화와 인권에 관한 소고 - 국제법상 자율살상무기의 규제를 중심으로 -", 고려법학, (92), pp.265~302 (2019), 법학연구원[DOI]
  37. 장용, "미래 무인자율무기체계의 군사적 운용에 관한 연구", 한국군사, 11, pp.135~155 (2022), (재)한국군사문제연구원[DOI]
  38. 조현석, "인공지능, 자율무기체계와 미래 전쟁의 변환", 21세기정치학회보, 28(1), pp.115~140 (2018), 21세기정치학회[DOI]
  39. 조홍제, "드론의 군사적 활용에 따른 국제법적 쟁점- 차별의 원칙과 비례성 원칙을 중심으로-", 항공우주정책 ·법학회지, 35(1), pp.127~152 (2020), 한국항공우주정책⋅법학회
  40. 한희원, "인공지능(AI) 치명적자율무기(LAWs)의 법적ㆍ윤리적 쟁점에 대한 기초연구", 중앙법학, 20(1), pp.325~365 (2018), 중앙법학회[DOI]
  41. The Legal Regime Applicable to Targeting Military Objectives in the Context of Contemporary Warfare, "Alexandra Boivin", Criminal Justice Commission, 56~, pp.Research Paper Series No. 2 (2006)
  42. Charles J. Dunlap Jr, "Accountability and Autonomous Weapons: Much Ado about Nothing?", Temple International & Comparative Law Journal, (30), pp.63~76 (2016), Temple University School of Law
  43. Christopher P. Toscano, "Friend of Humans: An Argument for Developing Autonomous Weapon Systems", Journal of National Security Law & Policy, 8(1), pp.1~82 (2015), Georgetown University Law Center
  44. Daniel N. Hammond, "Autonomous Weapons and the Problem of State Accountability", Chicago Journal of International Law, 15(2), pp.652~687 (2015), University of Chicago Law School
  45. Filippo Santoni de Sio, "Meaningful Human Control over Autonomous Systems: A Philosophical Account", Frontiers in Robotics and AI, 5, pp.1~14 (2018)
  46. Jack M. Beard, "Autonomous Weapons and Human Responsibility", Georgetown Journal of International Law, 45, pp.617~681 (2014), Georgetown University Law Center
  47. Kenneth Anderson, "Law and Ethics for Robot Soldiers", Policy Review, (176), pp.35~49 (2013), Hoover Institution Press
  48. Marco Sassóli, "Autonomous Weapons and International Humanitarian Law: Advantages, Open Technical Qustions and Legal Issues to Be Clarified", International Law Studies, 90, pp.308~340 (2014), US Naval War College Press
  49. Marta Bo, "Autonomous Weapons and the Responsibility Gap in light of the Mens Rea of the War Crime of Attacking Civilians in the ICC Statute", Journal of International Criminal Justice, 19(2), pp.275~299 (2021), Oxford University Press
  50. Martin Lark, "The future of Killing: Ethical and Legal Implications of Fully Autonomous Weapon Systems", Salus Journal, 5(1), pp.62~73 (2017), Charles Sturt University
  51. Michael Schmitt, "Out of the Loop: Autonomous Weapon Systems and the Law of Armed Conflict", Harvard National Security Journal, 4, pp.231~281 (2013), Harvard Law School Journals
  52. Noel E. Sharkey, "The Evitability of Autonomous Robot Warfare", International Review of the Red Cross, 94(886), pp.787~799 (2012), Cambridge University Press
  53. Noel E. Sharkey, "Towards a Principle for the Human Supervisory Control of Robot Weapons", Politica & Società, (2014), pp.305~324 (2014), Società Editrice Il Mulino[DOI]
  54. Paul W. Kahn, "The Paradox of Riskless Warfare", Philosophy & Public Policy Quarterly, 22(3), pp.2~8 (2002), George Mason University
  55. Peter Asaro, "How Just Could a Robot War Be?", Current Issues In Computing and Philosophy, 175, pp.50~64 (2008), IOS Press
  56. Peter Asaro, "On Banning Autonomous Weapon Systems: Human Rights, Automation, and the Dehumanization of Lethal Decision-making", International Review of the Red Cross, 94(886), pp.687~709 (2012), Cambridge University Press
  57. Making Autonomous Weapons Accountable: Command Responsibility for Computer-Guided Lethal Force in Armed Conflicts, "Peter Margulies", Roger Williams University School of Law, 1~26, pp.Roger Williams University Legal Studies Paper No. 166 (2016)
  58. Robert Sparrow, "Killer Robots", Journal of Applied Philosophy, 24(1), pp.62~77 (2007), Wiley
  59. Robert Sparrow, "Twenty Seconds to Comply: Autonomous Weapon Systems and the Recognition of Surrender", International Law Studies, 91, pp.699~728 (2015), US Naval War College Press
  60. Robert Sparrow, "Robots and Respect: Assessing the Case Against Autonomous Weapon Systems", Ethics & International Affairs, 30(1), pp.93~116 (2016), Cambridge University Press
  61. Ronald Craig Arkin, "Moral Decision-Making in Autonomous Systems: Enforcement, Moral Emotions, Dignity, Trust and Deception", Proceedings of the IEEE, 100(3), pp.571~589 (2011), IEEE
  62. Ryan Jenkins, "Robots and Respect: A Response to Robert Sparrow", Ethics & International Affairs, 30(3), pp.391~400 (2016), Cambridge University Press
  63. Sabine Gless, "If Robots Cause Harm, Who is to Blame? Self-driving Cars and Criminal Liability", New Criminal Law Review, 19(3), pp.412~436 (2016), University of California Press
  64. Simon Chesterman, "Artificial Intelligence and the Limits of Legal Personality", International and Comparative Law Quarterly, 69(4), pp.819~844 (2020), Cambridge University Press
  65. Thomas W. Simpson, "Just war and robots’ killings", The Philosophical Quarterly, 66(263), pp.302~322 (2016), Oxford University Press
  66. 박문언, "자율무기체계의 국제법적 허용성과 규제방안", 박사, pp.2019
  67. 이윤제, "국제범죄에 대한 지휘관책임의 연구", 박사, pp.2016
  68. "DoD Is Updating Its Decade-Old Autonomous Weapons Policy, but Confusion Remains Widespread" (2022)[URL]
  69. 윤지영, "법과학을 적용한 형사사법의 선진화방안 8: 인공지능 기술" (2017), 한국형사정책연구원
  70. Andrew P. William, "NATO Headquarters Supreme Allied Commander Transformation" (2015)
  71. Bonnie Docherty, "Mind the Gap: The Lack of Accountability for Killer Robots" (2015), Human Rights Watch
  72. Bonnie Docherty, "Losing Humanity, The Case against Killer Robots" (2012), Human Rights Watch
  73. Report of the Special Rapporteur on Extrajudicial, Summary or Arbitrary Executions, "Christof Heyns", ~, pp.UN Doc. A (2013), HRC[DOI]
  74. Task Force Report: The Role of Autonomy in DoD Systems, "Defense Science Board", Defense Science Board, ~ (2012)
  75. Summary of the 2018 Department of Defense Artificial Intelligence Strategy, "Department of Defense", Department of Defense, ~ (2018)
  76. Elsa B. Kania, "Chinese Military Innovation in Artificial Intelligence" (2019), Center for a New American Security
  77. European Parliament, "European Parliament Resolution of 12 September 2018 on Autonomous Weapon Systems(2018", 2752(RSP)), 2018
  78. Report of the 2022 session of the Group of Governmental Experts on Emerging Technologies in the Area of Lethal Autonomous Weapons Systems, "GGE", GGE, ~ (2022)
  79. Report of the 2023 session of the Group of Governmental Experts on Emerging Technologies in the Area of Lethal Autonomous Weapons Systems, "GGE", GGE, ~ (2023)
  80. Marco Sassòli, "Potential Advantages for the Respect of International Humanitarian Law, Professionals in Humanitarian Assistance and Protection(PHAP)", ~ (2013)
  81. "Multinational Capability Development Campaign, Role of Autonomous Systems in Gaining Operational Access", MCDC, ~ (2014)
  82. Paul Scharre, "Autonomous Weapons and Operational Risk: Ethical Autonomous Project" (2016), Center for a New American Security
  83. Interim Report of the Special Rapporteur on Extrajudicial, Summary or Arbitrary Executions, "Philip Alston", ~, pp.UN Doc. A (2010), 65[DOI]
  84. Tim McFarland, "Autonomous Weapons and Human Control" (2018), Humanitarian Law and Policy
  85. The Weaponization of Increasingly Autonomous Technologies: Considering How Meaningful Human Control Might Move the Discussion Forward, "UNIDIR", UNIDIR, ~ (2014)

관련 논문AI추천

인공지능을 통한 전쟁수행은 정당한가 - 자율무기체계를 통한 국제인도법 준수가능성을 중심으로 -김보연고려대학교 법학연구원 · 고려법학2022 · 제107호인공지능 시대의 전쟁자동화와 인권에 관한 소고 - 국제법상 자율살상무기의 규제를 중심으로 -임예준고려대학교 법학연구원 · 고려법학2019 · 제92호드론과 로봇 등 자율무기의 국제법적 적법성류병운법학연구소 · 홍익법학2016 · 제17권 제2호인공지능(AI) 치명적자율무기(LAWs)의 법적ㆍ윤리적 쟁점에 대한 기초연구한희원중앙법학회 · 중앙법학2018 · 제20권 제1호인공지능을 이용한 무기체계의 국제인도법상 무차별성에 관한 연구신홍균법학연구원 · 법학논총2023 · 제35권 제3호자율 로봇의 잠재적 무기화에 대한 소고 - 개념정립을 통한 규제를 중심으로장신, 김자회, 주성구국회입법조사처 · 입법과 정책2017 · 제9권 제3호

이 간행물의 다른 논문 (16건)

부제소합의의 소송상 취급김동현pp. 3-39법관의 주식보유 및 거래에 관한 규제사례와 그 시사점 -영국과 미국을 중심으로-김정환pp. 41-78병합형태의 착오박재완pp. 79-104미국 연방민사소송규칙의 의무공개제도와 그 도입가능성에 관한 소고박지원pp. 105-133소송물 개념의 가변성에 대한 비판적 고찰장완규pp. 135-155
원문 보기