본문 바로가기
KERD
논문KCI 등재

범죄예측 및 형사사법절차에서 알고리즘 편향성 문제와 인공지능의 활용을 위한 규범 설계

The Problem of Algorithmic Bias and the Use of Artificial Intelligence in the Field of Normative Decision -Focused on the Crime Prediction and Criminal Justice

정채연|주현경
법학연구원 (Legal Research Institute of Korea University)|2020.04|법학논총 (The Legal Studies Institute of Chosun University)|제27권 제1호|pp. 115-162

1

조회

0

다운로드

34

인용

0

참고문헌

키워드

재범 예측인공지능 알고리즘AI algorithm알고리즘 투명성recidivism predictionalgorithmic bias알고리즘 편향성알고리즘 공정성예측적 치안알고리즘 책무성algorithmic fairnesspredictive policingalgorithmic accountabilityalgorithmic transparency

초록

인공지능 기술의 활용 영역이 다방면으로 급속하게 확대되면서, 과연 인공지능이 인간의 법적·사회적 규범 및 윤리적·도덕적 가치를 내면화할 수 있는지 여부에 대한 관심이 증대되고 있다. 많은 사례들을 통해 인공지능이 인종 및 성, 그리고 경제적 격차에 따른 차별과 편견 등 인간사회의 부정적인 관점 역시 학습할 수 있다는 위험성이 대두되면서 인공지능 기술에 기반한 자동화된 의사결정이 갖는 근본적인 문제점들이 지속적으로 제기되고 있다. 인공지능의 윤리적 프로그래밍을 위한 다양한 방법론들이 제시되어 왔지만, 이는 여전히 대표적인 난제로 손꼽힌다. 또한 인공지능을 개발한 프로그래머조차도 인공지능의 의사결정이 어떠한 논증 과정을 거쳐 산출된 것인지를 정확히 파악할 수 없다. 명확하게 언어로 설명 가능한 분석 및 추론에 바탕을 두기보다는 일종의 블랙박스와 같다고 할 수 있는 인공지능 알고리즘의 의사결정체계로 인해, 인간사회의 규범적 가치가 인공지능의 의사결정과정에 개입할 여지는 극히 낮아지게 된다. 이에 따라 인공지능의 의사결정에 지나치게 의존하게 되면 법적 정당성 및 규범적 당위성을 계산적 확실성 및 수학적 합리성이 대체하게 되는 위험을 초래할 수도 있는 것이다. 인공지능의 활용이 본격화되면서 인공지능의 윤리화와 알고리즘의 편향성에 대한 문제가 제기되고 있는 대표적인 영역은 바로 범죄예측 및 형사사법절차이다. 특히 빅데이터 기반 인공지능으로 인해 수사, 공판, 형집행 전(全) 단계는 물론 범행 전(前) 범죄예측 단계에서부터, 범죄 관련 데이터가 축적되고 이를 사법절차에서 활용할 가능성이 논의되면서, 절차상 보장되어야 할 인권과 절차적 정의는 그 어느 때보다도 강조된다고 할 것이다. 이러한 맥락에서 인공지능이 인간사회에서 보편적으로 승인된 도덕원칙을 내면화하고 이를 바탕으로 가치판단을 내릴 수 있는지 여부에 대한 법이론적 검토와 더불어 인공지능 알고리즘의 의사결정에 규범적 테두리를 설계하는 것이 앞으로의 과제가 될 것이다. 본 논문에서는 특히 범죄예측 및 형사사법절차에서 인공지능 기술의 활용 가능성에 집중하여, 예측적 치안 및 재범 예측 분야에서 인공지능 알고리즘의 자동화된 판단이 수반하는 알고리즘 편향성을 검토하고, 이러한 편향성의 문제를 해결하기 위한 규범설계의 필요성을 확인한 후, 법치국가원칙을 보장하면서 알고리즘 투명성 및 책무성을 확보하기 위한 규범적 테두리를 구상해보고자 한다.

Abstract

As the scope of application of artificial-intelligence (AI) technology expands rapidly, there is an increasing interest in the question of whether AI can internalize legal-social norms and ethical–moral values. Fundamental problems in AI decision-making processes are constantly being raised following numerous cases that exposed the risk of AI’s capacity to learn societal biases, such as those based on racial, gender, or economic inequality. Although various ways have been presented to program AI ethically, the abovementioned problems still remain a serious challenge. In addition, even programmers who develop AI systems are unable to accurately determine how AI’s decisions are made and under what logical processes. Due to its nature of the decision-making process that can be likened to a black box rather than one based on analysis and inference explicitly explainable in words, the possibility of human normative values to be incorporated into AI decision-making process becomes almost nil. Therefore, it is highly likely that relying on AI algorithms for legal decisions will lead to a situation where legal and normative legitimacy would be replaced by computational certainty and mathematical rationality. With the advent of AI, crime prediction and criminal justice are the most controversial areas in which problems with the ethics of AI and algorithm bias are raised. In particular, as big-data-based AI allows the collection of crime-related data during not only the pre-sentencing stages, such as the investigation and the trial, but also before the offending―this may be considered as de facto crime prediction―, and as the possibility of their use in the judicial process is being discussed, human rights and procedural justice that should be guaranteed in the criminal procedure should be emphasized more than ever. In this context, the challenges ahead will be to internalize the universally accepted moral principles in AI, examine applicable theories in jurisprudence on whether AI has the capacity to make value judgments based on such principles, and suggest legal policies to establish the framework for decision-making by AI algorithms. This article focuses on the application of AI technology in criminal justice, examines the fundamental rights of defendants and prisoners in light of the rule of law in criminal procedure, and highlights normative standards to resolve the problem of algorithm bias, thus guaranteeing the relevant stakeholders’ right of access and ensuring the transparency of AI algorithms.

참고문헌 (70)

  1. 홍영기, "형사소송법" (2018), 홍문사
  2. EU알고리즘 규제 이슈와 정책적 시사점, "이원태", 정보통신정책연구원, ~ (2016)
  3. 한국인터넷진흥원, "우리 기업을 위한 ‘EU 일반 개인정보보호법(GDPR)’ 가이드북", ~ (2018)
  4. 권양섭, "범죄예방과 수사에 있어서 빅데이터 활용과 한계에 관한 연구", 법학연구, 17(1), pp.179~198 (2017), 한국법학회
  5. 권오걸, "자유심증에서의 경험칙과 한계", 법학연구, (48), pp.231~254 (2012), 한국법학회
  6. 김기범, "형사사법정보의 이용 제공 실태 및 입법적 개선방안", 법학연구, 16(1), pp.121~142 (2016), 한국법학회
  7. 김현석, "재판의 진행·판단에서 법관의 정서에 관하여", 법조, 68(1), pp.254~306 (2019), 법조협회[DOI]
  8. 박훤일, "유럽회의 108호협약의 의의와 우리나라 가입의 필요성", 경희법학, 50(4), pp.175~204 (2015), 법학연구소[DOI]
  9. 서치원, "인공지능은 법의 제국의 왕자가 될 수 있는가 : 드워킨의"법의 제국"을중심으로 분석한 인공지능의 판사 대체 가능성", 연세 의료·과학기술과 법, 9 (2018), 연세대학교 법학연구원 의료·과학기술과 법센터
  10. 선지원, "인공지능 알고리즘 규율에 대한 소고- 독일의 경험을 중심으로 -", 경제규제와 법, 12(1), pp.26~43 (2019), 법학연구소[DOI]
  11. 심우민, "인공지능의 발전과 알고리즘의 규제적 속성", 법과사회, (53), pp.41~70 (2016), 법과사회이론학회
  12. 양종모, "인공지능 알고리즘의 편향성, 불투명성이 법적 의사결정에 미치는 영향 및 규율 방안", 법조, 66(3), pp.60~105 (2017), 법조협회[DOI]
  13. 양종모, "인공지능을 이용한 법률전문가 시스템의 동향 및 구상", 법학연구, 19(2), pp.213~242 (2016), 법학연구소
  14. 양종모, "형사사법절차 전자화와 빅 데이터를 이용한 양형합리화 방안 모색", 홍익법학, 17(1), pp.419~448 (2016), 법학연구소[DOI]
  15. 양천수, "인공지능과 법체계의 변화 ―형사사법을 예로 하여―", 법철학연구, 20(2), pp.45~76 (2017), 한국법철학회[DOI]
  16. 양천수, "형사소송에서 사실인정의 구조와 쟁점 - 법적 논증의 관점에서 -", 형사정책연구, 26(4), pp.1~40 (2015), 한국형사법무정책연구원
  17. 양천수, "현대 빅데이터 사회와 새로운 인권 구상", 안암법학, (57), pp.1~33 (2018), 안암법학회[DOI]
  18. 오세욱, "알고리즘화(Algorithmification): 미디어의 핵심 논리로서 알고리즘", 언론정보연구, 55(2), pp.74~111 (2018), 언론정보연구소[DOI]
  19. 이근영, "인공지능 알고리즘 투명성에 관한 법·정책적 쟁점의 고찰", 한국IT서비스학회 학술대회 논문집 (2018)
  20. 임창호, "스마트 경찰활동의 주요 사례 분석 및 활성화 방안", 한국공안행정학회보, 28(2), pp.265~296 (2019), 한국공안행정학회[DOI]
  21. 장완규, "초연결사회의 도래와 빅데이터 -법제도적 개선방안을 중심으로-", 과학기술법연구, 24(2), pp.113~159 (2018), 과학기술법연구원[DOI]
  22. 전정현, "인공지능과 법률 서비스:현황과 과제", 저스티스, 170(1), pp.218~258 (2019), 한국법학원[DOI]
  23. 정소영, "빅데이터의 형사법적 활용에 관한 연구", 공공정책연구, 29(2) (2012), 동의대학교 지방자치연구소
  24. 주강원, "온라인분쟁해결절차에서의 인공지능의 활용과 법적 함의", 홍익법학, 17(2), pp.81~103 (2016), 법학연구소[DOI]
  25. 최은창, "알고리즘 거버넌스", Future Horizon, (33) (2017), 과학기술정책연구원
  26. 한애라, "“사법시스템과 사법환경에서의 인공지능 이용에 관한 유럽 윤리헌장”의 검토 - 민사사법절차에서의 인공지능 도입 논의와 관련하여 -", 저스티스, 172, pp.38~79 (2019), 한국법학원[DOI]
  27. 한희원, "인공지능(AI)의 법인격 주체성의 논리적 기틀에 대한 기초 연구", 중앙법학, 20(3), pp.375~412 (2018), 중앙법학회[DOI]
  28. 함인선, "EU의 2016년 일반정보보호규칙(GDPR)의 제정과 그 시사점", 법학논총, 36(3), pp.411~453 (2016), 법학연구소
  29. 허유선, "인공지능에 의한 차별과 그 책임 논의를 위한 예비적 고찰 -알고리즘의 편향성 학습과 인간 행위자를 중심으로-", 한국여성철학, 29, pp.165~210 (2018), 한국여성철학회[DOI]
  30. 대법원 2006. 11. 23. 선고 2006도5407 판결, "아주법학", 2015, 207~232, pp.법학연구소, 10.21589[DOI]
  31. 김태호, "빅데이터와 알고리즘: 독일 관점에서의 예비적 고찰", 경제규제와 법, 8(1), pp.88~108 (2015), 법학연구소
  32. "Article 29 Data Protection Working Party, Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation", ~ (2016)
  33. CEPEJ, "European Ethical Charter on the Use of Artificial Intelligence in Judicial Systems and Their Environment", ~ (2019)
  34. "Council of Europe - Consultative Committee of the Convention for the Protection of Individuals with Regard to Automatic Processing of Personal Data, T-PD (2016)02rev11 – draft practical guide on the use of personal data in the police sector", ~ (2017)
  35. Diakopoulos, Nicholas, "Algorithmic Accountability Reporting: On the Investigation of Black Boxes, Two Center for Digital Journalism - A Tow", Knight Brief, 2013, ~
  36. Egbert, Simon, "Eine ethnographische Studie neuer Technologien zur Vorhersage von Straftaten und ihre Folgen für die polizeiliche Praxis" (2019), Projektabschlussbericht
  37. Ehmann, Eugen, "Datenschutz-Grundverordnung" (2018), München
  38. "European Commission High-Level Expert Group on Artificial Intelligence, Ethics Guidelines for Trustworthy AI", ~ (2019)
  39. Perry, Walter L., "Predictive Policing : The Role of Crime Forecasting in Law Enforcement Operations" (2013), RAND Safety and Justice Program
  40. Podesta, John, "Big Data: Seizing Opportunities, Preserving Values" (2014), Executive Office of the President
  41. Alarie, Benjamin, "How Artificial Intelligence Will Affect the Practice of Law", University of Toronto Law Journal, 68(Supp. 1) (2018)
  42. Brantingham, P. Jeffrey, "Does Predictive Policing Lead to Biased Arrests? Results from a Randomized Controlled Trial", Statistics and Public Policy, 5(1) (2018)
  43. Degeling, Martin, "What is Wrong about Robocops as Consultants? A Technology-Centric Critique of Predictive Policing", AI & Society, 33 (2018)
  44. Ferguson, Andrew G., "Predictive Policing and Reasonable Suspicion", Emory Law Journal, 62 (2012)
  45. Goldman, Eric, "Search Engine Bias and the Demise of Search Engine Utopianism", Yale Journal of Law and Technology, 8(1) (2006)
  46. Goodman, Bryce, "European Union Regulations on Algorithmic Decision-making and a ‘right to explanation’", 2016 ICML Workshop on Human Interpretability in Machine Learning (2016)
  47. Hvistendahl, Mara, "Crime Forecasters", Science, 353(6307) (2016)
  48. Karamouzis, Stamos T., "An Artificial Intelligence System Suggests Arbitrariness of Death Penalty", International Journal of Law and Information Technology, 16(1) (2008)
  49. Kleinberg, Jon, "Human Decisions and Machine Predictions", The Quarterly Journal of Economics, 133(1) (2018)
  50. Levendowski, Amanda, "How Copyright Law Can Fix Artificial Intelligence"s Implicit Bias Problem", Washington Law Review, 93 (2018)
  51. Lum, Kristian, "To Predict and Serve?", Significance, 13(5) (2016)
  52. McGinnis, John O., "The Great Disruption : How Machine Intelligence Will Transform the Role of Lawyers in the Delivery of Legal Services", Fordham Law Review, 82 (2014)
  53. Meyer, Stephan, "Künstliche Intelligenz und die Rolle des Rechts für Innovation", ZRP (2018)
  54. Pasquale, Frank, "Restoring Transparency to Automated Authority", Journal on Telecommunications & High Technology Law, 9 (2011)
  55. Pedreshi, Dino, "Ruggieri, Salvatore and Turini, Franco, Discrimination-aware Data Mining", Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ’08), (2008)
  56. Veale, Michael, "Fairness and Accountability Design Needs for Algorithmic Support in High-Stakes Public Sector Decision-Making", CHI 2018 Paper (2018)
  57. "대법원 차세대 전자소송 시스템 구축한다"[URL]
  58. "Machine Bias, ProPublica" (2016)[URL]
  59. "성차별: 아마존, '여성차별' 논란 인공지능 채용 프로그램 폐기" (2018)[URL]
  60. "Google searches expose racial bias, says study of names" (2013)[URL]
  61. "Predictive Policing, Data & Civil Rights: A New Era of Policing and Justice" (2015)[URL]
  62. "Wie die bayerische Polizei das Predictive Policing nach Deutschland brachte" (2019)[URL]
  63. "COMPAS Risk Scales: Demonstrating Accuracy Equity and Predictive Parity" (2016)[URL]
  64. "Women less likely to be shown ads for high-paid jobs on Google, study shows" (2015)[URL]
  65. "Bias in Criminal Risk Scores Is Mathmatically Inevitable, Researchers Say" (2016)[URL]
  66. "Menschen sind so schlau wie die teure Maschine, Spiegel" (2018)[URL]
  67. "대법원 2011. 1. 27. 선고 2010도12728 판결", ~
  68. "대법원 2015. 8. 20. 선고 2013도11650 전원합의체 판결", ~
  69. "BVerfGE 65, 1", ~
  70. "Loomis v. Wisconsin, 881 N.W.2d 749 (Wis. 2016), cert. denied, 137 S.Ct. 2290 (2017)", ~ (2017)

관련 논문AI추천

인공지능 알고리즘의 편향성, 불투명성이 법적 의사결정에 미치는 영향 및 규율 방안양종모사단법인 법조협회 · 법조2017 · 제66권 제3호예측 알고리즘과 형사사법에 관한 논의 - 알고리즘의 사용원칙을 중심으로 -송기복한국경찰연구학회 · 한국경찰연구2023 · 제22권 제4호형사사법에서의 인공지능 예측프로그램 활용 제언: 인종적 편향 가능성 회피를 중심으로이지나법학연구소 · 원광법학2023 · 제39권 제2호공공안전을 위한 인공지능 활용 범죄의 예측 및 예방김종구법학연구원 · 법학논총2025 · 제32권 제2호인공지능 윤리와 형사정책적 시사점 - 형사사법에서의 인공지능 윤리 이슈를 중심으로 -김희정한국형사정책학회 · 형사정책2022 · 제34권 제1호형사정책시스템 알고리즘 구축 과정에서의 편향성박규동, 임용진한국공안행정학회 · 한국공안행정학회보2022 · 제31권 제2호

이 간행물의 다른 논문 (9건)

위험사회에서 자율주행자동차에 대한 형사법적 규율구길모pp. 3-32스마트계약과 소비자 보호 -소비자계약법에 비추어 본 스마트계약-김진우pp. 33-72인공지능과 윤리 -법철학의 관점에서-양천수pp. 73-114인공지능 시대의 계약자유 원칙과 법적용상의 문제점황원재pp. 163-191승차공유 플랫폼에 관한 법·제도적 논의이준복pp. 195-221
원문 보기