인공지능 판사 앞의 7가지 숙제 -재범위험성 예측 알고리즘을 둘러싼 과학기술적·법적 논의 분석
Seven Problems at Hand of an AI Judge -Comprehensive Analysis of Legal and Technological Arguments over Recidivism Risk Assessment Algorithms
3
조회
0
다운로드
6
인용
0
참고문헌
키워드
초록
미국에서는 현재 위스콘신주를 비롯한 다수의 주에서 COMPAS(Correctional Offender Management Profiling for Alternative Sanctions) 등의 인공지능 기반의 재범위험성 예측 프로그램을 도입하여 형사사법 절차 전반에 활용하고 있다. 그러나 미국 내 다양한 분야의 연구자들이 위험평가 알고리즘의 위험성에 관하여 논쟁 중인바, 본 논문은 여러 분야의 연구를 종합하여 재범위험성 예측 알고리즘에 관하여 비판적 관점에서 제기될 수 있는 우려 사항을 7가지 영역으로 나누어 분석한다. 재범위험성 예측 알고리즘은 인과관계가 아닌 통계적 상관관계에 바탕을 둔 추론일 뿐이고, 이분법적 잣대를 사용하여 재범위험성의 다차원적인 면을 평가하지 못하고 있다. 형벌의 다양한 목적 중 특별예방에만 최적화되어 응보와 일반예방 등 다른 목적들을 배제하고 있으며, 집단 수준의 데이터를 기반으로 개인에 대한 예측을 허락함으로써 행위책임의 원칙에도 위협을 가한다. 나아가 알고리즘의 개발을 의뢰하고 데이터마이닝을 통해 시스템을 디자인하고 결과를 해석하는 과정에 관여하는 각 개인이 가진 편향이 알고리즘에 반영되어 객관성에 결함을 가져온다. 한정된 시간과 인구집단의 데이터를 기반으로 구축된 재범위험성 예측 알고리즘이 널리 사용될 때 발생하는 신생 편향과 기저율의 문제, 지적재산권법에 의하여 주요 내용이 비공개될 뿐 아니라 기술적 복잡성으로 인하여 내부의 작동방식이 블랙박스화하면서 발생하는 투명성의 문제, 인공지능 알고리즘이 재판절차에 관여할 때 제약되는 소송당사자의 절차적 참여권 문제도 고질적으로 제기되는 비판점이다. 나아가 빅데이터 기술을 기반으로 한 데이터마이닝 과정에서 새로운 형태의 차별이 만들어지고, 차별과 불평등이 알고리즘 시스템에 구조화되면서 확대재생산된다. 인공지능 알고리즘은 투입된 데이터의 한계를 스스로 극복하지 못한 채 기존에 누적된 인간의 구습과 편견을 무비판적으로 답습하는 경향이 있고, 이러한 알고리즘이 내놓은 결과에 인간이 심리적으로 다시 의존하면서 상보적으로 발전하기보다 오히려 반동적 흐름에 놓일 수 있다. 향후 우리 사법부에서 유사한 제도의 도입 여부를 검토하게 된다면 각국에서 먼저 도입된 재범위험성 평가 알고리즘에 대한 여러 가지 법적·기술적 한계와 비판점에 대한 깊이 있는 이해를 바탕으로 위험성을 최소화할 수 있는 대안적인 방안을 모색하여야 할 것인바, 앞으로도 미국을 비롯한 세계 각국의 사법절차에서 사용되는 인공지능 알고리즘의 동향에 관하여 지속적인 추적과 심도 있는 후속 연구가 이루어져야 할 것이다.
Abstract
Considerable jurisdictions in the United States have adopted risk assessment algorithms based on artificial intelligence, such as COMPAS(Correctional Offender Management Profiling for Alternative Sanctions), and are utilizing them for criminal justice procedures. Nonetheless, numerous experts in a wide array of fields are debating the jeopardy of risk assessment algorithms. This paper will gather up the threads of the investigations in various fields and analyze the concerns for recidivism risk assessment algorithms from a critical perspective, categorizing them into seven primary types. Recidivism risk assessment algorithms use inference based on statistical correlationnot on the causal relationshipand binary structures unsuitable for estimating multidimensional phases of recidivism risk. They are optimized for deterrence among various objectives of criminal punishments, excluding other purposes such as retribution or general deterrence, and determine the risk score of an individual through group data. Moreover, the bias of several individuals involved with each stage of development influence the design of the algorithms, undermining objectivity. There are another troublesome drawbacks as well: problems concerning emergent bias and base rates caused by the general application of risk assessment algorithms on the specific period and population, opacity generated by intellectual property laws prohibiting the disclosure of proprietary trade secrets and technological complexity making the inner process of algorithms invisible, and restricted procedural rights of participation. Furthermore, data mining techniques and processes create new types of discrimination, which are even expanded and reproduced through structuralization. AI algorithms are prone to follow the old customs and prejudices of humans without questioning the way to outputs, on which human beings in turn psychologically rely again, finally ending up stimulating reactionary tendencies rather than complementary relations. Efforts to comprehend legal and technological limitations and defects of recidivism risk assessment algorithms adopted earlier in other nations and to devise an alternative form that could minimize the defects are needed, preparing for the possibility of using similar algorithms in the future of Korea. In these regards, constant follow-up studies and observations of the global trends of AI algorithms used in judicial proceedings are required.
참고문헌 (37)
- 정상조, "인공지능, 법에게 미래를 묻다" (2021)
- 정채연, "사법절차 및 사법서비스에서 인공지능 기술의 도입 및 수용을 위한 정책연구" (2021), 사법정책연구원
- 조재근, "통계학, 빅데이터를 잡다" (2017)
- 캐시 오닐(Cathy O'neil), "대량살상 수학무기(Weapons of Math Destruction)" (2016)
- 서치원, "인공지능은 법의 제국의 왕자가 될 수 있는가 ㅡ드워킨의 ‘법의 제국’을 중심으로 분석한 인공지능의 판사 대체 가능성", 연세 의료·과학기술과 법, 9(2) (2018)
- 양종모, "형사사법절차 전자화와 빅 데이터를 이용한 양형합리화 방안 모색", 홍익법학, 17(1), pp.419~448 (2016), 법학연구소[DOI]
- 오요한, "인공지능 알고리즘은 사람을 차별하는가?", 과학기술학연구, 18(3), pp.153~215 (2018), 한국과학기술학회[DOI]
- 이수정, "한국 성범죄자 위험성 평가 도구 개발 및 타당도 연구", 형사정책연구, 19(4), pp.309~345 (2008), 한국형사법무정책연구원
- 조기영, "한국의 양형개혁과 양형심리절차의 개선방안", 동아법학, (44), pp.413~433 (2009), 법학연구소
- 주현경, "범죄예측 및 형사사법절차에서 알고리즘 편향성 문제와 인공지능의 활용을 위한 규범 설계", 법학논총, 27(1), pp.115~162 (2020), 법학연구원
- 홍순욱, "양형기준의 제정과 한계", 저스티스, 139, pp.138~180 (2013), 한국법학원
- Ales Zavrsnik, "Criminal justice, artificial intelligence systems, and human righ", ERA Forum, 20 (2020)
- Ales Zavrsnik, "Algorithmic justice: Algorithms and big data in criminal justice settings", European Journal of criminology, 18 (2021)
- Anne L. Washington, "How to argue with an algorithm: Lessons from the COMPAS-Propublica debate", Colo. Tech. L. J, 17 (2018)
- Ashley Deeks, "The judicial demand for explainable artificial intelligence", Columbia Law Review, 119 (2019)
- Batya Friedman, "Bias in computer systems", ACM Transactions on information systems, 14 (1996)
- Christian Borch, "Machine leaning, knowledge risk, and principal-agent problems in autumated trading", Technology in Society, 68 (2022)
- "Criminal Law-Sentencing guidelines-Wisconsin supreme court requires warning before use of algorithmic risk assessments in sentencing-State v. Loomis, 881 N.W. 2d749 (Wis. 2016)", ~
- Daniel Brent Mittelstadt, "The Ethics of Algorithms: Mapping the debate", Big Data & Society, 3(2) (2016)
- Algorithms in the criminal justice system: Assessing the use of risk assessments in sentencing, "Danielle Kehl", Berkman Klein Center for Internet & Society, ~ (2017)
- David G. Robinson, "The Challenges of prediction: Lessons from criminal justice", A Jornal Of Law and Policy, 14 (2017)
- David L. Faigman, "Group to individual(G2i) inference in scientific expert testimony" (2014)
- Jenna Burrell, "How the machine thinks: Understanding opacity in machine learning algorithms", Big data & Society, 3 (2016)
- Julia Angwin, "Machine Bias: There's software used across the country to predict future criminals. And it's biased against blacks", Propublica(May 23, 2016), ~ (2016)
- Katherine Freeman, "Algorithmic injustice: How the Wisconsin Supreme Court failed to protect due process rights in State v. Loomis", North Carolina Journal of Law & Technology, 18 (2016)
- Kathrin Hartmann, "Uncertainty, risk and the use of algorithms in policy decisions: a case study on criminal justice in the USA", Policy Sciences, 54 (2020)
- Lazer, David, "The parable of Google Flu: traps in big data analysis", Science, 343 (2014)
- Leah Wisser, "Pandora’s algorithmic black box: The challenges of using algorithmic risk assessments in sentencing", American Criminal Law Review, 56 (2019)
- Linda J. Skitka, "Does automation bias decision-making?", International Journal of Human-Computer Studies, 51 (1999)
- Liu Han-Wei, "Beyond State v. Loomis: Artificial intelligence, government algorithmization, and accountability", International journal of law and information technology, 27 (2018)
- Melissa Hamilton, "Adventures in risk: Predicting violent and sexual recidivism in sentencing law", Arizona State Law Journal, 14 (2015)
- Michael E. Donohue, "A replacement for Justitia's scales?: Machine learning's role in sentencing", Havard Journal of Law & Technology, 32 (2019)
- Ric Simmons, "Big data, machine judges, and the legitimacy of the criminal justice system", University of California Davis Law Review (2018)
- Solon Barocas, "Data mining and the discourse on discrimination", Data ethics workshop, conference of knowledge discovery and datamining (2014)
- Solon Barocas, "Big data's disparate impact", California Law Review, 104 (2016)
- Sonja B. Starr, "Evidence-based sentencing and the scientific rationalization of discrimination", Standford Law Review, 66 (2014)
- Tal Zarsky, "The trouble with algorithmic decisions: An analytic roadmap to examine efficiency and fairness in automated and opaque decision making" (2016)