본문 바로가기
KERD
논문KCI 등재

기계학습(Machine Learning)과 전자증거- 기술기반 검토(Technology Assisted Review)에 대한 미국의 논의를 중심으로 -

Machine Learning and Electronic Evidence - Focused on Technology Assisted Review -

김정환
법학연구소 (The Institute of Legal Studies Konkuk University)|2018.02|법학연구|제59권 제1호|pp. 405-436|DOI 10.35275/pnulaw.2018.59.1.013

0

조회

0

다운로드

5

인용

0

참고문헌

키워드

기계학습전자증거재현율machine learningdiscovery정밀도electronic evidence증거개시절차전자적으로 저장된 자료recall rateprecision rateelectronic stored information(ESI)

초록

과학 기술의 발달 및 전자 저장 매체의 대량 보급, 인터넷의 활성화 등으로 현대 사회에서는 각종 정보가 대부분 전자적으로 생성되고 보관 및 전달된다. 현대 사회에서의 전자적으로 저장된 자료(electronic stored information, ESI)의 보편성과 중요성은 특별한 설명이 필요하지 아니할 정도이다. 미국의 경우 전자적으로 저장된 자료의 증거개시절차(electronic discovery, e-discovery)와 관련하여 효과적인 전자적으로 저장된 자료의 검색・검토방법에 관한 논의가 발전하고 있으며, 그 대안으로 최근에 논의되고 있는 것이 기술기반 검토(technology assisted review, TAR)이다. 이 글에서는 기술기반 검토의 내용과 기술기반 검토에 관한 미국의 판례 내용, 기술기반 검토와 관련하여 문제되는 쟁점 등에 살펴보고자 하며, 마지막으로 기술기반 검토가 우리의 제도에 어떤 시사점을 줄 수 있는지에 대해 살펴보고자 한다.

Abstract

With the advent of e-mail, databases, and the capacity to store even more electronic information, there’s no doubt that the number of electronic records will continue to grow. This has and will continue to significantly increase the costs of litigation, especially during the discovery phase. In many cases, manually reviewing documents is not acceptable due to the large amount of documents that need to be reviewed. This is a major reason why U.S. courts are now starting to accept technology assisted review(TAR). This article provides a current analysis of TAR and implications toward our civil procedure system.

참고문헌 (49)

  1. 안드레아스 뮐러, "파이썬 라이브러리를 활용한 머신러닝" (2017)
  2. 전자정보의 증거조사 현황과 개선 방안에 관한 기초 연구, "사법정책연구원", ~ (2017)
  3. 김도훈, "미국 전자증거개시절차상 증거검색 및 수집방법에 관한 연구― 기술지원 검토를 중심으로 ―", 강원법학, 41, pp.217~252 (2014), 비교법학연구소[DOI]
  4. 김도훈, "미국 전자증거개시절차상 기술지원 검토에 관한 소고", IT와 법연구, (14), pp.383~419 (2017), IT와 법연구소[DOI]
  5. 유준상, "기업의 전자증거개시 대응을 위한 예측 부호화(Predictive Coding) 도구 적용 방안", 정보관리학회지, 33(4), pp.125~157 (2016), 한국정보관리학회[DOI]
  6. Berman, Michael D., "Managing E-Discovery And ESI – From Pre-Litigation Through Trial -" (2011)
  7. "Mastering Predictive Coding: The Ultimate Guide" (2014)[URL]
  8. Lau, Timothy T., "Technology-Assisted Review for Discovery Requests – A Pocket Guide for Judges –", ~ (2017)
  9. "Using Hybrid-Multimodal Methods – Predictive Coding 4.0 and Intelligently Spaced Training(IST)" (2016)[URL]
  10. Tredennick, John, "TAR for Smart People", ~ (2016)
  11. "How New AI-based Analytics Ignite a Productivity Revolution in eDiscovery"[URL]
  12. Aragon, Pablo, "To Thread or Not to Thread: The Impact of Conversation Threading on Online Discussion", Proceedings of the Eleventh International AAAI Conference on Web and Social Media(ICWSM 2017), 12 (2017)
  13. "eDiscovery Best Practices: Cluster Documents for More Effective Review" (2011)[URL]
  14. Bennett, Steven, "E-Discovery: Resonable Search, Proportionality, Cooperation and Advancing Technology", J. Marshall J. Info. Tech. & Privacy L, 30, pp.433~ (2014)
  15. Blair, David C., "Full-Text Information Retrieval: Further Analysis and Clarification", Information Processing & Management, 26, pp.437~ (1990)
  16. Borden, Bennett B., "The Demise of Linear Review", ST037 ALI-ABA 277, ~ (2011)
  17. Brown, Harrison M., "Searching For an Answer: Defensible E-Discovery Search Techniques In The Absence of Judicial Voice", Chap. L. Rev, 16, pp.407~ (2013)
  18. "Diving Deeper to Catch Bigger Fish 1" (2009)[URL]
  19. Byram, Elle, "The Collision of the Courts and Predictive Coding: Defining Best Practices and Guidelines in Predictive Coding for Electronic Discovery", Santa Clara High Tech. L.J, 29, pp.675~ (2012)
  20. "Guidelines Regarding the Use of Predictive Coding" (2014)[URL]
  21. "Guidelines Regarding the Use of Technology-Assisted Review" (2016)[URL]
  22. Fordham, Gregory L., "Using Keyword Search Terms in E-Discovery and How They Relate to Issues of Responsiveness, Privilege, Evidence Standards and Rube Goldberg", Rich. J.L. & Tech, 15, pp.1~ (2009)
  23. Grossman, Maura R., "The Grossman-Cormack Glossary of Technology-Assisted Review", Fed. Cts. L. Rev, 7, pp.85~ (2014)
  24. Grossman, Maura R., "Technology-Assisted Review in E-Discovery Can Be More Effective and More Efficient Than Exhaustive Manual Review", Rich. J.L. & Tech, 17, pp.43~ (2011)
  25. "Predictive coding's complex jargon can limit promised cost savings" (2013)[URL]
  26. "Advice from Counsel: Can predictive coding deliver on its promise?" (2012)[URL]
  27. "An Introduction to Clustering and Diffrernt Methods of Clustering" (2016)[URL]
  28. "E-discovery – Taking Predictive Coding Out of the Black Box –" (2012)[URL]
  29. Losey, Ralph C., "Predictive Coding And The Proportionality Doctrine: A Marriage Made In Big Data", Regent U. L. Rev, 26, pp.7~ (2013)
  30. "Background and History of Predictive Coding" (2017)[URL]
  31. Murphy, Tonia Hap, "Mandating Use of Predictive Coding in Electronic Discovery: An Ill-Advised Judicial Intrusion", Am. Bus. L.J, 50, pp.609~ (2013)
  32. "Predictive coding and emerging e-discovery tools" (2013)[URL]
  33. Paul, George L., "Information Inflation: Can the Legal System Adapt?", Rich. J.L. & Tech, 2007, pp.1~ (2007)
  34. Roitblat, Herbert L., "Document Categorization in Legal Electronic Discovery: Computer Classification vs. Manual Review", J. Am. Soc'y. for Info. Sci. and Tech, 61, pp.70~ (2010)
  35. Serhan, Stephanie, "Calling an End to Culling: Predictive Coding and the New Federal Rules of Civil Procedure", Rich. J.L. & Tech, 23, pp.1~ (2017)
  36. Active Learning Literature Survey, "Settles, Burr", ~, pp.Computer Science Technical Report 1648 (2010)
  37. The Sedona Conference, "The Sedona Conference TAR Case Law Primer – A Project of the Sedona Working Group on Electronic Document Retention and Production(WG1)", Sedona Conf. J, 18, pp.1~ (2017)
  38. Vaccaro, Charles, "Look Before You Leap into Predective Coding: An Argument for A Cautious Approach to Utilizing Predictive Coding", Rutgers Computer & Tech. L.J, 41, pp.298~ (2015)
  39. Whitman, Rachel E., "Creating a New Standard for Judicially-Mandated Predictive Coding", Alb. L.J. Sci. & Tech, 27, pp.190~ (2017)
  40. Yablon, Charles, "Predictive Coding: Emerging Questions And Concerns", S.C. L. Rev, 64, pp.633~ (2013)
  41. "TAR, Email Threading and Analytics...The New Standards in eDiscovery" (2016)[URL]
  42. "The Coalition of Technology Resources for Lawyers(CTRL) homepage"[URL]
  43. "EDBP homepage"[URL]
  44. "e-Discovery Team homepage"[URL]
  45. "EDRM Stages"[URL]
  46. "Concept Search"[URL]
  47. "Hybrid Multimodal"[URL]
  48. "EDRM Statistical Sampling Applied to Electronic Discovery"[URL]
  49. "IBM Knowledge Center homepage"[URL]

관련 논문AI추천

미국 전자증거개시절차상 기술지원 검토에 관한 소고김도훈IT와 법연구소 · IT와 법연구2017 · 제14호한국의 e-Discovery 시장 활성화 전망 및 인공지능 기술 활용 방안에 관한 연구김용호한국컴퓨터정보학회 · 한국컴퓨터정보학회논문지2025 · 제30권 제11호eDiscovery 대응을 위한 기술적 요구사항 연구김영철, 노명선법학연구소 · 홍익법학2021 · 제22권 제3호전자소송시스템을 활용한 전자증거의 제출과 증거조사 과정에서 나타난 법적 쟁점의 해결 방안 : 미국 주대법원장회의에서의 논의와 연방법원 전자증거개시 사례를 중심으로김종호대한변호사협회 · 인권과 정의2011 · 제422호미국 연방 민형사소송절차에서의 E-discovery와 국내적 시사점한애라법학연구원 · 성균관법학2020 · 제32권 제2호전자기록의 증거적 가치 수립을 위한 기능요건에 관한 연구: 미국 eDiscovery 적용을 중심으로오효정, 이젬마, 최기쁨한국정보관리학회 · 정보관리학회지2021 · 제38권 제2호

이 간행물의 다른 논문 (15건)

연예활동의 개인체험학습 포함 실태와 관련 문제에 관한 법제도적 고찰이승엽pp. 1-41세월호 사태의 원인에 대한 법문화적인 분석:표현의 자유와 국가후견주의박경신pp. 43-75데이터 경제 활성화를 위한 데이터 법제의 필요성과 그 정립방향에 관한 소고- 4차산업혁명과 지능정보사회에서 데이터 거래의 기반 확보를 중심으로 -방동희pp. 77-104요청조달계약에 따른 입찰참가자격제한 조치의 법적 제문제에 관하여- 대법원 2017. 6. 29. 선고 2014두14389 판결 -정승윤pp. 105-137정부조달계약에 있어서 계약담당공무원의 자격, 권한 및 책임에 관한 고찰- 미국 법제와의 비교를 중심으로 -전현철pp. 139-168
원문 보기