딥러닝(Deep Learning)모델을 활용한 범죄사실 구성요소 자동 추출 방안 연구
A Study on Automatic Extraction of Key Information in Crime Facts Using Deep Learning Models
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
2021년 검경수사권 조정에 따라 경찰기관은 독립성을 확보하였고, 이에 따라 경찰은 국민의 신뢰를 확보하기 위해 국가수사본부 신설 등 수사 전문성을 강화시키고 투명성을 제고시키는 데 노력을 기울이고 있다. 한편, 최근 법률 분야에 AI가 도입되면서 판결문 검색, 계약서 관리 그리고 법률 문서 번역 등 AI 모델을 통해 많은 도움을 받고 있다. 하지만 수사 문서를 자동으로 분석하고 보고서를 작성해주는 AI 기술은 국내에 없는 거의 실정이다. 따라서 본 연구에서는 수사 및 법률 문서에서 주요 정보를 자동으로 추출하여 수사결과보고서 작성에 도움을 줄 수 있는 딥러닝 모델을 개발하고자 한다. 본 연구를 통해 형사 1심 살인 판결문에서 추출할 수 있는 범죄사실 구성요소를 정의하였다. 또한 최근 자연어분야에서 높은 관심을 받고 있는 GPT-3.5 API의 한계점을 살펴보았고 이를 보완한 BERT 기반 모델을 개발하였다. 또한 개발된 모델을 사용하여 범죄사실에서 단어 단위의 정보와 구절 단위의 정보를 17개 추출하였다. 그 결과, 단어 단위 정보는 F1-score 83.85%, 구절 단위 정보는 F1-score 64.2%의 성능을 내었다. 결과 분석을 통해 성능을 향상 시킬 수 있는 방안을 모색하였다. 본 연구에서 개발된 AI 모델을 수사 환경에 적용하면 수사결과보고서 작성을 지원하고, 유사 판례를 검색하는 등 수사관이 투명하고 객관적인 수사를 할 수 있도록 도와줄 수 있을 것이다. 또한 본 연구의 결과가 딥러닝 모델이 법률 분야에서 발전할 수 있는 기반이 될 수 있을 것을 기대한다.
Abstract
In accordance with the adjustment of investigative and prosecutorial powers in 2021, police agencies have been working to enhance their independence, while also aiming to secure the public's trust through initiatives such as the establishment of a National Investigation Headquarters. These efforts are geared towards reinforcing the investigative expertise and improving transparency. Meanwhile, with the recent integration of AI in legal domain, AI models have provided significant assistance in tasks like searching for legal judgments, managing contracts, and translating legal documents. However, there is no AI technology available to automatically analyze investigation documents and generate reports. Therefore, the purpose of this study is to develop a deep learning model that can automatically extract key information from crime investigation and legal documents, aiming to assist in generating investigation reports. Through this study, we defined key informations related to crime facts that can be automatically extracted from the Court Decision of murder case. We also examined the limitations of GPT-3.5 and developed a BERT-based model to address these limitations. Additionally, the developed model was utilized to extract 17 information, both at the word and phrase levels, from crime facts. As a result, the word-level information achieved a performance of F1-score 83.85%, while the phrase-level information achieved a performance of F1-score 64.2%. If the AI model developed in this study is applied in the investigative environment, it would enable to generate investigation reports and enable the search for similar legal precedents. This could assist investigators in conducting transparent and objective investigations.
참고문헌 (35)
- 경찰청, "수사결과보고서 작성기법", ~ (2016)
- 김대근, "수사권 조정 이후 수사종결의 현황 및 개선방안" (2022), 한국형사·법무정책연구원
- 법무연수원, "범죄백서", ~ (2023)
- 사법정책연구원, "사법절차 및 사법서비스에서 인공지능 기술의 도입 및 수용을 위한 정책 연구", ~ (2021)
- 양형위원회, "2023 양형기준", ~ (2023)
- Kim, Y., "KorQuAD 2.0: Korean QA dataset for web document machine comprehension", Annual Conference on Human andLanguage Technology, pp.97~102 (2019)
- Lim, S., "Korquad1.0: Korean qa dataset for machine reading comprehension", 9 (2019)
- Park, S., "Klue: Korean language understanding evaluation" (2021)
- 김희두, "사전학습 언어모델을 활용한 범죄수사 도메인 개체명 인식", 한국융합학회논문지, 13(2), pp.13~20 (2022), 한국융합학회[DOI]
- 박노섭, "범죄사실의 재구성과 가설적 추론(Abduction)의 역할에 대한 연구", 경찰학연구, 12(4), pp.3~22 (2012), 경찰대학[DOI]
- 박성미, "사법분야 인공지능 발전을 위한 판결문 데이터 개선방안- ‘판결서 인터넷열람 서비스’를 중심으로 -", 경찰법연구, 19(3), pp.3~36 (2021), 한국경찰법학회[DOI]
- 방준성, "지능형 치안 서비스 기술 동향", 전자통신동향분석, 34(1), pp.111~122 (2019)
- 원광재, "합리적인 범죄분석과 사실인정을 위한 추론 시각화 모델", 석사, pp.2018
- 이유나, "형사 판결문에서 기계 독해(Machine Reading Comprehension)를 이용한 범죄정보 추출에 관한 연구", 석사, pp.2021
- GPT-4 Technical Report, "OpenAI", ~ (2023)
- American Psychiatric Association, "Diagnostic and statistical manual of mental disorders : DSM-5" (2013), American psychiatric association
- Carnaz, G., "A graph database representation of portuguese criminal-related documents", Informatics, 8(37), pp.1~22 (2021)
- Choi, J. H., "Chatgpt goes to law school", SSRN (2023)
- Devlin, J., "Bert:Pre-training of deep bidirectional transformers for language understanding" (2018)
- Gilardi, F., "Chatgpt outperforms crowd-workers for text-annotation tasks" (2023)
- Grishman, R., "Information extraction", IEEE Intelligent Systems, 30(5), pp.8~15 (2015)
- Hendrycks, D., "Cuad : An expert-annotated nlp dataset for legal contract review" (2021)
- Hu, Y., "Zero-shot clinical entity recognition using chatgpt" (2023)
- Ji, Z., "Survey of hallucination in natural language generation", ACM Computing Surveys, 55(12), pp.1~38 (2023)
- Li, X., "A unified MRC framework for named entity recognition" (2019)
- Radford, A., "Improving language understanding by generative pre-training" (2018)
- Sallam, M., "ChatGPT Utility in Healthcare Education, Research, and Practice : Systematic Review on the Promising Perspectives and Valid Concerns", Healthcare, 11(6), pp.887~ (2023)
- Wang, S., "Want to reduce labeling cost? GPT-3 can help" (2021)
- Zadgaonkar, A. V., "An overview of information extraction techniques for legal document analysis and processing", International Journal ofElectrical & Computer Engineering, 11(6), pp.5450~5457 (2021)
- Zhang, Y., "NER-to-MRC : Named-Entity Recognition Completely Solving as Machine Reading Comprehension" (2023)
- Zhu, M., "Question answering with long multiple-span answers", Findings of the Association for Computational Linguistics: EMNLP, 2020, pp.3840~3849 (2020)
- "쌓이는 수사…수사권 조정 1년 ‘누구도 만족 못했다’" (2022), 강재구[URL]
- "‘후속대책 미흡한’ 검경수사권 조정, 피해는 국민 몫? 검경수사권 조정 이후 2년, ‘검수완박’ 시행 4개월…미흡한 후속대책 속수사 지연 빈번" (2023), 노윤정[URL]
- "인공지능‧AI, 어떻게 활용하느냐에 미래 법률서비스 좌우" (2022), 이성진[URL]
- "경찰, 무료로 엘박스에서 판결문 볼 수 있다… 엘박스, 경찰청과 ‘비영리단체 플랜 계약’ 체결" (2023), 홍수정[URL]