대규모 언어 모델(LLM)을 활용한 고소장 자동작성 연구 - 차용·용도, 물품사기를 중심으로 -
A Study of Automated Drafting of Legal Complaints Using Large Language Models: -Focusing on Loan and Merchandise Fraud-
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
2021년 형사소송법 개정에 따라 사법경찰관에 대한 수사지휘권이 폐지되면서, 수사관의 업무량이 급증하였다. 이를 해결하고자 2023년 11월 「검사와 사법 경찰관의 상호협력과 일반적 수사준칙에 관한 규정」이 개정되었으며, 개정안에서는 경찰이 보완수사나 재수사 요청을 받은 후 3개월 내에 수사를 종결하도록 규정함으로써 신속한 사건 처리를 요구하였다. 특히, 고소·고발 사건의 사건 처리 지연 문제를 해결하기 위해 고소장 반려 제도가 폐지되고 모든 고소·고발장을 의무적으로 접수해야 하는 규정이 신설되었다. 기존에는 고소장이 법적 요건을 충족하지 못할 경우 반려나 각하 처분이 가능했으나, 반려제도의 폐지로 인해 이제는 형식 요건을 충족하지 못한 고소장은 각하 결정만으로 사건을 종결할 수 밖에 없게 되었다. 이로 인해 접수된 고소장이 신속하게 처리되어야 할 뿐만 아니라, 고소장의 형식과 구성 요건을 충족하는 것이 그 어느 때보다 중요해졌다. 본 연구는 사기죄 중 가장 빈번하게 발생하는 차용·용도 사기와 물품 사기를 중심으로 대규모 언어모델(LLM)을 활용한 고소장 범죄사실 자동 작성 시스템을 제안한다. 이를 위해 전문가 기반 가이드라인과 Chain-of-Thought(CoT) 및 Few-Shot 프롬프트 기법을 활용하여 GPT-4 모델에게 판결문 범죄사실에서 범적구성요건요소를 추출하였으며, 이를 기반으로 학습 데이터셋을 구축하였다. 이때, 대규모 언어모델에서 가장 심각한 오류 중 하나인 환각 오류(hallucination)가 발생하지 않았으며, 주어진 정보 외에 추가적인 텍스트를 생성하지 않은 것을 확인하였다. 이후 추출된 정보를 입력값으로 하여 고소장의 범죄사실을 자동으로 생성하는 미세조정 모델을 구축하였다. 미세조정된 모델을 통해 생성된 범죄사실을 원문 판결문과 비교한 결과, 차용·용도 사기에서는 BLEU 76%, 코사인 유사도 92%, 물품 사기에서는 BLEU 86%, 코사인 유사도 94%라는 높은 성과를 기록하였다. 이러한 연구 결과는 주어진 입력을 바탕으로 법률문서 자동생성의 신뢰 가능성을 보여주며, 향후 수사 및 법률 문서 자동화에 있어 중요한 기여를 할 수 있을 것으로 기대된다.
Abstract
In November 2023, the Regulations on the Mutual Cooperation of Prosecutors and Judicial Police Officers and General Investigation Guidelines were amended to resolve delayed investigations by promoting prosecutor-police cooperation. Police are now required to handle cases more quickly as investigations must conclude within three months of receiving a request for further or reinvestigation. To address the issue of lengthy investigation times, the process of rejecting complaints was abolished, along with new criteria mandating the acceptance of all complaints. Previously, complaints could be rejected if they did not meet legal requirements, but now all must be accepted, limiting investigators' ability to dismiss unsatisfactory cases. Therefore, this study presents the use of Large Language Models (LLMs) to draft criminal complaints, focusing on loan and merchandise fraud. In this study, we used GPT-4 to extract information based on expert-level guidelines that assess the components related to criminal facts in criminal case judgments, employing Chain-of-Thought (CoT) and Few-Shot prompting to generate the training dataset. Additionally, we created a training dataset and fine-tuned the models using the extracted information as input to generate criminal facts for complaints. Upon analyzing the dataset generated from GPT-4's extracted information, we found no hallucinations or additional text beyond the provided inputs. When comparing the generated criminal facts by the fine-tuned model to the original crime facts, loan fraud achieved 76% BLEU and 92% cosine similarity, whereas merchandise fraud achieved 86% BLEU and 94% cosine similarity. These findings illustrate the model's ability to accurately utilize the given inputs to generate legal documents, implying the feasibility of automated legal document generation.
참고문헌 (26)
- 박노섭, "범죄수사학" (2020), 경찰공제회
- 신동운, "형법총론" (2003), 법문사
- 임웅, "형법총론" (2019), 법문사
- 강동필, "實力 수사의 定石: 재산범죄" (2023)
- 리걸테크 도입 및 대응을 위한 법무정책 연구, "강석구", 한국형사법무정책연구원, ~ (2023)
- 주요 범죄의 실태 및 동향 자료 구축(III) : 사기범죄, "강은영", 한국형사법무정책연구원, ~ (2023)
- 국가수사본부 사이버수사국, "사이버범죄 트렌드(2023)", 경찰청, ~ (2023)
- 형사절차에서 수사보고서의 의미과 역할, "김승언", 한국형사소송법학회, ~ (2024)
- 박노섭, "딥러닝(Deep Learning)모델을 활용한 범죄사실 구성요소 자동 추출 방안 연구", 치안정책연구, 37(3) (2023)
- 박호현, "검찰도 인공지능 도입 ‘시동’ 수사 효율성·속도 대거 높인다", 서울경제, ~ (2024)
- 이정우, "생성형 인공지능 모델(GPT)을 활용한 고소 프로세스 개선에 관한 연구 : 차용사기 사건을 중심으로", 형사정책연구, 34(3) (2023)
- 조광훈, "개정 형사소송법과 검찰청법의 쟁점과 향후과제", 법제처, 699 (2022)
- 최종상, "수사결과보고서 작성기법", 경찰청 수사국 수사구조개혁팀, ~ (2016)
- 한애라, "법률문서 자동작성 서비스의 규율에 관한 연구", 민사소송, 24(3) (2020)
- Alfirna Rizqi Lahitani, "Cosine Similarity to Determine Similarity measure: Study case in Online Essay Assessment", 4th International Conference on Cyber and IT Service Management (2016), IEEE
- Daniel Martin Katz, "GPT-4 Passes the Bar Exam", ~ (2023)
- Haitao Li, "SAILER: Structure-aware Pre-trained Language Model", Proceedings of the 46th International ACM SIGIR Conference on Research and Development in Information Retrieval (2023)
- Jason Wei, "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models", Advances in Neural Information Processing Systems, 35 (2022)
- Joana Riberiro De Faria, "Automatic information extraction from Employment Tribunal judgements using Large Language Models", ~ (2024)
- Kishore Papineni, "Bleu: a Method for Automatic Evaluation of Machine Translation", Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (2002)
- Marios Koniaris, "Evaluation of Automatic Legal Text Summarization Techniques for Greek Case Law", Information, 14(4) (2023)
- Randy Goebel, "Summary of the Competition on Legal Information, Extraction", Entailment (COLIEE) 2023, 2023, ~
- Wonseok Hwang, "A Multi-Task Benchmark for Korean Legal Language Understanding and Judgement Prediction", NeurIPS, 35 (2022)