본문 바로가기
KERD
논문KCI 등재

자연어 처리 Triple+ 추출을 이용한 진술 일관성 판별 정확도 연구

Accuracy of statement consistency analysis using Triple+ extractions of natural language processing

문혜민|조은경|윤여훈|전현정|양기주
한국법심리학회 (Korean Association of Psychology and Law)|2023.03|한국심리학회지:법 (Korean Journal of Forensic Psychology)|제14권 제1호|pp. 49-66|DOI http://doi.org/10.53302/kjfp.2023.03.14.1.49

0

조회

0

다운로드

0

인용

0

참고문헌

키워드

자연어 처리natural language processingstatement inconsistency진술 일관성statement consistency진술분석진술 불일치Triple+statement analysisTriple+ extraction

초록

성폭력 사건의 수사 및 재판 단계에서 피해자 진술의 신빙성 판단이 중요해짐에 따라 진술분석의 수요가 증가하고 있다. 피해자 진술의 일관성은 진술 신빙성 판단의 주요 기준 중 하나이다. 4차 산업혁명 시대에 점차 고도화되는 자연어처리 기술은 대화 내용을 분석하는데 확장되고 있는 점에 착안하여, 이 연구는 자연어 처리 기술인 Triple+ 추출을 적용한 진술 일관성 분석의 정확도를 확인고자 하였다. 이를 위해 진술분석 교육을 이수한 평가자가 57건의 실제 피해자 진술 녹취록에 대해 진술 일관성 분석을 실시한 후 Triple+를 이용한 진술 불일치 분석 결과와 비교하였다. 평가자의 분석 결과 확인된 18쌍의 비일관적인 문장들에 대한 Triple+를 추출하고 7가지 진술 불일치 유형으로 구분하였으며 유형별 진술 불일치 판단 규칙을 설정하였다. 분석 결과, Triple+가 평균적으로 77% 정확하게 진술 불일치를 판별하는 것으로 나타났다. 세부 유형별로는, 방향, 시점, 행동 주체 유형은 100%, 내용 부정 유형은 75%, 장소 유형은 66.7%, 사건의 순서, 피동․능동 유형 판별은 50%의 정확도로 나타났다. 또한, 무작위로 선정된 32쌍의 일관적인 문장에 대한 판단에서는 93.8%의 판별 정확도를 보였다. 이러한 연구 결과는 Triple+을 이용한 자동적 진술 불일치 판별은 진술분석의 보조도구로서 효율성을 높일 수 있을 것으로 기대된다. 인공지능 진술분석에 필요한 현존하는 자연어 처리 기술의 한계와 향후 연구의 방향에 대해서도 논의하였다.

Abstract

Demand for statement analysis is increasing as the credibility of the victim's statement becomes more important in the investigation and trial of sexual offence cases. The consistency of the victim's statement is one of the main criteria for judging the credibility of a victim. In the era of 4th industrial revolution natural language processing technology is rapidly growing to analyze conversation contents. This study tried to verify the accuracy of statement consistency analysis using Triple+ extractions, a natural language processing technology. Trained evaluators conducted a statement consistency analysis on 57 actual transcripts of victim statements and compared them with the results of statement inconsistency analysis using Triple+. The Triple+ for 18 pairs of inconsistent sentences from victim statements were extracted and classified into 7 types of statement inconsistency. The rules of determining statement inconsistency for each type were established. The results showed that Triple+ correctly identified statement discrepancies 77% on the average. For subtypes of inconsistency classification accuracy varied as 100% for the direction, timing, and action, 75% for content denial, 66.7% for place, and 50% accuracy of event sequence and passive/active type were found. 93.8% accuracy was achieved in the judgment of 32 randomly selected pairs of consistent sentences. The results of this study suggest a potential for automatic statement inconsistency discrimination using Triple+ as supplementary tool for human expert statement analysis. The limitations of the existing natural language processing technology required for artificial intelligence statement analysis and the direction of future research are discussed.

참고문헌 (34)

  1. 강우예, "형사절차상 사회과학적 증거의 증명력과 증거능력에 대한 연구 - 미국의 논의에 대한 분석을 중심으로 -", 법학논총, 34(1), pp.199~232 (2017), 법학연구소[DOI]
  2. 강은영, "성폭력피해자 진술의 신빙성에 대한 형사사법기관 판단 및 개선방안: 성인지감수성을 중심으로", pp.1~352 (2020), 형사정책연구원
  3. 공정식, "아동과 지적 장애인 범죄피해 진술의 신빙성 평가기준 - 국내법원판례를 중심으로 -", 한국범죄심리연구, 13(3), pp.11~24 (2017), 한국범죄심리학회[DOI]
  4. 곽수정, "한국어 의존 파싱을 이용한 트리플 관계 추출", 제25회 한글 및 한국어 정보처리 학술대회 논문집 (2013)
  5. 김민희, "성범죄 피해 지적장애인의 진술에 대한 법원의 신빙성 판단 - 대법원 2017. 1. 25. 선고 2016도14989 판결 및 하급심 판결을 중심으로 -", 형사법의 신동향, (63), pp.272~302 (2019), 대검찰청[DOI]
  6. 김영일, "K-LIWC를 이용한 비압박 상황의 거짓 태도 탐지", 인지과학, 27(2), pp.247~273 (2016), 한국인지과학회[DOI]
  7. 김한균, "첨단 과학수사 정책 및 포렌식 기법 종합발전방안 연구(I)" (2018), 한국형사정책연구원
  8. 맹욱재, "성폭력 피해자 지원 챗봇 디자인: 시나리오 기반과 대화 모델을 결합한 하이브리드 모델에 관한 실험적 연구", 한국 HCI 학회 학술대회, pp.368~373 (2021)
  9. 문옥영, "한국어 진술서에서 책임회피 시 나타나는 거짓의 언어·심리적 특징", 한국심리학회지: 사회및성격, 25(2), pp.91~111 (2011), 한국사회및성격심리학회[DOI]
  10. 문혜민, "성폭력 피해 진술의 신빙성 평가를 위한 준거기반 내용분석(CBCA)의 준거 재정립 연구", 피해자학연구, 30(2), pp.71~99 (2022), 한국피해자학회[DOI]
  11. 박광배, "제4차 산업혁명 시대의 법심리학: 새로운 도전과 과제", 한국심리학회지:일반, 39(4), pp.481~516 (2020), 한국심리학회[DOI]
  12. 송승주, "한국 진술분석 보고서 및 증언에 대한 질적 평가 기준", 한국심리학회지:법, 12(2), pp.223~251 (2021), 한국법심리학회[DOI]
  13. 신준호, "RoBERTa 를 활용한 CBCA 준거 분류 모델 성능 비교", 한국정보과학회 학술발표논문집, pp.296~298 (2021)
  14. 신준호, "CBCA 준거 분류에서의 BERT 기반 모델 성능 비교", 정보과학회논문지, 49(9), pp.727~734 (2022), 한국정보과학회[DOI]
  15. 유연재, "한국어 언어분석 프로그램(KLIWC)을 이용한 온라인 기만 사용후기 연구", 소비자학연구, 27(1), pp.69~92 (2016), 한국소비자학회
  16. "성폭력 피해 경찰에서 진술하면 AI가 받아 적는다" (2020)[URL]
  17. 이미선, "성폭력 피해아동 진술신빙성 판단에 있어서 평가자간 신뢰도: 진술분석 전문가 집단을 대상으로", 한국심리학회지: 사회및성격, 32(2), pp.67~83 (2018), 한국사회및성격심리학회[DOI]
  18. 이미선, "지적장애인 성폭력 사건 특성과 법원의 판단", 한국심리학회지:법, 11(2), pp.211~239 (2020), 한국법심리학회[DOI]
  19. 이선미, "성폭력 형사사건에서 피해자 진술의 신빙성과 경험칙에 관한 연구", pp.1~232 (2020), 사법정책연구원
  20. 이형근, "진술 신빙성 평가에 관한 탐색적 연구 - 성인지 감수성과 인격적 요소의 경향성을 중심으로 -", 경찰법연구, 20(3), pp.153~186 (2022), 한국경찰법학회[DOI]
  21. "아이폰 등장에 비견될 ‘챗GPT 돌풍’에...국내 관련주 폭등" (2023)[URL]
  22. 조은경, "성폭력 피해 아동 진술신빙성 평가의 한계와 전망", 피해자학연구, 18(2), pp.47~60 (2010), 한국피해자학회
  23. 조은경, "성폭력 피해자 조사면담용 인공지능 챗봇 개발과 형사정책적 함의", 형사정책, 34(1), pp.111~138 (2022), 한국형사정책학회
  24. "AI 챗봇이 성폭력 피해자 돕는다…증거수집․조서작성까지" (2021)[URL]
  25. Anson, D. A., "Child sexual abuse allegations: Reliability of criteria-based content analysis", Law and Human Behavior, 17, pp.331~341 (1993)
  26. Gödert, H. W., "Statement validity assessment: Inter‐rater reliability of criteria-based content analysis in the mock crime paradigm", Legal and Criminological Psychology, 10(2), pp.225~245 (2005)
  27. Hauch, V., "Can credibility criteria be assessed reliably? A meta-analysis of criteria-based content analysis", Psychological Assessment, 29(6), pp.819~ (2017)
  28. Johri, P., "Natural Language Processing: History, Evolution, Application, and Future Work", Proceedings of 3rd International Conference on Computing Informatics and Networks (2021), Springer
  29. Liu, Y., "Roberta : A robustly optimized bert pretraining approach", arXiv preprint arXiv:1907.11692, ~ (2019)
  30. Minhas, R., "Protecting victim and witness statement: examining the effectiveness of a chatbot that uses artificial intelligence and a cognitive interview", AI & SOCIETY, pp.1~17 (2022)
  31. Rusu, D., "Triplet extraction from sentences", Proceedings of the 10th International Multiconference Information Society-IS, pp.8~12 (2007)
  32. "Spot"[URL]
  33. Vredeveldt, A., "The inconsistent suspect: A systematic review of different types of consistency in truth tellers and liars", Investigative interviewing, pp.183~207 (2014)
  34. Vrij, A., "Detecting lies and deceit: Pitfalls and opportunities" (2008), John Wiley & Sons

관련 논문AI추천

한국형 진술 신빙성 평가 모델의 타당화 연구: 성범죄 사건 적용을 중심으로공은경, 김성혜, 김창식, 남현희, 박희정, 이주현, 최규환, 한수영경찰대학 · 경찰학연구2025 · 제25권 제3호진술분석 결과와 경찰수사, 검찰처분, 법원판결 일치도 비교 연구: ‘한국형 진술신빙성 평가 모델’ 적용 성범죄 사건을 중심으로이상경, 최규환치안정책연구소 · 치안정책연구2024 · 제38권 제3호성폭력 피해자 조사면담용 인공지능 챗봇 개발과 형사정책적 함의문혜민, 양기주, 윤여훈, 이윤정, 조은경한국형사정책학회 · 형사정책2022 · 제34권 제1호자연어처리 기반 법적 판결 논증 분석을 활용한 수사결과 검증방안 연구구예리, 문성준, 박노섭한국경찰법학회 · 경찰법연구2023 · 제21권 제2호준거기반내용분석(CBCA)의 변별력 : 성폭력피해주장 성인 진술의 신빙성분석을 중심으로김경옥, 김태경, 김현미한국피해자학회 · 피해자학연구2024 · 제32권 제1호반복 진술 시 나타나는 진술의 정확성및 진술 간 일관성에 관한 연구 -범죄사건 진술의 진위여부에 따른 차이를 중심으로-김시업, 홍유진경찰학연구소 · 경찰학논총2017 · 제12권 제4호

이 간행물의 다른 논문 (2건)

The Personality Assessment Inventory (PAI) Profiles of Crime Victims박선영, 이미선, 백성은pp. 1-29반대신문 시 진술조력인의 개입과 아동 피해자 진술의 일관성이 모의배심원의 피해자 진술신빙성 판단에 미치는 영향조은경, 신혜민pp. 31-48
원문 보기