공유저작물 자동 정보 추출을 위한 미세조정 BERT-BiLSTM-CRF NER 모델의 성능 및 안정성 분석
Performance and Stability Analysis of a Fine-Tuned BERT-BiLSTM-CRF NER Model for Automated Information Extraction in Openly Licensed Works
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
스캔 기반 한국어 법률 문서는 복잡한 레이아웃과 OCR 오류로 인해 구조화 정보 추출이 어렵다. 본 연구는 Vision-Language 기반 OCR(Qwen-VL), Begin-Inside-Outside (B-I-O) 태깅 기반 학습 데이터셋, 그리고BERT-BiLSTM-CRF 아키텍처를 결합한 한국어 법률 문서용 자동 개체명 인식(NER) 파이프라인을 제안한다. mBERT, KLUE-RoBERTa-Large, XLM-RoBERTa-Large를 Pure 구조와 BiLSTM-조건부 랜덤 필드(CRF) 구조로 미세조정하고, 약 30% OCR 노이즈를 포함한 데이터로 학습한 뒤 5-폴드 교차검증을 수행하였다. 실험 결과, CRF 결합 모델이 시퀀스 일관성과 엔티티 경계 인식에서 더 안정적인 성능을 보였으며, 특히XLM-RoBERTa-Large-CRF는 평균 F1 0.9641을 기록했다. 본 연구는 OCR 노이즈 환경에서도 견고한 한국어 법률 NER 설계를 위한 실용적 방향을 제시한다.
Abstract
Korean legal documents pose challenges for information extraction due to complex layouts, Optical Character Recognition (OCR) noise, and agglutinative morphology. This paper proposes an automated Named-Entity Recognition(NER) pipeline that integrates Qwen-VL-based OCR, a Begin-Inside-Outside (B-I-O)-tagged training dataset, and fine-tuned BERT-family encoders with a BiLSTM-Conditional Random Field (CRF) decoder. We fine-tune mBERT, KLUE-RoBERTa-Large, and XLM-RoBERTa-Large under both Pure and BiLSTM-CRF settings, incorporating 30% OCR-style noise. A 5-폴드cross-validation demonstrates that CRF-enhanced models achieve more stable and structurally consistent predictions, with XLM-RoBERTa-Large-CRF reaching an average F1-score of 0.998. The results highlight a practical design for robust NER in noisy OCR environments.