문서 구조의 복잡도에 따른 문서 OCR이 RAG 성능에 미친 영향 분석
Quantitative Assessment of OCR for Complex Documents on Retrieval-Augmented Generation Performance
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
RAG(Retrieval-Augmented Generation) 기술은 LLM(Large Language Model)이 사전 학습한 지식에만 의존하지 않고, 외부 지식 데이터베이스를 참조함으로써 생성형 AI(Artificial Intelligence) 서비스의 정확도를 향상시킨다. 본 연구는 다양한 유형의 금융 문서 이미지를 분석하여, 문서 이미지구조의 복잡도가 RAG 성능에 미치는 영향을 살펴본다. 분석 결과, 문서 내 손글씨에 대한OCR(Optical Character Recognition) 인식률은 높은 수준을 보였으나, RAG의 전반적인 성능은 기대에 미치지 못하는 것으로 나타났다. 이는 원본 문서 이미지의 구조가 복잡할수록 문맥 이해를 어렵게 하여, RAG 파이프라인의 분할, 검색, 생성 과정 전반에서 성능 저하를 초래할 수 있음을 시사한다. 따라서 OCR로 추출된 텍스트의 품질이 일정 수준 이상인 경우, 입력 데이터를 기계가 더쉽게 해석할 수 있도록 구조화하는 후처리 과정이 RAG 성능 향상의 핵심 요인이 될 수 있다.
Abstract
Retrieval-Augmented Generation (RAG) enhances the accuracy of generative AI services by allowing Large Language Models (LLMs) to reference external knowledge bases rather than relying solely on pre-trained knowledge. This study analyzes various types of financial document images to examine the impact of document image structure on RAG effectiveness. The results reveal that, although OCR achieves high recognition accuracy even with handwritten text, the overall performance of RAG remains suboptimal. This suggests that increased structural complexity in original document images hinders contextual understanding, which in turn degrades performance across the retrieval, chunking, and generation stages of the RAG pipeline. Therefore, assuming OCR text quality exceeds a certain threshold, structuring input data into a format that is more readily interpretable by machines through post-processing plays a more critical role in enhancing RAG performance.