언어학적 특징을 고려한 자연어 처리 기반 한국어 요약 시스템
Natural Language Processing-based Korean Summary System Considering Linguistic Features
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
인터넷을 통해 대규모 데이터가 유통되면서 인터넷 이용자들은 자신에게 필요한 데이터를 찾기 어려워졌다. 또한, 데이터의 형태가 텍스트인 경우 텍스트를 압축 및 요약하는 작업이 요구되고 있는 실정이다. 본 논문에서는 한국어 텍스트에 대해서 학습한 Transformer Encoder-Decoder 기반의 KoBART(Korean Bidirectional and Auto-Regressive Transformers) 모델을 활용하여 한국어로 구성된 텍스트를 압축 및 요약하기에 효율적인 시스템을 구축하였다. 본 시스템은 추출요약을 수행하는 전처리기와 생성요약을 수행하는 KoBART 모델로 구성하였다. 전처리기는 한국어의 언어학적 특징을 고려하여 특정 문구가 출현하였을 경우 해당 문장을 중심으로 추출요약을 수행하고 KoBART 모델은 전처리기가 처리하지 않은 텍스트들에 대해서 생성요약을 수행한다. 제안하는 시스템은 한국어로 구성된 텍스트를 압축 및 요약하기 위하여 한국어의 언어학적 특징을 고려한 전처리기와 사전학습 언어모델인 KoBART 모델을 활용하였으며 일반적인 추출요약 모델과 생성요약 모델에 비해 우수한 성능을 보였다. 이는 특정 국가의 언어가 가지는 특징을 보다 상세하게 분석하고 활용하는 방안이 우수한 성능의 사전학습 언어모델만을 활용하는 것보다 좋은 결과를 기대할 수 있다는 점을 시사한다. 본 논문이 언어학적 특징과 우수한 성능의 사전학습 언어모델의 시너지를 전파하는데 선도하는 연구가 될 수 있을 것으로 기대된다.
Abstract
As large-scale data is distributed through the Internet, it has become difficult for Internet users to find the data they need. In addition, when the form of data is text, it is required to compress and summarize the text. In this paper, we construct an efficient system for compressing and summarizing text composed of Korean using the Transformer Encoder-Decoder-based KoBART (Korean Bidirectional and Auto-Regulatory Transformers) model. This system consisted of a preprocessor that performs an extraction summary and a KoBART model that performs a generation summary. The preprocessor performs an extraction summary based on the sentence when a specific phrase appears considering the linguistic characteristics of the Korean language, and the KoBART model performs a generation summary on texts not processed by the preprocessor. The proposed system used the preprocessor considering the linguistic features of Korean and the KoBART model, which is a pre-learning language model, to compress and summarize text composed of Korean, and showed superior performance compared to the general extraction summary model and generation summary model. This suggests that a method of analyzing and utilizing the characteristics of a specific country's language in more detail can expect better results than using only a pre-learning language model with excellent performance. It is expected that this paper will be a leading study in spreading the synergy of the pre-learning language model with linguistic features and excellent performance.
참고문헌 (15)
- 박호연, "BERT 기반 감성분석을 이용한 추천시스템", 지능정보연구, 27(2), pp.1~15 (2021), 한국지능정보시스템학회
- 허은영, "BERT+ 알고리즘 기반 약물 리뷰를활용한 약물 이상 반응 탐지", 정보처리학회 논문지, 10(11), pp.465~472 (2021), 한국정보처리학회
- 김인후, "딥러닝 기반의 BERT 모델을 활용한 학술 문헌 자동분류", 정보관리학회지, 39(3), pp.293~310 (2022), 한국정보관리학회[DOI]
- 김범수, "인공지능을 이용한 외국인 근로자를 위한 실시간 사물 인식 및 번역 앱", 한국지식정보기술학회 논문지, 15(6), pp.963~971 (2020), 한국지식정보기술학회[DOI]
- 김성원, "딥러닝을 이용한 법률 분야 한국어 의미 유사판단에 관한 연구", 정보처리학회 논문지, 11(2), pp.93~100 (2022), 한국정보처리학회
- 안지예, "딥러닝을 활용한 고객 경험 기반 상품 평가 변화 예측 방법론", 한국IT서비스학회지, 21(4), pp.75~90 (2022), 한국IT서비스학회[DOI]
- 이태준, "인체 치수 데이터와 K-means 군집 알고리즘을 활용한 체지방 분류 모델", 한국지식정보기술학회 논문지, 17(5), pp.1007~1016 (2022), 한국지식정보기술학회[DOI]
- 신주현, "문장 정보량 기반 문서 추출 요약의 효과성 제고", 스마트미디어저널, 11(3), pp.31~38 (2022), (사)한국스마트미디어학회
- Bing Liu, "Hot Keyword Extraction of Sci-tech Periodicals Based on the Improved BERT Model", KSII Transactions on Internet and Information Systems, 16(6), pp.1800~1817 (2022), 한국인터넷정보학회
- 허윤아, "비정형 Security Intelligence Report의 정형 정보 자동 추출", 디지털융복합연구, 17(11), pp.233~240 (2019), 한국디지털정책학회[DOI]
- 진요요, "설명 가능한 개인화 영화 추천 서비스를 위한 딥러닝 기반 텍스트 요약 모델", 한국IT서비스학회지, 21(2), pp.109~126 (2022), 한국IT서비스학회[DOI]
- 허강호, "단어 빈도와 유사도 분석 기반의 회의록 요약 시스템 설계 및 구현", 한국콘텐츠학회 논문지, 19(10), pp.620~629 (2019), 한국콘텐츠학회[DOI]
- 이필원, "워드 임베딩 클러스터링을 활용한 리뷰 다중문서 요약기법", 정보처리학회 논문지, 10(11), pp.535~540 (2021), 한국정보처리학회
- 이수안, "자유학기제 운영계획서에 대한 텍스트 빅데이터 분석 및 요약", 컴퓨터교육학회 논문지, 22(3), pp.135~146 (2019), 한국컴퓨터교육학회[DOI]
- Ky Vannroath, "An Unsupervised Real-time Anomaly Detection of Furnace System based on HTM", 한국지식정보기술학회 논문지, 13(6), pp.657~664 (2018), 한국지식정보기술학회[DOI]