사전학습 언어 모델을 활용한 트랜스포머 기반 텍스트 요약
Transformer-based Text Summarization Using Pre-trained Language Model
0
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
소셜 미디어의 등장으로 많은 양의 텍스트 데이터가 온라인상에서 생산 및 유통되면서, 정보 이용자가 방대한 정 보로부터 필요한 정보만을 추려내는 작업은 더욱 어려워지게 되었다. 이로 인해 많은 양의 텍스트를 자동으로 요약 하기 위한 다양한 시도가 이루어지고 있으며, 특히 최근에는 풍부한 표현의 요약문을 새롭게 생성할 수 있는 추상 요약 접근법에 대한 연구가 활발히 수행되고 있다. 추상 요약 분야에서는 신경망 기반의 트랜스포머 모델이 우수한 성능을 보이며 널리 활용되고 있지만, 충분한 양의 학습 데이터가 확보되지 않으면 트랜스포머를 구성하고 있는 매 개변수의 학습이 충분히 이루어지지 않아서 양질의 요약문을 생성하기 어렵다는 한계를 갖는다. 따라서 본 연구는 소량의 학습 데이터가 주어진 상황에서도 양질의 요약문을 생성하기 위해, 한국어 사전학습 언어 모델인 KoBERT의 일부 요소를 추출하여 트랜스포머 기반의 추상 요약 모델에 적용하는 문서 요약 방안을 제시한다. 제안 방법론의 우 수성을 검증하기 위해 Dacon의 한국어 문서 생성 요약 데이터 42,803건에 대한 요약 실험을 수행한 결과, 제안 방법 론이 비교 방법론에 비해 요약 품질을 평가하는 지표인 ROUGE 기준으로 우수한 성능을 보임을 확인하였다.
Abstract
As a large amount of text data is produced and distributed online with the advent of social media, it has become more difficult for users to extract only necessary information from a vast amount of information. As a result, various attempts have been made to automatically summarize a large amount of text. In particular, the abstractive summarization approach is being actively studied because it can create a new summary with rich contextual expressions. In the abstractive summarization task, neural network-based transformer models show high-performance and are used widely. However, if a sufficient amount of training data is not provided, it is difficult to generate a high-quality summary because the parameters constituting the transformer are not sufficiently learned. In this work, we proposes a text summarization method that generates a high-quality summary given a small amount of training data. Specifically, we extract some elements of KoBERT and apply them to a transformer-based abstractive summarization model. We conducted an experiment on 42,803 cases of Dacon's summary data to evaluate the performance of the proposed methodology. As a result of the experiment, it was confirmed that the proposed methodology showed superior performance based on the ROUGE index compared to the comparative method.
참고문헌 (37)
- 김정수, "주식시장관리제도와 소셜 미디어의 역할", 경영과 정보연구, 34(5), pp.23~47 (2015), 대한경영정보학회[DOI]
- 김현아, "네이버 뉴스에 ‘요약봇’출현..“핵심만 보여줘요", 이데일리, ~ (2017)
- 서명덕, "연합뉴스, 인공지능 기사요약 서비스 첫선", 연합뉴스, ~ (2021)
- 윤성식, "BERT를 활용한 상표 의견제출통지서 거절이유 분류모델 개발", 경영과 정보연구, 40(3), pp.41~58 (2021), 대한경영정보학회[DOI]
- 장윤희, "카카오, 다음뉴스 전면 개편...뉴스요약 기능 선보여", 중앙일보, ~ (2016)
- 정혜강, "용어 사전의 특성이 문서 분류 정확도에미치는 영향 연구", 경영과 정보연구, 37(4), pp.41~62 (2018), 대한경영정보학회[DOI]
- Allahyari, M, "Text summarization techniques: a brief survey", ~ (2017)
- Bahdanau, D, "Neural machine translation by jointly learning to align and translate", ~ (2014)
- Cho, K, "Learning phrase representations using RNN encoder-decoder for statistical machine translation", ~ (2014)
- Deaton, J., "Transformers and pointer-generator networks for abstractive summarization", ~ (2019)
- Devlin, J, "Bert: Pre-training of deep bidirectional transformers for language understanding", ~ (2018)
- Eduard, H, "The Oxford Handbook of Computational Linguistics" (2015), Oxford University Press
- Gambhir, M, "Recent automatic text summarization techniques: a survey", Artificial Intelligence Review, 47(1), pp.1~66 (2017)
- Goodman, S, "Multi-stage Pretraining for Abstractive Summarization", ~ (2019)
- Gu, J., "Incorporating copying mechanism in sequence-tosequence learning", ~ (2016)
- Hochreiter, S, "Long short-term memory", Neural computation, 9(8), pp.1735~1780 (1997)
- Khan, A, "A review on abstractive summarization methods", Journal of Theoretical and Applied Information Technology, 59(1), pp.64~72 (2014)
- Khandelwal, U, "Sample efficient text summarization using a single pre-trained transformer", ~ (2019)
- Liu, Y, "Text summarization with pretrained encoders", ~ (2019)
- Lin, C. Y., "Text summa rization branches out", pp.74~81 (2004)
- Liu, Y, "Roberta: A robustly optimized bert pretraining approach", ~ (2019)
- Mihalcea, R, "Textrank:Bringing order into text", Proceedings of the 2004 conference on empirical methods in natural language processing, pp.404~411 (2004)
- Mikolov, T, "Distributed representations of words and phrases and their compositionality", Advances in neural information processing systems, pp.3111~3119 (2013)
- Nallapati, R, "Classify or select: Neural architectures for extractive document summarization", ~ (2016)
- Nallapati, R, "Abstractive text summarization using sequence-to-sequence rnns and beyond", ~ (2016)
- Radford, A, "Improving language understanding by generative pre-training", ~ (2018)
- Radford, A, "Language models are unsupervised multitask learners", OpenAI blog, 1(8), pp.9~ (2019)
- Reid, M, "Subformer: A Parameter Reduced Transformer", ~ (2020)
- Rothe, S, "Leveraging pre-trained checkpoints for sequence generation tasks", Transactions of the Association for Computational Linguistics, 8, pp.264~280 (2020)
- Rush, A. M, "A neural attention model for abstractive sentence summarization", ~ (2015)
- Sanjabi, N, "Abstractive text summarization with attention-based mechanism", Master, pp.2018
- See, A, "Get to the point: Summarization with pointer-generator networks", ~ (2017)
- "SK telecom Open Source Projects: KoBERT" (2021)[URL]
- Sutskever, I, "Sequence to sequence learning with neural networks", ~ (2014)
- Vaswani, A, "Attention is all you need", ~ (2017)
- Venkat, N, "Chapter 12 - Natural Language Core Tasks and Applications", Handbook of Statistics, 38, pp.403~428 (2018)
- Xu, S, "Self-attention guided copy mechanism for abstractive summarization", Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp.1355~1362 (2020)