본문 바로가기
KERD
논문KCI 등재

흐름이 있는 문서에 적합한 비지도학습 추상 요약 방법

Unsupervised Abstractive Summarization Method that Suitable for Documents with Flows

김승훈|안순홍|이훈석
한국정보처리학회|2021.11|정보처리학회 논문지 (The Transactions of the Korea Information Processing Society)|제10권 제11호|pp. 501-512

0

조회

0

다운로드

1

인용

0

참고문헌

키워드

NLPGANBERTTransformerSummarization
주제분류컴퓨터학

초록

최근 Encoder-Decoder를 기반한 요약은 거의 인간 수준에 도달하였다. 하지만 이는 영어, 중국어 등 수백만 건의 데이터세트가 잘 갖추어진주류 언어권에서만 활용 가능하며 데이터세트가 구축되지 않은 비주류 언어권에서는 활용하지 못하는 한계가 있다. 또한, 문서의 일부 영역에초점 하여 요약하는 편향의 문제를 갖고 있어 동화나 소설과 같이 흐름이 있는 문서에는 적합하지 않다. 본 논문에서는 두 개의 Discriminator가있는 GAN을 통해 비지도 학습 기반의 추상 요약을 하며, 가이드 토큰의 추출과 주입을 통해 편향 문제를 개선하는 추출 요약과 추상 요약을 혼합한하이브리드 요약 방법을 제안한다. CNN/Daily Mail 데이터세트를 통해 모델을 평가하여 객관적인 타당성을 검증하고 비주류 언어 중 하나인 한국어에서도 유효한 성능을 보인다는 것을 입증한다.

Abstract

Recently, a breakthrough has been made in the NLP area by Transformer techniques based on encoder-decoder. However, this onlycan be used in mainstream languages where millions of dataset are well-equipped, such as English and Chinese, and there is a limitationthat it cannot be used in non-mainstream languages where dataset are not established. In addition, there is a deflection problem thatfocuses on the beginning of the document in mechanical summarization. Therefore, these methods are not suitable for documents withflows such as fairy tales and novels. In this paper, we propose a hybrid summarization method that does not require a dataset and improvesthe deflection problem using GAN with two adaptive discriminators. We evaluate our model on the CNN/Daily Mail dataset to verifyan objective validity. Also, we proved that the model has valid performance in Korean, one of the non-mainstream languages.

참고문헌 (42)

  1. Y. Hitomi, "A large-scale multi-length headline corpus for analyzing length-constrained headline generation model evaluation", Proceedings of the 12th International Conference on Natural Language Generation, pp.333~343 (2019)
  2. Ian J. Goodfellow, "Generative adversarial nets", Proceedings of the International Conference on Neural Information Processing Systems, pp.2672~2680 (2014)
  3. K. Knight, "Summarization beyond sentence extraction : A probabilistic approach to sentence compression", Artificial Intelligence, 139(1), pp.91~107 (2002)
  4. B. Dorr, "Hedge trimmer : A parseand-trim approach to headline generation", Proceedings of North American Chapter of the Association for Computational Linguistics, pp.1~8 (2003)
  5. R. Mihalcea, "TextRank : Bringing order into texts", Proceedings of the Conference on Empirical Methods in Natural Language Processing, pp.404~411 (2004)
  6. G. Erkan, "LexRank : Graph-based lexical centrality as salience in text summarization", Journal of Artificial Intelligence Research, 22(1), pp.457~479 (2004)
  7. S. T. Dumais, "Latent semantic analysis", Annual Review of Information Science and Technology, 38(1), pp.188~230 (2005)
  8. A. Haghighi, "Exploring content models for multi-document summarization", Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp.362~370 (2009)
  9. Q. Zhou, "Neural document summarization by jointly learning to score and select sentences", Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, 1, pp.654~663 (2018)
  10. M. Zhong, "A closer look at data bias in neural extractive summarization models", Proceedings of the 2nd Workshop on New Frontiers in Summarization, pp.80~89 (2019)
  11. D. Wang, "Exploring domain shift in extractive text summarization", arXiv preprint arXiv : 1908. 11664, ~ (2019)
  12. T. Cohn, "Sentence compression beyond word deletion", Proceedings of the 22nd International Conference on Computational Linguistics (Coling 2008) (2008)
  13. I. Sutskever, "Sequence to sequence learning with neural networks", Advances in Neural Information Processing Systems, pp.3104~3112 (2014)
  14. A. Vaswani, "Attention is all you need", Advances in Neural Information Processing Systems, pp.5998~6008 (2017)
  15. R. Nallapati, "Summarunner: A recurrent neural network based sequence model for extractive summarization of documents", Thirty-First Association for the Advancement of Artificial Intelligence Conference on Artificial Intelligence (2017)
  16. A. Rush, "A neural attention model for abstractive sentence summarization", arXiv preprint arXiv : 1509. 00685, ~ (2015)
  17. S. Chopra, "Abstractive sentence summarization with attentive recurrent neural networks", Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics:Human Language Technologies, pp.93~98 (2016)
  18. R. Nallapati, "Abstractive text summarization using sequenceto-sequence rnns and beyond", arXiv preprint arXiv : 1602. 06023, ~ (2016)
  19. R. Paulus, "A deep reinforced model for abstractive summarization", arXiv preprint arXiv : 1705. 04304, ~ (2017)
  20. A. Fan, "Controllable abstractive summarization", arXiv preprint arXiv : 1711. 05217, ~ (2017)
  21. C. Baziotis, "Seqˆ3: Differentiable sequence-to-sequence-to-sequence autoencoder for unsupervised abstractive sentence compression", arXiv preprint arXiv : 1904. 03651, ~ (2019)
  22. A. See, "Get to the point : Summarization with pointer-generator networks", arXiv preprint arXiv : 1704. 04368, ~ (2017)
  23. 이경호, "신문기사와 소셜 미디어를 활용한 한국어 문서요약 데이터 구축", 정보처리학회 논문지, 9(8), pp.251~258 (2020), 한국정보처리학회[DOI]
  24. 윤수환, "주제 어트리뷰트 모델을 이용한 주제 키워드 기반 한국어 문서 요약", 정보과학회논문지, 48(6), pp.688~695 (2021), 한국정보과학회[DOI]
  25. 정영준, "MASS와 상대 위치 표현을 이용한 한국어 문서 요약", 정보과학회논문지, 47(9), pp.873~878 (2020), 한국정보과학회[DOI]
  26. L. Yu, "Sequence Generative Adversarial Nets with Policy Gradient", arXiv preprint arXiv:1609.05473, ~ (2016)
  27. K. Lin, "Adversarial Ranking for Language Generation", arXiv preprint arXiv:1705.11001, ~ (2017)
  28. J. Guo, "Long Text Generation via Adversarial Training with Leaked Information", Proceedings of the Association for the Advancement of Artificial Intelligence Conference on Artificial Intelligence, 32(1) (2018)
  29. L. Liu, "Generative Adversarial Network for Abstractive Text Summarization", Thirty-second Association for the Advancement of Artificial Intelligence conference on artificial intelligence (2018)
  30. Wang, Y. Shian, "Learning to Encode Text as Human-Readable Summaries using Generative Adversarial Networks", arXiv preprint arXiv:1810.02851, ~ (2018)
  31. R. Bhargavaa, "Deep Text Summarization using Generative Adversarial Networks in Indian Languages", Procedia Computer Science, 167, pp.147~153 (2020)
  32. M. Arjovsky, "Wasserstein GAN", arXiv preprint arXiv : 1701. 07875, ~ (2017)
  33. L. Yu, "Sequence generative adversarial nets with policy gradient. arxiv e-prints, page", arXiv preprint arXiv:1609.05473, ~ (2016)
  34. C. Li, "Guiding Generation for Abstractive Text Summarization based on Key Information Guide Network", Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2, pp.55~60 (2018)
  35. G. K. Palshikar, "Simple algorithms for peak detection in time-series", Proceedings of 1st International Conference of Advanced Data Analysis, Business Analytics and Intelligence, 122 (2009)
  36. N. Reimers, "Sentence-BERT : Sentence Embeddings using Siamese BERT-Networks", arXiv preprint arXiv : 1908. 10084, ~ (2019)
  37. D. Miller, "Leveraging BERT for Extractive Text Summarization on Lectures", arXiv preprint arXiv : 1906. 04165, ~ (2019)
  38. M. Lewis, "BART : Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension", arXiv preprint arXiv : 1910. 13461, ~ (2019)
  39. C. Raffel, "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer", arXiv preprint arXiv : 1910. 10683, ~ (2019)
  40. C. Lin, "ROUGE : A package for automatic evaluation of summaries", Text Summarization Branches Out, pp.74~81 (2004)
  41. F. Milto, "A comparison of alternative tests of significance for the problem of m rankings", The Annals of Mathematical Statistics, 11(1), pp.86~92 (1940)
  42. P. B. Nemenyi, "Distribution-free Multiple Comparisons", Ph.D, pp.1963

관련 논문AI추천

토픽 모델을 이용한 비지도 요약 기법의 연구김철연, 배현진한국소프트웨어감정평가학회 · 한국소프트웨어감정평가학회 논문지2023 · 제19권 제1호VAE를 이용한 의미적 연결 관계 기반 다중 문서 요약 기법백수진한국디지털정책학회 · 디지털융복합연구2017 · 제15권 제12호Improving Abstractive Summarization by Training Masked Out-of-Vocabulary Words강승식, 이태석, 이현영한국정보처리학회 · JIPS(Journal of Information Processing Systems)2022 · 제18권 제3호사전학습 언어 모델을 활용한 트랜스포머 기반 텍스트 요약김남규, 송의석대한경영정보학회 · 경영과 정보연구2021 · 제40권 제4호신문기사와 소셜 미디어를 활용한 한국어 문서요약 데이터 구축박요한, 이경호, 이공주한국정보처리학회 · 정보처리학회 논문지2020 · 제9권 제8호언어 분석 자질을 활용한 인공신경망 기반의 단일 문서 추출 요약이경호, 이공주한국정보처리학회 · 정보처리학회 논문지2019 · 제8권 제8호

이 간행물의 다른 논문 (12건)

CAM 기반의 계층적 및 수평적 분류 모델을 결합한 운전자 부주의 검출 및 특징 영역 지역화고수연, 최영우pp. 439-448다양한 데이터 전처리 기법 기반 침입탐지 시스템의이상탐지 정확도 비교 연구박경선, 김강석pp. 449-456이질적 이미지의 딥러닝 분석을 위한적대적 학습기반 이미지 보정 방법론김준우, 김남규pp. 457-464BERT+ 알고리즘 기반 약물 리뷰를활용한 약물 이상 반응 탐지정현정, 김현희, 허은영pp. 465-472한글 조합성에 기반한 최소 글자를 사용하는한글 폰트 생성 모델박장경, 아마르, 최재영pp. 473-482
원문 보기