신문기사와 소셜 미디어를 활용한 한국어 문서요약 데이터 구축
Building a Korean Text Summarization Dataset Using News Articles of Social Media
0
조회
0
다운로드
4
인용
0
참고문헌
키워드
초록
문서 요약을 위한 학습 데이터는 문서와 그 요약으로 구성된다. 기존의 문서 요약 데이터는 사람이 수동으로 요약을 작성하였기 때문에 대량의 데이터 확보가 어려웠다. 그렇기 때문에 온라인으로 쉽게 수집 가능하며 문서의 품질이 우수한 인터넷 신문기사가 문서 요약 연구에 많이 활용되어 왔다. 본 연구에서는 언론사가 소셜 미디어에 게시한 설명글과 제목, 부제를 본문의 요약으로 사용하여 한국어 문서 요약 데이터를 구성하는 것을 제안한다. 약 425,000개의 신문기사와 그 요약데이터를 구축할 수 있었다. 구성한 데이터의 유용성을 보이기 위해 추출 요약 시스템을 구현하였다. 본 연구에서 구축한 데이터로 학습한 교사 학습 모델과 비교사 학습 모델의 성능을 비교하였다. 실험 결과 제안한 데이터로 학습한 모델이 비교사 학습 알고리즘에 비해 더 높은 ROUGE 점수를 보였다.
Abstract
A training dataset for text summarization consists of pairs of a document and its summary. As conventional approaches to building text summarization dataset are human labor intensive, it is not easy to construct large datasets for text summarization. A collection of news articles is one of the most popular resources for text summarization because it is easily accessible, large-scale and high-quality text. From social media news services, we can collect not only headlines and subheads of news articles but also summary descriptions that human editors write about the news articles. Approximately 425,000 pairs of news articles and their summaries are collected from social media. We implemented an automatic extractive summarizer and trained it on the dataset. The performance of the summarizer is compared with unsupervised models. The summarizer achieved better results than unsupervised models in terms of ROUGE score.
참고문헌 (20)
- P. Over, "DUC in context", Information Processing & Management, 43(6), pp.1506~1520 (2007)
- C. Napoles, "Annotated gigaword", Proceedings of the Joint Workshop on Automatic Knowledge Base Construction and Web-scale Knowledge Extraction (2012), Association for Computational Linguistics
- J. G. Carbonell, "The use of MMR, diversity-based reranking for reordering documents and producing summaries", SIGIR (1998)
- J. Cheng, "Neural summarization by extracting sentences and words", arXiv preprint arXiv : 1603. 07252, ~ (2016)
- M. Grusky, "Newsroom : A dataset of 1. 3 million summaries with diverse extractive strategies", arXiv preprint arXiv : 1804. 11283, ~ (2018)
- E. Sandhaus, "The new york times annotated corpus", Linguistic Data Consortium, 6(12), pp.e26752~ (2008)
- T. Kodaira, "The Rule of Three : Abstractive Text Summarization in Three Bullet Points", arXiv preprint arXiv : 1809. 10867, ~ (2018)
- B. Hu, "Lcsts : A large scale chinese short text summarization dataset", arXiv preprint arXiv : 1506. 05865, ~ (2015)
- M. Straka, "SumeCzech : Large Czech News-Based Summarization Dataset", Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC-2018) (2018)
- K. M. Hermann, "Teaching machines to read and comprehend", Advances in Neural Information Processing Systems (2015)
- 백수진, "VAE를 이용한 의미적 연결 관계 기반 다중 문서 요약 기법", 디지털융복합연구, 15(12), pp.341~347 (2017), 한국디지털정책학회[DOI]
- 최경호, "복사 방법론과 입력 추가 구조를 이용한 End-to-End 한국어 문서요약", 정보과학회논문지, 44(5), pp.503~509 (2017), 한국정보과학회
- Tae-Hyeong Kim, "Generation of News Article Dataset Using LEAD for Neural Summarization Model", Korea Software Congress 2017, pp.688~690 (2017)
- M. Grusky, "Newsroom : A Dataset of 1. 3 Million Summaries with Diverse Extractive Strategies", Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 1 (2018)
- 정여훈, "신문 제목의 유형 및 그 실현 양상", 사회언어학, 14(1), pp.85~114 (2006), 한국사회언어학회
- K. Woodsend, "Automatic generation of story highlights", Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics (2010), Association for Computational Linguistics
- R. Nallapati, "Summarunner: A recurrent neural network based sequence model for extractive summarization of documents", Thirty-First AAAI Conference on Artificial Intelligence (2017)
- F. Barrios, "Variations of the similarity function of textrank for automated summarization", arXiv preprint arXiv : 1602. 03606, ~ (2016)
- "Gensim"[URL]
- 이경호, "언어 분석 자질을 활용한 인공신경망 기반의 단일 문서 추출 요약", 정보처리학회 논문지, 8(8), pp.343~348 (2019), 한국정보처리학회[DOI]