사전학습 된 언어 모델 기반의 양방향 게이트 순환 유닛 모델과 조건부 랜덤 필드 모델을 이용한 참고문헌 메타데이터 인식 연구
A Study on Recognition of Citation Metadata using Bidirectional GRU-CRF Model based on Pre-trained Language Model
0
조회
0
다운로드
3
인용
0
참고문헌
키워드
초록
본 연구에서는 사전학습 된 언어 모델을 기반으로 양방향 게이트 순환 유닛 모델과 조건부 랜덤 필드 모델을 활용하여 참고문헌을 구성하는 메타데이터를 자동으로 인식하기 위한 연구를 진행하였다. 실험 집단은 2018년에 발행된 학술지 40종을 대상으로 수집한 PDF 형식의 학술문헌 53,562건을 규칙 기반으로 분석하여 추출한 참고문헌 161,315개이다. 실험 집합을 구축하기 위하여 PDF 형식의 학술 문헌에서 참고문헌을 분석하여 참고문헌의 메타데이터를 자동으로 추출하는 연구를 함께 진행하였다. 본 연구를 통하여 가장 높은 성능을 나타낸 언어 모델을 파악하였으며 해당 모델을 대상으로 추가 실험을 진행하여 학습 집합의 규모에 따른 인식 성능을 비교하고 마지막으로 메타데이터별 성능을 확인하였다.
Abstract
This study applied reference metadata recognition using bidirectional GRU-CRF model based on pre-trained language model. The experimental group consists of 161,315 references extracted by 53,562 academic documents in PDF format collected from 40 journals published in 2018 based on rules. In order to construct an experiment set. This study was conducted to automatically extract the references from academic literature in PDF format. Through this study, the language model with the highest performance was identified, and additional experiments were conducted on the model to compare the recognition performance according to the size of the training set. Finally, the performance of each metadata was confirmed.
참고문헌 (18)
- 김선우, "Bidirectionl GRU-GRU CRF 기반 참고문헌 메타데이터 인식", 제 30회 한글 및 한국어 정보처리 학술대회 논문집, pp.461~464 (2018)
- 김재훈, "학술논문과 참고문헌의 자동매핑 사례 분석", 한국콘텐츠학회 논문지, 19(11), pp.262~269 (2019), 한국콘텐츠학회[DOI]
- 김지훈, "참조연결을 위한 인용정보 자동추출에 관한 연구", 한국문헌정보학회지, 37(1), pp.247~268 (2003), 한국문헌정보학회
- 신규민, "기계 학습을 이용한 인용문헌 추출", 한국정보과학회 학술발표논문집, 36(1C), pp.331~335 (2009)
- 이상기, "참고문헌 자동파싱 및 참조링킹을 위한 Citation Matcher 연구및 개발", 한국콘텐츠학회 종합학술대회 논문집, 5(1), pp.426~429 (2007)
- 임수현, "학술 문헌 인용 계보 내 피인용지수를 이용한 참고문헌 탐색 인터페이스 제안", 2019년도 한국HCI학회 학술대회 논문집, pp.526~529 (2019)
- An, D., "Citation metadata extraction via deep neural network-based segment sequence labeling", Proceedings of the 2017 ACM on Conference on Information and Knowledge Management, pp.1967~1970 (2017)
- Besagni, D., "Citation recognition for scientific publications in digital libraries", First International Workshop on Document Image Analysis for Libraries, 2004. Proceedings, pp.244~252 (2004)
- Devlin, J., "Bert: Pre-training of deep bidirectional transformers for language understanding", arXiv preprint arXiv:1810.04805, ~ (2018)
- Kevin, C., "ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators", International Conference on Learning Representations (2020)
- "KoELECTRA: Pretrained ELECTRA Model for Korea" (2020)[URL]
- Paszke, A., "PyTorch: An Imperative Style, High-Performance Deep Learning Library", Advances in Neural Information Processing Systems. 33rd Conference on Neural Information Processing Sytstems, pp.8024~8035 (2019)
- Powley, B., "High accuracy citation extraction and named entity recognition for a heterogeneous corpus of academic papers", 2007 International Conference on Natural Language Processing and Knowledge Engineering, pp.119~124 (2007)
- Sennrich, R., "Neural machine translation of rare words with subword units", Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp.1715~1725 (2015)
- "KoBERT" (2019)[URL]
- "HanBERT" (2019)[URL]
- Dominika Tkaczyk, "CERMINE: automatic extraction of structured metadata from scientific literature", International Journal on Document Analysis and Recognition (IJDAR), 18(4), pp.317~335 (2015), Springer Science and Business Media LLC[DOI]
- "PdfMiner"[URL]