추가 사전학습 기반 지식 전이를 통한 국가 R&D 전문 언어모델 구축
Building Specialized Language Model for National R&D through Knowledge Transfer Based on Further Pre-training
0
조회
0
다운로드
5
인용
0
참고문헌
키워드
초록
최근 딥러닝 기술이 빠르게 발전함에 따라 국가 R&D 분야의 방대한 텍스트 문서를 다양한 관점에서 분석하기 위한수요가 급증하고 있다. 특히 대용량의 말뭉치에 대해 사전학습을 수행한 BERT(Bidirectional Encoder Representations from Transformers) 언어모델의 활용에 대한 관심이 높아지고 있다. 하지만 국가 R&D와 같이 고도로 전문화된 분야에서높은 빈도로 사용되는 전문어는 기본 BERT에서 충분히 학습이 이루어지지 않은 경우가 많으며, 이는 BERT를 통한 전문 분야 문서 이해의 한계로 지적되고 있다. 따라서 본 연구에서는 최근 활발하게 연구되고 있는 추가 사전학습을 활용하여, 기본 BERT에 국가 R&D 분야 지식을 전이한 R&D KoBERT 언어모델을 구축하는 방안을 제시한다. 또한 제안모델의 성능 평가를 위해 보건의료, 정보통신 분야의 과제 약 116,000건을 대상으로 분류 분석을 수행한 결과, 제안 모델이 순수한 KoBERT 모델에 비해 정확도 측면에서 더 높은 성능을 나타내는 것을 확인하였다.
Abstract
With the recent rapid development of deep learning technology, the demand for analyzing huge text documents in the national R&D field from various perspectives is rapidly increasing. In particular, interest in the application of a BERT(Bidirectional Encoder Representations from Transformers) language model that has pre-trained a large corpus is growing. However, the terminology used frequently in highly specialized fields such as national R&D are often not sufficiently learned in basic BERT. This is pointed out as a limitation of understanding documents in specialized fields through BERT. Therefore, this study proposes a method to build an R&D KoBERT language model that transfers national R&D field knowledge to basic BERT using further pre-training. In addition, in order to evaluate the performance of the proposed model, we performed classification analysis on about 116,000 R&D reports in the health care and information and communication fields. Experimental results showed that our proposed model showed higher performance in terms of accuracy compared to the pure KoBERT model.
참고문헌 (29)
- 고영만, "국가지식정보자원 분류 체계 표준화 연구", 한국문헌정보학회지, 40(3), pp.151~173 (2006), 한국문헌정보학회
- 김선우, "기술과학 분야 학술문헌에 대한 학습집합 반자동 구축 및 자동 분류 통합 연구", 정보관리학회지, 35(4), pp.141~164 (2018), 한국정보관리학회[DOI]
- 김재수, "국가과학기술종합정보서비스(NTIS)-NTIS 구축사업 개요", 지식정보인프라, 30, pp.31~34 (2008)
- 김창식, "조직구성원의 네트워크 위치가 지식공유에 미치는 영향", 지식경영연구, 16(2), pp.67~89 (2015), 한국지식경영학회[DOI]
- 김태현, "국가R&D정보활용을 위한 전문용어사전 구축", 한국콘텐츠학회 논문지, 19(10), pp.217~225 (2019), 한국콘텐츠학회[DOI]
- 김현종, "레이블이 없는 문서 자동분류를 위한 분류체계 생성에 관한 연구", 디지털콘텐츠학회논문지, 21(12), pp.2211~2219 (2020), 한국디지털콘텐츠학회[DOI]
- 백윤정, "실행공동체(CoP)내 지식공유의 영향요인： 구조적 특성과 관계적 특성의 조절효과를 중심으로", 지식경영연구, 9(2), pp.63~86 (2008), 한국지식경영학회
- 오효정, "정답문서집합 자동 구축을 위한 속성 기반 분류 방법", 정보과학회논문지 : 소프트웨어 및 응용, 30(8), pp.764~772 (2003), 한국정보과학회
- 이재성, "한국표준산업분류를 기준으로 한문서의 자동 분류 모델에 관한 연구", 지능정보연구, 24(3), pp.221~241 (2018), 한국지능정보시스템학회
- 최은수, "정보기술이 지식경영활동과 성과에 미치는 효과에 대한 실증분석", 지식경영연구, 10(3), pp.51~80 (2009), 한국지식경영학회
- 최종윤, "국가 과학기술 표준분류 체계 기반 연구보고서 문서의 자동 분류 연구", 한국산학기술학회논문지, 21(1), pp.169~177 (2020), 한국산학기술학회[DOI]
- Araci, D., "FinBERT: Financial sentiment analysis with pre-trained language models", arXiv preprint arXiv:1908:10063, ~ (2019)
- Bahdanau, D., "Neural machine translation by jointly learning to align and translate", arXiv preprint arXiv: 1409.0473, ~ (2014)
- Beltagy, I., "SciBERT: A pretrained language model for scientific text", Proc. of the 2019 Conference on Empirical Methods in Natural Language Processing and 9th International Joint Conference on Natural Language Processing(EMNLPIJCNLP), pp.3615~3620 (2019)
- Chalkids, L., "LEGAL-BERT: The muppets straight out of law school", arXiv preprint arXiv:2010:02559, ~ (2020)
- Devlin, J., "BERT: Pre-training of deep bidirectional transformers for language understanding", arXiv preprint arXiv:1810.04805, ~ (2018)
- Hochreiter, S., "Long shortterm memory", Journal of Neural Computation, 9(8), pp.1735~1780 (1997)
- Le Cun, Y., "Backpropagation applied to handwritten zip code recognition", Neural Computation, 1(4), pp.541~551 (1989)
- Lee, J. H., "BioBERT : A pre-trained biomedical language representation model for biomedical text mining", Bioinformatics, 36(4), pp.1234~1240 (2019)
- Mikolov, T., "Efficient estimation of word representations in vector space", Proceedings of International Conference on Learning Representations(ICLR) (2013)
- Mikolov, T., "Recurrent neural network based language model", 11th Annual Conference of the International Speech Communication Association(INTERSPEECH), pp.1045~1048 (2010)
- Penningion, J., "GloVe:Global vectors for word representation", Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing(EMNLP), pp.1532~1543 (2014)
- Peter, M., "Deep contextualized word representations", Proceedings of the 2018Conference of the North American Chapter of the Association for Computational Linguistics(NAACL), 1, pp.2227~2237 (2018)
- Sutskever, I., "Sequence to sequence learning with neural networks", Proceedings. of the 27th International Conference on Neural Information Processing Systems(NIPS), 2, pp.3104~3112 (2014)
- Vaswani, A., "Attention is all you need", Proceedings of the 31st International Conference on Neural Information Processing Systems(NIPS), pp.6000~6010 (2017)
- "SKTBrain, KoBERT, GitHub Repository"[URL]
- "과학기술정책지원서비스"[URL]