한국어 특허 문장 기반 CPC 자동분류 연구 ―인공지능 언어모델 KorPatBERT를 활용한 딥러닝 기법 접근―
A Study on Automatic CPC Classification based on Korean Patent Sentence ―A Deep Learning Approach using Artificial Intelligence Language Model KorPatBERT―
0
조회
0
다운로드
10
인용
0
참고문헌
키워드
초록
4차 산업혁명과 맞물려 다양한 신기술 출현으로, 지식재산권의 확보는 국가 및 기업의 기술 경쟁력 유지 및 신성장 동력 구축에 있어 중요성이 날로커지고 있다. 그중 특허는 보유기업의 핵심 기술을 포함하고 있는 문서로서, 기업 가치 측정 및 경쟁 기술분야 분석에 많이 활용되고 있다. 이러한 특허분석을 효율적으로 진행하기 위해서 최신 및 상세한 기술분야를 포함한CPC(선진특허분류)가 개발되었다. CPC는 현존하는 특허분류체계 중 가장 세분화된 코드 수를 가지고 있고, 현재까지 전 세계 6,200만 건 이상의 문헌들이 CPC로 분류되었다. 매해 신규 특허출원의 CPC 분류를 위해 전 세계 특허출원의 약 80% 이상을 차지하는 선진 5개 특허청을 중심으로 많은 예산과인력을 투입하고 있으며, 최근 인공지능 기술을 활용한 자동화된 분류 모델에 대한 연구·개발을 추진 중에 있다. 본 연구에서는 키워드의 한계를 벗어나 문맥과 문장에 내포된 의미를 이해하는 인공지능 언어모델인 BERT 기반의 특허문헌 사전학습을 진행하여, 특허분야에서 기존 모델 대비 우수한 KorPatBERT를 생성하였다. 그리고CPC 코드별 불균형적인 데이터 분포를 완화한 효과적인 분류 학습데이터셋 구축방안을 제안하고 생성하였다. 최종적으로 실서비스 가능한 수준의CPC 서브클래스 및 메인그룹의 분류를 가능케 하는 모델을 생성하였고, 객관적인 평가지표를 통하여 그 실효성을 성공적으로 검증하였다. 이러한 연구를 통하여 향후 한국어 특허 기반 분류 및 자연어처리 관련 분야의 지속가능한 발전에 기여하고자 한다.
Abstract
With the advent of various new technologies in the 4th industrial revolution, securing intellectual property rights has become increasingly important to countries or companies for maintaining technological competitiveness and building growth engines. In particular, a patent is a technical document that contains the core technology and is widely used for measuring corporate value and analyzing competitive technologies. To make this support, the CPC that including latest and detailed technical fields has been developed and more than 62 million documents worldwide have been classified as CPC. And five advanced patent offices which account for more than 80% of the world’s patent applications invest big budget for CPC of new patent applications every year. In this study, we had generated the KorPatBERT that was pre-trained and outperformed in patent field using the BERT language model which understands the meaning of sentences beyond the limits of keywords. And we proposed the methods and constructed the dataset that relieved imbalanced distribution for each CPC code. And finally, we had generated the AI CPC model that can classify into main group level and verified through reliable evaluation indicators. Through this, we want to contribute the sustainable development of Korean patent based classification and NLP field.
참고문헌 (34)
- Domonkos, Tikk, "Emerging Technologies of Text mining: Techniques and Applications" (2007), Hershey
- 민재옥, "Korean Patent ELECTRA―한국 특허문헌 자연어처리 연구를 위한 사전학습된 언어모델(KorPatELECTRA", 한국컴퓨터정보학회 학술발표논문집, 29(2) (2021)
- 박진우, "Patent Tokenizer―형태소와 SentencePiece를 활용한 특허문장 토크나이즈 최적화 연구", 한국정보과학회 언어공학연구회 : 학술대회논문집, 1(1) (2020)
- 심우철, "한국 특허문헌 특성 및 딥러닝 기반 분류모델을 고려한 CPC 자동분류에 관한 연구", 한국정보과학회 한국소프트웨어종합학술대회 논문집, 1(1) (2020)
- 임소라, "특허문서 필드의 기능적 특성을 활용한 IPC 다중 레이블 분류", 인터넷정보학회논문지, 18(1), pp.77~88 (2017), 한국인터넷정보학회[DOI]
- Clark, Kevin, "ELECTRA : Pre-training Text Encoders as Discriminators Rather Than Generators", arXiv print, arXiv:2003.10555, ~ (2020)
- Fall, Caspar J., "Automated Categorization in the International Patent Classification", ACM SIGIR Forum, 37(1) (2003)
- Haghighian Roudsari, Arousha, "PatentNet: multi-label classification of patent documents using deep learning based language understanding", Scientometrics, 127(1) (2022)
- Haşim, Sak, "Long Short-Term Memory Recurrent Neural Network Architectures for Large Scale Acoustic Modeling", arXiv print, arXiv:1402.1128, ~ (2014)
- Inhan, Liu, "RoBERa : A Robustly Optimized BERT Pretraining Approach", arXiv print, arXiv: 1907.11692, ~ (2019)
- Jacob, Devlin, "BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding", arXiv print, arXiv:1810.04805, ~ (2018)
- Jieh-Sheng, Lee, "PatentBERT : Patent Classification with Fine-Tuning a pre-trained BERT Model", arXiv print, arXiv:1906.02124, ~ (2019)
- Piotr, Bojanowski, "Enriching Word Vectors with Subword Information", arXiv print, arXiv:1607.04606, ~ (2016)
- Shaobo, Li, "DeepPatent : patent classification with convolutional neural networks and word embedding", Scientometrics, 117 (2018)
- Suchin, Gururangan, "Don’t Stop Pretraining : Adapt Language Models to Domains and Tasks", arXiv print, arXiv:2004.10964, ~ (2020)
- Yoon, Kim, "Convolutional Neural Networks for Sentence Classification", arXiv print, arXiv:1408.5882, ~ (2014)
- Zhilin, Yang, "XLNet : Generalized Autoregressive Pretraining for Language Understanding", arXiv print, arXiv:1906.08237, ~ (2019)
- 이혜원, "청구항을 활용한 CNN 기반 특허문서 IPC 분류 성능 개선", 석사, pp.2019
- "8th CPC Annual Meeting with industry users, 29 March 2021"[URL]
- "KorBERT―한국어 BERT 언어모델"[URL]
- "IP5 Statistics Report 2020"[URL]
- "SentencePiece"[URL]
- "Horovod library"[URL]
- "BERT base model"[URL]
- "Automatic Mixed Precision for Deep Learning"[URL]
- "한국어 특허 문장 기반 CPC 자동분류 연구 255 NYU & UWNLP & Deepmind"[URL]
- "Improving language understanding by generative pre-training"[URL]
- "HanBERT / Moran"[URL]
- "IPC 2022.01―Statistics"[URL]
- "Readme Information for WIPO-alpha Autocategorization Training Set"[URL]
- "2020년 CPC 매뉴얼"[URL]
- "CPC 및 IPC 분류코드"[URL]
- "KorPatBERT"[URL]
- 2021 통계로 보는 특허동향, "특허청", 특허청, ~ (2021)