Word2Vec과 2계층 양방향 장단기 기억 네트워크를 이용한 특허 문서의 자동 IPC 분류
Automatic IPC Classification of Patent Documents Using Word2Vec and Two Layers Bidirectional Long Short Term Memory Network
1
조회
0
다운로드
11
인용
0
참고문헌
키워드
초록
자연어 처리를 이용한 문서 분류 분야에서도 전통적인 방법에서 벗어나 단어 임베딩을 활용한 합성곱 신경망과 순환 신경망 등 심층 신경망을 이용한 다양한 연구가 진행되고 있다. 본 논문에서는 Word2Vec과 두 개의 계층으로 구성된 양방향 장단기 기억 네트워크를 이용한 특허 문서의 IPC(International Patents Classification) 자동 분류 모델을 제안한다. IPC는 세계지식재산권기구에서 제정한 국제적으로 통일된 특허 분류 기준이며, 각 국가의 공인된 기관에서 수작업으로 분류하고 있다. IPC 자동 분류를 위하여 입력 시퀀스에 Word2Vec을 이용한 단어 임베딩가중치를 사용한다. 그리고 가중치가 부여된 시퀀스를 두 개의 계층을 갖는 깊은 구조의 양방향 장단기 기억 네트워크 신경망에 입력하여 IPC를 분류한다. 실험 결과 특허 문서의 분류 정확도가 합성곱 신경망 보다는 약 7% 향상되었으며, 순환 신경망을 단일로 이용하는 것 보다는 약 5% 향상된 것을 확인할 수 있었다. 또한 전통적인 방법인 나이브 베이시안, 로지스틱 분류 및 서포트 벡터 머신보다는 5~12% 이상 우수한 성능을 나타내었다.
Abstract
There are various studies using Deep Neural Network such as CNN(Convolutional Neural Network) and RNN(Recurrent Neural Network) that utilize word embedding in document classification using natural language processing out of traditional methods. In this paper, we propose the IPC(International Patents Classification) automatic classification model of patent documents using two layers BLSTM(Bidirectional Long Short Term memory) network. The IPC is an internationally uniform standard for patent classification established by the World Intellectual Property Organization and is categorized by hand in authorized agencies in each country. For the IPC automatic classification, we use word embedding weight with Word2Vec in the input sequences. And they are classified by entering a weighted sequences into a deep neural network with two layers BLSTM. The experimental results showed that the accuracy of classification is improved by about 7% than that of CNN, and about 5% than that of single layer LSTM that is a field of RNN. Also it showed more than 5~12% higher performance than traditional methods such as Naive Bayes, Logistic and Support Vector Machine classification.
참고문헌 (28)
- S. Altuntas, "Forecasting technology success based on patent data", Forecasting and Social Change, 96, pp.202~214 (2015)
- H. You, "Development trend forecasting for coherent light generator technology based on patent citation network analysis", Scientometrics, 111(1), pp.297~315 (2017)
- 윤석용, "TF-IDF와 네트워크분석을 이용한 특허 데이터 분석과 경쟁우위 전략수립에 관한 연구", 디지털콘텐츠학회논문지, 19(3), pp.529~535 (2018), 한국디지털콘텐츠학회[DOI]
- 나원준, "특허정보를 활용한 IoT기반 유헬스산업의 유망기술 예측", 기술경영, 3(4), pp.99~118 (2018), 국가미래기술경영연구소[DOI]
- 박현철, "합성곱 신경망을 이용한 대장내시경 영상 분류", 한국차세대컴퓨팅학회 논문지, 14(1), pp.89~98 (2018), 한국차세대컴퓨팅학회
- Y. Kim, "Convolutional neural networks for sentence classification", Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp.1746~1751 (2014)
- T. Mikolov, "Recurrent neural network based language model", 11th Annual Conference of the International Speech Communication Association, 2, pp.1045~1048 (2010)
- P. Liu, "Recurrent Neural Network for Text Classification with Multi-Task Learning", Proceedings of International Joint Conference on Artificial Intelligence (2016)
- S. Lai, "Recurrent Convolutional Neural Networks for Text Classi fication", 29th AAAI Conference on Artificial Intelligence (2015)
- 모경현, "단어와 자소 기반 합성곱 신경망을 이용한 문서 분류", 대한산업공학회지, 44(3), pp.180~188 (2018), 대한산업공학회[DOI]
- 홍대영, "문서 분류의 개선을 위한 단어-문자 혼합 신경망 모델", 정보과학회논문지, 44(12), pp.1290~1295 (2017), 한국정보과학회
- 주종민, "단어의 의미와 문맥을 고려한 순환신경망 기반의 문서 분류", 정보처리학회 논문지, 7(7), pp.259~266 (2018), 한국정보처리학회[DOI]
- 김정미, "Word2vec을 활용한 RNN기반의 문서 분류에 관한 연구", 한국지능시스템학회 논문지, 27(6), pp.560~565 (2017), 한국지능시스템학회
- 김도우, "Doc2Vec과 Word2Vec을 활용한 Convolutional Neural Network 기반 한국어 신문 기사 분류", 정보과학회논문지, 44(7), pp.742~747 (2017), 한국정보과학회
- 허찬, "Word2vec와 Label Propagation을 이용한 감성사전 구축 방법", 한국차세대컴퓨팅학회 논문지, 13(2), pp.93~101 (2017), 한국차세대컴퓨팅학회
- 김우주, "Word2vec을 활용한 문서의 의미 확장 검색방법", 한국콘텐츠학회 논문지, 16(10), pp.687~692 (2016), 한국콘텐츠학회[DOI]
- D. Alikaniotis, "Automatic text scoring using neural networks", Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (2016)
- T. Mikolov, "Distributed representations of words and phrases and their compositionality", Neural information processing systems (2013)
- T. Mikolov, "Efficient estimation of word representations in vector space", arXiv preprint arXiv:1301. 3781, Jan. 2013, ~ (2013)
- J. Pennington, "Glove: Global vectors for word representation", Proceedings of the Empiricial Methods in Natural Language Processing (EMNLP 2014) (2014)
- P. Bojanowski, "Enriching word vectors with subword information", Transactions of the Association for Computational Linguistics, 5, pp.135~146 (2017)
- J. Elman, "Finding Structure in Time", Cognitive Science, 14, pp.179~211 (1990)
- 배한준, "순환신경망을 이용한 자기장 기반 실내측위시스템", 한국차세대컴퓨팅학회 논문지, 14(6), pp.57~65 (2018), 한국차세대컴퓨팅학회
- S. Hochreiter, "Long shortterm memory", Neural computation, 9(8), pp.1735~1780 (1997)
- 김선범, "딥러닝 알고리즘을 이용한 문서의 인코딩 및 언어 판별", 한국차세대컴퓨팅학회 논문지, 13(5), pp.124~130 (2017), 한국차세대컴퓨팅학회
- M. Schuster, "Bidirectional recurrent neural networks", IEEE Transactions on Signal Processing, 45(11), pp.2673~2681 (1997)
- A. Graves, "Framewise phoneme classification with bidirectional LSTM and other neural network architectures", Neural Networks, 18, pp.602~610 (2005)
- X. Jia, "Highly scalable deep learning training system with mixed-precision : Training ImageNet in four minutes", arXiv preprint arXiv:1807.11205, 2018, ~ (2018)