본문 바로가기
KERD
논문KCI 등재

머신러닝 기반 인공지능 특허 품질 예측

Machine Learning Based Artificial Intelligence Patent Quality Prediction

김영민|김성현|옥창훈
기술경영경제학회 (The Korean Society For Technology Management & Economics)|2023.11|기술혁신연구 (JOURNAL OF TECHNOLOGY INNOVATION)|제31권 제4호|pp. 61-82

0

조회

0

다운로드

1

인용

0

참고문헌

키워드

AI인공지능Machine learning머신러닝유사도SimilarityDoc2Vec특허 품질 예측Patent quality prediction
주제분류기술정책

초록

인공지능은 4차 산업혁명의 프레임이 소개된 이후 점차 보편적인 기술로 자리를 잡아가고 있으며, 인공지능 관련 특허 출원도 크게 증가하고 있다. 최근에는 특허 생태계가 출원 건수 위주의 양적 경쟁에서 고품질의 특허 확보라는 질적 경쟁으로 패러다임이 변화되면서, 저품질 특허로 인한 비용 손실에 관심이 높아지고 있다. 이러한 배경으로 본 연구에서는 머신러닝과 Doc2Vec 알고리즘을 활용하여 특허 품질을 예측하는 방법을 제안하고자 한다. 본 연구를 위해 WIPO에서 정의한 CPC 코드를 활용하여 미국 특허청(USPTO)에 등록된 인공지능 관련 특허 데이터를 추출하였고, 이를 통해 정형 데이터 기반 19개 변수, 비정형 데이터 기반 7개 변수를 개발하였다. 특히, 새롭게 제안하는 Doc2Vec 알고리즘을 이용한 제목과 초록 텍스트 유사도 변수는 고품질 특허를 예측하는데 영향을 미칠 것으로 판단된다. 이에 유사도 변수의 효과를 확인하기 위해 유사도 변수를 포함한 앙상블 기반 머신러닝 모델과 포함하지 않은 모델을 개발하여 비교하였다. 실험 결과, 유사도 변수를 포함한 모델이 AUC 0.013, f1-score 0.025가 높게 나타나 더 우수한 성능을 보였다. 이는 유사도 변수가 고품질 특허 예측에 기여한다는 것을 시사한다. 또한, SHAP을 이용하여 블랙박스 형태의 머신러닝 변수 영향도를 설명하였다. 본 연구를 통해 핵심 기술 분야인 인공지능과 같은 영역에서 특허의 품질을 예측하고, 고품질 특허 개발을 장려함으로써 사회적 가치를 실현하는 데 기여할 수 있을 것으로 기대한다.

Abstract

Artificial intelligence has gradually become a ubiquitous technology since the introduction of the framework of the Fourth Industrial Revolution, and the number of patent applications related to artificial intelligence has also significantly increased. Recently, the paradigm of the patent ecosystem has shifted from a quantitative competition based on the number of applications to a qualitative competition focused on securing high-quality patents, due to the growing concern about the costs incurred by low-quality patents. Against this background, this study proposes a method for predicting patent quality using machine learning and the Doc2Vec algorithm. For this research, we utilized CPC codes defined by WIPO to extract patent data related to artificial intelligence from the United States Patent and Trademark Office (USPTO). Through this process, we developed 19 variables based on structured data and 7 variables based on unstructured data. Particularly, we introduced a novel approach using the Doc2Vec algorithm to calculate similarity variables for the title and abstract texts, which are expected to influence the prediction of high-quality patents. To assess the impact of these similarity variables, we developed and compared an ensemble-based machine learning model that includes the similarity variables with a model that does not. The experimental results showed that the model incorporating the similarity variables exhibited superior performance with an AUC of 0.013 and an f1-score of 0.025, indicating their contribution to predicting high-quality patents. Additionally, we explained the variable importance of the black-box machine learning model using SHAP. Through this study, we expect to contribute to the realization of social value by predicting the quality of patents and promoting the development of high-quality patents in the field of key technologies such as artificial intelligence. Key Words：Patent quality prediction, Machine learning, AI, Doc2Vec, Similarity

참고문헌 (33)

  1. 고광수, "텍스트 마이닝을 이용한 특허정보검색 개발에 관한 연구", 한국산학기술학회논문지, 12(8), pp.3677~3688 (2011), 한국산학기술학회
  2. 김동준, "특허출원인 선행기술정보 개시제도에 대한 비교법적 고찰", 법학논총, 30(3), pp.91~132 (2010), 법학연구소
  3. 김성호, "QFD를 이용한 우수특허 선별에 관한 연구", 기술혁신연구, 27(3), pp.83~112 (2019), 기술경영경제학회[DOI]
  4. 문진희, "특허 동시분류분석과 텍스트마이닝을 활용한 사물인터넷 기술융합 분석", 기술혁신연구, 25(3), pp.1~24 (2017), 기술경영경제학회[DOI]
  5. 백서인, "인공지능의 기술 혁신 및 확산 패턴 분석: USPTO 특허 데이터를 중심으로", 한국콘텐츠학회 논문지, 20(4), pp.86~98 (2020), 한국콘텐츠학회[DOI]
  6. 송진주, "Doc2Vec을 이용한 특허문서 자동 분류", 한국정보처리학회 춘계학술발표대회 논문집, pp.239~241 (2019)
  7. 이앞길, "LDA 토픽 모델링과 Word2vec을 활용한 유사 특허문서 추천연구", 경영정보학연구, 22(1), pp.17~31 (2020), 한국경영정보학회
  8. 이현상, "특허데이터 기반 한국의 인공지능 경쟁력 분석: 특허지표 및 토픽모델링을 중심으로", 정보화정책, 29(4), pp.43~66 (2022), 한국지능정보사회진흥원
  9. 임홍래, "특허 인용 네트워크 분석을 활용한 국가연구개발사업 특허의 평가 방안", 기술혁신연구, 27(4), pp.1~19 (2019), 기술경영경제학회[DOI]
  10. 조현진, "머신러닝기법을 활용한 특허품질예측", 대한산업공학회춘계공동학술대회논문집, pp.1343~1350 (2018)
  11. Ahmadpoor, Mohammad, "The dual frontier : Patented inventions and prior scientific advance", Science, 357(6351), pp.583~587 (2017)
  12. Ahuja, G., "Entrepreneurship in the Large Corporation: A longitudinal Study of how established firms create breakthrough inventions", Strategic Management Journal, 22(6‐7), pp.521~543 (2001)
  13. Choi, J., "A two-stage deep learning-based system for patent citation recommendation", Scientometrics, 127, pp.6615~6636 (2022)
  14. Chung, P., "Early detection of valuable patents using a deep learning model : Case of semiconductor industry", Technological Forecasting and Social Change, 158, pp.120146~ (2020)
  15. Erdogan, Z., "Predicting Patent Quality Based on Machine Learning Approach", IEEE Transactions on Engineering Management, pp.1~14 (2022)
  16. Ernst, H., "Patent information for strategic technology management", World Pat. Inf, 25(3), pp.233~242 (2003)
  17. Feng, S., "The proximity of ideas : An analysis of patent text using machine learning", PLoS ONE, 15, pp.1~19 (2020)
  18. Hong, S., "Screening ideas in the early stages of technology development : A word2vec and convolutional neural network approach", Technovation, 112 (2022)
  19. Kim, J., "Patent databases for innovation studies : A comparative analysis of USPTO, EPO, JPO and KIPO", Technological Forecasting and Social Change, 92, pp.332~345 (2015)
  20. Kyebambe, Moses Ntanda, "Forecasting emerging technologies: A supervised learning approach through patent analysis", 125, pp.236~244 (2017)
  21. Lanjouw, J., "Patent quality and research productivity : Measuring innovation with multiple indicators", The Economic Journal, 114(495), pp.441~465 (2004)
  22. Le, Q., "Distributed Representations of Sentences and Documents", Proceedings of the 31st International Conference on Machine Learning, 32(2), pp.1188~1196 (2014), PMLR
  23. Lee, C., "Early identification of emerging technologies : A machine learning approach using multiple patent indicators", Technological Forecasting and Social Change, 127, pp.291~303 (2018)
  24. Li, S., "DeepPatent : patent classification with convolutional neural networks and word embedding", Scientometrics, 117, pp.721~744 (2018)
  25. 이용길, "An Analysis of Citation Counts of ETRI-Invented US Patents", ETRI Journal, 28(4), pp.541~544 (2006), 한국전자통신연구원
  26. Lin, B. W., "Predicting citations to biotechnology patents based on the information from the patent documents", International Journal of Technology Management, 40(1-3), pp.87~100 (2007)
  27. Lundberg, S. M., "A unified approach to interpreting model predictions", Advances in neural information processing systems, 30 (2017)
  28. Milan, M., "Using supervised machine learning for large-scale classification in management research: The case for identifying artificial intelligence patents", Strategic Management Journal, 44(2), pp.491~519 (2023), Wiley Blackwell
  29. Nathan, F., "Patent Valuation with Forecasts of Forward Citations", Journal of Business Valuation and Economic Loss Analysis, 12(1), pp.101~121 (2016)
  30. Niemann, H., "Use of a new patent text-mining and visualization method for identifying patenting patterns over time : Concept, method and test application", Technological Forecasting and Social Change, 115, pp.210~220 (2017)
  31. Park, G., "On the Measurement of Patent Stock as Knowledge Indicators", Technological Forecasting and Social Change, 73(7), pp.793~812 (2006)
  32. Measuring Patent Quality : Indicators of Technological and Economic Value, "Squicciarini, M.", OECE Science, ~ (2013)
  33. Wu, J. L., "A patent quality analysis and classification system using self-organizing maps with support vector machine", Applied Soft Computing, 41, pp.305~316 (2016)

관련 논문AI추천

특허정보와 기계학습을 활용한 산업기술수준 측정 방법 연구고병철, 이정우, 이철주, 차현진, 한종석한국지식재산연구원 · 지식재산연구2022 · 제17권 제2호한국어 특허 문장 기반 CPC 자동분류 연구 ―인공지능 언어모델 KorPatBERT를 활용한 딥러닝 기법 접근―고봉수, 노한성, 박진우, 심우철, 이상헌한국지식재산연구원 · 지식재산연구2022 · 제17권 제3호KorPatBERT 기반 CPC 분류 모델을 활용한 한국어 특허 문헌 검색 모델 성능 향상 연구곽민학, 김태훈, 노한성, 민재옥, 황솔빈한국지식재산연구원 · 지식재산연구2025 · 제20권 제1호인공지능 관련 지식재산권 연구 동향 분석김태훈, 배성희한국지식재산연구원 · 지식재산연구2024 · 제19권 제4호지도학습 기반의 차원축소 모델을 이용한 특허 빅데이터 예측에 관한 연구강지호, 김선영, 박상성, 이주현, 이준석, 장동식, 홍성욱(사)디지털산업정보학회 · (사)디지털산업정보학회 논문지2019 · 제15권 제4호특허정보를 이용한 인공지능 기술 동향 분석박재용한국컴퓨터정보학회 · 한국컴퓨터정보학회논문지2018 · 제23권 제4호

이 간행물의 다른 논문 (9건)

미래혁신산업 인재양성을 위한‘기술경영전문대학원’ 교과과정 구성에 대한 연구: 대학과 산업의 인식차이를 중심으로방태웅pp. 1-29캐즘 단계의 한국 전기자동차수용확산 저해 요인과 소비자 특성에 관한 연구권규현, 주재길pp. 31-59정부 R&D 지원이 기업 R&D 투자에미치는 영향 분석이원홍, 양희승pp. 83-106기업의 사회가치 창출과 공동창조: 시민과 함께하는 기업사회혁신 사례연구송위진pp. 107-139탄소중립 정책에 따른 태양광 발전시설입지영향 효율성 분석: 영호남 비교이옥진pp. 141-169
원문 보기