본문 바로가기
KERD
논문KCI 등재

특허상담 자동분류의 성능 향상 방안 연구: 트랜스포머 기반 인공지능 모델 버트(BERT)를 활용

A Study on the Performance Improvement of Automatic Intellectual Property Counseling Classification: Using the Transformer-based AI Model BERT

0

조회

0

다운로드

3

인용

0

참고문헌

키워드

초록

특허고객상담은 지식재산권의 창출 및 출원인‧권리자의 권익 보호 등을 지원하는 중요한 공공서비스이다. 모든 특허상담 내용은 특허고객을 효과적으로 지원하고 정책적으로 활용하고자 일정한 기준에따라 분류되고 있다. 2020년까지는 전문상담사가 직접 분류해 왔으나, 2021년부터는 상담 텍스트를활용하여 TA(Text Analysis)로 자동으로 분류하고 있다. 최근 5년간 상담건 분류 분포를 살펴보면 전문상담사가 분류한 2018~2020년과 TA로 자동분류한2021~2022년의 분포도가 다소 차이가 나는 것이 관찰되었기에 본 연구에서는 트랜스포머 기반 AI 모델인 버트를 활용한 자동분류의 성능 향상방안을 연구하였다. 특허상담 텍스트 데이터와 전문상담사 분류값을 학습데이터로 활용하여 버트를 사전 훈련시키고 특허상담에 맞도록 파인튜닝한 AI 모델을 활용하여 자동분류한 결과 기존 TA보다 분류 분포가 더 유사하게 나타났다. 이를 근거로 추후 특허상담분류버트(가칭)를 특허상담 자동분류에 적용할 때 보다 나은 성능을 기대할 수 있을 것이라 생각된다. 자동분류 결과가 보다 신뢰성 있게 도출되면 전문상담사의 업무부담 완화 및 효율성을 제고하고자 하는 정책적인 목적을 지속적․안정적으로 달성하고 특허고객상담 서비스 현황 및 고객의 니즈를 보다 정확하게 파악할 수 있어 특허고객 서비스 향상에 더 도움이 될 수 있을 것으로 기대된다.

Abstract

Intellectual property customer counseling is an important public service that supports the creation of intellectual property rights and protection of the rights and interests of applicants and rights holders. To effectively support customers and secure the use of counseling content as a policy, counseling contents are classified according to certain criteria. Until 2020, it was professional counselors who directly classified these contents, but 2021 saw a shift toward automatic classification based on text analysis (TA) of the consultation texts. However, an investigation as to the distribution of counseling case classification over the past five years showed some differences between the 2018–2020 distribution, classified by professional counselors, and the 2021–2022 distribution, automatically classified by TA. Therefore, this study investigated how to improve the performance of the automatic classification system using BERT, a transformer-based AI model. After fine-tuning the BERT model, which was pre-trained using patent counseling text data and professional counselor classification values data, it was observed that the BERT’s automatic classification distribution was more similar to that of professional counselors than the classification distribution of the existing TA. These results show that the future application of the “Patent Consultation Classification BERT,” a tentative name for the model, to automatic patent consultation classification may yield a better performance than the current TA method. Furthermore, if the automatic classification results become more reliable through the use of this AI model, the purpose behind the policy for the automation of this procedure—namely easing the burden and improving the efficiency of professional counselors—may be achieved with improved continuity and stability. This may then enable a more accurate identification of the current status of patent customer counseling services and customer needs.

참고문헌 (27)

  1. 특허청, "2022년 지식재산 통계연보", 특허청, ~ (2023)
  2. IT&Future Strategy 2021년 보고서, "한국지능정보사회진흥원", 한국지능정보사회진흥원, ~ (2022)
  3. 한규동, "AI 상식사전" (2022), 길벗
  4. Ashish Vaswani, "Advances in Neural Information Processing Systems 30" (2017)
  5. Zhilin Yang, "Advances in Neural Information Processing Systems 32" (2019)
  6. 강승태, "ChatGPT 와 다국어 BERT 를 이용한 코로나-19 감염병 다국어 기사 자동 색인 및 분류", 전자공학회논문지, 60(7) (2023)
  7. 권순보, "BERT 와 FastText 를 활용한 온라인 진로상담 문서 분류", 한국데이터정보과학회지, 33(6) (2022)
  8. 김명선, "기술문서의 한국표준산업분류 자동분류를 위한 특허기반 BERT 모델", 한국정보과학회2022 한국소프트웨어종합학술대회 논문집 (2022)
  9. 김인후, "딥러닝 기반의 BERT 모델을 활용한 학술 문헌 자동분류", 정보관리학회지, 39(3) (2022)
  10. 민소연, "한국어 특성 기반의 STT 엔진 정확도를 위한 정량적 평가방법 연구", 한국산학기술학회논문지, 21(7) (2020)
  11. 박진우, "한국어 특허 문장 기반 CPC 자동분류 연구-인공지능 언어모델 KorPatBERT 를 활용한 딥러닝기법 접근", 지식재산연구, 17(3) (2022)
  12. 신진섭, "양방향 LSTM 기반의 기계학습 데이터 구축 상담 자동 분류", 한국정보과학회 2021한국컴퓨터종합학술대회 논문집 (2021)
  13. 심재권, "BERT 를 활용한 초등학교 고학년의 욕설문장 자동 분류방안 연구", 창의정보문화연구, 7(2) (2021)
  14. 이경란, "자연어처리 기계학습 기법을 이용한 공시문서의 자동분류 : Confidential treatment를 가진8-K 문서를 중심으로", 한국전자거래학회지, 28(2) (2023)
  15. 이용구, "BERT 모형을 이용한 주제명 자동 분류 연구", 한국문헌정보학회지, 57(2) (2023)
  16. 전영호, "BERT Transformer 와 Deep Learning 을 활용한 전이학습 효과 검증 연구 : 법률상담데이터분류문제 적용", 한국경영공학회지, 24(4) (2019)
  17. "Improving language understanding by generative pre-training" (2018)[URL]
  18. 강유라, "KoBERT 를 활용한 내비게이션 장소 자동 분류 시스템", 석사, pp.2023
  19. 권순보, "BERT를 활용한 진로상담 텍스트데이터 분석", 박사, pp.2022
  20. "2022년 국가정보화 예산 약 11조, 올해보다 15% 증가 전망" (2021)[URL]
  21. "지역 맞춤형 디지털 특화사업 추진, 대한민국 디지털 전략 실현 지름길" (2022)[URL]
  22. "AI 용어사전"[URL]
  23. "TA(Text Analysis)는 무엇이고 어떻게 활용할 수 있나요?"[URL]
  24. "1381.0.55.001 - Research Paper: A Review of Selected Regional Industrial Diversity Indexes, 2011"[URL]
  25. "Text Classification"[URL]

관련 논문AI추천

이 간행물의 다른 논문 (6건)