BERT를 활용한 상표 의견제출통지서 거절이유 분류모델 개발
Using BERT Development of Classification Model for Rejection Reason of Trademark Opinion Notice
0
조회
0
다운로드
3
인용
0
참고문헌
키워드
초록
멀티미디어 콘텐츠의 증가와 스마트 기기의 보급으로 다양한 종류의 데이터가 폭발적으로 생산되고 있다. 특히, 텍스트 데이터는 오랜 시간 인류의 의사 표현수단이었으며, 텍스트 분석에 대한 수요 및 필요성은 다양한 분야에서 지속적으로 증가하고 있다. 최근에는 다양한 분야에서 뛰어난 성능을 보이는 딥러닝과 텍스트를 의미적으로 벡터화하는 워드 임베딩 (word embedding) 방식이 결합된 ELMo (embeddings from language model), GPT (generative pre-training of a language model), BERT (bidirectional encoder representations from transformers)와 같은 모델들이 개발되어왔다. 특히 구글이 개발한 BERT는 현재 자연어처리 분야에서 가장 뛰어난 성능을 보이는 언어모델로 손꼽히고 있다. 하지만 ‘영어’나 소셜미디어 데이터와 같은 ‘일반 텍스트’에 특화된 BERT는 ‘한국어’나 ‘R&D 문서, 지식재산권 문서 등’ 전문 분야에 특화된 텍스트에서 최적의 성능이 구현되지 않기 때문에 전문 분야에 맞는 말뭉치(corpus)를 학습하는 등의 최적화 과정을 통해 최적의 성능을 도출할 수 있다. 따라서 본 연구에서는 한글 상표 분야에 특화된 BERT를 개발하기 위해 상표 의견제출통지서 내 거절이유 텍스트 말뭉치를 활용하여 상표 관련 전문 문서에 특화된 토크나이저 (tokenizer) 모델을 학습하고 이를 BERT에 활용하였다. 제안 모델의 분류 정확도는 기존의 다국어 BERT 모델의 분류 정확도 성능보다 약 4.97%p 높은 96.89%를 기록하였다. 해당 결과를 통해 자연어 분야에서 높은 성능을 보였던 BERT가 전문 용어로 구성된 말뭉치 데이터에서도 높은 분류 정확도를 보일 수 있다는 것을 확인하였다.
Abstract
The increase of multimedia contents and the spread of smart devices have resulted in explosive production of various kinds of data. In particular, text data has been a means of expressing human opinion for a long time, and the demand and necessity for text analysis are continuously increasing in various fields. Recently, models such as the ELMo (embeddings from language model), GPT (generating pre-training of a language model), BERT (bidirectional encoder representations from transformation) have been developed that combine deep learning, which is showing excellent performance in various fields, and the word embedding method that semantically vectorizes text. In particular, BERT developed by Google is considered to be one of the most outstanding language models in the field of natural language processing. However, BERT specialized in 'English' and plain text, such as social media data, does not implement optimal performance in specialized texts such as 'Korean' or 'R&D documents, intellectual property documents', so it can achieve optimal performance through optimization such as learning specialized corpus. Therefore, In this study, in order to develop a BERT specialized in the field of Korean trademarks, a tokenizer model specialized in trademark-related professional documents was learned using a text corpus for rejection in the trademark opinion submission notice and used for BERT. The classification accuracy of the proposed model was 96.89%, which is 4.97% higher than the classification accuracy performance of the existing multilingual BERT model. The results showed that BERT, which showed high performance in the field of natural language, could show high classification accuracy even in corpus data composed of specialized terms.
참고문헌 (23)
- 강윤희, "SVM을 이용한 디렉토리 기반 기술정보 문서 자동 분류시스템 설계", 전기전자학회논문지, 8(2), pp.186~194 (2004), 한국전기전자학회
- 김나리, "연관법령 검색을 위한 워드 임베딩 기반 Law2Vec 모형 연구", 디지털콘텐츠학회논문지, 18(7), pp.1419~1425 (2017), 한국디지털콘텐츠학회[DOI]
- 김남규, "텍스트 분석 기술 및 활용 동향", 한국통신학회논문지, 42(2), pp.471~492 (2017), 한국통신학회[DOI]
- 김상현, "동형암호를 이용한 프라이버시보존 데이터 분석의 법제도적 문제", Doctor, pp.2020
- 김영수, "빅 데이터 환경에서 계층적 문서 유형 분류를 위한 클러스터링 기반 다중 SVM 모델", 한국콘텐츠학회 논문지, 17(11), pp.600~608 (2017), 한국콘텐츠학회[DOI]
- 김정미, "Word2vec을 활용한 RNN기반의 문서 분류에 관한 연구", 한국지능시스템학회 논문지, 27(6), pp.560~565 (2017), 한국지능시스템학회
- 김정숙, "빅데이터 활용과 관련기술 고찰", Review of Korea Contents Association, 10(1), pp.34~40 (2012)
- 김정인, "나이브 베이즈 기반 소셜 미디어 상의 신조어 감성 판별 기법", 스마트미디어저널, 9(1), pp.51~59 (2020), (사)한국스마트미디어학회[DOI]
- 김한준, "점진적 특징 가중치 기법을 이용한 나이브 베이즈 문서분류기의 성능 개선", 정보처리학회 논문지, 15(5), pp.457~464 (2008), 한국정보처리학회
- 박래근, "광고 글 필터링 모델 적용 및 성능 향상 방안", 한국산학기술학회논문지, 21(11), pp.1~8 (2020), 한국산학기술학회[DOI]
- 박찬정, "KNN을 이용한 융합기술 특허문서의 자동 IPC 분류", 한국정보기술학회논문지, 12(3), pp.175~185 (2014), 한국정보기술학회[DOI]
- 박찬정, "기계 학습을 이용한 특허 문서의 자동 IPC 분류", 한국정보기술학회논문지, 10(4), pp.119~128 (2012), 한국정보기술학회[DOI]
- 엄성원, "텍스트 마이닝을 활용한 Youtube 광고에 대한 소비자 인식 분석", 경영과 정보연구, 39(2), pp.181~193 (2020), 대한경영정보학회[DOI]
- 연종흠, "확장된 나이브 베이즈 분류기를 활용한 질문-답변 커뮤니티의 질문 분류", 정보과학회 컴퓨팅의 실제 논문지, 16(1), pp.95~99 (2010), 한국정보과학회
- 이동주, "HS 코드 분류를 위한 CNN 기반의 추천 모델 개발", 경영과 정보연구, 39(3), pp.1~16 (2020), 대한경영정보학회[DOI]
- 이수영, "결정트리 학습알고리즘을 이용한 우수특허 선별방법에 관한 연구", 한국지식정보기술학회 논문지, 7(2), pp.163~174 (2012), 한국지식정보기술학회[DOI]
- 전영호, "BERT Transformer와 Deep Learning을 활용한 전이학습 효과 검증 연구 :법률상담데이터 분류문제 적용", 한국경영공학회지, 24(4), pp.77~89 (2019), 한국경영공학회[DOI]
- 정선미, "SNS Text 빅데이터의 의미연결망분석에 의한 뉴트로 소비자 행동척도개발에 관한 연구", 경영과 정보연구, 40(1), pp.59~83 (2021), 대한경영정보학회[DOI]
- 황상흠, "한국어 기술문서 분석을 위한 BERT 기반의 분류모델", 한국전자거래학회지, 25(1), pp.203~214 (2020), 한국전자거래학회[DOI]
- Apte, C., "Text mining with decision trees and decision rules", In Proceedings of the Conference on Automated Learning and Discorery, Workshop 6: Learning from Text and the Web (1998)
- Devlin, J., "Bert: Pre-training of deep bidirectional transformers for language understanding", ~ (2018)
- Fall, C. J., "Automated categorization in the international patent classification", Acm Sigir Forum, 37(1), pp.10~25 (2003), ACM
- Kwon, O. W., "Text categorization based on k-nearest neighbor approach for web site classification", Information Processing & Management, 39(1), pp.25~44 (2003)