본문 바로가기
KERD
논문KCI 등재

어텐션 모형을 활용한 상표 이미지 내 도형 분류 모형 개발

Developing Model for Shape Classification in Trademark Image using Attention Model

이석준|윤재웅|정상일
대한경영정보학회 (Daehan Academy Of Management Information Systems)|2022.12|경영과 정보연구 (Management & Information Systems Review)|제41권 제4호|pp. 73-91|DOI 10.29214/damis.2022.41.4.005

0

조회

0

다운로드

1

인용

0

참고문헌

키워드

딥러닝Deep learningIntellectual property rights지적 재산권상표출원어텐션 모형도형분류코드Attention modelTrademark applicationShape classification model
주제분류경영학

초록

지적 재산권 중 하나인 상표권은 독점적, 배타적 사용이 가능하며 기업의 자금조달을 위한 목적으로 활용 될 수 있어 현대사회에서 상표의 중요성은 점점 증대되고 있으며, 이에 따라 상표의 출원 및 등록 건수는 점점 증가하는 추세이다. 한편, 상표 데이터의 증가는 상표 검색의 정확성과 용이성을 저하하는 요인으로 작용하며, 이는 선등록 상표를 조사함에 있어 기업과 개인이 어려움을 겪게 되는 결과를 초래한다. 또한, 상표출원 추이가 급격하게 증가함에 따라 상표 심사처리 기간 또한 증가하고 있는 것으로 나타났는데, 이는 특허청에서 이미지 형식으로 출원된 상표에 대해 상표가 포함하고 있는 구성 요소를 파악하고 도형분류코드를 지정하는 작업을 사람이 직접 수행하고 있기 때문에 초래된 문제로 파악된다. 누적된 상표 데이터에 대한 검색 효율성을 개선하고, 상표출원 추이가 증대되면서 상표 심사 기간이 증가하는 문제를 해결하고자 본 연구에서는 딥러닝 기술 중 어텐션 (attention) 모형을 활용하여 상표 내에 존재하는 도형을 자동으로 인식하는 연구를 수행하고자 한다. 1960년 1월 1일부터 2019년 12월 31일까지 출원, 공고, 취하, 소멸, 포기, 무효, 거절, 등록된 도형상표 및 도형복합 상표 898,633개의 데이터를 대상으로 어텐션 모형을 통해 학습 및 검증한 결과, 149개 라벨에 대해 평균 AUC가 약 0.8051로 나타났다. 본 연구는 대한민국 특허청에 출원, 공고, 취하, 소멸, 포기, 무효, 거절, 등록된 도형상표 및 도형복합 상표를 활용했다는 점에서 지식재산 산업 환경에서의 활용성이 높을 것으로 사료된다. 또한, 약 100만 건에 달하는 상표에 경계상자 정보를 추가하는 작업에는 상당한 시간과 비용이 소요된다는 점을 감안 할 때, 향후 다양한 산업에서 인공지능 모형을 개발하고자 할 때 라벨링 작업에 소요되는 시간과 비용을 단축시킬 수 있는 방향성을 제시했다는 점에서 연구의 의의가 있다.

Abstract

Trademark rights, one of the intellectual property rights, are recognized with such a importance because they can be used exclusively. Because of they can be used in various ways as intellectual property rights for coporate financing, the importance of trademark is increasing in modern society and the number of trademark applications and registration is on the rise. The number of trademark applications in 2012 increased by about 95% over 8 years in 2020. On the other hand, the increase in trademark data acts as a factor that degrades the accuracy and ease of trademark search. This results in difficulties for companies and individuals in investigating pre-registered trademarks. According to a report by the Korean Intellectual Property Office, the number of requests for adjudication on trademarks in 2000 increased by about 65% over 20 years from 2,403 to 3,987 in 2020. According to a report published by the same organization, about 65.3% of companies said they do not carry out preventive activities to protect their trademarks. In addition, as the trend of trademark applications increases rapidly, the period of trademark review processing is also increasing. This is understood as a problem caused by the Korean Intellectual Property Office manually identifying the components contained in the trademark and designating the graphic classification code for the trademark filed in the form of an image. In order to improve the search efficiency for accumulated trademark data and to solve the problem of increasing the trademark review period as the trend of trademark applications increases, this study aims to conduct a study that automatically recognizes shapes existing in trademarks using an attention model among deep learning technologies. From January 1, 1960 to December 31, 2019, the average AUC for 149 labels was about 0.8051 as a result of learning and verifying data from 898,633 registered graphic and composite trademarks. This study is considered to be highly useful in the intellectual property industrial environment in that it applied to the Korean Intellectual Property Office, announced, withdrawn, extinguished, abandoned, invalid, rejected, and used registered graphic trademarks and graphic complex trademarks. Given that making border box information to about 1 million trademarks takes a considerable amount of time and money, the research is significant in that it suggested a direction to reduce the time and cost of labeling when developing artificial intelligence models in various industries in the future.

참고문헌 (39)

  1. 김대중, "중국 중재시장 개방에 따른 중국 진출 기업의 상표권 침해 분쟁 중재 가능성", 중국법연구, 29, pp.453~488 (2017), 한중법학회[DOI]
  2. 김봉기, "내용기반 상표 검색 시스템에 관한 연구", 산업과학기술연구소보, 8, pp.177~184 (2001)
  3. 박문기, "브랜드 재활성화를 위한 상표권 가치 평가 모델 개발:와바 프랜차이즈 브랜드를 중심으로", 마케팅논집(Journal of Marketing Studies), 23(2), pp.179~194 (2015), 한국전략마케팅학회
  4. 朴進根, "내용기반 회전불변 상표검색", 전자공학회논문지 - CI, 39(1), pp.60~74 (2002), 대한전자공학회
  5. 신성윤, "컬러와 형태에 기반을 둔 상표 영상 검색 시스템", 한국컴퓨터정보학회논문지, 11(3), pp.167~172 (2006), 한국컴퓨터정보학회
  6. 윤영수, "브랜드경영과 상표권", 법학연구, (25), pp.451~476 (2007), 한국법학회
  7. 윤재웅, "합성곱 신경망(Convolutional Neural Network)을 활용한 지능형 유사상표 검색 모형 개발", 경영과 정보연구, 38(3), pp.55~80 (2019), 대한경영정보학회[DOI]
  8. 이양원, "색상과 모양 정보를 이용한 상표 영상 검색 시스템의설계 및 구현", 情報通信技術硏究論文集, 3, pp.107~111 (1999)
  9. 이진우, "Faster R-CNN 과 DenseNet 을이용한 도형 상표 비엔나 분류 자동화 연구", 한국정보처리학회 학술대회논문집, 26(2), pp.848~851 (2019)
  10. 특허청, "도형상표분류 지침서", ~ (2013)
  11. 특허청, "상표권자 등의 상표사용 실태조사ㆍ분석 및 공정한 상표 사용 가이드라인 구축방안", ~ (2016)
  12. 특허청, "상표출원 증가세 날개달았다!10년간 2배 증가 예상", 특허청 보도자료, ~ (2021)
  13. 특허청, "지식재산 통계 연보", ~ (2021)
  14. Cox, D. R., "The regression analysis of binary sequences", Journal of the Royal Statistical Society : Series B(Methodological), 20(2), pp.215~232 (1958)
  15. Dembczynski, K., "Consistent multilabel ranking through univariate losses", arXiv preprint arXiv:1206.6401, ~ (2012)
  16. Farquhar, P. H., "Managing brand equity", Marketing research, 1(3) (1989)
  17. Goyal, A., "Variants of dense descriptors and Zernike moments as features for accurate shape-based image retrieval", Signal, Image and Video Processing, 8(7), pp.1273~1289 (2014)
  18. Guan, Q., "Diagnose like a radiologist : Attention guided convolutional neural network for thorax disease classification", arXiv preprint arXiv:1801.09927, ~ (2018)
  19. Guo, H., "Visual attention consistency under image transforms for multi-label image classification", Proceedings of the IEEE, 2019, 729~739
  20. He, K., "Deep residual learning for image recognition", Proceedings of the IEEE conference on computer vision and pattern recognition, pp.770~778 (2016)
  21. Jiang, H., "Gestalt-based feature similarity measure in trademark database", Pattern recognition, 39(5), pp.988~1001 (2006)
  22. Keller, K. L., "Conceptualizing, measuring, and managing customer-based brand equity", Journal of marketing, 57(1), pp.1~22 (1993)
  23. Kingma, D. P., "Adam:A method for stochastic optimization", arXiv preprint arXiv:1412.6980, ~ (2014)
  24. Chen, L, "Attention to scale:Scale-aware semantic image segmentation", Proc. IEEE Conf. Comput. Vis. Pattern Recognit(CVPR), pp.3640~3649 (2016)
  25. Chen, L., "SCA-CNN: Spatial and channel-wise attention in convolutional networks for image captioning", Proc. IEEE Conf. Comput. Vis. Pattern Recognit(CVPR), pp.5659~5667 (2019)
  26. LeCun, Y., "Backpropagation applied to handwritten zip code recognition", Neural computation, 1(4), pp.541~551 (1989)
  27. Li, D., "Multi-attribute learning for pedestrian attribute recognition in surveillance scenarios", 2015 3rd IAPR Asian Conference on Pattern Recognition(ACPR), pp.111~115 (2015)
  28. Li, D., "A richly annotated dataset for pedestrian attribute recognition", arXiv preprint arXiv:1603.07054, ~ (2016)
  29. Liu, X., "Hydraplus-net : Attentive deep features for pedestrian analysis", Proceedings of the IEEE international conference on computer vision, pp.350~359 (2017)
  30. Rusiol, M., "Interactive trademark image retrieval by fusing semantic and visual content", European Conference on Information Retrieval, pp.314~325 (2011)
  31. Simonyan, K., "Very deep convolutional networks for large-scale image recognition", arXiv preprint arXiv:1409.1556, ~ (2014)
  32. Szegedy, C., "Going deeper with convolutions", Proceedings of the IEEE conference on computer vision and pattern recognition, pp.1~9 (2015)
  33. Pesce, E., "Learning to detect chest radiographs containing pulmonary lesions using visual attention networks", Medical image analysis, 53, pp.26~38 (2019)
  34. Wang, Z., "A novel approach for trademark image retrieval by combining global features and local features", Journal of Computational Information Systems, 8(4), pp.1633~1640 (2012)
  35. Chu, X., "Multi-context attention for human pose estimation", Proc. IEEE Conf. Comput. Vis. Pattern Recognit.(CVPR), pp.5669~5678 (2017)
  36. Xu, K., "Show, attend and tell : Neural image caption generation with visual attention", International conference on machine learning, pp.2048~2057 (2015)
  37. Xia, Z., "Trademark image retrieval via transformation-invariant deep hashing", Journal of Visual Communication and Image Representation, 59, pp.108~116 (2019)
  38. Ypsilantis, P. P., "Learning what to look in chest X-rays with a recurrent visual attention model", arXiv preprint arXiv:1701.06452, ~ (2017)
  39. Zhang, Z., "Generalized cross entropy loss for training deep neural networks with noisy labels", Advances in neural information processing systems, 31 (2018)

관련 논문AI추천

합성곱 신경망(Convolutional Neural Network)을 활용한 지능형 유사상표 검색 모형 개발김연식, 송칠용, 윤재웅, 이석준, 정미영, 정상일대한경영정보학회 · 경영과 정보연구2019 · 제38권 제3호ResNet과 SIFT를 이용한 특허 도면의 유사도 평가 및 검색 연구김경순, 김성주, 김현아, 박천호한국지식재산연구원 · 지식재산연구2024 · 제19권 제3호BERT를 활용한 상표 의견제출통지서 거절이유 분류모델 개발윤성식, 이석준, 전재헌, 정상일, 정찬식대한경영정보학회 · 경영과 정보연구2021 · 제40권 제3호상표 검색을 위한 호칭 유사성 판단에 관한 연구: 한글 영문 문자 상표 검색 정확성 향상을 중심으로고봉수, 노한성, 심우철, 황솔빈한국지식재산연구원 · 지식재산연구2025 · 제20권 제1호한국어 특허 문장 기반 CPC 자동분류 연구 ―인공지능 언어모델 KorPatBERT를 활용한 딥러닝 기법 접근―고봉수, 노한성, 박진우, 심우철, 이상헌한국지식재산연구원 · 지식재산연구2022 · 제17권 제3호효율적인 특허정보 조사를 위한 분류 모형김영호, 박상성, 장동식(사)디지털산업정보학회 · (사)디지털산업정보학회 논문지2019 · 제15권 제4호

이 간행물의 다른 논문 (4건)

한국어 온라인 교육서비스 품질이 학습성과 및 학습만족에 미치는 영향에 관한 연구JIAO YANpp. 1-17모바일 헬스케어 서비스의 지속사용의도에 영향 미치는 요인에 관한 연구조상리, 정석찬pp. 19-34지체장애인의 자율주행차량 기반 특별교통수단의 미래 이동지원서비스 니즈 분석김석현, 도유미, 장정아, 홍현근, 오창석pp. 35-47가상 인플루언서 인식 및 감정 연구: 귀납적인 텍스트마이닝 분석과 연역적인 연구모형 기반 선행연구의 비교연구를 중심으로권순동, 공해연pp. 49-71
원문 보기