ResNet과 SIFT를 이용한 특허 도면의 유사도 평가 및 검색 연구
Similarity Evaluation of Patent Drawings using ResNet and SIFT
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
특허 문헌의 유사성 평가 및 검색 연구는 특허 문헌의 효율적인 관리뿐 아니라 산업 및 기술 분야에서효율적이고 빠른 정보 수집을 위해 중요한 주제로 다뤄지고 있다. 특히 특허 도면은 산업 기술의 발전과 혁신의 결과물을 시각적으로 표현해왔으나 지금까지 텍스트에 비해 중요하게 다뤄지지 못한 측면이 있다. 본 연구는 효과적인 특허 도면의 검색을 위해 딥러닝의 대표 모델 ResNet-50과 전통적인 컴퓨터비전알고리즘 SIFT를 이용하여 유사성을 평가하는 연구이다. 먼저 시각적 유형의 유사성을 평가하기 위해총 10,827개의 특허도면을 이용한 유형 분류 실험을 진행했으며 분류성능은 95%가 넘는 Accuracy를나타냈다. 두 번째로 기술도면 5,000개를 사용하여 ResNet과 SIFT를 이용한 검색 실험을 진행하여 각모델의 유사성을 평가하는 특징을 살펴보았다. 마지막으로 원본 데이터 50개와 원본 데이터를 다양한형태로 증강한 데이터 4,800개를 이용하여 편집 유형별로 검색 및 매칭한 결과, ResNet은 72.54%, SIFT는 86.71%의 평균적인 매칭 결과를 나타냈다. 연구 수행 결과, 이미지 전체의 정보를 이용하여 유사도를 비교하는 ResNet-50과 달리 SIFT는 이미지내 특징점 등 속성 정보를 이용하여 유사도를 판단하므로 시각적으로 유사한 이미지를 찾는 일에는ResNet이, 같은 이미지를 찾는 일에는 SIFT가 더 강점이 있는 것으로 평가할 수 있다.
Abstract
The study of the similarity evaluation and retrieval of patent documents is critical not only for the efficient management of patent literature, but also for the rapid and effective collection of information in industrial and technological fields. Patent drawings visually represent the outcomes of technological advancements and innovations, but have not been given as much importance as texts in the past. This study evaluated the similarity of patent drawings for effective retrieval using the representative deep-learning model, ResNet-50, and the traditional computer vision algorithm, scale-invariant feature transform (SIFT). First, a classification experiment using 10,827 patent drawings was conducted to evaluate the similarity of the visual types, achieving a classification performance with an accuracy exceeding 95%. Second, a retrieval experiment using 5,000 technical drawings was conducted to compare the features of ResNet and SIFT based on their similarity. Finally, the retrieval and matching performances of ResNet and SIFT were evaluated using 50 original data samples and 4,800 augmented data samples created by various forms of editing. ResNet demonstrated an average matching performance of 72.54%, whereas SIFT achieved an average matching performance of 86.71%. The findings reveal that, unlike ResNet-50, which compares similarity using the entire image information, SIFT evaluates similarity based on attribute information, such as key points within the image. Consequently, ResNet is advantageous for identifying visually similar images, whereas SIFT excels in identifying identical images.
참고문헌 (23)
- 최형일, "원리를 설명하는 컴퓨터비전 최강의 수업" (2023), 홍릉
- Stefanos Vrochidis, "Professional Search in the Modern World: COST Action IC1002 on Multilingual and Multifaceted Interactive Information Access" (2014), Springer
- 윤재웅, "합성곱신경망(Convolutional Neural Network)을 활용한 지능형 유사상표검색 모형 개발", 경영과 정보연구, 38(3) (2019)
- 윤재웅, "어텐션모형을 활용한 상표 이미지 내 도형 분류 모형 개발", 경영과 정보연구, 41(4) (2022)
- 한재석, "딥러닝 기반 특허 도면 검색 연구", 한국정보과학회 학술발표논문집 (2023)
- David G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, 60 (2004)
- Panagiotis Sidiropoulos, "Content-based binary image retrieval using the adaptive hierarchic al density histogram. Pattern Recognition", Pattern Recognition, 44(4) (2011)
- Stefanos Vrochidis, "Towards content-based patent image retrieval : a framework perspective", World Patent Information, 32(2) (2010)
- Stefanos Vrochidis, "Concept-based patent image retrieval", World Patent Information, 34(4) (2012)
- Naeem Bhatti, "Contextual local primitives for binary patent image retrieval", Multimedia Tools and Applications, 77(7) (2018)
- 유대근, "머신러닝을 활용한 특허상표이미지 분류", 석사, pp.2017
- 박정범, "Patent Document Similarity based on Image analysis by using the SIFT-Algorithm and OCR-Text", 석사, pp.2017
- 고광국, "개념기반 특허이미지 검색", 한국과학기술정보연구원, ~ (2012)
- 명세서, "도면의 작성요령 및 분할출원 제도 개선에 관한 연구", 특허청, 2012
- Alla Kravets, "Patents images retrieval and convolutional neural network training dataset quality improvement", Proceedings of the IV International research conference “Information technologies in Science, Management, Social sphere and Medicine (ITSMSSM 2017) (2017), Atlantis Press
- Gabriela Csurka, "XRCE's Participation at patent image classification and image-based patent retrieval tasks of the Clef-IP 2011", CEUR Workshop Proceedings, 1177 (2011), CEUR-WS
- Jia Deng, "Imagenet : A large-scale hierarchical image database", Proceedings of the 2009IEEE conference on computer vision and pattern recognition (2009), IEEE
- Junaid Ahmed Ghauri, "Classification of Visualization Types and Perspectives in Patents", Proceedings of the International Conference on Theory and Practice of Digital Libraries (2023), Springer Nature Switzerland
- Juan Castorena, "Learning spatial relationships between samples of patent image shapes", 2020 IEEE, 2020, ~[DOI]
- Kaiming He, "Deep residual learning for image recognition", Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2016), IEEE
- Michal Kucer, "DeepPatent : Large scale patent drawing recognition and retrieval", Proceedings of the 2022 IEEE, 2022, ~[DOI]
- Panagiotis Sidiropoulos, "Adaptive hierarchical density histogram for complex binary image retrieval", 2010 International Workshop on Content Based Multimedia Indexing (CBMI) (2010), IEEE
- Shuo Jiang, "A convolutional neural network-based patent image retrieval method for design ideation", Proceedings of the ASME 2020 International Design Engineering Technical Conferences and Computers and Information in Engineering Conference, 9 (2020), The American Society of Mechanical Engineers