이미지-텍스트 쌍을 활용한 이미지 분류 정확도 향상에관한 연구
A Study on Improvement of Image Classification Accuracy Using Image-Text Pairs
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
딥러닝의 발전으로 다양한 컴퓨터 비전 연구를 수행할 수 있게 됐다. 딥러닝은 컴퓨터 비전 연구 중 이미지 처리에서 높은 정확도와 성능을 보여줬다. 하지만 대부분의 이미지 처리 방식은 이미지의 시각 정보만을 이용해 이미지를 처리하는 경우가 대부분이다. 이미지-텍스트 쌍을 활용할 경우 이미지와 관련된 설명, 주석 등의 텍스트 데이터가 이미지 자체에서는 얻기 힘든 추가적인 맥락과시각 정보를 제공할 수 있다. 본 논문에서는 이미지-텍스트 쌍을 활용하여 이미지와 텍스트를 분석하는 딥러닝 모델 제안한다. 제안모델은 이미지 정보만을 사용한 딥러닝 모델보다 약 11% 향상된 분류 정확도 결과를 보였다.
Abstract
With the development of deep learning, it is possible to solve various computer non-specialized problems suchas image processing. However, most image processing methods use only the visual information of the image toprocess the image. Text data such as descriptions and annotations related to images may provide additional tactileand visual information that is difficult to obtain from the image itself. In this paper, we intend to improve imageclassification accuracy through a deep learning model that analyzes images and texts using image-text pairs. Theproposed model showed an approximately 11% classification accuracy improvement over the deep learning modelusing only image information.
참고문헌 (9)
- K. He, "Deep Residual Learning for Image Recognition", 2016IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.770~778 (2016)
- J. H Lee, "Image classification model utilizing text to improve image classification accuracy", Annual Conference of KIPS 2023, pp.4~ (2023)
- J. Johnson, "Dense-Cap: Fully Convolutional Localization Networks for Dense Captioning", 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.4565~4574 (2016)
- Alex Krizhevsky, "ImageNet Classification with Deep Convolutional Neural Networks", Advances in Neural Information Processing Systems (NIPS 2012), 25, pp.14~ (2012)
- Sepp Hochreiter, "Long Short-Term Memory", Neural Computation, 9(8), pp.1735~1780 (1997), MIT Press - Journals[DOI]
- Y. Lecun, "Gradient-based learning applied to document recognition", Proceedings of the IEEE, 86(11), pp.2278~2324 (1998), Institute of Electrical and Electronics Engineers (IEEE)[DOI]
- Jacob Devlin, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding", Proceedings of the 2019 Conference of theNorth American Chapter of the Association for Computational Linguistics: Human Language Technologies, 1, pp.4171~4186 (2019)
- Ashish Vaswani, "Attention is All you Need", Advances in Neural Information Processing Systems 30 (NIPS 2017), pp.15~ (2018)
- "COYO-700M: Image-Text Pair Dataset “COYO dataset”"[URL]