Vision Transformer를 활용한 비디오 분류 성능 향상을위한 Fine-tuning 신경망
Fine-tuning Neural Network for Improving Video Classification Performance Using Vision Transformer
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문은 Vision Transformer를 기반으로 하는 Video Classification의 성능을 개선하는 방법으로 fine-tuning를 적용한 신경망을 제안한다. 최근 딥러닝 기반 실시간 비디오 영상 분석의 필요성이 대두되고 있다. Image Classification에 사용되는 기존CNN 모델의 특징상 연속된 Frame에 대한 연관성을 분석하기 어렵다는 단점이 있다. 이와 같은 문제를 Attention 메커니즘이 적용된 Vistion Transformer와 Non-local 신경망 모델을 비교 분석하여 최적의 모델을 찾아 해결하고자 한다. 또한, 전이 학습 방법으로 fine-tuning의 다양한 방법을 적용하여 최적의 fine-tuning 신경망 모델을 제안한다. 실험은 UCF101 데이터셋으로 모델을 학습시킨 후, UTA-RLDD 데이터셋에 전이 학습 방법을 적용하여 모델의 성능을 검증하였다.
Abstract
This paper proposes a neural network applying fine-tuning as a way to improve the performance of VideoClassification based on Vision Transformer. Recently, the need for real-time video image analysis based on deeplearning has emerged. Due to the characteristics of the existing CNN model used in Image Classification, it isdifficult to analyze the association of consecutive frames. We want to find and solve the optimal model bycomparing and analyzing the Vision Transformer and Non-local neural network models with the Attention mechanism. In addition, we propose an optimal fine-tuning neural network model by applying various methods of fine-tuningas a transfer learning method. The experiment trained the model with the UCF101 dataset and then verified theperformance of the model by applying a transfer learning method to the UTA-RLDD dataset.
참고문헌 (12)
- Joseph Redmon, "You Only Look Once: Unified, Real-Time Object Detection", IEEE 2016, pp.779~788 (2016)
- Alex Krizhevsky, "ImageNet Classification with Deep Convolutional Neural Networks", Communications of the ACM, 60(6), pp.84~90 (2017)
- Fuzhen Zhuang, "A Comprehensive Survey on Transfer Learning", Proceedings of the IEEE, 109(1), pp.43~76 (2021)[DOI]
- Ashish Vaswani, "Attention Is All You Need", NIPS 2017, pp.6000~6010 (2017)
- Anurag Arnab, "ViViT: A Video Vision Transformer", ICCV 2021, pp.6836~6846 (2021)
- Xiaolong Wang, "Non-local Neural Networks", IEEE, pp.7794~7803 (2017)
- Khurram Soomro, "UCF101: A Dataset of 101 Human Action Classes From Videos in The Wild", CRCVTR-12-01, ~ (2012)
- Reza Ghoddoosian, "A Realistic Dataset and Baseline Temporal Model for Early Drowsiness Detection", CVPRW 2019, pp.178~187 (2019)
- "An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale"[URL]
- "Layer Normalization"[URL]
- A. Buades, "A nonlocal algorithm for image denoising", 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), 2, pp.60~65 (2005)