Deep Compression의 프루닝 문턱값 동적 조정
Dynamic Adjustment of the Pruning Threshold in Deep Compression
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
최근 CNN(Convolutional Neural Network)이 다양한 컴퓨터 비전 분야에서 우수한 성능으로 널리 사용되고 있다. 그러나 CNN은 계산 집약적이고 많은 메모리가 요구되어 한정적인 하드웨어 자원을 가지는 모바일이나 IoT(Internet of Things) 기기에 적용하기 어렵다. 이런 한계를 해결하기 위해, 기존의 학습된 모델의 성능을 최대한 유지하며 네트워크의 크기를 줄이는 인공신경망 경량화 연구가 진행되고 있다. 본 논문은 신경망 압축 기술 중 하나인 프루닝(Pruning)의 문턱값을 동적으로 조정하는 CNN 압축 기법을 제안한다. 프루닝될 가중치를 결정하는 문턱값을 실험적, 경험적으로 정하는 기존의 기술과 달리 정확도의 저하를 방지하는 최적의 문턱값을 동적으로 찾을 수 있으며, 경량화된 신경망을 얻는 시간을 단축할 수 있다. 제안 기법의 성능 검증을 위해 MNIST 데이터 셋을 사용하여 LeNet을 훈련시켰으며, 정확도 손실 없이 약 1.3 ~ 3배의 시간을 단축하여 경량화된 LeNet을 얻을 수 있었다.
Abstract
Recently, convolutional neural networks (CNNs) have been widely utilized due to their outstanding performance in various computer vision fields. However, due to their computational-intensive and high memory requirements, it is difficult to deploy CNNs on hardware platforms that have limited resources, such as mobile devices and IoT devices. To address these limitations, a neural network compression research is underway to reduce the size of neural networks while maintaining their performance. This paper proposes a CNN compression technique that dynamically adjusts the thresholds of pruning, one of the neural network compression techniques. Unlike the conventional pruning that experimentally or heuristically sets the thresholds that determine the weights to be pruned, the proposed technique can dynamically find the optimal thresholds that prevent accuracy degradation and output the light-weight neural network in less time. To validate the performance of the proposed technique, the LeNet was trained using the MNIST dataset and the light-weight LeNet could be automatically obtained 1.3 to 3 times faster without loss of accuracy.
참고문헌 (9)
- 박한훈, "딥러닝 기술을 이용한 3차원 객체 추적 기술 리뷰", 융합신호처리학회 논문지, 22(1), pp.30~37 (2021), 한국융합신호처리학회[DOI]
- R. Yamashita, "Convolutional neural networks : an overview and application in radiology", Insights into Imaging, 9, pp.611~629 (2018)
- Y. J. Lee, "Recent R&D trends for lightweight deep learning", Electronics and Telecommunications Trends, 34(2), pp.40~50 (2019)
- S. Han, "Deep compression:compressing deep neural networks with pruning, trained quantization and Huffman coding", Proc. of ICLR (2016)
- A. Krizhevsky, "ImageNet classification with deep convolutional neural networks", Communications of the ACM, 60(6), pp.84~90 (2017)
- K. Simonyan, "Very deep convolutional networks for large-scale image recognition", Proc. of ICLR (2015)
- Y. Lecun, "Gradient-based learning applied to document recognition", Proceedings of the IEEE, 86(11), pp.2278~2324 (1998)
- "MNIST handwritten digit database"[URL]
- "Deep-Compression-PyTorch"[URL]