1-Bit 합성곱 신경망을 위한 정확도 향상 기법
Accuracy Improvement Method for 1-Bit Convolutional Neural Network
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문에서는 기존 1-Bit 합성곱 신경망의 성능 하락에 대한 분석과 이를 완화하기 위한 방안을 제시한다. 기존의 연구는첫 번째 층과 마지막 층만 32-Bit 연산을 적용하고 나머지 연산은 1-Bit 연산을 적용한 것과 달리 본 논문에서는 두 번째 층도 32-Bit로 연산한다. 또한 입력과 가중치를 이진화하고 1-Bit 연산을 적용한 후에는 비선형 활성화 함수를 제거할 수 있음을 제시한다. 본 논문에서 제시한 방법을 검증하기 위해 차량 번호판 검출을 위한 객체 검출 신경망을 실험하였다. 기존의방법으로 학습한 결과보다 정확도가 74%에서 96.1%로 상승하였다.
Abstract
In this paper, we analyze the performance degradation of previous 1-Bit convolutional neural network method andintroduce ways to mitigate it. Previous work applies 32-Bit operation to first and last layers. But our method applies32-Bit operation to second layer too. We also show that nonlinear activation function can be removed after binarizinginputs and weights. In order to verify the method proposed in this paper, we experiment the object detection neuralnetwork for korean license plate detection. Our method results in 96.1% accuracy, but the existing method results in 74%accuracy.
참고문헌 (9)
- M. Rastegari, "Xnor-net: Imagenet classification using binary convolutional neural networks", European Conference on Computer Vision, pp.525~542 (2016)
- B. Jacob, "Quantization and training of neural networks for efficient integer-arithmetic-only inference", Computer Vision and Pattern Recognition, pp.2704~2713 (2018)
- C. Zhu, "Trained ternary quantization", International Conference on Learning Representations (2017)
- Michae ̈l Mathieu, "Fast training of convolutional networks through ffts", International Conference on Learning Representations (2013)
- A. Lavin, "Fast algorithms for convolutional neural networks", Computer Vision and Pattern Recognition, pp.4013~4021 (2016)
- K. He, "Delving deep into rectifiers : Surpassing human-level performance on imagenet classification", International Conference on Computer Vision, pp.1026~1034 (2015)
- "Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation"[URL]
- J. Redmon, "YOLO9000:Better, faster, stronger", Computer Vision and Pattern Recognition, pp.6517~6525 (2017)
- S. Ioffe, "Batch normalization:Accelerating deep network training by reducing internal covariate shift", International Conference on International Conference on Machine Learning, pp.448~456 (2015)