한정된 자원을 갖는 FPGA에서의이진가중치 신경망 가속처리 구조 설계 및 구현
Design and Implementation of Accelerator Architecture for Binary Weight Network on FPGA with Limited Resources
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구에서는 임베디드 시스템에 적용하기 위해 자원이 제한된 조건의 FPGA를 기반으로 BWN 가속처리를 하는 방법을제시하였다. 사용할 수 있는 로직의 개수가 제한적이기 때문에 다양한 크기의 Conv-layer, FC-layer를 처리할 수 있는 하나의 연산장치를 설계해서 재활용하였다. Input feature map 데이터를 한번에 병렬처리를 할 수 없는 경우 데이터를 여러 번읽어서 중간결과를계산하고 합산하여 최종 출력을 계산하였다. 사용할 수 있는 BRAM 모듈 개수가 제한적이기 때문에BWN 가속기내의 데이터 bit수를 최소화한 구조를 사용하였다. 구현한 BWN가속기의 이미지 분류 처리 시간은 소형 시스템과 비교하였을 때 처리시간 측면에서 우수함을 보였고 고성능 시스템과 비교하였을 때는 데스크탑 PC보다는 빠르고 높은 클럭속도의 GPU시스템의 50%정도 느렸다. BWN가속기는 50MHz의 느린 clock을 사용하므로 성능대비 전력측면에서 유리함을 확인할 수 있었다.
Abstract
In this paper, we propose a method to accelerate BWN based on FPGA with limited resources for embedded system. Because of the limited number of logic elements available, a single computing unit capable of handling Conv-layer,FC-layer of various sizes must be designed and reused. Also, if the input feature map can not be parallel processed atone time, the output must be calculated by reading the inputs several times. Since the number of available BRAMmodules is limited, the number of data bits in the BWN accelerator must be minimized. The image classificationprocessing time of the BWN accelerator is superior when compared with a embedded CPU and is faster than a desktopPC and 50% slower than a GPU system. Since the BWN accelerator uses a slow clock of 50MHz, it can be seen thatthe BWN accelerator is advantageous in performance versus power.
참고문헌 (17)
- C. Zhang, "Optimizing Fpga-based accelerator design for deep convolutional neural networks", FPGA’15, pp.161~170 (2015)
- J. Qiu, "Going deeper with embedded FPGA platform for convolutional neural network", FPGA’16, pp.26~35 (2016)
- K. Simonyan, "Very deep convolutional networks for large-scale image recognition", arXiv:1409.1556, ~ (2014)
- Y. H. Chen, "Eyeriss: An energy-efficient reconfigurable accelerator for deep convolutional neural networks", 2016 IEEE Int. Solid-State Circuits Conf.(ISSCC), pp.262~263 (2016)
- K. He, "Deep residual learning for image recognition", arXiv:1512.0338, ~ (2015)
- S. Gupta, "Deep learning with limited numerical precision", arXiv:1502. 02551, ~ (2015)
- D. Lin, "Fixed point quantization of deep convolutional networks", arXiv:1511.06393, ~ (2016)
- M. Courbariaux, "BinaryConnect: Training deep neural networks with binary weights during propagations", Proc. Adv. Neural Inf. Process. Syst, pp.3123~3131 (2015)
- M. Courbariaux, "Binarynet:Training deep neural networks with weights and activations constrained to +1 or -1", CoRR, ~ (2016)
- I. Hubara, "Binarized neural networks", Proc. Adv. Neural Inf. Process. Syst, pp.4107~4115 (2016)
- M. Rastegari, "XNOR-Net:ImageNet classication using binary convolutional neural networks", Proc. the European Conf. Computer Vision(ECCV’16), pp.525~542 (2016)
- R. Zhao, "Accelerating binarized convolutional neural networks with softwareprogrammable FPGAs", FPGA’17, pp.15~24 (2017)
- Y. Umuroglu, "FINN: a framework for fast, scalable binarized neural network inference", FPGA’17, pp.65~74 (2017)
- S. Liang, "FP-BNN: Binarized neural network on FPGA", Neurocomputing, 275, pp.1072~1086 (2018)[DOI]
- R. Andri, "YodaNN: An ultralow power convolutional neural network accelerator based on binary weights", ISVLSI ’16, pp.236~241 (2016)
- "CIFAR-10 and CIFAR-100 datasets"[URL]
- 김종현, "이진 가중치 신경망의 하드웨어 구현을 위한 고정소수점 연산 정확도 분석", 전기전자학회논문지, 22(3), pp.805~809 (2018), 한국전기전자학회[DOI]