딥러닝 합성곱에서 데이터 재사용에 최적화된GPGPU 설계
Design of an Optimized GPGPU for Data Reuse in DeepLearning Convolution
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문은 합성곱 신경망에 데이터 재사용 방법을 효과적으로 적용하여 연산 횟수와 메모리 접근 횟수를 줄일 수 있는GPGPU구조를 제안한다. 합성곱은 kernel과 입력 데이터를 이용한 2차원 연산으로 kernel이 slide하는 방법으로 연산이 이루어 진다. 이때, 합성곱 연산이 완료될 때 까지 kernel을 캐시메모리로 부터 전달 받는 것이 아니고 내부 레지스터를 이용하는재사용 방법을 제안한다. SIMT방법으로 명령어가 실행되는 GPGPU의 원리 이용하여 데이터 재사용의 효과를 높이기 위해합성곱에 직렬 연산 방식을 적용하였다. 본 논문에서는 레지스터기반 데이터 재사용을 위하여 kernel을 4x4로 고정하고 이를효과적으로 지원하기 위한 warp 크기와 레지스터 뱅크를 갖는 GPGPU를 설계하였다. 설계된 GPGPU의 합성곱 신경망에 대한 성능을 검증하기 위해 FPGA로 구현한 뒤 LeNet을 실행시키고 TensorFlow를 이용한 비교 방법으로 AlexNet에 대한 성능을 측정하였다. 측정결과 AlexNet기준 1회 학습 속도는 0.468초이며 추론 속도는 0.135초이다.
Abstract
This paper proposes a GPGPU structure that can reduce the number of operations and memory access by effectivelyapplying a data reuse method to a convolutional neural network(CNN). Convolution is a two-dimensional operation usingkernel and input data, and the operation is performed by sliding the kernel. In this case, a reuse method using an internalregister is proposed instead of loading kernel from a cache memory until the convolution operation is completed. Theserial operation method was applied to the convolution to increase the effect of data reuse by using the principle ofGPGPU in which instructions are executed by the SIMT method. In this paper, for register-based data reuse, the kernelwas fixed at 4x4 and GPGPU was designed considering the warp size and register bank to effectively support it. Toverify the performance of the designed GPGPU on the CNN, we implemented it as an FPGA and then ran LeNet andmeasured the performance on AlexNet by comparison using TensorFlow. As a result of the measurement, 1-iterationlearning speed based on AlexNet is 0.468sec and the inference speed is 0.135sec.
참고문헌 (8)
- Alex Krizhevsky, "ImageNet Classification with Deep Convolutional Neural Networks", Communications of the ACM, 60(6), pp.84~90 (2017)[DOI]
- 이광엽, "작은 크기의 Warp 스케쥴러 기반 SIMT구조 고성능모바일 GPGPU 설계", 전기전자학회논문지, 25(3), pp.479~484 (2021), 한국전기전자학회
- Ahmad Lashgar, "Investigating Warp Size Impact in GPUs. Computer Sciencear" (2012)
- 조철원, "데이터 재사용 기법을 이용한 저 면적 DNN Core", 전기전자학회논문지, 25(1), pp.229~233 (2021), 한국전기전자학회
- Chen, "Eyeriss: A Spatial Architecture for Energy-Efficient Dataflow for Convolutional Neural Networks", 43rd ACM, 2016, ~
- Firas Al-Ali, "Novel Casestudy and Benchmarking of AlexNet for Edge AI: From CPU and GPU to FPGA", 2020 IEEE Canadian Conference on Electrical and Computer Engineering (CCECE) (2020)
- Sunayana Arya, "A Comparative Study of CNN and AlexNet for Detection of Disease in Potato and Mango leaf", 2019 2nd International Conference on Issues and Challenges in Intelligent Computing Techniques(ICICT), 1, pp.1~6 (2019)