Zero-skipping을 적용한 MNIST 분류 CNN 구현
Implementation of MNIST classification CNN with zero-skipping
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문에서는 zero-skipping을 적용한 MNIST 분류 CNN을 구현했다. CNN의 activation에서 0이 30∼40% 나오고, 0은 MAC연산에 영향을 끼치지 않기 때문에 0을 branch를 통해 skip하게 되면 성능 향상을 시킬 수 있다. 그러나 컨볼루션 레이어에서는branch를 통해 skip하게 되면 성능 하락이 발생한다. 그에 따라 컨볼루션 레이어에서는 연산의 영향을 미치지 않는 NOP을 주어연산을 skip하고 풀리 커넥티드 레이어에서는 branch를 통해 skip했다. 기존의 CNN보다 약 1.5배의 성능 향상을 확인했다
Abstract
In this paper, MNIST classification CNN with zero skipping is implemented. Activation of CNN results in 30% to 40%zero. Since 0 does not affect the MAC operation, skipping 0 through a branch can improve performance. However, at theconvolution layer, skipping over a branch causes a performance degradation. Accordingly, in the convolution layer, anoperation is skipped by giving a NOP that does not affect the operation. Fully connected layer is skipped through thebranch. We have seen performance improvements of about 1.5 times that of existing CNN.
참고문헌 (4)
- Kwanho Lee, "A Design of a SIMT architecutre based GP-GPU for parallel acceleration of algorithms", Master, pp.2017
- SeongHyun Han, "GPGPU performance enhancement through master scheduler design with priority", 2018 IKEEE Summer Conference (2018)
- Albericio, "Cnvlutin: Ineffectualneuron-free deep neural network computing", ACM SIGARCH Computer Architecture News, 44(3) (2016), IEEE Press
- Sang-il Lee, "Implementation of Numerical CNN using GPGPU", 2017 IKEEE Summer Conference (2017)