분할 기반 Winograd Convolution 성능 향상을 위한 Channel-Wise 스레드 인덱싱
Channel-Wise Thread Indexing for Performance Improvement of Decomposable Winograd Convolution
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
최근 합성곱 신경망에서 넓은 Receptive Field를 요구하면서 합성곱 신경망의 가속 알고리즘과GPU 커널 구성은 인공지능 모델의 추론 성능에 중요한 영향을 미친다. 분할 기반 위노그라드 합성곱 알고리즘에서 기존 스레드 인덱싱 방법은 워프 내 스레드가 처리해야 하는 필터 크기가 달라 스레드가 직렬화되는 스레드 다이버전스 현상이 발생한다. 본 논문에서는 Channel-wise thread indexing 기법을 제안해 스레드 다이버전스를 제거하고, 합성곱 알고리즘의 성능의 향상시키고자한다. 이는 합성곱 필터의 각 채널을 같은 워프에 우선적으로 매핑해 워프 내 스레드가 처리해야하는 필터 크기를 균일하게 맞춰 스레드 다이버전스를 제거한다. 기존 기법과 비교한 결과, 다양한 필터 크기, 입출력 채널 개수의 합성곱 구성에서 발생가능한 모든 스레드 다이버전스를 제거했고, 최신 합성곱 신경망 모델에서 실행 시간을 15%까지 단축했다. 본 연구 결과는 SIMT 구조에서 합성곱 신경망의 연산 효율성을 향상시키는 데 기여했다.
Abstract
Convolutional neural networks (CNNs) often require large receptive fields, making acceleration algorithms and GPU kernel configurations key factors in optimizing inference performance. In decomposable Winograd convolution algorithms, previous thread indexing methods lead to thread divergence, where threads within a warp are serialized due to differences in filter sizes. In this paper, we introduce a channel-wise thread indexing that eliminates thread divergence by mapping each convolutional filter channel to the same warp. This approach ensures uniform filter sizes across threads within a warp, significantly enhancing performance. Experiments show that the proposed method removes all potential thread divergence across diverse convolution configurations, including various filter sizes and input/output channel counts, reducing execution time up to 15% on state-of-the-art CNN models. These results demonstrate the potential for improving CNN computational efficiency on SIMT architectures.