비전 응용을 위한 깊이 조절이 가능한 딥러닝 신경망
Design of Depth Adjustable Neural Networks for Vision Tasks
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문은 단일 모델을 학습하여, 다양한 추론 정확도–효율성 트레이드오프를 갖는 내장된 서브 네트워크들을 추론 시점에 즉시 선택할 수있도록 하는, 깊이 조절이 가능한 딥러닝 모델의 구조와 학습 방법을 제안한다. 제안하는 깊이 조절 네트워크는 각 리시쥬얼 스테이지를 두 개의부분으로 나누고, 하나는 계층적 특성을 학습하고 다른 하나는 학습된 특징을 미세 조정하도록 유도하는 자체증류 기법을 사용한다. 이와 같은학습 전략은 단일 네트워크 학습 대비 최대 두 배의 학습 시간으로, 여러 깊이를 갖는 내장된 네트워크들을 동시에 학습시키는 장점을 갖는다. 제안된 모델은 이미지 분류 및 객체 탐지 작업에 적용되어, 최대 정확도의 손실 없이 추론 정확도와 효율성을 추론 시점에서 유연하게 조절할수 있음을 실험을 통해 보인다.
Abstract
In this paper, we propose the architecture and training method of a depth adjustable deep neural network that enables on-the-flyselection of different inference accuracy-efficiency trade-offs using a single trained model. The proposed depth adjustable network splitseach residual stage into two parts: one part learns hierarchical representations, while the other refines the learned features using aself-distillation technique. This training strategy allows the model to jointly learn multiple embedded subnetworks of varying depths withat most twice the training time of a single network. The proposed depth adjustable model is applied to image classification and objectdetection tasks, demonstrating the ability to adjust the trade-off between accuracy and efficiency without sacrificing maximum accuracy