하드웨어 지원 NPU 가상화 스케줄링 기법을 통한딥러닝 애플리케이션 가속화
Acceleration of Deep Learning Applications through Hardware-Assisted NPU Virtualization Scheduling
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문은 다중 딥러닝 애플리케이션 동시 실행 시 효율적인 자원 공유를 위한 NPU 가상화 기반 스케줄링 기법을 제안한다. 기존시분할 스케줄링은 레이어별 자원 요구량의 불균형으로 인해 상당한 유휴 코어와 메모리 지연이 발생하며, 예측 기반 스케줄링 또한정적 분석에 의존하기 때문에 실제 온디바이스 환경에서 나타나는 실시간 자원 변동을 정확하게 반영하지 못한다. 제안 기법은 기존방식의 한계를 해결하기 위해, 각 레이어 실행 후 실제 활용률을 측정하고 최근 자원 사용 패턴에 따라 자원을 동적으로 할당해 효율을극대화한다. 실험 결과, 기존 방식 대비 전체 실행 시간이 28.84% 단축되었다.
Abstract
This paper proposes an NPU virtualization-based scheduling method designed to efficiently share resources whenmultiple deep learning applications are executed concurrently. Conventional time-sharing scheduling suffers fromsignificant idle cores and memory delays due to the imbalance in per-layer resource demands, while prediction-basedscheduling relies on static analysis and thus fails to accurately reflect real-time resource fluctuations that commonlyoccur in on-device environments. To address these limitations, the proposed method measures actual resource utilizationafter each layer execution and dynamically reallocates resources based on recent usage patterns, thereby maximizingefficiency. Experimental results show that the proposed approach reduces the total execution time by 28.84%compared to existing methods.