Edge TPU에서의 실시간성 보장을 위한 실시간 DNN 프레임워크
Real-time DNN Framework for Real-time Guarantee on Edge TPU
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
최근 심층신경망 (DNN, deep neural network) 알고리즘이 많은 안전필수 실시간 시스템에 적용되기 시작하면서 DNN 추론 태스크의 실행이 주어진 마감 시간 안에 완료되어야 하는 타이밍 요구사항이 중요해졌다. 이를 위해 대부분의 선행 연구들은 DNN의 실시간성을 보장하기 위해 엣지 컴퓨팅 환경에서 GPU나 CPU와 같은 컴퓨팅 자원을 활용하는 것에 초점을 맞춘다. 이에 반면, Edge TPU는 엣지 컴퓨팅을 위한 차세대 인공지능 프로세서로 평가받고 있음에도 불구하고, Edge TPU를 위한 실시간성 보장 연구는 전무한 실정이다. 따라서 본 논문에서는 Edge TPU 환경에서 여러 DNN 추론 태스크들의 타이밍 요구사항을 만족시키는 새로운 실시간 DNN 프레임워크를 제안한다. 이 프레임워크에서는 1) 태스크 마감 시간을 고려하여 SRAM 캐시메모리를 할당하는 기법과 2) 우선순위 역전 현상을 줄이기 위한 모델 분할 기반의 스케줄링 기법을 제공한다. 본 연구에서는 Edge TPU가 장착된 Coral 개발 보드와 이미지 분류 모델들을 이용하여 해당 프레임워크의 성능을 검증하였다. 그 결과 기존 Edge TPU 기반 시스템보다 37%만큼 더 높은 스케줄링 가능성 (scheduablity)를 제공할 수 있음을 보였다.
Abstract
As deep neural networks (DNNs) have been recently deployed in many safety-critical real-time embedded systems, it has become essential to meet timing requirements that DNN inference tasks must complete their execution within given deadlines. To this end, most previous studies focus on utilizing GPU or CPU in edge computing environments to support real-time DNN tasks. Meanwhile, although Edge TPU is regarded as a next-generation AI processor for edge computing, there is a lack of studies on real-time guarantee for Edge TPU. Thus, this paper presents a novel real-time DNN framework that can satisfy the timing requirements of multiple DNN inference tasks in edge TPU environments. This framework provides 1) a cache memory allocation technique that considers the deadline of each task and 2) a scheduling technique based on model segmentation to reduce priority inversion phenomena. We evaluated the performance of our framework by using Google Coral dev board, an embedded board equipped with Edge TPU, and several image classification models. The experiment result shows that our framework can provide higher schedulability by 37% than the existing Edge TPU system.
참고문헌 (20)
- 히크마트 야르, "Fire Detection via Effective Vision Transformers", 한국차세대컴퓨팅학회 논문지, 17(5), pp.21~30 (2021), 한국차세대컴퓨팅학회[DOI]
- 박재현, "CNN 기반 딥러닝을 이용한 베어링 고장 진단의 정확도 및 계산 복잡도 분석", 한국차세대컴퓨팅학회 논문지, 18(1), pp.7~18 (2022), 한국차세대컴퓨팅학회[DOI]
- 이수형, "기계장비 진동 데이터를 이용한 딥러닝 기반의 고장 분류 모델", 한국차세대컴퓨팅학회 논문지, 18(2), pp.36~46 (2022), 한국차세대컴퓨팅학회[DOI]
- H. Zhou, "S^ 3dnn:Supervised streaming and scheduling for gpu-accelerated real-time dnn workloads", 2018IEEE Real-Time and Embedded Technology and Applications Symposium (RTAS), pp.190~201 (2018)
- Y. Xiang, "Pipelined data-parallel CPU", GPU scheduling for multi-DNN real-time inference, 2019 (2019), 392~405
- W. Kang, "Lalarand: Flexible layer-by-layer cpu", gpu scheduling for real-time dnn tasks, 2021 (2021), 329~341
- W. Kang, "DNN-SAM: Split-and-Merge DNN Execution for Real-Time Object Detection", 2022 IEEE 28th Real-Time and Embedded Technology and Applications Symposium (RTAS), pp.160~172 (2022)
- "Jetson Developer Kits"[URL]
- "Edge TPU"[URL]
- "TensorFlow Lite"[URL]
- M. Sandler, "Mobilenetv2: Inverted residuals and linear bottlenecks", Proceedings of the IEEE conference on computer vision and pattern recognition, pp.4510~4520 (2018)
- M. Tan, "Efficientnet : Rethinking model scaling for convolutional neural networks", International conference on machine learning. PMLR 97, pp.6105~6114 (2019)
- A. A. A. Jainuddin, "Performance Analysis of Deep Neural Networks for Object Classification with Edge TPU", 2020 8th International Conference on Information Technology and Multimedia (ICIMU), pp.323~328 (2020)
- 한창헌, "Edge TPU 에서의 실시간 DNN 작업을 위한 데드라인 인지 SRAM 할당 기법", 한국차세대컴퓨팅학회 춘계학술대회, pp.469~472 (2022)
- N. Audsley, "Applying new scheduling theory to static priority pre-emptive scheduling", Software Engineering, 284(292), pp.284~292 (1993)
- [URL]
- E. Bini, "Measuring the performance of schedulability tests", Real-Time Systems, 30(1-2), pp.129~154 (2005)