대규모 가속기 네트워크 설계를 위한 적응형 탐색 및패킷 단위 근사 모델
Adaptive Exploration and Packet-Grained Approximation Model for Large-Scale Accelerator Network Design
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
최근 연구는 대규모 가속기 네트워크에서 각 연산 단위에 파이프라인된 레이어를 매핑하는 레이어 파이프라이닝 공간적 매핑(LP-SM)을 통해 대규모 언어 모델(LLM)과 같은 대규모 DNN 워크로드를 실행한다. 그러나 설계 공간이 방대해 설계 공간 탐색(DSE)이 어렵고, 사이클-정확 시뮬레이션의 과도한 시간 소요가 병목이 된다. 본 논문은 먼저 설계 공간을 제한해 빠르게 탐색한뒤, 전역 최적해를 회복하기 위해 원래 공간으로 재확장하는 적응형 탐색을 제안한다. 동일한 실행시간 예산 내에서 본 방법은 최대14.6% 더 높은 성능의 설계 옵션을 식별한다. 또한 하드웨어 동작 관찰에 기반해 패킷 단위 근사(PGA)를 구축하여, 해석적 모델대비 4.25배 더 정확한 성능 예측을 제공하면서 사이클-정확 시뮬레이션보다 7배 빠르게 동작한다; DSE 중 PGA를 활용하면 동일시간 예산에서 최대 21.4% 더 우수한 설계를 찾을 수 있다.
Abstract
Recent work executes large DNN workloads, such as large language models (LLMs), by mapping pipelined layersonto each processing element using layer-pipelined spatial mapping (LP-SM) in large-scale accelerator networks. However, design space exploration (DSE) is challenging due to the massive space, and the prohibitive wall-clockruntime of cycle-accurate simulation becomes the bottleneck. We propose an adaptive exploration that firstconstrains the space for rapid search, then re-expands to the original space to recover a global optimum. Withinthe same wall-clock budget, this approach identifies design options with up to 14.6% higher performance. Inaddition, observing hardware behavior, we build a packet-grained approximation (PGA) that yields performancepredictions 4.25× more accurate than an analytical model while running 7× faster than cycle-accurate simulation;using PGA during DSE finds designs up to 21.4% better within the same time budget.