RPC 기반 GPU 가상화 환경에서 가상머신의 GPGPU 작업 성능 향상을 위한 GPU 메모리 관리 기법
GPU Memory Management Technique to Improve the Performance of GPGPU Task of Virtual Machines in RPC-Based GPU Virtualization Environments
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
RPC(Remote Procedure Call) 기반 GPU(Graphics Processing Unit) 가상화 기술은 다수의 사용자 가상머신에게 GPU를 공유하기 위한 기술중 하나이다. 하지만 클라우드 환경에서 일반적인 GPU는 CPU나 메모리와는 다르게 가상머신의 자원 사용량을 제한할 수 있는 자원 격리(Isolation)기술을 제공하지 않는다. 특히 RPC 기반 가상화 환경에서는 각 가상머신에서 실행되는 GPU 작업은 멀티 프로세스 형태로 수행되기 때문에 자원격리 기술의 부재는 자원 경쟁으로 인한 성능 저하 문제를 발생시킨다. 그리고 GPU 메모리 경쟁은 가상머신들의 자원 요구량이 많을수록 성능저하를 가속화하고 가상머신 사이의 균등한 성능을 보장하지 못하기 때문에 공평성이 저하되는 문제를 발생시킨다. 본 논문에서는 RPC 기반 GPU가상화 환경에서 사용자 가상머신들의 GPU 메모리 요구량이 가용 GPU 메모리 용량을 초과했을 때 발생하는 자원 경쟁으로 인한 성능 저하 문제분석하고 이를 해결하기 위한 GPU 메모리 관리 기법을 제안한다. 또한, 실험을 통해 본 논문에서 제안한 GPU 메모리 관리 기법이 GPGPU 작업의성능을 향상시킬 수 있다는 것을 보여준다.
Abstract
RPC (Remote Procedure Call)-based Graphics Processing Unit (GPU) virtualization technology is one of the technologies for sharingGPUs with multiple user virtual machines. However, in a cloud environment, unlike CPU or memory, general GPUs do not provide aresource isolation technology that can limit the resource usage of virtual machines. In particular, in an RPC-based virtualizationenvironment, since GPU tasks executed in each virtual machine are performed in the form of multi-process, the lack of resource isolationtechnology causes performance degradation due to resource competition. In addition, the GPU memory competition accelerates theperformance degradation as the resource demand of the virtual machines increases, and the fairness decreases because it cannot guaranteeequal performance between virtual machines. This paper, in the RPC-based GPU virtualization environment, analyzes the performancedegradation problem caused by resource contention when the GPU memory requirement of virtual machines exceeds the available GPUmemory capacity and proposes a GPU memory management technique to solve this problem. Also, experiments show that the GPU memorymanagement technique proposed in this paper can improve the performance of GPGPU tasks.
참고문헌 (19)
- "Amazon, Amazon EC2 Instance Types"[URL]
- "Alibaba Cloud, Elastic GPU Service"[URL]
- "NVIDIA GRID"[URL]
- "AMD Radeon Pro"[URL]
- "OpenCL: Open Computing Language"[URL]
- "CUDA: Compute Unified Device Architecture"[URL]
- "NVIDIA V100"[URL]
- P. Barham, "Xen and the art of virtualization", Proceedings of the Nineteenth ACM Symposium on Operating Systems Principles, SOSP ’03, pp.164~177 (2003), ACM
- D. Abramson, "Intel virtualization technology for directed I", O, 2006, ~
- L. Shi, "vCUDA : GPU-accelerated high-performance computing in virtual machines", IEEE Transactions on Computers, 61(6), pp.804~816 (2012)
- J. Duato, "rCUDA : Reducing the number of GPU-based accelerators in high performance clusters", High Performance Computing and Simulation, pp.224~223 (2010)
- J. Kehne, "GPUswap : Enabling oversubscription of GPU memory through transparent swapping", ACM SIGPLAN Notices, 50(7), pp.65~77 (2015)
- I. Gelado, "Garland M. Throughput-oriented GPU memory allocation", Proceedings of the 24th Symposium on Principles and Practice of Parallel Programming, pp.27~37 (2019)
- P. Li, "LD : Low-overhead GPU race detection without access monitoring", ACM Transactions on Architecture and Code Optimization(TACO), 14(9), pp.1~25 (2017)
- S. Rai, "Using criticality of GPU accesses in memory management for CPU-GPU heterogeneous multi-core processors", ACM Transactions on Embedded Computing Systems (TECS), 16(5s), pp.1~23 (2017)
- R. Ausavarungnirun, "Mask : Redesigning the gpu memory hierarchy to support multi-application concurrency", ACM SIGPLAN Notices, 53(2), pp.503~518 (2018)
- R. Ausavarungnirun, "Mosaic : a GPU memory manager with application-transparent support for multiple page sizes", Proceedings of the 50th Annual IEEE, 2017, 136~150
- Y. Dong, "Boosting GPU Virtualization Performance with Hybrid Shadow Page Tables", USENIX Annual Technical Conference, pp.517~528 (2015)
- M. Xue, "gScale : Scaling up GPU Virtualization with Dynamic Sharing of Graphics Memory Space", USENIX Annual Technical Conference, pp.579~590 (2016)