GPU의 효율적인 자원 활용을 위한 동시 멀티태스킹 성능 분석 = Performance Analysis of Concurrent Multitasking for Efficient Resource Utilization of GPUs

다국어 초록 (Multilingual Abstract)

As Graphics Processing Units (GPUs) are widely utilized to accelerate compute-intensive applications, their application has expanded especially in data centers and clouds. However, the existing resource sharing methods within GPU are limited and cannot efficiently handle several requests of concurrent cloud users’ executions on GPU while effectively utilizing the available system resources. In addition, it is challenging to effectively partition resources within GPU without understanding and assimilating application execution patterns. This paper proposes an execution patternbased application classification method and analyzes run-time characteristics: why the performance of an application is saturated at a point regardless of the allocated resources. In addition, we analyze the multitasking performance of the co-allocated applications using smCompactor, a thread block-based scheduling framework. We identify near-best co-allocated application sets, which effectively utilize the available system resources. Based on our results, there was a performance improvement of approximately 28% compared to NVIDIA MPS.

국문 초록 (Abstract)

계산 집약적인 응용을 가속화하기 위해 GPU(Graphics Processing Unit)가 널리 사용됨에 따라 데이터 센터 및 클라우드에서 GPU는 점점 더 많이 활용되고 있다. 여러 응용들의 동시 실행 요청이 있을 때 GPU 자원을 효율적으로 공유하도록 하는 연구는 아직 충분하지 않다. 또한, GPU 내의 자원을 효과적으로 공유하는 것은 응용의 자원 사용 패턴을 인지하지 않고서는 어렵다. 본 논문은 응용의 실행 패턴에 기반한 응용 분류법을 제시하고 자원 할당량 증가에도 성능이 향상되지 않는 이유를 런타임 특성에 따라 설명한다. 또한, 스레드 블록 기반 스케줄링 프레임워크인 smCompactor를 사용하여 분류된 응용을 기반으로 응용 조합의 동시 멀티태스킹 특성을 분석한다. 이를 통해 자원의 효율적인 활용이 가능한 응용의 조합을 파악한다. 응용 실행 특성을 고려하여 GPU상 멀티태스킹 실험을 진행한 결과, 기존 동시 실행 방법인 NVIDIA의 MPS와 비교하여 평균 28% 이상의 성능 향상을 보였다.

참고문헌 (Reference)

1 Qichen Chen, "smCompactor: A Workloadaware Fine-grained Resource Management Framework for GPGPUs" 2021

2 Xu, Qiumin, "Warped-slicer: efficient intra-SM slicing through dynamic resource partitioning for GPU multiprogramming" IEEE 2016

3 Yijie Huangfu, "Warp-Based Load/Store Reordering to Improve GPU Time Predictability" 11 (11): 58-68, 2017

4 Wang, Zhenning, "Simultaneous multikernel GPU: Multi-tasking throughput processors via fine-grained sharing" IEEE 2016

5 Che, Shuai, "Rodinia: A benchmark suite for heterogeneous computing" IEEE 2009

6 Stratton, John A., "Parboil: A revised benchmark suite for scientific and commercial throughput computing" Center for Reliable and High-Performance Computing 2012

7 "NVIDIA profiler"

8 "NVIDIA Multi Process Service (MPS)"

9 "NVIDIA Hyper-Q technology"

10 "NVIDIA CUDA Sample"

11 Ukidave, Yash, "Mystic: Predictive scheduling for gpu based cloud servers using machine learning" IEEE 2016

12 Zhao, Xia, "HSM: A Hybrid Slowdown Model for Multitasking GPUs" 2020

13 김광복, "GPU 성능 향상을 위한 지연시간 숨김 기반 워프 스케줄링" 한국컴퓨터정보학회 24 (24): 1-9, 2019

14 Bao, Yixin, "Deep Learning-based Job Placement in Distributed Machine Learning Clusters" IEEE 2019