GPU 성능 향상을 위한 메모리 요청 재배치 기법

국문 초록 (Abstract)

대규모 병렬 처리 구조인 그래픽 처리 장치는 스레드 수준의 병렬성을 활용할 수 있다. 최신 GPU는 CUDA, OpenCL 등을 활용하여 그래픽처리뿐만 아니라 범용 애플리케이션까지 처리가 가능하다. GPU에서 사용되는 캐쉬는 불규칙한 메모리 접근 패턴을 가진 응용프로그램을 처리하는데 있어서 효율성을 제공하지만, 다수의 스레드들을수행하는 경우에는 캐쉬 크기, 캐쉬 경합으로 인해 성능 문제가 발생할 가능성이 높다. 본 논문에서는 GPU에서 작은 크기의 큐를 사용하여 L1 데이터 캐쉬 메모리 요청을 재배치하는 기법을 제안한다. 제안된 기법은 기존의 GPU 에서 사용되는 캐쉬 관리 기법보다 훨씬 높은 효율성을 보여준다. 실험결과, 제안된 기법은 GPU 캐쉬 성능을 향상시켜 IPC를 평균 4.3% 향상시킴을 알 수 있다.

다국어 초록 (Multilingual Abstract)

Graphics Processing Units (GPUs) with massive parallel processing architecture are able to leverage thread-level parallelism. Especially, with programming models like CUDA, OpenCL, such architectures become one of the most attractive platforms for handling not only graphics but also general-purpose applications (GPGPUs). In modern GPUs, caches have been introduced to deal with applications with irregular memory access patterns. However, GPU caches exhibit poor efficiency due to constraints in terms of size as well as many performance challenges such as cache contention, resulting from launching a large number of active threads in GPUs. In this paper, we propose a technique that can order memory requests to the L1 data cache in a friendly way than the baseline cache management by using a small number of simple queues. Experimental results show that our technique can improve GPU cache performance over the baseline architecture, thus improving IPC by 4.3% on average.

목차 (Table of Contents)

• 요약
• Abstract
• 1. Introduction
• 2. Related Work
• 3. GPU Architecture
• 4. Proposed Technique
• 5. Experiments
• 5.1 Experimental Methodology
• 5.2 Results
• 6. Conclusion
• 참고문헌