NLP 워크로드를 위한 CXL 확장 메모리 내 Prefetcher 설계 = Prefetcher Design Targetting NLP Workloads in CXL Memory

국문 초록 (Abstract)

본 논문은 Natural Language Processing (NLP) 워크로드에 최 적화된 prefetch algorithm을 탑재하고, NLP 워크로드와 general 워크로드가 동시 구동되는 상황에서도 성능 저하를 최소화하는 NLP-aware prefetcher에 대한 내용을 담고 있다. CXL memory는 다른 memory expansion 방식에 비해 대역폭이 넓고 latency가 작지만, 그럼에도 local DIMM에 비해 높은 latency 때문에 시스템에 slowdown을 야기한다. 따라서 memory-side prefetcher를 도입함으로써 miss request가 CXL memory에서 소요하는 latency를 숨기고 NLP 워크로드에 최적화 된 성능을 발휘할 수 있다. 또한 thread 별로 여러 metric을 측정, 이를 기준으로 prefetch enable flag와 prefetch degree를 결정하는 thread filtering 기법을 통해 prefetch buffer pollution에 의한 성능 하락을 방지할 수 있다. 마지막으로 외부 메모리로부터 host cache 로 직접 access하는 기술인 direct access cache (DCA) 중 Direct Data I/O (DDIO)를 사용하여 추가적인 IPC 향상을 가능케 했다. 여러 시나리오에서의 성능 분석을 진행한 결과, NLP-aware prefetcher는 NLP 워크로드에 대해 약 11%의 성능 향상이 있었으 며, latency의 경우 50%가 감소하였다. 또한 여러 page를 접근하 는 워크로드에 대해 thread filtering 기능이 효과가 있음을 밝혔고, DDIO를 통해서 1%의 추가적인 IPC 향상이 있었음을 알아냈다. 주요어 : Memory expansion, Prefetcher, CXL, Natrual Language Processing 학 번 : 2022-27177

다국어 초록 (Multilingual Abstract)

This paper presents an NLP-aware prefetcher optimized for Natural Language Processing (NLP) workloads, which minimizes performance degradation even when NLP workloads and general workloads are running concurrently.
CXL memory, while offering greater bandwidth and lower latency compared to other memory expansion methods, still causes system slowdown due to its higher latency compared to local DIMMs. To address this, a memory-side prefetcher is introduced to hide the latency of miss requests in CXL memory, thereby achieving optimized performance for NLP workloads. Additionally, a thread filtering technique is employed, which measures various metrics per thread to determine the prefetch enable flag and prefetch degree, thereby preventing performance degradation due to prefetch buffer pollution. Finally, the use of Direct Data I/O (DDIO), a technology that allows direct access from external memory to the host cache, enables additional IPC improvements.
Performance analysis across various scenarios shows that the NLP-aware prefetcher achieves approximately 11% performance improvement for NLP workloads, and latency is reduced by 50%. Furthermore, the thread filtering feature proves effective for workloads accessing multiple pages, and DDIO contributes an additional 1% IPC improvement.

keywords : Memory expansion, Prefetcher, CXL, Natrual Language Processing
Student Number : 2022-27177

목차 (Table of Contents)

• 제 1 장 서 론 1
• 제 1 절 연구의 배경 1
• 제 2 절 연구의 내용 3
• 제 3 절 논문의 구성 4
• 제 2 장 관련 연구 5
• 제 1 절 Prefetching algorithm 관련 연구 5
• 1. Various length delta prefetcher 5
• 2. Feedback directed prefetcher 7
• 3. Signature path prefetcher 9
• 제 2 절 Memory-side prefetching 관련 연구 11
• 제 3 절 Data Direct I/O 13
• 제 3 장 구현 방식 14
• 제 1 절 NLP 워크로드의 특성 14
• 제 2 절 General 워크로드의 특성 16
• 제 3 절 제안 방법 18
• 제 4 절 NLP-aware Prefetcher의 구조 19
• 제 4 장 실험 결과 및 분석 25
• 제 1 절 실험 환경 및 구성 25
• 제 2 절 실험 결과 28
• 제 5 장 결론 34
• 참고문헌 35
• Abstract 41