CPU-GPU 이기종 플랫폼에서 하둡 맵리듀스의 가속 = Accelerating Hadoop MapReduce on CPU-GPU Heterogeneous Platforms: A Case Study with CKY Parser

국문 초록 (Abstract)

빅데이터 시대가 도래함에 따라 하둡 맵리듀스와 같은 응용이 널리 사용되고 있다. 한편, 최근 GPGPU가 보편화되면서, 다양한 분야의 응용들이 GPU를 이용하여 가속되고 있다. 본 논문은 하둡 맵리 듀스에서 GPU를 사용하는 방법을 제안하고, CPU와 GPU가 모두 포함되는 이기종 서버로 구성된 분산환경에서 최적의 데이터 처리 속도를 얻기 위해, CPU와 GPU에 각각 할당되는 맵 태스크들에 대한 정적분할 및 동적 스케줄링에 대한 기법을 제안하였다. 노드마다 12개의 CPU 코어와 1개의 GPU가 장착된 14-노드 클러스터 환경에서 하둡 맵리듀스로 CKY 파서 응용을 수행하여, CPU 코어 1개만 사용한 단일 서버에서의 수행시간 대비 245배 가속을 하였고, 노드별로 GPU를 사용하지 않고 CPU 코어 12개만 활용하는 동일 하둡 클러스터에서의 수행시간 대비 2.5배 가속을 하였다. 또한 제안하는 기법으로 CPU 코어 12개와 GPU를 모두 사용하는 하둡 클러스터 수행시간 대비 총 2.8배 가속이 되었다.

다국어 초록 (Multilingual Abstract)

These days, big data computing is prevalent and Hadoop MapReduce framework is widely used for its simple programming model. On the other hand, General-Purpose Graphics Processing Unit (GPGPU) has become very popular and various domains of applications have been successfully accelerated using GPUs. In this paper, we propose a method to use GPU within Hadoop MapReduce framework. Then, we propose a static partitioning method that considers different capability of CPU mappers and GPU mappers, and a dynamic scheduling method that deals with a dynamic input size. Compared to a single CPU execution time, the CKY parser on a 14-node Hadoop cluster with 12 CPU cores and 1 GPU per node achieves 245 times speedup. Compared to the execution time on a 14-node Hadoop cluster with 12 CPU cores and no GPU per node, it also achieves 2.5 times speedup. Our proposed approach for both CPU and GPU mapper execution leads to an additional speedup, resulting in total of 2.8 times speedup.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 관련 연구
• 3. 배경
• 4. 제안 기법
• 5. 실험
• 6. 결론
• References

참고문헌 (Reference)

1 Feng Ji, "Using Shared Memory to Accelerate MapReduce on Graphics Processing Units" 2011

2 Linchuan Chen, "Optimizing MapReduce for GPUs with effective shared memory usage" 2012

3 Jeff A. Stuart, "Multi-GPU Map-Reduce on GPU Clusters" 2011

4 Bingsheng He, "Mars: a MapReduce framework on graphics processors" 2008

5 Chuntao Hong, "MapCG: Writing Parallel Program Portable Between CPU and GPU" ACM 217-226, 2010

6 R. Farivar, "MITHRA: Multiple Data Independent Tasks on a Heterogeneous Resource Architecture" 1-10, 2009

7 M. Grossman, "HadoopCL:MapReduce on Distributed Heterogeneous Platrforms Through Seamliess Integration of Hadoop and OpenCL" 2013

8 Youngmin Yi, "Efficient parallel CKY parsing using GPUs" 2013

9 M. Mustafa Rafique, "Designing Accelerator-Based Distributed Systems for High Performance" 165-174, 2010

10 M. Marcus, "Building a large annotated corpus of English: the Penn Treebank" 1993

11 Linchuan Chen, "Accelerating MapReduce on a coupled CPU-GPU architecture" 2012

12 M. Mustafa Rafique, "A capabilities-aware framework for using computational accelerators in data-intensive computing" 71 : 185-197, 2011