데이터 분배 및 태스크 진행 스케쥴링을 통한 맵/리듀스 모델의 성능 향상

국문 초록 (Abstract)

Map/Reduce 는 최근에 많은 주목을 받고 있는 클라우드 컴퓨팅을 구현하는 프로그래밍 모델이다. 이 모델은 여러 대의 컴퓨터를 이용해서 규모가 큰 데이터를 처리하는 어플리케이션에서 사용된다. 따라서 구성된 컴퓨터들을 효율적으로 사용하기 위해서 데이터를 적당한 크기로 나눈 다음 각각의 컴퓨터에 효율적으로 분배시키는 과정을 결정하는 것이 중요하다. 또한 모델을 구성하고 있는 Map 단계와 Reduce 단계를 실행하는 계획도 성능에 많은 영향을 줄 수 있다. 본 논문에서는 대용량의 데이터를 분리해서 Map 태스크를 실행하는 클라우드 컴퓨팅 노드의 성능과 네트워크의 상태를 고려한 후 각각의 컴퓨팅 노드에게 효율적으로 분배하는 방법을 제안한다. 그리고 Map 단계와 Reduce 단계에서 진행하는 방식을 튜닝하여 Reduce 작업의 처리속도를 향상시켰다. 제안된 방법은 대표적인 두 개의 Map/Reduce 어플리케이션을 이용하여 실험하고 조건에 따라 성능에 어떠한 결과를 미치는지 평가했다.

다국어 초록 (Multilingual Abstract)

Map/Reduce is the programing model which can implement the Cloud Computing recently has been noticed. The model operates an application program processing amount of data using a lot of computers. It is important to plan the mechanism of separating the data in proper size and distributing that to a cluster consisted of computing node in efficient for using the computing nodes very well. Besides that, planning a process of Map phases and Reduce phases also influences the performance of Map/Reduce. This paper suggests the effectively distributing scheme that separates a huge data and operates Map task in the considering the performance of computing node and network status. And we make the Reduce task can be processed quickly through the tuning the mechanism of Map and Reduce task operation. Using the two Map/Reduce sample application, we experimented the suggestion and we evaluate suggestion considered it in how impact the Map/Reduce performance.

목차 (Table of Contents)

• 요약
• Abstract
• Ⅰ. 서론
• Ⅱ. 관련 연구
• Ⅲ. Map/Reduce와 Hadoop
• Ⅳ. 데이터 분배 및 진행 디자인
• Ⅴ. 구현
• Ⅵ. 실험 및 평가
• Ⅶ. 결론 및 향후연구
• 참고문헌
• 저자소개

참고문헌 (Reference)

1 "http://lucene.apache.org/hadoop"

2 "http://hadoop.apache.org/common/docs/r0.20.2/ mapred_tutorial.html"

3 J. Shafer, "The Hadoop Distributed Filesystem:Balancing Portability and Performance" 122-133, 2010

4 J. Polo, "Performance-Driven Task Co-Scheduling for MapReduce Environments" 373-380, 2010

5 J. Dean, "MapReduce:Simplified Data Processing on Large Clusters" 107-113, 2004

6 S. H. Kang, "Large Scale Complex Network Analysis using the Hybrid Combination of a MapReduce cluster and a Highly Multithreaded System" 1-8, 2010

7 Z. Vrba, "Kahn Process Networks are a Flexible Alternative to MapReduce" 154-162, 2009

8 J. Xie, "Improving MapReduce Performance through Data Placement in Heterogeneous Hadoop Clusters" 1-9, 2010

9 T. White, "Hadoop: The Definitive Guide" O’Reilly 2009

10 K. Morton, "Estimating the Progress of MapReduce Pipelines" 681-684, 2010

11 C. Tian, "A Dynamic Scheduler for Heterogeneous Workloads" 218-224, 2009