Hadoop 기반 분산 컴퓨팅 환경에서 네트워크 I/O의 성능개선을 위한 TIPC의 적용과 분석 = Applying TIPC Protocol for Increasing Network Performance in Hadoop-based Distributed Computing Environment

다국어 초록 (Multilingual Abstract)

Recently with increase of data in the Internet, platform technologies that can process huge data effectively such as Google platform and Hadoop are regarded as worthy of notice. In this kind of platform, there exist network I/O overheads to send task outputs due to the MapReduce operation which is a programming model to support parallel computation in the large cluster system. In this paper, we suggest applying of TIPC (Transparent Inter-Process Communication) protocol for reducing network I/O overheads and increasing network performance in the distributed computing environments. TIPC has a lightweight protocol stack and it spends relatively less CPU time than TCP because of its simple connection establishment and logical addressing. In this paper, we analyze main features of the Hadoop-based distributed computing system, and we build an experimental model which can be used for experiments to compare the performance of various protocols. In the experimental result, TIPC has a higher bandwidth and lower CPU overheads than other protocols.

국문 초록 (Abstract)

최근 인터넷 서비스 기반의 데이터는 대용량화되고 있으며 대용량 데이터를 효과적으로 처리할 수 있는 구글 플랫폼, Apache Hadoop과 같은 플랫폼 기술이 각광받고 있다. 이러한 플랫폼에서는 분산 프로그래밍을 위한 기법으로 MapReduce가 수행되며, 이 과정에서 각 태스크의 결과를 전달하기 위한 네트워크 I/O의 부하 문제가 발생한다. 본 논문에서는 구글 플랫폼, Hadoop과 같은 대규모 PC 클러스터 상의 분산 컴퓨팅 환경에서 네트워킹 부하를 경감하고 성능을 향상시키는 방안으로 TIPC(Transparent Inter-Process Communication)의 적용을 제안한다. TIPC는 경량화된 연결설정 및 스택 크기, 계층적 주소체계로 인해 TCP보다 가볍고 CPU 부하가 적은 장점을 가지고 있다. 본 논문에서는 Hadoop 기반 분산컴퓨팅 환경의 특징을 분석하여 그와 유사한 실험환경을 모델화하고 다양한 프로토콜의 비교실험을 수행하였다. 실험결과 평균 전송률에서 CUBIC-TCP, SCTP와 비교해 TIPC의 성능이 가장 우수하였으며, TIPC는 CPU 점유율 측면에서 TCP와 비교해 최대 15%의 낮은 CPU 점유율을 보였다.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 관련연구
• 3. 분산 컴퓨팅 환경의 특징
• 4. 분산 컴퓨팅 환경의 모델화를 위한 고려사항
• 5. 실험 및 결과
• 6. 결론
• 참고문헌

참고문헌 (Reference)

1 박재성, "리눅스 환경에서 SCTP와 TCP 프로토콜의 성능 비교" 한국통신학회 33 (33): 699-706, 2008

2 Van Jacobson, "The protocol packet capture and dumper program"

3 S. Ghemawat, "The Google file system" 2003

4 J. P. Maloy, "TIPC: Providing Communication for Linux Clusters" 2 : 347-356, 2004

5 송정화, "SCTP의 멀티 호밍 특성에 대한 성능 평가" 한국정보처리학회 11 (11): 245-252, 2004

6 R. Stewart, "SCTP: New transport protocol for TCP/IP" 5 (5): 64-69, 2001

7 "RFC 2616, part of Hypertext Transfer Protocol- HTTP/1.1"

8 J. Dean, "Mapreduce: Simplified data processing on large clusters" 137-150, 2004

9 Jeffrey Dean, "MapReduce: Simplified Data Processing on Large Clusters" 51 (51): 107-113, 2008

10 S. Ha, "Impact of background traffic on performance of high-speed tcp variant protocols" 51 (51): 1748-1762, 2007

11 "Hadoop Wordcount Example"

12 "Hadoop MapReduce Tutorial"

13 "Hadoop Cluster Setup Document"

14 Stylianos Bounanos, "Gb Ethernet Protocols for Clusters: An OpenMPI, TIPC, GAMMA Case Study" 397-404, 2007

15 F. Chang, "BigTable: A distributed storage system for structured data" 725-726, 2006