빅데이터 환경에서 스트림 질의 처리를 위한 인메모리 기반 점진적 처리 기법

국문 초록 (Abstract)

최근 대용량의 스트림 데이터를 분산 처리하기 위한 연구들이 진행되고 있다. 본 논문에서는 빅데이터 환경에서 실시간 스트림 데이터의 점진적 처리 기법을 제안한다. 제안하는 기법은 처음 스트림 데이터가 입력되면 임시 큐에 데이터를 저장하고 마스터 노드에 저장되어 데이터와 비교과정을 통해 마스터 노드에 동일한 데이터가 있는 경우 마스터 노드에서 가지고 있는 노드의 정보를 이용하여 해당 노드의 메모리에서 기존 처리 결과를 재사용한다. 기존 처리 결과가 없다면 처리하고 처리 결과를 메모리에 저장한다. 분산환경에서 점진적인 스트리밍 데이터 처리를 위해 노드의 작업 지연을 계산하여 노드의 부하를 파악하고 처리 시간 계산을 통해 각 노드의 성능을 고려한 잡 스케쥴링 기법을 제안한다. 제안하는 기법의 우수성을 보이기 위해 기존 기법과의 질의 수행 시간 비교를 위한 성능평가를 수행한다.

다국어 초록 (Multilingual Abstract)

Recently, massive amounts of stream data have been studied for distributed processing. In this paper, we propose an incremental stream data processing method based on in-memory in big data environments. The proposed method stores input data in a temporary queue and compare them with data in a master node. If the data is in the master node, the proposed method reuses the previous processing results located in the node chosen by the master node. If there are no previous results of data in the node, the proposed method processes the data and stores the result in a separate node. We also propose a job scheduling technique considering the load and performance of a node. In order to show the superiority of the proposed method, we compare it with the existing method in terms of query processing time. Our experimental results show that our method outperforms the existing method in terms of query processing time.

목차 (Table of Contents)

• 요약
• Abstract
• Ⅰ. 서론
• Ⅱ. 관련 연구
• Ⅲ. 제안하는 기법
• Ⅳ. 성능평가
• Ⅴ. 결론
• 참고문헌

참고문헌 (Reference)

1 김현규, "중첩 윈도우를 가진 데이터 스트림을 위한 효율적인 조인 알고리즘" 한국정보과학회 15 (15): 365-369, 2009

2 이욱현, "스트림 데이터에서 회귀분석에 기반한 빈발항목 예측" 한국콘텐츠학회 9 (9): 147-158, 2009

3 이미영, "빅데이터 분석을 위한 빅데이터 처리 기술 동향" 19 (19): 20-28, 2012

4 김재인, "다차원 스트림 데이터 환경에서 이벤트 가중치를 고려한 시간 관계 탐사" 한국콘텐츠학회 10 (10): 99-110, 2010

5 "https://storm.apache.org/"

6 Pramod Bhatotia, "Slider : Incremental Sliding-Window Computations for Large-Scale Data Analysis" 61-72, 2014

7 Matei Zaharia, "Resilient Distributed Datasets : A Fault-Tolerant Abstraction for In-Memory Cluster Computing" 15-28, 2012

8 D. Tiwari, "MapReusing Computation in an In-Memory MapReduce System" 61-71, 2014

9 J. Dean, "MapReduce : simplified data processing on large clusters" 137-150, 2004

10 Fan Zhang, "A task-level adaptive MapReduce framework for real-time streaming data in healthcare application" 149-160, 2015

11 S. Chandrasekar, "A Novel Indexing Scheme for Efficient Handling of Small Files in Hadoop Distributed File System" 1-8, 2013

12 Doug Laney, "3D data management: Controlling data volume, velocity, and variety" META Group 2001