대용량 데이터 분석을 위한 맵리듀스 기반의 이상치 탐지 = Outlier Detection Based on MapReduce for Analyzing Big Data

국문 초록 (Abstract)

가까운 미래에는 빅데이터의 많은 부분을 IoT 데이터가 차지할 것이라는 전망이 나오고 있다. 그에 따라, IoT 데이터의 많은 부분을 차치하는 센서 데이터에 관한 관심과 연구 또한 활발하게 진행되고 있다. 여러 분야에서 활용되고 있는 센서 데이터는 분석할 때 실제와는 다른 값인 이상치를 포함하게 되면 정확한 분석이 어려우며, 왜곡된 결과가 도출되어 활용할 수 없는 경우가 생긴다. 따라서 본 논문에서는 정확한 결과를 도출하기 위해 수집된 원자료를 분석하기 전에 이상치 탐지 및 제거를 하였다. 또한, 점점 늘어나고 있는 대용량의 데이터를 빠르게 처리하기 위해 메모리 접근방식인 스파크를 사용한 분산처리환경에서 처리하였다. 맵리듀스 기반의 이상치 탐지 및 제거는 총 4단계로 나누어 구현하였으며, 각 단계를 매퍼와 리듀스로 구현하였다. 제안한 기법의 평가를 위해서 3가지 환경에서 비교하였으며, 그 결과 이상치 탐지 및 제거를 하고자 하는 데이터의 용량이 커질수록 스파크를 이용한 분산처리환경에서의 처리가 가장 빠르다는 결과를 얻었다.

다국어 초록 (Multilingual Abstract)

In near future, IoT data is expected to be a major portion of Big Data. Moreover, sensor data is expected to be major portion of IoT data, and its` research is actively carried out currently. However, processed results may not be trusted and used if outlier data is included in the processing of sensor data. Therefore, method for detection and deletion of those outlier data before processing is studied in this paper. Moreover, we used Spark which is memory based distributed processing environment for fast processing of big sensor data. The detection and deletion of outlier data consist of four stages, and each stage is implemented with Mapper and Reducer operation. The proposed method is compared in three different processing environments, and it is expected that the outlier detection and deletion performance is best in the distributed Spark environment as data volume is increasing.

참고문헌 (Reference)

1 Changyong Park, "Validation of quality control algorithms for temperature data of the republic of korea" 299-307, 2012

2 Shvachko, Konstantin, "The Hadoop distributed file system" 1-10, 2010

3 Apache Mesos, "The Apache software foundation"

4 Aitchison, John, "Statistical prediction analysis"

5 Davies, Paul L, "Statistical evaluation of interlaboratory tests" 331 (331): 513-519, 1988

6 Zaharia, Matei, "Spark cluster computing with working sets" 10 : 10-10, 2010

7 Zaharia, Matei, "Resilient distributed data sets: A fault-tolerant abstraction for in-memory cluster computing" USENIX Association 2-,

8 Zhang, Yang, "Outlier detection techniques for wireless sensor networks: A survey" 12 (12): 159-170, 2010

9 Dean, Jeffrey, "MapReduce: simplified data processing on large clusters" 51 (51): 107-113, 2008

10 Murphy, Kevin P, "Machine learning: a probabilistic perspective" MIT press 2012

11 Hewlett Packard Enterprise, "Internet of things research study" 1-3, 2015

12 Knorr, Edwin M., "Finding intensional knowledge of distance-based outliers" 99 : 211-222, 1999

13 Zaharia, Matei, "Fast and interactive analytics over Hadoop data with Spark" 37 (37): 45-51, 2012

14 Powers, David Martin, "Evaluation: from precision, recall and F-measure to ROC, informed, markedness and correlation" 2011

15 Open Data Portal, "Environment& Weather"

16 Preparata, Franco P, "Computational geometry: an introduction" Springer Science & Business Media 2012

17 David Culler, "Amplab UC BERKELEY, BDAS, the Berkeley Data Analytics Stack"

18 Zhuang, Yongzhen, "A weighted moving average-based approach for cleaning sensor data" 38-38, 2007

19 Brown, Angus M., "A step-by-step guide to nonlinear regression analysis of experimental data using a Microsoft Excel spreadsheet" 65 (65): 191-200, 2001