격리 포리스트를 이용한 NoSQL 데이터베이스의 구조적 이상치 탐지와 스키마 추출

국문 초록 (Abstract)

NoSQL 데이터베이스는 스키마 제약을 강하게 요구하지 않음으로써 지속적인 스키마 변경(Schema evolution)과 다양한 구조의 데이터를 쉽게 수용할 수 있는 장점이 있다. 하지만 NoSQL 데이터베이스의 응용 프로그램의 개발과 데이터 분석 과정에서 데이터베이스에 포함된 구조적 정보의 추출과 이상치(Outlier)를 탐지하는 것은 매우 중요한 과정이다. 본 논문에서는 JSON 형식으로 표현된 NoSQL 데이터베이스의 도큐먼트(Document) 구조적 정보를 그래프로 표현하는 기존의 방식들에서 벗어나 도큐먼트의 키(Key) 집합을 활용하는 방안을 활용하였다. 키 집합은 다시 일정한 크기의 벡터로 변환되고, 트리 기반의 고립탐지 기술인 격리 포리스트(Isolation forest)의 입력으로 사용되어 컬렉션의 대표 스키마 추출과 이상치 탐지(Outlier detection)를 동시에 수행하는 기법을 제안하였다. 마지막으로 모의실험을 통하여 본 논문에서 제안한 방식이 다양한 실험 환경에서 효율적으로 스키마를 추출하고 이상치를 탐지하는 것을 확인하였다.

다국어 초록 (Multilingual Abstract)

By not requiring strong schema constraints, schema-less, NoSQL database are able to do continuous schema evolution and are cable to store data with various structure easily. However it is inevitable to extract implied schema and to detect outliers during the application development and data analysis on NoSQL database. In this paper we used set of document keys rather than building graph data structure to express structure of document with JSON format. Document keys are transformed to vector format and then the isolation forest algorithm is applied to detect outliers and to extract implicit representative schema at the same time. Finally we have shown the exactness of our approach by performing with randomly generated data and various parameters.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 관련 연구
• 3. 구조적 이상치 탐지와 스키마 추출
• 4. 실험 결과
• 5. 결론 및 향후 연구 방향
• References