빅데이터 시대의 데이터 통합 전략: 공공부문 사례 분석

함유근 한국엔터프라이즈아키텍처학회 2017 정보기술아키텍처연구 Vol.14 No.2

Big data has created new technical and business environment which change organizationsin many ways. It is time for organizations to cope with huge data volume as well as various data typesand the speed of data production and utilization. In this context, research on data integration for solvingthese problems falls short of academic and industry demand. Especially academic research have notprovided enough answers on effective decision making support through big data integration. By developinga big data integration framework evaluating such techniques as Hadoop, data federation, anddata virtualization as well as infrastructure like parallel data warehouse, cloud systems, logical datawarehouse and data lake and analyzing a public sector data integration case, the paper proposes astrategy to select appropriate big data integration approaches in various situations. 빅데이터라는 새로운 기술 및 경영 환경은 데이터가 조직에서 활용되는 방법에 많은 변화를 초래하고 있다. 이는 기업들이 이전과 다른 데이터의 규모는 물론 다양한 형태, 그리고 데이터 생산에서 활용까지 더욱 빠른 속도에 대응해야하기 때문이다. 그러나 빅데이터의 부상과 함께 데이터의 규모가 상상을 초월할 정도로 커지지는 환경에서 여러 곳에 흩어져 있는 다양한 종류의 데이터를 어떻게 통합하여 실시간으로 제공해 의사결정을 더욱 효율적이며 효과적으로 할 수 있는지에 대한 연구는 아직까지매우 초기 수준에 있다. 본 연구는 빅데이터 환경에서 데이터 통합을 위해 사용될 수 있는 다양한 방법들인 하둡, 데이터 페더레이션, 데이터 가상화, 그리고 이들과 관련된 인프라인 병렬형 데이터웨어하우스, 논리적 데이터 웨어하우스, 클라우드 시스템, 데이터 호수 등의 특징을 분석해 정리하고 공공기관의 빅데이터 통합 사례를 통해 비즈니스 상황에 맞는 데이터 통합 방법의 선택 전략을 제시하고자 한다.

ORDBMS를 이용한 데이터 웨어하우스 구축에서 질의어 처리의 성능 향상을 위한 인덱싱 기법

조완섭,이정남,이충세 충북대학교 컴퓨터 정보통신 연구소 1999 컴퓨터정보통신연구 Vol.7 No.2

차세대 DBMS로 각광을 받고있는 객체-관계 DBMS를 사용하여 데이터웨어하우스(data warehouse)를 구축하는 방안과 성능향상을 위한 인덱싱 기법을 제안한다. 지금까지 관계 DBMS와 다차원 분석 도구를 사용하여 데이터 웨어하우스를 구축하는 방안이 주로 제시되었으나, 객체-관계 DBMS를 사용한 데이터 웨어하우스의 구축에 관한 연구는 거의 이루어지지 않고 있다. 데이터 웨어하우스는 기존의 데이터베이스와는 비교할 수 없을 만큼의 대용량 데이터를 가정하므로 객체-관계 DBMS를 이용하여 데이터 웨어하우스를 구축하는 경우 적절한 성능의 보장이 중요한 과제이다. 이 논문에서는 ORDBMS 엔진의 성능향상을 위한 인덱싱 기법을 제안하고, 이를 이용한 질의처리 성능을 분석한다. 제안된 인덱싱 기법을 사용함으로써 질의에 포함된 비용이 큰 조인과 그루핑 연산은 비용이 저렴한 인덱스 액세스 연산으로 대치되며, 데이터의 양과 거의 무관하게 질의 처리비용이 고정되는 효과를 얻을 수 있다. We propose a data warehouse construction scheme based on ORDBMSs and an indexing technique to enhance the performance of the dta warehouse systems. In spite of active research on the construction of relational data warehouses, few research has been done for the usage of ORDBMSs in the data warehouse environments. Since the data warehouse assumes huge amount of data, performance of the systems is a critical issue. In this paper, we propose an indexing technique for the data warehouse systems, and analyze the performance of the query evaluation by using the indexes. Proposed indexing technique replaces costly join and group-by operations by the index access operations having lower cost and fixes the query evaluation cost almost irrelevant to the size of the data warehouses.

CRM 시스템에서의 룰 인식 자동 데이터웨어하우징 기법

김한준(Han-Joon Kim) 한국정보과학회 데이터베이스 소사이어티 2004 데이타베이스 연구 Vol.20 No.3

이 논문에서는 규칙기반 CRM 시스템에서 데이터 웨어하우스 스키마를 자동 생성하는 기법을 소개한다. 양질의 CRM 기능을 제공하기 위하여 CRM 시스템들은 기존의 CRM 방법론에 데이터 웨어하우스 기술을 접목하는 방안을 찾고 있다. 그러나 많은 CRM 시스템이 데이터 웨어하우스의 설계 측면에서 스키마 진화와 관련된 문제를 제대로 지원하지 못하고 있다. 여기서는 마케팅 전략을 표현하는 캠페인 규칙이 입력되면, 그 모든 규칙을 만족시키는 데이터 웨어하우스 스키마를 생성하는 기법을 제안한다. 이는 데이터마이닝 기능을 포함하는 분석 CRM 시스템을 구축하는데 큰 도움이 될 것이다. This article introduces a novel method of automatically developing data warehouse configuration in rule-based CRM systems. Currently, to provide good quality CRM functionalities, CRM systems seek to combine conventional CRM methodologies with data warehousing technology. However, there are few facilities in CRM systems with respect to data warehouse design that alleviate the problems associated with data schema maintenance. Given a set of campaign rules expressing marketing strategies, data warehouse schema that can satisfy all the input rules can be generated. The method significantly will help to build analytical CRM systems with data mining applications.

데이터 스트림과 산발적으로 변하는 디스크 기반 릴레이션 간의 연속 조인 질의 처리 기법

이기용(Ki Yong Lee),최현진(Hyunjean Choi),이서연(Seoyeon Lee) 한국정보과학회 2012 정보과학회논문지 : 데이타베이스 Vol.39 No.6

빠른 속도로 유입되는 데이터를 데이터 웨어하우스에 실시간으로 반영하고자 하는 능동 혹은 실시간 데이터 웨어하우스에 대한 연구가 최근 활발히 진행되고 있다. 능동 데이터 웨어하우스의 실현에 중요한 요소 중 하나는 빠른 속도로 유입되는 데이터 스트림 S와 데이터 웨어하우스에 저장된 디스크 기반의 대규모 릴레이션 R 간의 연속 조인 질의 S ? R를 효율적으로 처리하는 것이다. 최근 이러한 형태의 질의를 효율적으로 처리하기 위해 메쉬 조인이라는 방법이 제안되었다. 이 방법은 S에 새로운 튜플들이 도착했을 때, 이들과 조인되는 튜플들을 찾기 위해 R에 접근하는 비용을 크게 줄임으로써 효율적으로 S ? R을 처리한다. 하지만 이 방법은 R이 전혀 변하지 않는다고 가정하고 있으며, 질의 처리 중에 R이 변경되면 잘못된 결과를 내보낸다는 문제점이 있다. 본 논문에서는 연속 조인 질의 S ? R의 처리 중 R이 변경되는 경우에도, 그를 반영하여 항상 올바른 조인 질의 결과를 내보내는 방법을 제안한다. 본 논문은 제안방법이 항상 올바른 질의 결과를 내보냄을 증명하며, 실험을 통해 제안하는 방법의 실용성을 보인다. Recently, active or real-time data warehouses have been increasingly investigated, where all updates to data sources are propagated immediately to the warehouse so that users can always access up-to-date information. One of the most important elements in building an active data warehouse is to efficiently process a continuous join query S ? R, where S is a fast data stream and R is a large disk-based relation stored in the warehouse. In order to process such queries efficiently, a new method called mesh join has been proposed recently, which improves performance by reducing the high I/O cost of accessing R as new tuples of S continuously arrives. However, it assumes that R remains fixed while the query is running, so it can produce the wrong results if R changes during query processing. To address this problem, we propose a new method for processing S ? R that always produces the correct results even when R changes during query processing. We also prove the correctness of the proposed method and show the practicability of the proposed method through experiments.

빅 데이터 웨어하우스 시스템에서 분산 공간 색인과 질의 처리의 설계와 구현

조현구(Cho, Hyun Gu),음미경(Eum, Mi Kyung),이종연(Lee, Jong Yun),배석찬(Bae, Seok Chan),남광우(Nam, Kwang Woo) 대한공간정보학회 2021 대한공간정보학회지 Vol.29 No.1

이 논문은 분산 빅 데이터 웨어하우스 시스템 상에서 분산 공간 질의 처리와 색인을 지원하도록 확장 구현된 공간 빅 데이터웨어하우스 시스템인 SpatialTajo 시스템의 설계와 구현 방법에 대하여 기술하고 있다. SpatialHadoop이나 GeoSpark과 같은 기존의 공간 빅 데이터 시스템들은 질의 처리가 프레임워크상에서 레이어형 구조로 구현되어 기존의 데이터베이스 시스템과 같은 통합 질의 처리 최적화 기능을 지원하지 않는 단점이 있다. 이 논문은 엔진 자체에서 분산 질의 처리를 지원하는 오픈소스 빅 데이터 웨어하우스 시스템인 Aparch Tajo 시스템을 기반으로 이 단계 분산 R-Tree 및 분산 공간 질의 지원 기능을 구현하는 구조와 방법을 기술함으로서 효율적인 통합형 공간 빅 데이터 웨어하우스 시스템을 구현할 수 있는 방안을 제시하고 있다. 개발된 시스템의 검증을 위하여 클러스터 시스템상에서 테스트한 결과 분산 공간 색인과 질의처리가 효과적으로 동작함을 확인하였다. This paper describes the design and implementation of a SpatialTajo system, a spatial big data warehouse system that is extended to support distributed spatial query processing and indexing on a distributed big data warehouse system. Traditional spatial big data systems, such as SpatialHadoop and GeoSpark, do not support integrated query processing optimization because they have been implemented on the framework as a layered architecture. Apache Tajo system is an open source big data warehouse system that supports distributed query processing in the engine itself. We present how to develop an efficient integrated spatial big data warehouse system by describing the architecture and implementation techniques for distributed two-level R-Trees and distributed spatial query processing on the Apache Tajo system. Evaluations for the developed system show that the distributed spatial index and query processing work effectively on a cluster system.

Effectively Managing Data Warehouse System for Geographic Woods Information

임태수(Tae-Soo Lim),강석호(Suk-Ho Kang) 한국정보과학회 데이터베이스 소사이어티 2004 데이타베이스 연구 Vol.20 No.3

자연수림과 천연자원에 대한 최신정보의 정확한 관리를 위해서 효과적인 의사결정지원 기법이 필요하다. 본 연구에서는 데이터 웨어하우스에 입각하여 오랜 기간 축적된 운영관리 데이터를 유용한 정보로 변환시키는 방법 및 그 구현에 대해 살펴보았다. 데이터웨어하우스는 데이터의 저장과 분석을 통한 정교하고도 잘 성숙된 데이터베이스 기술을 사용하므로 전략적 의사결정을 위하여 매우 적합하다고 판단되었다. 이러한 데이터웨어하우스 모델링을 활용하여 운영계데이터를 재가공하고 통합하고, 저장하여 조림과 천연자원에 대한 통합적 관리에 있어서 효과적으로 적용한 연구이다. A data warehouse (DW) is known to be appropriate for strategic decision-making, since it is based on large scale and mature database technology that stores and analyzes data to aid decision support. This paper introduces DW technique, which provides an enterprise solution for those companies that have collected a lot of operational data over the years and need to develop a way to turn that data into useful information. In order to manage current and accurate information about woods resources, woods organizations need to have effective decision-making techniques. This paper effectively applies DW modeling process, in which operational data is re-processed, aggregated and stored in base tables, to an integrated woods resources management

데이터 웨어하우스에서 부가 파일을 이용한 복합 뷰 관리 기법

정웅교(Woong-Kyo Chung),신성현(Sung-Hyun Shin),김진호(Jin-Ho Kim) 한국정보과학회 데이터베이스 소사이어티 2004 데이타베이스 연구 Vol.20 No.3

데이터 웨어하우스는 여러 소스로부터 수집한 요약 정보를 유지하는 실체뷰로 유지하여 이 요약 정보를 원하는 복잡한 질의들을 효율적으로 처리하기 위해 사용된다. 소스 데이터가 변경될 경우 이에 따라 데이터 웨어하우스의 내용도 함께 수정해야 하는데, 일반적으로 소스 데이터들이 여러 사이트에 분산되어 있기 때문에 이러한 데이터 웨어하우스의 실체 뷰를 관리하는 것이 상당히 복잡하다. 보통 실체 뷰를 관리하는 방법에는 그 뷰를 다시 재 생성하는 방법과 소스 데이터의 갱신된 부분만 반영하는 점진적인 방법들이 있다. 점진적인 관리 방법은 소스 데이터에 대한 갱신 사항을 부가 화일 또는 보조 릴레이션 등에 저장한 후 이를 이용하여 뷰를 갱신하는 방법으로, 부가적으로 유지하는 정보의 양이 적고 뷰 관리에 드는 비용이 적다는 장점이 있다. 이 논문에서는 이러한 점진적인 뷰 관리 방법의 하나로 부가 화일과 조인 부가 화일을 사용하여 다양한 관계 연산을 포함하는 복잡한 질의로 정의되는 실체 뷰를 관리하는 효율적인 방법을 제시한다. 또는 이 방법의 성능을 평가하기 위한 비용 모델을 분석적으로 제시하였으며, 이 비용 모델을 기반으로 성능을 비교ㆍ분석하여 본 논문의 방법이 다른 기존의 방법보다 성능이 우수함을 보였다. Data warehouse can be stored as materialized views derived from one or more sources in order to support efficient accesses to the integrated data. The materialzed views can provide fast accesses to complex queries of data warehouse environment. Because data sources are distributed over remote sites, we need an efficient maintenance of the views in response to the changes of data sources. There can be classified into two approaches in maintaining the materialized views: the view redefinition and the incremental view maintenance. The incremental view maintenance updates views incrementally by using auxiliary relations or differential files which have the additional information of source data changes. Thus it requires only small amount of additional information and it can modify materialized views efficiently. In this paper, we propose a new incremental view maintenance algorithm which updates efficiently materialized views defined as complex queries including various relational operations by using differential files and join differential files. In order to evaluate the performance of the proposed algorithm, we define the cost model then compare its performance with previous ones.

고압축 저장소를 위한 피램 기반의 복층 색인 관리

변시우 사단법인 인문사회과학기술융합학회 2018 예술인문사회융합멀티미디어논문지 Vol.8 No.1

레코드가 가로 방향으로 저장되는 기존의 가로-지향 데이터베이스와는 달리, 컬럼-지향 데이터베이스 시스템은 세로방향으로 순차적으로 데이터를 저장한다. 따라서 읽기 집중식의 대용량 데이터에 접근하는 데이터 웨어하우스나 의사 결정 시스템을 위해서는 컬럼 기반 압축 데이터베이스가 월등한 판독 성능으로 인하여 더 적합한 모델이 되고 있다. 최근 플래시 메모리 SSD가 고속 분석용 시스템에 적합한 저장 매체로 선호되고 있다. 하지만 PRAM이 읽기 및 쓰기 성능에서 플래시 메모리 보다 더 우수하다. 아직 PRAM의 집적도가 낮긴 하지만, 머지않아 대용량 PRAM의 활용이 중요한 트렌드가 될 것이다. 본 논문에서는 압축된 컬럼 기반 스토리지 모델을 소개하고, 다양한 메모리 기술을 소개하였다. 또한, 대용량 데이터 웨어하우스 시스템을 위한 새로운 인덱스 기법 및 그 데이터 관리를 제안한다. 제안 기법은 대용량 컬럼 데이터베이스를 위한 복층 인덱스 관리와 PRAM 저장소를 활용하여 우수한 처리 성능을 얻었다. 가상 실험 결과, 검색 성능이 약 10% 개선되고, 갱신 성능이 약 23% 개선되었다. 또한 응답 시간 측면에서도 기존 기법보다 더 우수하다. Unlike in traditional row-oriented databases where the attributes of a record are placed contiguously in row-oriented order, a column-oriented database system stores data in column-oriented order. For applications such as data warehouse and decision support systems that access large volumes of data in a read-intensive manner, the column-based compressed database has become a proper model because of its superior read performance. Currently, flash memory SSD is largely recognized as the preferred storage media for the high-speed analysis systems. However, PRAM is better than flash memory in the respects of read and write performance. Even though the capacity of PRAM is still low, the appliance of mass capacity PRAM would be the important trend soon. In this paper, we introduce a compressed column-based storage model and various memory technologies. We also propose a new indexing scheme and its data management for a high-capacity data warehouse system. The proposed scheme achieves superior performance using a duplex index management and PRAM storage for large column databases. Our simulation results show that overall search and update performance can be enhanced by around 10% and 23%, respectively. Our scheme also outperforms the traditional scheme in terms of the response time.

바이오 데이터 통합과 데이터 웨어하우스 구축

안명상(Myoung-Sang Ahn),오정수(Jung-Su Oh),임정곤(Jung-Gon Lim),노동현(Dong-Hyun Rho),조완섭(Wan-Sup Cho) 한국정보과학회 데이터베이스 소사이어티 2004 데이타베이스 연구 Vol.20 No.3

생물학에서 다루는 데이터의 유형은 DNA나 RNA와 같은 서열 데이터 대사경로나 조절경로와 같은 그래프 데이터, 마이크로-어레이 실험의 결과인 배열 데이터, 관련 문헌 등 매우 다양하다. 지금까지 새로운 유형의 데이터가 필요할 때마다 별도의 데이터베이스가 구축된 경우가 많고 동일한 유형의 데이터에 대해서도 서로 다른 주체에 의해 복수 개의 데이터베이스가 구 축, 운영되고 있다. 일부는 관계형 DBMS로 구축된 것도 있고, 일부는 파일로 구축된 것도 있다. 더욱이 서로 독립적으로 구축되었기 때문에 구조적으로 상이함은 물론, 데이터 모델도 다르다. 하지만, 유전체 연구를 위해서는 여러 데이터베이스에 저장된 정보를 종합적으로 활용해야 한다. 따라서 구조와 내용면에서 매우 이질적인(heterogeneous) 바이오 데이타베이스를 통합하기 위한 연구가 최근 활발히 이루어지고 있다. 이 논문은 많은 이질적인 데이터베이스를 통합하기 위한 데이터 웨어하우징 기법을 소개하고, 보다 효율적인 통합을 위한 매커니즘으로 시스템 생물학의 표준인 SBML의 이용방법과 다양한 데이터베이스에 저장된 용어들의 의미적 통합을 위한 온툴로지 시스템에 대하여 기술한다. In bioscience, there are many different data types such as sequential data (DNA, RNA protein sequences, etc.), graph data (metabolic pathways, regulatory networks, etc.), and array data (results of micro-array experiment, etc.). Various bio-data types are increasing all over the world and each bio-database has different abstraction levels, times, scales, and database schemas. For the accumulated bio-databases, a development of sophisticated analysis system is an important research issue. To do this, these databases must be integrated into a data warehouse and then OLAP or data mining technology can be applied. In database community, data integration has been studied for many years in the context of data warehousing. In this paper, we propose data warehouse technologies for integrating heterogeneous bio-data from various remote bio-databases. For efficiency and accuracy, we use SBML (Systems Biology Markup Language), which is standard for system biology documentation, and bio-ontology in the integration of the bio-databases.

RFID 기반의 데이터 웨어하우스 구현 -시각화 분석을 중심으로-

김태훈 한국자료분석학회 2009 Journal of the Korean Data Analysis Society Vol.11 No.2

RFID and GPS are emerging as key components in object tracking and supply chain management. While past researches and developments on RFID are focusing mainly on hardware, there are few researches and developments on RFID data and its usages of RFID database. The objective of this study to visualize real data using location information on RFID based on data warehouses. In addition to visualization, this paper modeled multi- dimensional data and analyzed object pattern and OLAP query. The real data describe the traces of 50 trucks in Athens, Greece for a total of 112,203. This study differs from past studies in a multidimensional analysis of moving objects and spatio-temporal data. But this study has a limitation which doesn't consider various analysis methods of past studies applied to spatio-temporal data. RFID와 GPS는 객체 추적과 공급사슬관리의 주요한 요소로 떠오르고 있다. 기존 RFID에 관한 연구 및 개발은 주로 하드웨어에 중점을 두고 있었고, 수집된 RFID 데이터와 데이터베이스에 저장된 데이터를 이용하는 연구 및 개발은 많지 않은 실정이다. 본 연구는 RFID 기반의 데이터 웨어하우스를 중심으로 위치정보에 대한 시각화 분석을 시도한 것이며, 부차적으로 실제 데이터를 사용하여 다차원 모델링을 하고 위치기반의 패턴분석과 질의를 수행한 것이다. 사용된 데이터는 50개 트럭들이 33일 동안 그리스 아테네 지역에서 콘크리트를 배송한 것으로써, 총 수집된 데이터는 112,203건이다. 이러한 데이터를 바탕으로, 다차원 모델링을 이용하여 위치기반의 이동패턴을 OLAP 쿼리 분석하였다. 본 연구가 기존의 이동객체 또는 시공간 데이터에 관한 연구와는 다차원적으로 분석하였다는 점에서 차별성을 가진다. 그러나 기존 시공간 데이터에 사용된 다양한 분석 방법이 함께 고려되지 못한 것은 한계로 지적된다.