데이터 웨어하우스 성능 관리를 위한 DBMax의 확장

김은주,용환승,이상원,Kim, Eun-Ju,Young, Hwan-Seung,Lee, Sang-Won 한국정보처리학회 2003 정보처리학회논문지D Vol.10 No.3

데이터베이스의 사용이 증가하고 다루어야 하는 데이터의 양이 방대해지면서 데이터베이스 시스템을 효율적으로 사용하기 위한 성능 관리 기술이 중요해지고 있다. 특히 데이터 웨어하우스는 대용량의 데이터를 대상으로 복잡한 분석을 수행하거나 전략적 의사 결정을 위해 사용하기 때문에 신속한 질의 응답을 위한 성능 관리가 무엇보다 중요하다. 데이터 웨어하우스는 일반 운영계 시스템과는 다른 목적과 특성을 가지기 때문에 그에 적합한 성능 모니터링 방법 및 튜닝 기술이 필요하다. 본 연구에서는 OLTP(On-Line Transaction Processing)용 오라클 데이터베이스를 위한 국산 성능 관리 도구인 DBMax를 데이터 웨어하우스 환경에 적합하도록 기능을 확장한다. 우선 데이터 웨어하우스 응용 분야를 지원하기 위한 오라클 9i의 요약 관리(summary management) 기능과 ETL(Data Extraction, Transformation and Loading) 기능을 중심으로 데이터 웨어하우스 시스템의 성능 관리시 고려해야 할 요구 사항을 분석하고 이를 지원하는 DBMax의 확장 아키텍처를 설계 및 구현한다. 구체적으로 요약 관리와 ETL 작업을 지원하기 위한 오라클 9i의 다양한 스키마 객체에 대한 정보와 성능 관련 지표를 제시하여 데이터 웨어하우스 환경에서 수행되는 질의에 대한 SQL 튜닝 기능을 강화한다. 또한 사후 분석을 위한 BBMax의 로그 파일에서 의미 있는 SQL 문을 추출하여 잠재적으로 유용한 실체화된 뷰를 추천하는 요약 권고 기능을 추가한다. As the usage of database systems dramatically increases and the amount of data pouring into them is massive, the performance administration techniques for using database systems effectively are getting more important. Especially in data warehouses, the performance management is much more significant mainly because of large volume of data and complex queries. The objectives and characteristics of data warehouses are different from those of other operational systems so adequate techniques for performance monitoring and tuning are needed. In this paper we extend functionalities of the DBMax, a performance administration tool for Oracle database systems, to apply it to data warehouse systems. First we analyze requirements based on summary management and ETL functions they are supported for data warehouse performance improvement in Oracle 9i. Then, we design architecture for extending DBMax functionalities and implement it. In specifics, we support SQL tuning by providing details of schema objects for summary management and ETL processes and statistics information. Also we provide new function that advises useful materialized views on workload extracted from DBMax log files and analyze usage of existing materialized views.

A Model of Metaprocess Scheme for Datawarehouse

안연식 경원전문대학 2000 論文集 Vol.22 No.-

많은 기업이나 조직에서 정보시스템의 활용을 통해 축적된 데이터를 활용하여 데이터웨어하우스를 구축하고 있으며, 이를 지원하는 구축도구들이 제공되고 있다. 데이터웨어하우스는 대량의 원시데이타로부터 이를 변환, 가공하여 구축되는데, 데이터웨어하우스의 데이터를 가치 있고 유용한 정보로 사용자들이 활용하도록 위해서는 데이터웨어하우스 구축단계에서 원시정보와 데이터웨어하우스의 정보사이에 상관관계를 설명 해주는 메타정보를 구현하여야 한다. 기존의 데이터웨어하우스 구축도구에서 제공하는 메타정보는 주로 데이터의 기술적 속성이나 값의 단위 등 정형화된 항목들이다. 본 연구에서는 원시데이터가 변환되어 데이터웨어하우스로 저장될 때, 주로 변환단계에서의 처리과정(Process)을 유형화하고, 이 유형별로 변환에 적용된 처리규칙이나 공식(fomula) 등을 기반으로 한 메타프로세스 체계를 설계하였으며, 설계된 메타프로세스 모형을 검증하기 위해서 국내 대기업의 사례에 적용한 결과를 제시하였다.

데이터 마이닝 질의 처리를 위한 질의 처리기 설계 및 구현

김충석,김경창,Kim, Chung-Seok,Kim, Kyung-Chang 한국정보처리학회 2001 정보처리학회논문지D Vol.8 No.2

데이터 마이닝 시스템은 기본적으로 요약화, 연관화와 분류화 등 다양한 유형의 데이터 마이닝 기능을 포함한다. 이들 기능을 수행하기 위해서 포괄적으로 표현하기 위한 강력한 데이터 마이닝 질의 언어가 요구되며, 사용자에게 보다 친숙한 마이닝 환경을 제공하기 위해서 그래픽 사용자 인터페이스(GUI)를 이용한 데이터 마이닝 질의 언어의 개발이 중요하게 언급된다. 뿐만 아니라 데이터 마이닝 그 자체로서 독립적인 수행이 아니라 수많은 데이터를 포함하며, 의사결정에 적합한 구조로 설계되어 있는 데이터 웨어하우스와 연관된 데이터 마이닝 질의 처리가 필요하다. 본 논문에서는 먼저 GUI를 통하여 사용자가 쉽게 데이터 마이닝 질의를 수행할 수 있도록 한다. 또한 질의를 처리하기 위한 데이터 마이닝 질의 처리 프레임워크를 제시한다. 데이터마이닝 질의의 대상은 데이터 웨어하우스에 저장되어 있는 데이터이기 때문에 데이터 웨어하우스의 구축이 필요하다. 본 논문에서는 데이터 웨어하우스 구축에 필요한 스키마 생성을 위해서 스키마 생성기를 아울러 개발하여 이용한다. 마지막으로 연관 규칙 발견을 위한 데이터 마이닝 질의를 처리하기 위한 질의 처리기의 구현 내용을 보인다. A data mining system includes various data mining functions such as aggregation, association and classification, among others. To express these data mining function, a powerful data mining query language is needed. In addition, a graphic user interface(GUI) based on the data mining query language is needed for users. In addition, processing a data mining query targeted for a data warehouse, which is the appropriate data repository for decision making, is needed. In this paper, we first build a GUI to enable users to easily define data mining queries. We then propose a data mining query processing framework that can be used to process a data mining query targeted for a data warehouse. We also implement a schema generate a data warehouse schema that is needed to build a data warehouse. Lastly, we show the implementation details of a query processor that can process queries that discover association rules.

데이터 웨어하우스에서 부가 파일을 이용한 복합 뷰 관리 기법

정웅교(Woong-Kyo Chung),신성현(Sung-Hyun Shin),김진호(Jin-Ho Kim) 한국정보과학회 데이터베이스 소사이어티 2004 데이타베이스 연구 Vol.20 No.3

데이터 웨어하우스는 여러 소스로부터 수집한 요약 정보를 유지하는 실체뷰로 유지하여 이 요약 정보를 원하는 복잡한 질의들을 효율적으로 처리하기 위해 사용된다. 소스 데이터가 변경될 경우 이에 따라 데이터 웨어하우스의 내용도 함께 수정해야 하는데, 일반적으로 소스 데이터들이 여러 사이트에 분산되어 있기 때문에 이러한 데이터 웨어하우스의 실체 뷰를 관리하는 것이 상당히 복잡하다. 보통 실체 뷰를 관리하는 방법에는 그 뷰를 다시 재 생성하는 방법과 소스 데이터의 갱신된 부분만 반영하는 점진적인 방법들이 있다. 점진적인 관리 방법은 소스 데이터에 대한 갱신 사항을 부가 화일 또는 보조 릴레이션 등에 저장한 후 이를 이용하여 뷰를 갱신하는 방법으로, 부가적으로 유지하는 정보의 양이 적고 뷰 관리에 드는 비용이 적다는 장점이 있다. 이 논문에서는 이러한 점진적인 뷰 관리 방법의 하나로 부가 화일과 조인 부가 화일을 사용하여 다양한 관계 연산을 포함하는 복잡한 질의로 정의되는 실체 뷰를 관리하는 효율적인 방법을 제시한다. 또는 이 방법의 성능을 평가하기 위한 비용 모델을 분석적으로 제시하였으며, 이 비용 모델을 기반으로 성능을 비교ㆍ분석하여 본 논문의 방법이 다른 기존의 방법보다 성능이 우수함을 보였다. Data warehouse can be stored as materialized views derived from one or more sources in order to support efficient accesses to the integrated data. The materialzed views can provide fast accesses to complex queries of data warehouse environment. Because data sources are distributed over remote sites, we need an efficient maintenance of the views in response to the changes of data sources. There can be classified into two approaches in maintaining the materialized views: the view redefinition and the incremental view maintenance. The incremental view maintenance updates views incrementally by using auxiliary relations or differential files which have the additional information of source data changes. Thus it requires only small amount of additional information and it can modify materialized views efficiently. In this paper, we propose a new incremental view maintenance algorithm which updates efficiently materialized views defined as complex queries including various relational operations by using differential files and join differential files. In order to evaluate the performance of the proposed algorithm, we define the cost model then compare its performance with previous ones.

데이터 스트림과 산발적으로 변하는 디스크 기반 릴레이션 간의 연속 조인 질의 처리 기법

이기용(Ki Yong Lee),최현진(Hyunjean Choi),이서연(Seoyeon Lee) 한국정보과학회 2012 정보과학회논문지 : 데이타베이스 Vol.39 No.6

빠른 속도로 유입되는 데이터를 데이터 웨어하우스에 실시간으로 반영하고자 하는 능동 혹은 실시간 데이터 웨어하우스에 대한 연구가 최근 활발히 진행되고 있다. 능동 데이터 웨어하우스의 실현에 중요한 요소 중 하나는 빠른 속도로 유입되는 데이터 스트림 S와 데이터 웨어하우스에 저장된 디스크 기반의 대규모 릴레이션 R 간의 연속 조인 질의 S ? R를 효율적으로 처리하는 것이다. 최근 이러한 형태의 질의를 효율적으로 처리하기 위해 메쉬 조인이라는 방법이 제안되었다. 이 방법은 S에 새로운 튜플들이 도착했을 때, 이들과 조인되는 튜플들을 찾기 위해 R에 접근하는 비용을 크게 줄임으로써 효율적으로 S ? R을 처리한다. 하지만 이 방법은 R이 전혀 변하지 않는다고 가정하고 있으며, 질의 처리 중에 R이 변경되면 잘못된 결과를 내보낸다는 문제점이 있다. 본 논문에서는 연속 조인 질의 S ? R의 처리 중 R이 변경되는 경우에도, 그를 반영하여 항상 올바른 조인 질의 결과를 내보내는 방법을 제안한다. 본 논문은 제안방법이 항상 올바른 질의 결과를 내보냄을 증명하며, 실험을 통해 제안하는 방법의 실용성을 보인다. Recently, active or real-time data warehouses have been increasingly investigated, where all updates to data sources are propagated immediately to the warehouse so that users can always access up-to-date information. One of the most important elements in building an active data warehouse is to efficiently process a continuous join query S ? R, where S is a fast data stream and R is a large disk-based relation stored in the warehouse. In order to process such queries efficiently, a new method called mesh join has been proposed recently, which improves performance by reducing the high I/O cost of accessing R as new tuples of S continuously arrives. However, it assumes that R remains fixed while the query is running, so it can produce the wrong results if R changes during query processing. To address this problem, we propose a new method for processing S ? R that always produces the correct results even when R changes during query processing. We also prove the correctness of the proposed method and show the practicability of the proposed method through experiments.

건설데이터 웨어하우스 시스템 프로토타입 기초 연구

이종국,Lee Jong-Kook 한국건설관리학회 2004 건설관리 : 한국건설관리학회 학회지 Vol.5 No.3

본 연구에서는 건설 관리자의 전자적 의사결정 지원을 위한 활용도구인 건설 데이터 웨어하우스의 시스템 프로토타입 개발에 대한 기초연구를 수행하였다. 건설 데이터 웨어하우스는 건설회사 내에서 별도 저장된 데이터에 접근하여 관리의 차원, 각 주제영역, 그리고 기술모듈별로 분석함으로써 전자적 정보를 제공하는 기술인 바, 이 기술의 건설산업 활용을 위하여 본 연구에서는 데이터 웨어하우스 기술의 기술적 특성을 검토하여 요소기술모듈과 사용주체에 대한 설정을 통한 건설 데이터 웨어하우스 시스템 프로토타입을 도출한다. 이러한 연구의 결과로서, 건설데이터 웨어하우스 시스템 프로토타입과 각 기술 모듈을 제시하고 이의 활용성을 사례연구를 통하여 검증함으로써 데이터 웨어하우스 기술의 건설산업 활용가능성을 확인하였다. This research develops a preliminary system prototype of construction data warehouse of a construction industry application to provide the construction manager with electronic decision supporting information. Construction data warehouse technology is a contractor-focused concept that provides electronic information analyzed from the separately stored database by management dimension, management subject, and data warehouse technology modules. First the authors reviews the characteristics of data warehouse technology and reviewed the conceptually designed architecture of previous study, then propose the architecture of construction data warehouse system and real application alternatives of each technology module to confirm the construction adaptability of the data warehouse technology through a case study.

데이터웹하우스 시스템에서 메타데이터 스키마의 설계 및 활용

박종모,조경산,Park, Jong-Mo,Cho, Kyung-San 한국정보처리학회 2007 정보처리학회논문지D Vol.14 No.6

고객관리에 중요한 정보로 활용되는 웹로그 분석과 의사결정을 지원하기 위한 데이터웨어하우스를 결합하여 데이터웹하우스가 등장하였다. 그러나 시스템에 분산되어 저장된 정보를 통합하는 데이터웹하우스는 다양하고 이질적인 정보를 포함하므로 관리적 측면에서 복잡한 작업을 필요로 한다. 본 연구는 데이터웹하우스 환경에서 데이터를 효과적으로 관리하고 통합하기 위한 메타데이터 스키마를 제안한다. 제안된 스키마는 데이터웹하우스 개발을 지원하고 기업의 정보 자산에 대한 통합 관리를 가능케 한다. 또한 데이터웹하우스의 웹로그 추출을 위한 ETL 메타데이터를 사용하여 웹로그 데이터 처리시간을 향상시킬 수 있다. Datawebhouse consists of both web log analysis used for customer management and datawarehouse used for decision support. However, datawebhouse needs complex operations for management in order to transform and integrate data from heterogeneous data sources and distributed systems. We propose a metadata schema in order to enable data integration and data management which are essential in datawebhouse environments. We show that our proposed schema supports datawebhouse development and enables integrated asset management of business information. With ETL metadata for web log extract, we can improve the data processing time of web log.

효율적인 항만공사의 운영과 관리를 위한 데이터 웨어하우스 구현방안에 관한 연구

김태훈(Taehun Kim),김상열(Sangyoul Kim) 한국항만경제학회 2013 韓國港灣經濟學會誌 Vol.29 No.2

데이터 웨어하우스는 운영 시스템이 아닌 "경영층의 의사결정지원을 위한, 통합적, 시계열적, 주제 지향적, 비휘발성적인 데이터의 집합"으로 정의된다. 데이터 웨어하우스는 기업정보처리를 위한 기본적인 아키텍처로 데이터가 공급되었다고 해서 정보의 창조와 사용과 직결되지는 않는다. 데이터 웨어하우징 시스템은 데이터 공급이 아니라, 정보의 사용을 주목적으로 하고 있다. 현재의 항만공사 운영시스템인 Port-MIS에서는 데이터베이스 구성이 전체적인 데이터 아키텍처 하에서 구성되지 않고 업무별 데이터베이스, 목적별 데이터베이스 형태로 구성되어 있다. 이러한 점들 때문에 데이터베이스 확장에 한계가 있고 데이터 불일치 등이 발생할 수 있으며, 전사적 데이터 자산관리가 이루지기 어렵다고 볼 수 있다. 이에 본 연구에서는 항만공사의 운영을 위한 데이터 웨어하우스 구현 방안을 개념적 연구로 제안하였다. A data warehouse is not an operational database, only a database for decision support. It is defied as "a subject-oriented, integrated, time-variant and non-volatile collection of data". It is an indispensable element of successful information processing technology. This study is designed to suggest a better way to use database for efficient Port Authority"s management. It is expected to play a significant role in introducing a data warehouse dedicated to port industry. Data warehouses are to serve as an opportunity to be fully exploited as a strategic technology for ports. Seven subject areas supporting ideas of researchers constitute this study.

CRM 시스템에서의 룰 인식 자동 데이터웨어하우징 기법

김한준(Han-Joon Kim) 한국정보과학회 데이터베이스 소사이어티 2004 데이타베이스 연구 Vol.20 No.3

이 논문에서는 규칙기반 CRM 시스템에서 데이터 웨어하우스 스키마를 자동 생성하는 기법을 소개한다. 양질의 CRM 기능을 제공하기 위하여 CRM 시스템들은 기존의 CRM 방법론에 데이터 웨어하우스 기술을 접목하는 방안을 찾고 있다. 그러나 많은 CRM 시스템이 데이터 웨어하우스의 설계 측면에서 스키마 진화와 관련된 문제를 제대로 지원하지 못하고 있다. 여기서는 마케팅 전략을 표현하는 캠페인 규칙이 입력되면, 그 모든 규칙을 만족시키는 데이터 웨어하우스 스키마를 생성하는 기법을 제안한다. 이는 데이터마이닝 기능을 포함하는 분석 CRM 시스템을 구축하는데 큰 도움이 될 것이다. This article introduces a novel method of automatically developing data warehouse configuration in rule-based CRM systems. Currently, to provide good quality CRM functionalities, CRM systems seek to combine conventional CRM methodologies with data warehousing technology. However, there are few facilities in CRM systems with respect to data warehouse design that alleviate the problems associated with data schema maintenance. Given a set of campaign rules expressing marketing strategies, data warehouse schema that can satisfy all the input rules can be generated. The method significantly will help to build analytical CRM systems with data mining applications.

ORDBMS를 이용한 데이터 웨어하우스 구축에서 질의어 처리의 성능 향상을 위한 인덱싱 기법

조완섭,이정남,이충세 충북대학교 컴퓨터 정보통신 연구소 1999 컴퓨터정보통신연구 Vol.7 No.2

차세대 DBMS로 각광을 받고있는 객체-관계 DBMS를 사용하여 데이터웨어하우스(data warehouse)를 구축하는 방안과 성능향상을 위한 인덱싱 기법을 제안한다. 지금까지 관계 DBMS와 다차원 분석 도구를 사용하여 데이터 웨어하우스를 구축하는 방안이 주로 제시되었으나, 객체-관계 DBMS를 사용한 데이터 웨어하우스의 구축에 관한 연구는 거의 이루어지지 않고 있다. 데이터 웨어하우스는 기존의 데이터베이스와는 비교할 수 없을 만큼의 대용량 데이터를 가정하므로 객체-관계 DBMS를 이용하여 데이터 웨어하우스를 구축하는 경우 적절한 성능의 보장이 중요한 과제이다. 이 논문에서는 ORDBMS 엔진의 성능향상을 위한 인덱싱 기법을 제안하고, 이를 이용한 질의처리 성능을 분석한다. 제안된 인덱싱 기법을 사용함으로써 질의에 포함된 비용이 큰 조인과 그루핑 연산은 비용이 저렴한 인덱스 액세스 연산으로 대치되며, 데이터의 양과 거의 무관하게 질의 처리비용이 고정되는 효과를 얻을 수 있다. We propose a data warehouse construction scheme based on ORDBMSs and an indexing technique to enhance the performance of the dta warehouse systems. In spite of active research on the construction of relational data warehouses, few research has been done for the usage of ORDBMSs in the data warehouse environments. Since the data warehouse assumes huge amount of data, performance of the systems is a critical issue. In this paper, we propose an indexing technique for the data warehouse systems, and analyze the performance of the query evaluation by using the indexes. Proposed indexing technique replaces costly join and group-by operations by the index access operations having lower cost and fixes the query evaluation cost almost irrelevant to the size of the data warehouses.