블록 단위 트랜잭션을 이용한 대용량 데이터의 실시간 저장관리기 = Real time Storage Manager to store very large data using block transaction

다국어 초록 (Multilingual Abstract)

Automatic semiconductor manufacture system generating transacti on from 50,000 to 500,000 per a second needs storag e management system processing very large data at once. A lot of storage managemen t systems are researched for st oring very large data.Existing storage management syste m is typical DBMS on a disk. I t is difficult that the DBMS on a disk processes the 500,000 number of insert transacti on per a second. So, the DBMS on main memory appeared to use memory. But it is difficult that very large data stores into the DBMS on a memory becaus e of limited amount of memory. In this paper we propose storage management syste m using insert transaction of a block unit that can process insert transaction over 50,000 and store data on low storage cost. A transaction of a block unit can decrease cost for a log and ind e x p e r e a c h t u p l e a s transforming a transaction of a t uple unit to a block unit. Bes ides, the proposed s ystem come cost to decompres al block of data because the informati on of each field be loss. To solve the problems, the proposed s ystem generates the index of each compressed block to prevent reducing speed for sear ching. The proposed system can s tore very large data generated in semiconductor sys tem and reduce storage cost.

국문 초록 (Abstract)

초당 최소 5만 건에서 50만 건이 넘는 삽입트랜잭션이 발생하는 반도체 자동 생산 공정 시스템은
대량의 데이터를 실시간으로 저장하는 저장관리시스템을 필요로 한다. 대용량의 데이터를 빠르고 안
정적으로 저장하기 위해서 많은 저장관리시스템이 연구되었다.
기존의 저장관리시스템은 대표적으로 전형적인 디스크 기반 DBMS가 있다. 그러나 디스크 기반
DBMS는 초당 50만 건의 삽입트랜잭션 처리는 매우 어렵다. 그래서 디스크 기반 DBMS의 성능을 향
상시키기 위해 데이터를 디스크가 아닌 메인메모리를사용하는 메인메모리 DBMS가 등장하였다. 그러
나 메인메모리 DBMS는 메인메모리 용량의 한계로 인해 대용량 데이터를 저장하는 것은 어렵다.
본 논문에서는 초당 5만 건 이상의 삽입트랜잭션을 지원하고 대용량 데이터를 저비용으로 저장하기
위해 블록단위의 삽입 트랜잭션을 사용한 저장관리시스템을 제안한다. 블록단위의 삽입 트랜잭션은
개별 튜플 단위의 로그기록 비용과 인덱스 생성비용을 블록단위로 변경시켜 비용을 크게 감소시킬 수
있다. 또한 제안시스템은 데이터를 압축 저장하여 저장 비용을 감소시킬 수 있다. 그러나 압축기법은
데이터의 필드정보가 유실되어 모든 데이터의 압축을 해제하는 비용이 발생한다. 이 문제를 해결하기
위해 제안시스템은 압축 시 압축되는 블록의 인덱스를 생성하여 데이터 검색 속도를 향상시켰다. 본
제안시스템은 반도체 공정에서 빠르게 발생하는 대용량 데이터를 고속으로 저장할 수 있고, 디스크 저
장비용을 감소시킬 수 있다.

참고문헌 (Reference)

1 "알티베이스, 반도체 생산 관리 솔루션 EES , 하이브리드 DBMS 성공사례"

2 김원태, "반도체장비기술교육센터(SETEC) 기술교육 시 리즈(1-1) 반도체 장비 간 통신 표준, 아이티 이노베이션"

3 Chandrasekharan S, "Streaming queries over streaming data" 203-214, 2002

4 Lory. D, "Recovery Protocals for Shared Memory Database Systems" SIGMOD 1995

5 Olston, C, "Query Processing, Resource Management, and Approximation in a Data Stream Management System" CIDR 2003

6 Whang, K.-Y, "Query Optimization in a Memory-Resident Domain Relational Calculus Database System. ACMTransactions on Database Systems"

7 Babcock, B, "Models and Issues in Data Stream Systems" PODS 2002

8 박상근, "GMS: 공간 데이터베이스 관 리 시스템" 2003

9 Arge, L, "Efficient Bulk Operations on Dynamic R-trees" ALENEX 328-348, 1999

10 Boncz, P, "Database architecture optimized for the new bottleneck: memory access" VLDB 54-65, 1999

11 Abadi, D. J, "Aurora: A New Model and Architecture for Data Stream Management" 2003

12 Jochen van den, "An Evaluation of Generic Bulk Loading techniques" 2001

13 Mohan, C, "ARIES: A Transaction Recovery Method Supporting Fine-Granularity Locking and Partial Rollbacks Using Write-Ahead Logging" 17 : 94-162, 1992