점진적 맵 업데이트를 위한 모바일 DBMS의 플래시메모리 페이지 관리 기법

민경욱,최정단,김주완,Min, Kyoung Wook,Choi, Jeong Dan,Kim, Ju Wan 한국공간정보학회 2012 한국공간정보학회지 Vol.20 No.5

최근 모바일 디바이스에서 대용량 데이터 저장/관리를 위해 모바일 DBMS를 사용하려는 추세이며 특히 내비게이션 응용과 같이 대용량 맵 데이터의 저장/관리를 위한 모바일 DBMS의 저장구조 및 질의처리 방법에 대한 연구가 수행되었다. 무작위 데이터 접근(읽기/쓰기/변경) 질의가 대부분인 DBMS의 저장매체로 플래시메모리를 사용할 경우 성능이 저하된다. 그 이유는 플래시메모리는 특성상 순차적인 데이터 기록에는 성능이 좋지만 무작위 데이터 기록에는 성능이 나쁘다. 따라서 플래시메모리를 저장매체로 사용하는 모바일 DBMS의 경우 기존과 다른 저장 및 질의처리 기법이 필요하다. 이에 본 논문에서는 무작위 데이터 업데이트의 성능을 향상시키기 위한 DBMS의 페이지 관리 기법을 연구하였고 이를 점진적 맵 업데이트를 지원하는 내비게이션용 모바일 DBMS에 적용하여 실험하였고 성능을 검증하였다. Recently the mobile DBMS (Database Management System) is popular to store and manage large data in a mobile device. Especially, the research and development about mobile storage structure and querying method for navigation map data in a mobile device have been performed. The performance of the mobile DBMS in which random data accesses are most queries if the NAND flash memory is used as storage media of the DBMS is degraded. The reason is that the performance of flash memory is good in writing sequentially but bad in writing randomly as the features of the NAND flash memory. So, new storage structure and querying policies of the mobile DBMS are needed in the mobile DBMS in which a flash memory is used as storage media. In this paper, we have studied the policy of the database page management to enhance the performance of the frequent random update and applied this policy to the navigation-specialized mobile DBMS which supports incremental map update. And also we have evaluated the performance of this policy by experiments.

점진적 맵 업데이트를 위한 모바일 DBMS의 플래시메모리 페이지 관리 기법

민경욱,최정단,김주완 대한공간정보학회 2012 Spatial Information Research Vol.20 No.5

Recently the mobile DBMS (Database Management System) is popular to store and manage large data in a mobile device. Especially, the research and development about mobile storage structure and querying method for navigation map data in a mobile device have been performed. The performance of the mobile DBMS in which random data accesses are most queries if the NAND flash memory is used as storage media of the DBMS is degraded. The reason is that the performance of flash memory is good in writing sequentially but bad in writing randomly as the features of the NAND flash memory. So, new storage structure and querying policies of the mobile DBMS are needed in the mobile DBMS in which a flash memory is used as storage media. In this paper, we have studied the policy of the database page management to enhance the performance of the frequent random update and applied this policy to the navigation-specialized mobile DBMS which supports incremental map update. And also we have evaluated the performance of this policy by experiments. 최근 모바일 디바이스에서 대용량 데이터 저장/관리를 위해 모바일 DBMS를 사용하려는 추세이며 특히 내비게이션 응용과 같이 대용량 맵 데이터의 저장/관리를 위한 모바일 DBMS의 저장구조 및 질의처리 방법에 대한 연구가 수행되었다. 무작위 데이터 접근(읽기/쓰기/변경) 질의가 대부분인 DBMS의 저장매체로 플래시메모리를 사용할 경우 성능이 저하된다. 그 이유는 플래시메모리는 특성상 순차적인 데이터 기록에는 성능이 좋지만 무작위 데이터 기록에는 성능이 나쁘다. 따라서 플래시메모리를 저장매체로 사용하는 모바일 DBMS의 경우 기존과 다른 저장 및 질의처리 기법이 필요하다. 이에 본 논문에서는 무작위 데이터 업데이트의 성능을 향상시키기 위한 DBMS의 페이지 관리 기법을 연구하였고 이를 점진적 맵 업데이트를 지원하는 내비게이션용 모바일 DBMS에 적용하여 실험하였고 성능을 검증하였다.

오디세우스/DM : 오디세우스 객체 관계형 DBMS와 밀결합된 데이터 마이닝 시스템의 설계 및 구현

이일엽,김민수,김준성,이정훈,황규영 한국정보과학회 2012 정보과학회논문지 : 데이타베이스 Vol.39 No.4

데이터의 양이 급증함에 따라 데이터 마이닝의 대상인 데이터가 대부분 DBMS에 의해 관리되면서, 데이터 마이닝 기능을 DBMS와 결합하여 수행하는 데이터 마이닝 시스템의 성능이 중요한 이슈가 되고 있다. 데이터 마이닝 기능과 DBMS의 결합 방법은 데이터 마이닝 시스템의 성능에 큰 영향을 미치는데, 소결합과 밀결합으로 구분할 수 있다. 데이터 마이닝 기능을 DBMS 외부에 구현하는 소결합 방법은 DBMS의 상위 레벨 인터페이스를 사용하기 때문에 구현은 용이하지만 높은 성능을 기대하기 어렵고, 데이터 마이닝 기능을 DBMS 내부에 구현하는 밀결합 방법은 DBMS의 하위 레벨 인터페이스를 사용하기 때문에 구현이 어렵지만 높은 성능을 보인다. 데이터 마이닝 시스템의 성능 향상을 위해서는 밀결합 방법이 필수적이지만, 대부분의 기존 시스템들은 소결합 방법으로 구현되어 있다. 따라서, 본 논문에서는 우수한 성능의 데이터 마이닝 시스템 구현을 위해 데이터 마이닝 기능을 오디세우스 객체 관계형 DBMS에 밀결합하는 방법을 제안하고, 이를 따르는 오디세우스/DM(Data Mining)을 구현한다. 오디세우스/DM은 데이터 마이닝 기능 수행에 필요한 타입 및 연산을 DBMS 엔진 내부에 구현하여 소결합 방법에서 발생하는 오버헤드를 최소화한다. 또한, 오디세우스/DM은 기존 시스템들과의 상호 운용성을 높이기 위해 데이터 마이닝 결과 표현을 위한 산업 표준인 PMML(Predictive Model Markup Language)을 지원한다. 실험에서는 오디세우스/DM의 성능이 소결합 방법으로 구현한 데이터 마이닝 시스템에 비해 우수함을 보인다. As the amount of data increases rapidly, the data to be mined is more and more managed in the DBMS. Thus, the performance of data mining systems integrating data mining functionalities with the DBMS becomes an important issue. The methods of integrating data mining functionalities with the DBMS have an effect on the performance of the data mining system and can be classified into two categories: loose-coupling and tight-coupling. In loose-coupling, data mining functionalities are implemented outside the DBMS. Since it uses a high-level interface of the DBMS, it is easy to implement, but difficult to achieve high performance. In tight-coupling, data mining functionalities are implemented inside the DBMS. Since it uses a low-level interface of the DBMS, its implementation is non-trivial but easy to achieve high performance. Although the implementation of a high-performance data mining system requires the tight-coupling architecture, most of the existing systems are implemented in the loose-coupling architecture. Therefore, in order to implement a high performance data mining system, we introduce an architecture that tightly couples data mining functionalities with the Odysseus object-relational DBMS, and implement Odysseus/DM (Data Mining) that adopts this architecture. By implementing a type and operations related to data mining functionalities inside the DBMS engine, Odysseus/DM minimizes the overhead that can be incurred in the loose-coupling architecture. Odysseus/DM supports PMML (Predictive Model Markup Language), which is an industrial standard for representing data mining results, in order to provide interoperability with the existing systems. Finally, we conduct experiments showing that the performance of Odysseus/DM is superior to that of a data mining system implemented in the loose-coupling architecture.

국방 M&S 가상시험 연동 환경을 위한 SimCoreDB 설계 및 적합성 평가

최미선(Mi-Seon Choi),최성우(Sung-Woo Choi),이예나(Yena Lee),김영국(Young-Kuk Kim) 한국정보과학회 2014 정보과학회논문지 : 데이타베이스 Vol.41 No.2

현존하는 국방 M&S(Modeling & Simulation) 가상시험들에서 DBMS의 활용은 참조 데이터나 사후분석 로그 저장과 같은 용도로 국한되고 있다. 국방 M&S 가상시험에 DBMS를 적극 활용하면, 체계적이고 효율적인 데이터관리가 가능하고 가상시험 개발이 용이해지며, 데이터 분석 성능 향상, 데이터 마이닝 기술 활용 등으로 고급 사후분석이 가능하게 될 것이다. 본 논문에서는 DBMS를 이용한 전문 데이터관리 및 분산 DBMS 동기화를 통해 분산 시뮬레이션들의 상호 운영성을 제공해줄 수 있는 새로운 DBMS기반 국방 M&S 가상시험 연동환경을 제안한다. 이를 위해 RPR-FOM을 바탕으로 국방 M&S 가 상시험들을 위한 표준 코어DB인 SimCoreDB를 관계형 및 객체지향형 DB모델로 설계하고 상용 DBMS들을 이용하여 SimCoreDB를 구축한 후, 국방 M&S 가상시험 테스트베드를 구현하고, 관계형/객체지향형 SimCoreDB의 성능평가를 실시하여, 국방 M&S 가상시험에 대한 적합성을 평가하였다. The roles of DBMSs in most of existing defense M&S(Modeling & Simulation) simulations are limited to fields like storing some read-only data referred during simulation and log data kept for after-action-review processes. Utilizing DBMSs in defense M&S simulations allows systematic/efficient data management and easy development of M&S simulations. In addition, advanced data analysis on simulation results would be possible via improved performance in data analysis, application of data mining techniques, etc. We proposed a new DBMS-based defense M&S simulation interoperating environment which provides defense M&S simulations with professional data management capabilities and guarantees interoperability between each simulation through distributed DBMS synchronization. For that purpose, we designed SimCoreDB, a standard simulation core DB for defense M&S simulations operating in this environment, in a relational/object-oriented model, and built SimCoreDB on commercial DBMSs for each data model. We also implemented a defense M&S simulation testbed using SimCoreDB and performed experiments to assess the conformity and performance of SimCoreDB built on relational/object-oriented DBMSs.

메모리 상주 DBMS에서의 응용 트랜잭션 성능평가에 관한 연구

김희완,이혜경 (사)디지털산업정보학회 2009 디지털산업정보학회논문지 Vol.5 No.4

Recently, the Main Memory DBMS is gradually being expanded by the appearance of a large capacity of a Main Memory System, the increase in business area where it requires a real time process, and the rise of the users’ required level. The Main Memory DBMS, which is able to go through a large capacity data process of the disk-based DBMS and guarantees a high efficiency, has domestically developed and has been put to a practical use. This paper presents an examination of the applied technologies and the limits of Altibase system, which is Main Memory DBMS. Moreover, it evaluated and performed a comparative analysis on the performance level of the Main Memory DBMS and the disk-based DBMS based on the same application. After five trials of the experiment based on the operating application, it was confirmed that the performance level of the Main Memory DBMS is enhanced and is higher by 4.13 to 7.89 times than the disk-based DBMS.

오디세우스/Graph: 오디세우스 객체 관계형 DBMS와 밀결합된 그래프 데이터베이스 시스템의 설계 및 구현

나인주,이일엽,윤태섭,황규영 한국정보과학회 2016 데이타베이스 연구 Vol.32 No.2

Recently, abundance of web applications involving graph databases and their numerous users produce high demand for graph database systems that support efficient graph analysis operations. Since a graph analysis operation repeatedly searches for and accesses adjacent nodes, efficiency of those operations is very important. Graph database systems based on their own (ad-hoc) storage systems can perform graph analysis operation efficiently since those storage systems are specialized for searching adjacent nodes. However, in the case where the input data for the (graph analysis) operation is stored in a DBMS, the data should be migrated to their own storage system. Moreover, applications cannot utilize various functionalities provided by the DBMS. In this paper, we design and implement ODYSSEUS/Graph, a graph database system based on a DBMS. ODYSSEUS/Graph can efficiently search for adjacent nodes related to a specific node by storing the information of adjacent nodes in the tuple for that node. In addition, we improve the performance of ODYSSEUS/Graph by tightly-coupling the functions of the graph database system with the DBMS so that we can avoid copying the data to a specialized storage system for graph analysis. Through the experiments, we show that ODYSSEUS/Graph can process graph analysis operations up to 14.06 times faster than a loosely-coupled system. 최근 그래프 데이터를 다루는 응용의 규모와 사용자의 수가 급격히 증가함에 따라 효율적인 그래프 분석연산을 지원하는 그래프 데이터베이스 시스템에 대한 수요가 증가하고 있다. 그래프 분석 연산은 반복적으로인접 노드를 검색하는 특징이 있으므로 인접 노드 검색을 효율적으로 지원하는 것이 중요하다. 자체 저장 시스템 기반 그래프 데이터베이스 시스템은 인접 노드의 검색에 특화된 저장 시스템을 사용하여 빠른 성능의그래프 분석 연산을 제공한다. 그러나 원본 데이터가 DBMS에 저장된 경우, 이를 이전해야 하는 오버헤드가있으며, 데이터베이스의 다양한 기능을 응용에서 사용할 수 없는 한계를 가진다. 이에 본 논문에서는 DBMS 기반 그래프 데이터베이스 시스템인 오디세우스/Graph를 설계하고 구현한다. 오디세우스/Graph에서는 각노드의 인접 노드들에 대한 정보를 함께 저장함으로써 인접 노드 검색을 효율적으로 지원할 수 있다. 또한, 그래프 데이터베이스 시스템의 기능을 DBMS에 밀결합함으로써 데이터 의 외부 인출을 방지하여 성능을 향상시킨다. 실험을 통하여 오디세우스/Graph의 그래프 분석 성능이 그래프 데이터베이스 시스템의 기능을DBMS와 소결합한 시스템에 비해 최대 14.06배 빠름을 보인다.

공간 메인 메모리 DBMS를 위한 효율적인 회복 시스템

김정준,주성완,강홍구,홍동숙,한기준,Kim, Joung-Joon,Ju, Sung-Wan,Kang, Hong-Koo,Hong, Dong-Sook,Han, Ki-Joon 한국공간정보시스템학회 2006 한국공간정보시스템학회 논문지 Vol.8 No.3

최근 실시간 서비스의 요구 사항을 갖는 위치 기반 서비스(Location Based Service : LBS)와 텔레매틱스(Telematics) 서비스를 효율적으로 제공하기 위해서 공간 메인 메모리 DBMS에 대한 관심이 급증하고 있다. 이러한 공간 메인 메모리 DBMS에서는 시스템 장애가 발생하였을 경우 메인 메모리상의 모든 공간 데이타를 잃어버릴 수 있으므로 데이타베이스의 안정성을 위한 회복 시스템은 매우 중요하다. 회복 시스템에서 로그와 체크포인트 수행 과정 중 발생하는 디스크 입출력은 전체 시스템 성능을 저하하는 중요한 요인이 되고 있다. 그러므로, 공간 메인 메모리 DBMS에서 디스크 입출력을 줄일 수 있는 효율적인 회복 시스템에 대한 연구가 절실히 필요하다. 본 논문에서는 공간 메인 메모리 DBMS를 위한 효율적인 회복 시스템에 대해서 연구하였다. 먼저 로그 기법으로는 디스크 입출력을 줄이고 트랜잭션의 동시성 향상을 위해 사전 완료 기법을 사용하였고, 전체 시스템 성능을 향상시키기 위해 기존의 퍼지-핑퐁 체크포인트 기법에서 발생하는 동일 페이지에 대한 중복 디스크 입출력 문제를 해결한 퍼지-쉐도우 체크포인트 기법을 제안하여 회복 시스템 구현 시 사용하였다. 그리고 마지막으로 본 논문에서 개발한 회복 시스템의 성능 평가를 수행하여 효율성을 입증하였다. Recently, to efficiently support the real-time requirements of LBS and Telematics services, interest in the spatial main memory DBMS is rising. In the spatial main memory DBMS, because all spatial data can be lost when the system failure happens, the recovery system is very important for the stability of the database. Especially, disk I/O in executing the log and the checkpoint becomes the bottleneck of letting down the total system performance. Therefore, it is urgently necessary to research about the recovery system to reduce disk I/O in the spatial main memory DBMS. In this paper, we study an efficient recovery system for the spatial main memory DBMS. First, the pre-commit log method is used for the decrement of disk I/O and the improvement of transaction concurrency. In addition, we propose the fuzzy-shadow checkpoint method for the recovery system of the spatial main memory DBMS. This method can solve the problem of duplicated disk I/O on the same page of the existing fuzzy-pingpong checkpoint method for the improvement of the whole system performance. Finally, we also report the experimental results confirming the benefit of the proposed recovery system.

Forensic investigation framework for the document store NoSQL DBMS: MongoDB as a case study

Yoon, J.,Jeong, D.,Kang, C.h.,Lee, S. Elsevier 2016 Digital investigation Vol.17 No.-

<P>The NoSQL DBMS provides an efficient means of storing and accessing big data because its servers are more easily horizontally scalable and replicable than relational DBMSs. Its data model lacks a fixed schema, so that users can easily dynamically change the data model of applications. These characteristics of the NoSQL DBMS mean that it is increasingly used in real-time analysis, web services such as SNS, mobile apps and the storage of machine generated data such as logs and IoT (Internet of Things) data. Although the increased usage of the NoSQL DBMS increases the possibility of it becoming a target of crime, there are few papers about forensic investigation of NoSQL DBMS. In this paper, we propose a forensic investigation framework for the document store NoSQL DBMS. It is difficult to cover all of the NoSQL DBMS, as 'NoSQL' includes several distinct architectures; our forensic investigation framework, however, is focused on the document store NoSQL DBMS. In order to conduct an evaluative case study, we need to apply it to MongoDB, which is, a widely used document store NoSQL DBMS. For this case study, a crime scenario is created in an experimental environment, and then we propose in detail a forensic procedure and technical methods for MongoDB. We suggested many substantial technical investigation methods for MongoDB, including identifying real servers storing evidences in a distributed environment and transaction reconstruction method, using log analysis and recovering deleted data from the MongoDB data file structure. (C) 2016 Elsevier Ltd. All rights reserved.</P>

질의 전처리기를 사용한 스트림 DBMS의 효율적 질의처리

양영휴(Yang YoungHyoo) 한국컴퓨터정보학회 2008 韓國컴퓨터情報學會論文誌 Vol.13 No.1

유비쿼터스 시대의 텔레매틱스 데이터 관리는 자동차의 위치나 속도, 엔진의 속도, 타이어의 상태, 운전자의 관심사항등의 실시간으로 유입되는 스트림 데이터에 대한 질의를 처리하는데 있다. 본 논문에서는 기존의 스트림 DBMS의 질의처리 연구현황을 비교 분석하고, 스트림 DBMS에서 다뤄야 하는 모든 유형의 질의를 질의 전처리기를 사용하여 하나의 통합된 시스템에서 처리할 수 있는 통합 하이브리드 모델을 제안한다. 최근 각종 장치의 가격은 하락하는 반면, 성능은 수직 상승함에 따라 DB와 큐등을 위한 공간을 추가함으로써 최대의 병렬성을 보장 받을 수 있다. 그 결과 제안된 하이브리드 모델에서는 다양한 유형의 스트림 DBMS 질의들을 단일 시스템 내에서 일괄적이며 효율적으로 처리하여 시스템 성능 향상을 기대 할 수 있다. The telematics data management deals with queries on stream data coming from moving cars. So the stream DBMS should process the large amount of data stream in real-time. In this article, previous research projects are analyzed in the aspects of query processing. And a hybrid model is introduced where query preprocessor is used to process all types of queries in one singe system. Decreasing cost and rapidly increasing performance of devices may guarantee the utmost parallelism of the hybrid system. As a result, various types of stream DBMS queries could be processed in a uniform and efficient way in a single system.

Two-Tier Storage DBMS for High-Performance Query Processing

Eo, Sang-Hun,Li, Yan,Kim, Ho-Seok,Bae, Hae-Young Korea Information Processing Society 2008 Journal of information processing systems Vol.4 No.1

This paper describes the design and implementation of a two-tier DBMS for handling massive data and providing faster response time. In the present day, the main requirements of DBMS are figured out using two aspects. The first is handling large amounts of data. And the second is providing fast response time. But in fact, Traditional DBMS cannot fulfill both the requirements. The disk-oriented DBMS can handle massive data but the response time is relatively slower than the memory-resident DBMS. On the other hand, the memory-resident DBMS can provide fast response time but they have original restrictions of database size. In this paper, to meet the requirements of handling large volumes of data and providing fast response time, a two-tier DBMS is proposed. The cold-data which does not require fast response times are managed by disk storage manager, and the hot-data which require fast response time among the large volumes of data are handled by memory storage manager as snapshots. As a result, the proposed system performs significantly better than disk-oriented DBMS with an added advantage to manage massive data at the same time.