데이터 병렬성을 활용한 로그 파일 재구축 부하 개선 연구 = A Study on Improvement of Log File Reconstruction Overhead Utilizing Data Parallelism

다국어 초록 (Multilingual Abstract)

Redis, an in-memory database that uses DRAM which is a volatile device as its main repository, has the advantage of rapid data processing but the risk of data loss is high. To prevent the data loss, Redis provides AOF method that appends log records for performed commands to the log file.
However, there is a constant increase in the log file due to continuous records. Although Redis provides log file reconstruction methods to prevent sudden increase in the log file, additional memory usage and latency in data processing are required, adding to the burden in terms of performance and resources. In this research, we propose the log file reconstruction method using data parallelism to improve the overhead occurred in the log file reconstruction. Also, we perform reconstruction without AOF Rewrite buffer that is the major cause of reconstruction overhead through our method, so the memory usage and data processing performance are improved. The proposed model is evaluated via memtier-benchmark and we confirmed the reconstruction overhead has been considerably improved.

국문 초록 (Abstract)

휘발성 장치인 DRAM을 주 저장소로 사용하는 인메모리 데이터베이스인 Redis는 신속한 데이터 처리의장점을 지녔지만, 데이터 유실 위험이 크다. Redis는 데이터 유실 방지를 위해, 수행한 명령어를 로그 파일에덧붙여 기록하는 AOF 기법을 제공한다. 하지만 계속되는 기록으로 인하여 로그 파일이 기약 없이 증가하는현상이 발생한다. Redis는 로그 파일 재구축 기법을 제공하여 로그 파일 급증을 방지하지만, 부가적인 메모리사용과 데이터 처리 지연이 요구되어 성능 및 자원 측면에서 부담이 가중된다. 본 연구에서는 로그 파일 재구축 시 발생하는 부하를 개선하기 위해 데이터 병렬성을 활용한 로그 파일 재구축 기법을 제안한다. 또한, 재구축 부하의 주요 원인이 되는 AOF Rewrite 버퍼 없이 재구축 작업을 수행하여, 메모리 사용량과 데이터처리 성능을 향상시킨다. 제안하는 모델은 memtier-benchmark를 통해 평가되었으며, 재구축 부하가 크게개선되었음을 확인하였다.

참고문헌 (Reference)

1 김도영, "인-메모리 키-값 데이터베이스를 위한 비 휘발성 메모리 기반 영속적 로그 버퍼 기법" 한국정보과학회 45 (45): 1193-1202, 2018

2 성한승, "메모리 기반 키-값 저장소에서의 데이터 압축 저장과 병렬 스냅샷 생성 기법" 한국정보과학회 35 (35): 33-53, 2019

3 Sikka V, "SAP HANA : the evolution from a modern main-memory data platform to an enterprise application platform" 6 (6): 1184-1185, 2013

4 진민화, "Redis에서 AOF Rewrite 기법의 오버헤드 분석" 한국정보기술학회 15 (15): 1-10, 2017

5 "Redis"

6 Giles E, "Persisting In-Memory Databases Using SCM" 2981-2990, 2016

7 Bao X, "Persistence and Recovery for In-Memory NoSQL Services : A Measurement Study" 530-537, 2016

8 Huang K, "NVHT : An efficient key-value storage library for non-volatile memory" 120 : 339-354, 2018

9 "Memtier-Benchmark"

10 "Memcached"

11 Liu H, "LibreKV : A Persistent In-Memory Key-Value Store" 1-12, 2017

12 Cao W, "Evaluation and Analysis of In-Memory Key-Value Systems" 26-33, 2016

13 "DB-Engine Ranking"

14 Srinivasan V, "Aerospike : architecture of a real-time operational DBMS" 9 (9): 1389-1400, 2016