장애 복구 응답성 향상을 위한 Spark Streaming 스케줄링 개선 메커니즘 = Improved Spark Streaming Scheduling Mechanism for Real-time Fault Recovery

국문 초록 (Abstract)

최근 방대한 양의 스트림 데이터가 생산되면서 이를 실시간으로 처리하기 위한 프레임워크가 등장하였으며, 오픈 소스 영역에서 Spark Streaming이 주목받고 있다. Spark Streaming은 분산 환경에서 성능 향상을 위해 지연 스케줄링을 기반으로 응용을 수행하지만, 장애 발생 시 사용 가능한 태스크 슬롯을 빠르게 할당받지 못할 경우 장애 복구 시간이 지연될 수 있다는 문제점이 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 실행자의 태스크 슬롯 보장을 통해 대기 시간 없이 즉시 할당할 수 있도록 하는 개선 메커니즘을 제안하였고, 실험 결과 장애 복구 응답성이 39.14% 개선됨을 확인하였다.

목차 (Table of Contents)

• 요약
• Ⅰ. Introduction
• Ⅱ. Background
• Ⅲ. Problem Definition
• Ⅳ. Advanced Fault Recovery Mechanism
• Ⅴ. Experimental Evaluation
• Ⅵ. Conclusion
• REFERENCES