DDQN을 활용한 강화학습 기반의 다기능 레이더 임무 스케줄링 방법

국문 초록 (Abstract)

다기능 레이더(MFR, Multi-Function Radar)의 발전으로 한정된 자원을 가진 환경에서 효율적으로 레이더의 성능을 향상시키기 위한 레이더 자원관리 방법은 지속적으로 연구되는 분야이다. 레이더 임무 스케줄링은 자원관리 방법 중 핵심적인 요소로서 이를 해결하기 위한 다양한 알고리즘이 연구되고 있다. 하지만 기존 알고리즘은 성능 최적화의 어려움 혹은 다양한 환경 반영의 어려움 등 한계점을 가지고 있다. 본 연구에서는 다양한 파라미터를 가진 레이더 임무환경을 정의하고, 레이더 임무 스케줄링 문제를 해결하기 위해 심층 강화학습인 DDQN(Double Deep Q-Network)을 활용한 스케줄링 모델을 구현하였다. 스케줄링 임무의 수를 다르게 하여 전체 타임라인 대비 저부하 상황에서부터 과부하 상황까지 다양한 시나리오에 대한 시뮬레이션을 진행하였다. 시뮬레이션 결과 본 연구에서 제안한 DDQN 기반 스케줄링 기법은 모든 시나리오에서 휴리스틱기반의 스케줄링 기법보다 더 낮은 임무 드랍 수와 비용를 보여주며 스케줄링 최적화 측면에서 우수한 성능을 보여주었다. 또한 학습과정에서 보상값이 빠르게 수렴되어 기존 DQN(Deep Q-Network) 모델보다 레이더 임무 스케줄링 문제에서 안정적인 학습이 가능함을 보여주었다. 본 연구를 통해 다양한 레이더 환경에서 우수한 스케줄링 성능을 가지는 심층 강화학습 기반 스케줄링 기법의 적용 가능성을 확인하였다.

다국어 초록 (Multilingual Abstract)

With the advances in multi-function radar, radar resource management to enhance radar performance efficiently in an environment with limited resources is an active area. Radar task scheduling is a key factor in radar resource management, and various algorithms have been studied to solve it. On the other hand, existing algorithms have limitations, such as difficulty in optimizing the performance or reflecting various environments. In this study, a radar task environment with various parameters is defined. A scheduler model utilizing a deep reinforcement learning-based agent called Double Deep Q-Network (DDQN) is proposed to solve the scheduling problem. Numerical simulations are constructed to evaluate the proposed scenarios ranging from underloaded to overloaded situations by varying the number of scheduling tasks. The simulations showed that the DDQN-based scheduling method proposed in this study provides a lower dropped ratio and cost compared to heuristic-based scheduling methods in all scenarios, demonstrating superior performance in terms of scheduling optimization. Furthermore, the convergence rate of the DDQN model during training is faster than the Deep Q-Network (DQN) model, suggesting that stable learning is possible in radar task scheduling problems. In this study, it is expected that deep reinforcement learning-based scheduling methods with superior performance can be applied in various radar operating environments.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 본론
• 3. 결론
• References