깊은강화학습 기반 1-vs-1 공중전 모델링 및 시뮬레이션 = Modeling and Simulation on One-vs-One Air Combat with Deep Reinforcement Learning

국문 초록 (Abstract)

인공지능(AI)를 교전상황에 활용하는 것은 최근 10년간 국방 분야의 주요 관심사였다. 이러한 응용을 위해서, AI 교전에이전트를 훈련해야 하며, 이를 위해 현실적인 시뮬레이션이 반드시 필요하다. 하드웨어 차원의 현실성을 가진 공중 무기체계 공중전 모델에서 AI 에이전트를 학습한 사례에 대해서 본 논문은 서술하고 있다. 특히, 본 논문은 기총만을 활용하는 공중전 상황에서 적을 어떻게 추적해야하는지 AI를 학습하였다. 본 논문은 현실적인 공중전 시뮬레이터를 작성하여, 에이전트의 행동을 강화학습으로 수행한 결과를 제시한다. 훈련 결과로는 Lead 추적을 활용하여 단축된 교전시간과 높은 보상을 갖는 에이전트의 학습에 성공하였다.

다국어 초록 (Multilingual Abstract)

The utilization of artificial intelligence (AI) in the engagement has been a key research topic in the defense field during the last decade. To pursue this utilization, it is imperative to acquire a realistic simulation to train an AI engagement agent with a synthetic, but realistic field. This paper is a case study of training an AI agent to operate with a hardware realism in the air-warfare dog-fighting. Particularly, this paper models the pursuit of an opponent in the dog-fighting setting with a gun-only engagement. In this context, the AI agent requires to make a decision on the pursuit style and intensity. We developed a realistic hardware simulator and trained the agent with a reinforcement learning. Our training shows a success resulting in a lead pursuit with a decreased engagement time and a high reward.

참고문헌 (Reference)

1 이동진, "강화학습을 이용한 무인전투기(UCAV) 근접 공중전" 249-252, 2009

2 Breton, R., "The C-OODA:A cognitive version of the OODA loop to represent C2 activities" 2005

3 박현주, "Scoring Function Matrix를 활용한 전투기 3 차원 공중전 기동생성" 442-445, 2015

4 Ng, A. Y., "Policy invariance under reward transformations:Theory and application to reward shaping" 99 : 278-287, 1999

5 Sutton R. S., "Policy Gradient Methods for Reinforcement Learning with Function" 2000

6 Sutton, R. S., "Introduction to reinforcement learning (Vol. 135)" MIT press 1998

7 Ernest, N., "Genetic fuzzy based artificial intelligence for unmanned combat aerial vehicle control in simulated air combat missions" 6 (6): 2167-0374, 2016

8 Shaw, R. L., "Fighter Combat" Naval Institute Press 1985

9 Toghiani-Rizi, B., "Evaluating deep reinforcement learning for computer generated forces in ground combat simulation" IEEE 3433-3438, 2017

10 박현주, "Differential Game Based Air Combat Maneuver Generation Using Scoring Function Matrix" 한국항공우주학회 17 (17): 204-213, 2016

11 Silver, D., "Deterministic Policy Gradient Algorithms" 32 : 2014

12 Lillicrap T. P., "Continuous Control with Deep Reinforcement Learning" 2016