강화학습을 이용한 RPG 자동전투 시스템 설계 및 구현 = Design and implementation of RPG auto play system using reinforcement learning

국문 초록 (Abstract)

국내 모바일 게임 시장 발전과 함께 Role Playing Game(RPG) 장르의 인기는 2022년까지도 계속되고 있다. 대부분 RPG에서 자동전투 시스템을 사용하고 있으며 하나의 재미 요소로 자리를 잡을 만큼 자동전투 시스템은 중요해졌다. 자동전투 시스템의 인공지능으로 많이 활용하는 유한 상태 기계(Finite State Machine)의 경우 유지보수와 행동이 비효율적이다. 이러한 비효율적 부분 해결을 위해 알파고, 알파스타 등 복잡한 문제를 해결하기 위해 사용이 되었던 강화학습(Reinforcement Learning)을 연구 방법으로 제안한다.
본 연구에서는 자동전투 시스템 인공지능 두 가지를 설계 및 구현하여 효율성을 검증하였다. 자동전투 시스템을 유한 상태 기계로 설계 및 구현과 유니티 엔진의 머신러닝 툴킷 ML_Agents를 활용하여 강화학습으로 설계 및 구현 하였다. 후 강화학습의 학습 과정 분석을 진행하였고 강화학습과 유한 상태 기계로 구현된 두 인공지능을 에피소드를 완료하는 시간을 비교하는 방식과 연산속도 비교로 효율성 검증을 진행하였다.
구현된 강화학습 자동전투 시스템의 경우 인공지능이 의도한 대로 학습과 작동을 진행하였으며 유한 상태 기계로 구현된 자동 전투 시스템보다 효율적 행동을 보여주었지만 더 많은 연산이 필요했다. 또한 구현된 강화학습 인공지능을 빌드하여 PC와 Android 플랫폼에서 정상 작동을 확인하였다.

다국어 초록 (Multilingual Abstract)

Along with the development of the domestic mobile game market, the popularity of the role-playing game (RPG) genre continues until 2022. Most RPGs use Auto Play Systems, and Auto Play Systems have become so important that they have become a fun element. Finite State Machine(FSM), which is widely used as artificial intelligence in Auto Play Systems, is inefficient in maintenance and behavior. propose Reinforcement Learning as a research method to solve these problems.
In this study, two Auto Play System artificial intelligence are designed and implemented to verify efficiency. The Auto Play System was designed and implemented as a FSM and Reinforcement Learning was designed and implemented using the Unity engine's machine learning toolkit ML_Agent. afterwards, the learning process analysis of Reinforcement Learning was conducted, and efficiency verification was conducted and computational speed comparison by comparing the time to complete the episode between Reinforcement Learning and FSM.
In the case of implemented Reinforcement Learning Auto Play system, artificial intelligence proceeded with learning and operation as intended and showed more efficient behavior than FSM, but needed more computation. In addition, by building the implemented Reinforcement Learning, normal operation was confirmed on the PC and Android platforms.

목차 (Table of Contents)

• I. 서론 1
• 1.1 연구 배경 및 목적 1
• 1.2 연구 방법 4
• Ⅱ. 관련연구 5
• 2.1 개요 5
• 2.2 유니티 엔진 6
• 2.3 기계 학습 7
• 2.4 강화학습 8
• 2.5 유한 상태 기계 9
• 2.6 ML_Agents 10
• 2.7 RPG(Role Playing Game) 12
• 2.8 자동전투 시스템 14
• Ⅲ. 요구 분석 및 설계 16
• 3.1 요구 분석 16
• 3.2 설계 17
• 3.2.1 자동전투 요소 분석 17
• 3.2.2 플레이어 캐릭터 설계 18
• 3.2.3 플레이어 캐릭터의 자동전투 인공지능 설계 20
• 3.2.4 적 캐릭터 설계 27
• 3.2.5 적 캐릭터 인공지능 설계 29
• 3.2.6 환경 설계 30
• 3.2.7 프로그래밍 설계 31
• IV. 구현 및 검증 34
• 4.1 자동전투 시스템 구현 내용 34
• 4.1.1 유닛 구현 34
• 4.1.2 유한 상태 기계 구현 38
• 4.1.3 강화학습 구현 40
• 4.1.4 학습 환경 구현 44
• 4.2 성능 검증 46
• V. 결 론 52
• [참고문헌] 54