Modeling and reinforcement learning-based control of simultaneous positive and negative pressure generation in pneumatic systems

국문 초록 (Abstract)

본 논문에서는 흡배기가 동시에 이루어지는 복잡한 동역학적 특징을 가진 양음압 발생 공압 시스템을 강인하게 제어할 강화학습 기반의 제어기를 제안한다. 이를 위해 강화학습 훈련을 지원하기 위해 동적 모델을 개발하였다. 기존 시뮬레이터가 공기 역학에만 초점을 맞춘 것과 달리, 개발된 공압 시스템 시뮬레이터는 펌프의 기구학적 구조와 공압 부품의 전자기적 작동을 통합하여 복잡한 동역학적 특성을 정밀하게 모델링하면서도 계산 효율성, 지속적인 상호 작용을 지원함으로써 강화학습에 적합하도록 설계했다. 공압 시스템에 맞는 강화학습 기반 제어기 설계에는 두 가지 보완적인 전략인 Model-Predicted Observation (MPObs)과 Conditioning for Action Policy Smoothness (CAPS) 기반의 제어 입력 평활화 (Action smoothing) 기법을 사용한다. MPObs는 수학적 모델을 사용하여 시스템의 미래 상태를 예측함으로써 공기 전송 지연과 같은 비선형 효과를 능동적으로 제어할 수 있도록 하며, CAPS 기반 제어 입력 평활화는 제어 입력의 진동과 시뮬레이터와 실제 시스템 간의 차이를 완화하여 매끄럽고 안정적인 제어를 보장한다. 실험 결과, 제안된 강화학습 기반 제어기는 양압과 음압에서 각각 0.6935 kPa 및 0.2646 kPa의 RMSE를 달성하며, 기존 외란관측기 (Disturbance Observer) 기반 선형 제어기를 능가하는 성능을 보였다. 또한, 소거 실험(Ablation Test)을 통해 MPObs와 CAPS 기반 평활화의 상보 효과가 강인하고 적응적인 제어를 달성하는 데 중요한 역할을 한다는 점이 입증되었다. 공압 시스템에 적합한 시뮬레이터와 강화학습 기법을 통합함으로써, 본 논문은 공압 전원 시스템의 비선형 문제를 효과적으로 해결할 수 있는 효율적인 제어 전략을 제시한다.

다국어 초록 (Multilingual Abstract)

This thesis proposes a robust controller designed using reinforcement learning (RL) for generating positive and negative pressure in pneumatic systems, addressing the complex dynamics of simultaneous suction and exhaust behavior. In this thesis, dynamic models were developed to facilitate RL training. Unlike traditional simulators that focus solely on airflow dynamics, the simulator developed in this study incorporates pump kinematics and electromagnetic actuation of pneumatic components, enabling precise modeling of coupled dynamics while maintaining computational efficiency and supporting continuous RL interaction. The proposed RL framework employs two complementary strategies: Model-Predicted Observation (MPObs) and Conditioning for Action Policy Smoothness (CAPS)-based action smoothing. MPObs predicts future system states using a mathematical model, enabling proactive control over nonlinear effects such as air transmission delays, while CAPS mitigates oscillations and domain gaps, ensuring smooth and stable control inputs. Experimental results demonstrate that the RL-based controller achieves RMSEs of 0.6935 kPa and 0.2646 kPa for positive and negative pressures, respectively, outperforming the DOB-based controller. Ablation studies confirm the synergistic contributions of MPObs and CAPS, highlighting their importance in achieving robust and adaptive control. By integrating advanced simulation and RL techniques, this thesis offers an efficient control strategy for the nonlinear challenges of pneumatic power sources.

목차 (Table of Contents)

• List of Figures 5
• List of Tables 7
• 1 Introduction 11
• 1.1 Research Motivation 11
• 1.2 Contributions 15
• 1.3 Outline of the Thesis 16
• 2 Related Works 19
• 2.1 Disturbance Observer-Based Pressure Controller 19
• 2.2 Soft Actor-Critic 20
• 2.3 Conditioning for Action Policy Smoothness 21
• 3 Pneumatic System Simulator 25
• 3.1 Pneumatic Pump 26
• 3.1.1 Description of Pneumatic Pump 26
• 3.1.2 Modeling of Pneumatic Pump 27
• 3.2 Solenoid Valve 29
• 3.2.1 Description of Solenoid Valve 29
• 3.2.2 Modeling of Solenoid Valve 30
• 3.3 Chamber 31
• 3.4 Simulator 32
• 4 Reinforcement Learning Controller 37
• 4.1 Control Architecture 38
• 4.1.1 Time Discretization and Key Definitions 38
• 4.1.2 State Utilizing Model-Predicted Observation 38
• 4.1.3 Goal and Action Trajectory 39
• 4.1.4 Reward Function 40
• 4.2 Policy Optimization 41
• 4.2.1 Objective Function with Regularization for Action Smoothing 41
• 4.2.2 Simulation to Real Transfer 42
• 5 Experimental Results & Discussion 47
• 5.1 Experiment Setup 47
• 5.1.1 Pneumatic System Setup 47
• 5.1.2 Controller Setup 48
• 5.1.3 Experiment Scenario 49
• 5.1.4 Validation of Simulator Accuracy 50
• 5.2 Comparative Analysis of Controller Performance 50
• 5.3 Ablation Test of RL-based Controller 51
• 6 Conclusion 59
• References 61