앙상블 모델을 활용한 자동화 설비 operating system에서의 이상 증상 탐지 Explanation model

국문 초록 (Abstract)

Artificial Intelligence(AI)과 Internet of Things(IoT) 기술이 발전하면서 스마트폰이나 가전제품뿐만 아니라 무인 비행 드론이나 수소연료전지 자동차를 위한 수소 가스 충전소과 같이 다양한 산업에 적용하기 위한 연구들이 진행되고 있다. 하지만, 이러한 AI 모델들은 Accuracy와 F1 Score와 같은 성능 지표에서 높은 수치를 보여주지만, 산업 현장에서의 적용이 지연되는 경우가 많다. 이러한 이유는 AI 모델의 과적합, 데이터 편향과 같은 AI 모델의 문제점이 발생해도 즉각 확인하기 어려워 신뢰할 수 없으며, 생성형 AI를 제외한 대부분의 AI 모델들은 회귀,분류 형식으로 결과만 내놓고 학습 과정과 추론 과정을 확인할 수 없는 구조로 AI 모델의 개선이나 검증이 어렵다는 문제점이 있다. 이러한 문제를 해결하기 위해, AI 모델을 활용하여 수소 연료 자동차 충전소와 무인 비행 드론의 운영 데이터를 대상으로 이상 행위 탐지를 수행하고, Shapley Additive exPlanations(SHAP) 기법을 적용하여 탐지 결과에 대한 AI 모델의 Explanation을 분석하여 해당 모델의 학습 경향과 학습 Dataset내 이상 행위의 특징을 분석하였다. 이를 통해, 각 Dataset에서 이상 행위의 특징을 확인하고, AI 모델이 적절한 학습을 하였는지 검증하고 AI 모델의 활용성을 개선할 수 있었다.

다국어 초록 (Multilingual Abstract)

With the advancement of Internet of Things (IoT) technology, its application in everyday environments, such as smartphones, smart lighting, and indoor heating and cooling systems, has been increasing. Similarly, the deployment of automation systems in industrial sites and smart factories has also been on the rise. Moreover, research on integrating Artificial Intelligence (AI) into automation systems to detect anomalies from operational data has been actively conducted. AI models developed in these studies demonstrate high accuracy, often exceeding 95% in performance metrics such as Accuracy and F1 Score. However, their actual implementation in industrial settings is sometimes delayed. This delay stems from the opacity of AI models, which makes it challenging to verify potential errors or biases introduced by the models. For instance, issues such as model overfitting or biases in training data can lead to inappropriate decision-making during the deployment of AI model-based services. However, these issues are difficult to identify through standard performance metrics alone, and the lack of transparency in the model’s training and feature extraction processes further complicates verification. Therefore, this study explores methods for detecting anomalous behavior in operational data from automation systems across various industrial sectors using AI models. Specifically, it investigates the application of the Shapley Additive Explanations (SHAP) technique, a representative Explainable AI (XAI) method, to analyze and validate the rationale behind the anomalies detected by AI models and their learning processes within automation systems.

목차 (Table of Contents)

• I. 서 론 1
• 1.1. 연구의 배경 및 목적 1
• 1.2. 연구의 범위 및 방법 1
• II. 관 련 연 구 3
• 2.1. Automation System에서의 이상 행위 연구 3
• 2.1.1. 무인 비행 드론의 Controller Area Network(CAN) 운영 데이터 3
• 2.1.2. 수소 연료 전지 차량 충전소 운영 데이터 5
• 2.1.3. MMORPG 서버 운영 데이터 6
• 2.2. Explainer 모델 연구 6
• 2.2.1. XAI (Explainable AI) 6
• 2.2.2. SHAP (Shapley Additive exPlanations) 6
• III. 실 험 내 용 8
• 3.1. 실험 환경 6
• 3.2. 무인 비행 드론의 CAN 운영 데이터 실험 결과 6
• 3.3. 수소 연료 전지 차량 충전소 운영 데이터 실험 결과 6
• 3.4. MMORPG 서버 운영 데이터 실험 결과 6
• IV. 결 론 32
• 참고문헌 33
• 영문요약(Abstract) 40