A deep learning-based fault detection and diagnosis (FDD) method for vapor compression systems

엄용환 서울대학교 대학원 2021 국내박사

Abstract A deep learning-based fault detection and diagnosis (FDD) method for vapor compression systems Yong Hwan Eom Department of Mechanical Engineering The Graduate School Seoul National University Efficient energy use is always a significant challenge for human beings, and much energy is used for a comfortable living environment. Since the energy used by vapor compression systems such as air source heat pump (ASHP) systems and chillers accounts for a significant portion of the energy consumed by the residential and commercial building sectors, maintaining their original performance without faults can contribute significantly to energy savings. However, since the ASHPs and the chillers are complex systems and operating conditions are very diverse, faults happen frequently. Therefore, there is a need for a fault detection and diagnosis (FDD) system to diagnose a fault condition early and recover the performance degraded by the fault to the original state. With the recent development of big data and computer computing power, data-driven research such as machine learning and deep learning is active in various fields. Deep learning technology has shown excellent performance in image classification, object detection, speech recognition, and machine translation. Recently, it is frequently applied to FDD studies for mechanical systems such as bearings and compressors. In this study, a deep learning-based FDD method for vapor compression systems such as ASHPs and chillers was proposed, and the generalization performance was verified using test data. For the ASHP system, a method of diagnosing failures based on the amount of refrigerant quantitatively predicted and determining the defrosting start time based on predicting the performance drop due to frost growth was proposed. For chillers, an FDD system was developed that classifies seven major faults and predicts the quantitative value of the variable corresponding to the failure. Refrigerant leakage in air source heat pump systems is one of the frequent faults. ASHP systems have the best performance at an optimal refrigerant charge, so it is essential to predict the current refrigerant charge amount. In this paper, a novel refrigerant charge fault detection method based on the convolutional neural network (CNN) was proposed. The two proposed methods can quantitatively predict the refrigerant charge amount in both cooling and heating modes with a single model. In particular, the CNN-based regression model showed excellent predictive performance with a root-mean-square (RMS) error of 3.1%, including previously unobserved test data. The accumulated frost layer at the outdoor unit heat exchanger degrades the performance of the ASHP system. Therefore, a defrosting process is necessary to restore performance, and a method for determining an optimal defrosting start time is essential for energy reduction. Here, using a multiple-output regression model based on deep learning, a method to quantitatively predict the change in performance (heating capacity, COP) resulting in frost growth was suggested. This proposed method can be utilized to optimize the defrosting start control based on the predicted results using only the sensors initially installed by the manufacturer. In addition, the difference in prediction performance depending on the three deep learning architectures was compared. The optimal fully connected deep neural network (FCDNN)-based model showed the ability to predict within the RMS error of 2.8% for heating capacity, 2.4% for power consumption, and 3.4% for COP Chillers mainly cool large commercial buildings, so the energy consumption of the chillers is relatively high. Besides, if the cooling or heating capacity of chillers is reduced due to a fault, there is a possibility that the business in a commercial building will be disrupted. In this study, an FDD system that diagnoses seven types of faults occurring in the chiller and predicts the quantitative values of variables corresponding to the specific fault was developed using deep learning. The experimental datasets provided by the American Association of Heating, Refrigeration, and Air Conditioning Engineers (ASHRAE) RP-1043 in 1999 were utilized for the normal and fault state of the chiller. The proposed model is a model that combines a classification model and a regression model into one. The classification part of this FDD model classifies normal and seven types of faults. The regression part of the model predicts the quantitative value of the variable changed by the specific fault. Therefore, it can also provide information on the severity of the fault. 국 문 초 록 인류에게 에너지의 효율적인 사용은 항상 중요한 도전과제이며, 쾌적한 생활 환경을 위해 많은 에너지를 사용하고 있다. 공기 열펌프 시스템과 칠러와 같은 증기 압축 시스템이 사용하는 에너지는 가정용과 상업용 빌딩 섹터에서 사용하는 에너지 소비량 중에서 상당한 부분을 차지하기 때문에, 고장 없이 원래의 성능을 유지하는 것은 에너지 저감에 많은 기여를 할 수 있다. 하지만, 공기 열펌프 시스템과 칠러는 복잡한 시스템이고 운전 조건이 매우 다양하기 때문에, 고장이 발생할 확률이 높다. 따라서, 고장 상태를 조기에 진단하고 고장으로 저하된 성능을 원래대로 회복하기 위한 고장 진단 시스템이 필요하다. 최근 빅데이터와 컴퓨터 계산능력의 발전으로 머신러닝, 딥러닝과 같이 데이터에 기반한 연구가 다양한 분야에서 활발하다. 딥러닝 기술은 이미지 분류, 객체 인식, 음성 인식과 기계 번역 등의 분야에서 뛰어난 성능을 보였고, 최근에는 베어링, 압축기 등과 같은 기계시스템의 고장 진단 연구에도 자주 적용되고 있다. 본 연구에서는 공기 열펌프, 칠러와 같은 증기 압축 시스템을 위한 고장 진단 방법을 딥러닝 기술을 이용하여 제안하고, 테스트 데이터를 이용해 일반화 성능을 검증하였다. 공기 열펌프 시스템에 대해서는 정량적으로 예측된 냉매량을 기반으로 고장을 진단하고, 착상으로 인해 저하된 성능을 예측한 결과를 기반으로 제상을 시작하는 시점을 결정하는 방법을 제안하였다. 칠러에 대해서는 주요한 7 가지 고장을 분류하고, 그 고장에 해당하는 변수의 정량적인 값을 예측하는 FDD 시스템을 개발하였다. 공기 열펌프 시스템에서 냉매 누출은 빈번한 결함 중 하나이다. 공기 열펌프 시스템은 최적의 냉매 충전량에서 최고의 성능을 발휘하므로 현재의 냉매 충전량을 예측하는 것이 필수적입니다. 이 논문에서는 합성곱 신경망 (CNN)을 기반으로 한 새로운 냉매량 고장 진단 전략이 제안되었습니다. 2 개의 제안된 방법은 단일 모델로 냉방 및 난방 모드 모두에서 냉매 충전량을 정량적으로 예측할 수 있었다. 특히, 합성곱 신경망 기반 회귀 모델은 학습할 때 사용하지 않았던 (previously unobserved) 냉매 충전량 테스트 데이터를 포함하여 3.1 %의 RMS (root-mean-square) 오차로 우수한 예측 성능을 보여주었다. 겨울철 실외기 열교환기에 누적된 성에는 공기 열펌프 시스템의 성능을 저하시킨다. 따라서, 성능 저하를 복원하려면 제상 프로세스가 꼭 필요하고, 최적의 제상 시작 시점을 결정하기 위한 방법이 에너지 저감에 중요하다. 여기에서는 딥러닝을 기반으로 한 다중 출력 회귀 (multiple-output regression) 모델을 사용하여 서리 성장에 따른 공기 열펌프의 성능 (난방능력, 소비전력, COP)의 변화를 정량적으로 예측하는 방법을 제안하였다. 이 제안된 방법은 추가적인 센서 없이 제조사가 초기에 설치된 센서만을 이용해서 예측된 결과를 기반으로 제상 시작 제어를 최적화하는데 활용할 수 있을 것이다. 또한 세 가지 딥러닝 구조에 따른 예측 성능 차이를 비교하였다. 최적의 FCDNN 기반 모델은 난방능력 예측에 대해 2.8%, 소비전력에 대해 2.4%, COP에 대해 3.4%의 RMS (root-mean-square) 오차 이내로 예측하는 성능을 보여주었다. 칠러는 주로 상업용 대형 건물을 냉방하기 때문에 에너지 소비량이 상당히 크다. 또한, 고장으로 인해 냉난방 기능을 발휘하지 못하는 단계가 되면, 상업용 빌딩에서의 경제활동 중단까지도 발생할 수 있다. 본 연구에서는 칠러에 발생하는 7 가지 고장 유형을 진단하고, 그 고장에 해당하는 변수의 정량적인 값을 예측하는 FDD 시스템을 딥러닝 기술을 이용하여 개발하였다. 칠러의 정상상태와 고장상태의 실험 데이터는 ASHRAE RP-1043 데이터세트를 활용하였다. 제안하는 모델은 분류 모델과 회귀 모델이 하나로 결합된 모델이다. 이 모델의 분류 파트는 정상과 7가지 고장 유형을 분류하고, 회귀 파트는 고장에 해당하는 변수의 정량적인 값을 예측한다. 따라서, 고장의 심각도에 대한 정보도 제공할 수 있습니다.

Deep learning-based classification models for cybersecurity threats

부석준 Graduate School, Yonsei University 2023 국내박사

글로벌 인터넷의 확산과 기술의 진보에 따라, 보다 개인화된 장비가 그 어느 때보다도 개인의 삶에 깊숙히 연관된 환경이 조성되었다. 최적의 디지털 환경을 제공하는 것과 동시에, 보안은 연구자의 가장 중요한 과제가 되었다. 디지털 환경을 활용해서 사용자의 개인 식별 정보 (PII), 컴퓨팅 리소스 및 시스템 조작 권한을 훔치는 디지털 공격이 증가하고 있다. 사이버 보안이라는 용어는 이러한 형태의 디지털 공격으로부터 컴퓨팅 시스템과 개인정보를 지키기 위한 노력으로 정의된다. 다행히도, 디지털 환경에서 수집된 방대한 데이터에 대한 가용성으로 사이버 보안 위협에 대한 다양한 탐지 방법이 탐구되고 있다. 특히, 대량의 관측치에 기반하여 고성능 맵핑 함수를 학습하는 딥러닝 접근은 이러한 환경에 적용하기에 적절하다. 본 논문에서는 사이버보안 분야에서 가장 치명적인 위협으로 알려진 악성코드, 내부자 공격, 피싱 공격을 탐지하기 위한 딥러닝 기반 분류 모델을 제안한다. 우리는 전통적인 탐지 방법에서 현대 딥러닝 모델을 기반으로 하는 탐지 방법에 이르기까지 광범위하게 조사하였고, 세가지 도전 문제와 해결 방법을 정리하였다. 첫번째, 악성코드 탐지의 후처리과정 중 가장 중요한 단계인 악성코드 분류 문제를 정의하고 딥러닝 기반의 악성코드 분류기를 제안한다. 이때 딥러닝 기반 분류기는 레이블이 잘 지정된 대량의 훈련 데이터가 필요하고 미관측 (zero-day) 악성코드에 취약하다는 점을 고려하여, 다른 딥러닝 모델과의 결합 방법을 설계하고 악성코드 샘플을 자동으로 생성함으로써 문제를 해결하였다. 두번째, 역할-기반 접근제어 환경 (role-based access control) 에서 내부자 공격을 탐지하기 위한 딥러닝 기반 SQL 역할 분류기를 설계한다. 데이터베이스에 여러 테이블에 동시에 액세스하는 SQL 쿼리를 모델링하는 것이 어렵다는 점을 감안할 때, SQL 역할 분류기는 학습가능성과 적응성이 동시에 확보되어야 한다. 우리는 조합론적 탐색 프로세스를 통해 하이퍼파라미터 공간을 분할하는 효과가 있는 유전자 알고리즘과 결합된 딥러닝 방법을 제안한다. 세번째, 웹사이트를 통한 피싱 공격을 탐지하기 위해 딥러닝 기반 URL 분류기를 설계한다. 피싱 URL 은 기본적으로 보고된 직후에 폐기되며 자동으로 생성되는 미관측 공격이다. 우리는 피싱 URL 분류 작업은 귀납적 학습 접근으로는 처리하기 어려울 수 있다는 점을 지적하고, 딥러닝에 실제-세계의 제약 조건을 주입하기 위한 도메인 지식과의 결합 방법을 제안한다. 제안하는 딥러닝 기반 분류 모델들은 각 태스크에서 최신의 다른 방법과 광범위하게 비교되었고, 각 문제에서 최고의 정확도와 재현율을 달성하였음을 10겹 교차검증하였다. With the proliferating global internet and technological advances, an environment has been created in which personalized equipment is more deeply connected with an individual's life than ever before. Alongside optimally providing the digital environment, the researchers' most significant challenge is security. Attacks that abuse digital environments to steal personally identifiable information (PII), computing resources, and privileges to manipulate systems are on the rise. The term cybersecurity is defined as endeavors to protect computing systems and personal information from these forms of digital attack. Fortunately, various detection methods for cybersecurity threats are being explored with the availability of massive data collected in the digital environment. In particular, a deep learning method to learn a high-performance mapping function based on a large amount of observation is suitable for application in these environments. In this thesis, we propose deep learning models for malware, insider attacks, and phishing attacks, known as the most lethal threats in cybersecurity. We have compiled three challenge issues and solutions from an extensive investigation ranging from traditional detection methods to detection methods based on modern deep learning models. First, we formulate the malware classification problem, the most critical step in the post-processing of malware detection, and design a malware classifier based on deep learning. Considering that deep learning-based classifiers require large amounts of well-labeled training data and are vulnerable to zero-day malware, we propose a deep learning model enhanced with other deep learning models to generate malware samples efficiently. Second, we design a SQL role classifier based on deep learning to detect insider attacks in a role-based access control environment. Given the difficulty of modeling SQL queries that access multiple tables in a database, SQL role classifiers require learnability and adaptability. We propose a deep learning model embedded with a genetic algorithm that partitions the hyperparameter space through a combinatorial search process. Third, we design a URL classifier based on deep learning to detect phishing attacks through websites. Phishing URLs are essentially zero-day attacks that are automatically generated and discarded immediately after being reported. The phishing URL classification task may be challenging with inductive learning approaches. We propose an integration method with domain knowledge to inject real-world constraints into deep learning. The proposed knowledge-integrated deep learning models were extensively compared with other state-of-the-art techniques, and the highest accuracy and recall were achieved in each task.

Efficient Deep Representation Learning for Improving Model Transparency and Addressing Distribution Shift

정다흰 서울대학교 대학원 2024 국내박사

AGI를 달성하기 위한 탐구는 오랫동안 AI 분야에서 소중히 여겨진 열망으로, 여기에는 AI 시스템이 다양한 작업에서 인간과 유사한 적응력과 이해력을 발휘할 수 있는 미래가 그려져 있다. 특히 GPT-3.5, LLaVA, 그리고 GPT-4V와 같은 대규모 언어 모델 및 다중 모달 모델들의 도입과 같은 최근의 발전은 AGI라는 먼 개념을 현실로 전환하였다. AGI의 주요 목표는 다양한 감각 입력과 출력을 능숙하게 통합하는 시스템을 창출하는 데에 지속적으로 있다. 이는 단순히 텍스트나 시각 정보를 처리하는 것을 넘어, AI가 물리적 환경과 상호 작용하며, 자연어를 이해하고, 컴퓨터 비전을 통해 시각 정보를 해석하며, 텍스트 또는 청각 출력을 생성하는 능력을 갖추도록 한다. AGI의 정점은 현실 세계에서 지각, 의사 소통, 그리고 행동을 수행할 수 있는 다중 감각 에이전트에 의해 상징된다. 이러한 기능을 용이하게 하는 데에 있어서 중요한 요소는 Deep Representation Learning (DRL)의 효과적인 활용에 있다. 효율적인 DRL은 성능과 리소스 양측에서 표현 공간을 더 효과적으로 훈련시키는 과정을 의미한다. 최근 몇 년 동안 딥 러닝 분야에서는 표현 학습의 세 가지 중요한 패러다임 변화를 목격했다. 구체적으로 말하면, 특정에서 일반 및 인간 수준의 의미적 표현으로의 전환한다. 본 논문은 효율적인 DRL을 통한 AGI의 개발과 함께 이러한 패러다임에 대한 탐구를 제시하며, 각각이 독특한 학습 방법론과 목표를 가진 DRL의 여러 시대를 아우르며 투명성, 신뢰성, 그리고 효율적인 학습과 같은 AI의 핵심 측면을 탐구한다. 초기에는 딥 러닝 연구가 주로 특정 작업에 맞춰진 표현 공간을 상대적으로 작은 데이터셋과 겸손한 모델 아키텍처로 훈련하는 데 중점을 두었다. 그러나 시간이 흐름에 따라, 보다 일반적이고 의미 있는 표현 공간을 여러 작업 범위에 걸쳐 학습할 수 있게 하는 자기 지도 학습 기술의 채택으로 이러한 패러다임이 전환되었다. 더불어, 특히 대형 언어 및 다중 모달 모델의 등장으로 인해 더 다양한 용도로 활용 가능한 표현 공간을 활용하는 것이 점점 더 실현 가능해졌다. 이러한 진화하는 트렌드와 일치하면서 투명성 및 분포 이동에 관한 세 가지 고급 작업을 제안하고 있다. 먼저, 딥 뉴럴 네트워크의 해석성을 향상시키기 위해 새로운 투명 모델을 제안한다. 이 프레임워크는 모델의 업데이트를 벡터 형식으로 변환하는 캡슐 네트워크를 기반으로 한다. 모델의 예측이 설명을 제공하는 데에 역할을 할 수 있도록 하기 위해 개념의 내부 변동을 고려한 투명 모델 학습을 위한 새로운 목적 및 프레임워크를 제안한다. 이 접근 방식은 기존의 캡슐 네트워크의 한계를 해결하기 위해 클래스 지도형 분리 알고리즘과 추가적인 정규화기를 제안함으로써 성능을 저해하지 않으면서 모델의 투명성을 향상시킨다. 이 작업은 DRL의 초기 시대에 뿌리를 둔 것으로, 향상된 해석력을 위한 중간 어노테이션 데이터 세트의 효율적인 사용을 강조한다. 방법론, 실험 결과 및 토론은 개념에 기반한 해석 가능한 분류기의 생성을 중심으로 하며, 이를 통해 분류기의 정보 전달력, 독립성 및 설명 가능성을 보여준다. 둘째, 계속적인 학습의 목표는 새로운 분포를 학습하면서 이전 분포의 지식을 유지한다. 그러나 현재의 딥 뉴럴 네트워크는 이 과정에서 종종 이전 분포를 잊어버린다. 더불어, 온라인 계속적인 학습은 각 학습 분포를 단 한 번만 볼 수 있는 것에서 오는 장기적인 기억과 새로운 지식 습득 양면에서 도전을 겪는다. 제 4장에서는 혁신적인 프레임워크 내에서 다양한 사전 훈련된 모델을 활용함으로써 온라인 계속적인 학습에 중요한 기여를 제안한다. MuFAN이라는 새로운 방법을 소개하여 사전 훈련된 모델의 다중 스케일 피처 맵을 활용하고 구조별 증류 손실 및 안정성 플라스티시티 정규화 모듈을 도입한다. 구체적으로 MuFAN은 사전 훈련된 인코더의 다른 레벨에서 활용되는 다중 스케일 표현을 빠르게 적응하기 위해 시퀀스의 작업 중에 획득하고 융합한다. 이 접근 방식은 안정성과 플라스티시티를 균형잡기 위해 목표를 설정하며, 계속적인 학습의 역사에서 두 번째로 나타난 DRL 역사와 일치한다. 셋째, 우리는 테스트 시간 적응 (TTA)에 중점을 두어 테스트 중에 분포 변화를 해결하기 위한 새로운 기술을 개발한다. 사전 훈련된 모델의 정규화 레이어의 가중치만 업데이트함으로써, 우리의 방법은 특히 편향된 환경에서 새로운 데이터 분포에 강력하게 적응할 수 있게 한다. 최근의 매개변수 효율적 전이 학습 (PETL) 방식은 시각, NLP, 음성 등 다양한 도메인에서 상당한 성능 향상을 이끌어 냈다. 이 트렌드에 기반하여 제 5장에서는 특히 편향된 시나리오에서 엔트로피의 신뢰 지표에 대한 신뢰성을 도전하고, 객체 모양이 예측에 미치는 영향을 고려하는 새로운 신뢰 지표를 제안한다. 이론적으로 우리는 편향된 시나리오에서 엔트로피의 한계를 강조하며, 이는 예측에 영향을 미치는 잠재적으로 구별되는 요소들의 감시를 간과한 결과라고 설명한다. 이 방법은 효율성과 견고성에 대한 주목할만한 특징을 가지며, 특히 편향된 환경의 도전에 대응한다. 이로써 이 작업은 DRL의 세 번째 시대에 위치하게 된다. 자기 지도 학습, 대형 언어 모델 및 다중 모달 모델의 발전은 효율적인 DRL의 주요 패러다임이었다. 효율적인 깊은 표현 공간은 다양한 작업에 대한 적응과 기초를 통한 도메인 간 이동을 가능케 한다. ChatGPT (대화용 대형 언어 모델)와 LLaVA (대형 언어-시각 어시스턴트)와 같은 주요 예시들은 무한한 확장성을 입증했습니다. 대형 모델의 개발은 AGI와 밀접한 관련이 있다. 대형 및 다중 모달 모델이 다양한 형태로 사람들의 삶에 통합됨에 따라 모델 및 세밀한 조정의 복잡성, 사용 중에 발생하는 분포 변경, 저장 및 에너지 효율성, 신뢰성 및 개인 정보와 같은 요소를 고려해야 할 필요성이 증가한다. 그 중에서도 AI 시스템에서의 해석 가능성과 적응성의 중요성에 대해 주로 논의하며, 모델 투명성, 계속적인 학습, 및 분포 이동의 도전에 대응한다. 이 논문은 미래의 AGI 연구를 위한 새로운 방향을 제시하며, 더 견고하고 투명하며 효율적인 시스템을 탐색하는 것이 목표한다. 향후 연구에서는 특히 책임 있는 AI와 효율적인 AI에 관련된 더 포괄적이고 광범위한 조사를 목표한다. The pursuit of Artificial General Intelligence (AGI) [70] in AI envisions systems with human-like adaptability across tasks. Recent progress, marked by expansive language models like GPT [25, 155], LLaVA [135], and GPT-4V [230], has made AGI a tangible reality. The primary goal is to create AI systems that seamlessly merge diverse sensory inputs, empowering them to interact with the physical world, understand language, interpret visuals, and generate responses. The key to achieving these capabilities lies in the effectiveness of Deep Representation Learning (DRL) [20]. Efficient DRL refers to the process of using deep learning to train a representation space more effectively in terms of both performance and resources. In recent years, the field of deep learning has witnessed three significant paradigm shifts in DRL: specifically, the transition from specific to general and human-level semantic representation. This dissertation explores the development and implications of AGI through Efficient DRL, a crucial component in realizing AGI’s potential. It spans multiple eras of DRL, each characterized by distinct learning methodologies and goals, and delves into the core aspects of AI such as transparency, reliability, and efficient learning. In its early stages, deep learning research primarily focused on training representation spaces tailored to specific tasks, often with relatively small datasets and modest model architectures. However, as time progressed, there has been a shift towards the adoption of self-supervised learning [36] techniques, enabling the learning of more general and meaningful representation spaces across a broader spectrum of tasks. Furthermore, recent advancements, particularly the emergence of large language and multi-modal models, have made it increasingly feasible to leverage representation spaces with greater versatility, requiring minimal finetuning [90]. We have proposed three advanced works at model transparency and distribution shift in alignment with these evolving trends: First, in Chapter 3, we propose a novel transparent model enhancing the interpretability of deep neural networks through a disentangled representation space [102]. This framework is based on capsule networks [181], which transform the model’s updates into a vector form. This approach addresses the limitations of existing capsule networks by proposing a class-supervised disentanglement algorithm and an additional regularizer, enhancing model transparency without compromising performance. This work, rooted in the first era of DRL, emphasizes the efficient use of moderate annotated datasets for improved interpretability. The methodology, experimental results, and discussions revolve around the creation of an interpretable classifier based on concepts, demonstrating the classifier’s informativeness, distinctness, and explainability. Second, the goal of continual learning (CL) [235] is to learn new distributions while retaining knowledge of previous ones, even as the learning distributions change over time. However, current deep neural networks often forget previous distributions during this process. Further, online CL [141] faces challenges from both the perspective of forgetting and acquiring new knowledge since each learning distribution is seen only once. In Chapter 4, we propose a significant contribution to online CL by utilizing various pre-trained models within an innovative framework. We introduce MuFAN [104], a novel method that leverages multi-scale feature maps from the pre-trained model and introduces a structure-wise distillation loss and stability-plasticity normalization module. This approach aims to balance stability and plasticity, highlighting the utility of pre-trained models in CL and aligning with the second era of DRL history. Third, we focus on Test-Time Adaptation (TTA) [217], developing a novel technique to address distribution shifts during testing. By updating only the weights of a normalization layer in a pre-trained model, our method enables robust adaptation to new data distributions, especially in biased environments. Recent parameter-efficient transfer learning (PETL) [90] approaches have led to significant performance improvements across domains, including vision, natural language process, and speech. Building upon this trend, Chapter 5 challenges the reliability of entropy as a confidence metric, especially in biased scenarios, and proposes a new confidence metric that considers the influence of object shape on predictions [120]. Theoretically, we highlighted the limitations of entropy as a confidence metric in biased scenarios, attributing it to the oversight of latent disentangled factors affecting predictions. This method, notable for its efficiency and robustness, situates this work in the third era of DRL. The progress in self-supervised learning, Large Language Models (LLMs), Large Vision Models (LVMs), and Parameter-Efficient Transfer Learning (PETL) is a pivotal paradigm in efficient Deep Representation Learning (DRL). An effective deep representation space enables adaptation to diverse tasks and facilitates domain bridging. Examples like ChatGPT and LLaVA showcase limitless scalability, aligning with the development of large models and the path to Artificial General Intelligence (AGI). As large, multi-modal models integrate into daily life, considerations include model complexity, fine-tuning, distribution changes during usage, storage and energy efficiency, reliability, and privacy. This dissertation emphasizes interpretability and adaptability in AI systems, addressing challenges like model transparency, continual learning, and distribution shifts. It charts a new direction for future AGI research, aiming for robust, transparent, and efficient systems to navigate modern AGI challenges. Future investigations will delve into responsible AI [191] and efficient AI [52, 90].

딥 러닝을 기반으로 원목 의자 디자인 방법에 관한 연구

서락 국민대학교 테크노디자인전문대학원 2022 국내박사

As an essential living appliance for human life, furniture is inseparable from people’s clothing, food, housing, and transportation. In all the furniture products, chairs have the longest contact time with humans, and they are also the most closely related items. Thus, the chair is the most competitive and favorite furniture item in the market. With the rapid development of world education and the economy, people's living standards continue to improve, and the general aesthetic has been dramatically enhanced. In this case, people are more concerned about the aesthetics of its shape when buying a chair, which has undoubtedly put forward higher requirements for chair design. As traditional design methods rely too much on experience and have low efficiency, there is an urgent need to research efficient design methods. With the rapid development of information technology in recent years, artificial intelligence in life has gradually become more widespread, triggering changes in human production and life, and the application scenario is increasingly broad. Artificial intelligence is of significant research value. Given the substantial increase in computer arithmetic power today and the powerful modeling capability of deep neural networks for visual graphics, deep learning methods have provided a new path for solving chair design and other related problems. However, there are still some problems to be solved in this research: 1. How to integrate AI with chair design. 2. What specific functions AI should have in the design process. 3. Which AI model is more suitable for chair design. 4. How designers can use AI for controlled design. With the above issues fully considered, the practice of AI-based intelligent design of solid wood chairs is conducted. In summary, the research conducted in this paper is as follows: Firstly, from the perspective of system theory and literature analysis method, the basic knowledge of chair design procedures and methods, related research on chair shape design, etc., were sorted out. Besides, the morphological element characteristics of solid wood chair shapes were summarized. Secondly, through the organization of the literature, the intelligent design methods widely used nowadays were analyzed and summarized, including data-driven generative design, shape grammar-based, CAD parameterization, and other generative design methods. Then, based on the comparative study of different deep learning models, the process of data acquisition and processing, data set construction, and training was carried out to build a deep learning-based intelligent design model for solid wood chairs. Furthermore, a controlled experimental study was conducted for the AI solid wood chair intelligent design method and the traditional chair design method to obtain the design rate ratio and the variability of the quality of the scheme effect drawing between them. In addition, the dataset and the generative model were combined to constitute a deep learning-based intelligent design tool for solid wood chairs. In addition, the AI furniture intelligent design procedure and method were summarized. Finally, the Entropy TOPSIS method was used to construct the evaluation model and index system for the intelligent design of solid wood chairs. This study explored the deep learning-based intelligent design modeling method of solid wood chairs and constructed the intelligent design evaluation model and index system of solid wood chairs. As shown by the results of this study, firstly, an excellent wood chair dataset was constructed, providing a large amount of design reference materials for furniture designers. Then, furniture manufacturers and designers can use the constructed intelligent design model for solid wood chairs and the advanced AI intelligent design tool for solid wood chairs, which will help improve the efficiency and quality of furniture design. In addition, the inducted AI furniture intelligent design procedures and methods provide a new design path for furniture design. Finally, the evaluation model and index system of intelligent design of solid wood chairs based on the Entropy TOPSIS method was constructed, providing theoretical and practical guidance for the design evaluation of furniture. 가구는 인간의 생활에 필수적인 생활기구로 사람들의 의식주와 교통과 뗄 수 없는 존재이다. 모든 가구 제품들 증 의자는 인간과 접촉 시간이 가장 길면서 가장 밀접하게 연관된 품목이기 때문에 가장 시장 경쟁력 있고 또한 사람들이 선호하는 가구 품목이다. 세계 교육과 경제의 급속한 발전으로 사람들의 생활 수준은 계속 향상되고 있으며 대중적 심미도 극적으로 향상되었다. 이 경우에서 사람들은 의자를 살 때 조형의 미학에 더 신경을 쓰기때문에 의심할 여지 없이 의자 디자인에 더 높은 요구를 제시했다. 전통적인 설계 방법은 경험에 지나치게 의존하고 효율도 비교적 낮기 때문에 효율적인 설계 방법에 대한 연구가 시급히 필요하다. 최근 정보기술의 급속한 발전에 따라 생활 속 인공지능의 활용이 점차 확산되어 인간의 생산과 생활을 변화시키고 응용 시나리오가 갈수록 광범위해져 인공지능은 상당한 연구 가치를 가지고 있다. 오늘날 크게 향상된 컴퓨팅 능력과 시각적 그래픽을 위한 심화된 신경망의 강력한 모델링 능력을 고려할 때 딥 러닝 방법은 의자 설계 및 기타 관련 문제를 해결하기 위한 새로운 경로를 제공했다. 그러나 이 연구에는 여전히 미해결 문제가 있다. 1. 인공지능과 의자 디자인을 통합하는 방법. 2.설계 과정에서 인공지능이 갖춰야 할 구체적인 기능은 무엇인가? 3.어떤 인공지능 모델이 의자 디자인에 더 적합한지? 4. 디자이너가 인공지능을 사용하여 통제 가능한 설계를 수행하는 방법. 위의 문제들이 충분히 고려된 전제 하에 인공지능에 기반한 원목 의자 지능형 설계의 실천이 수행된다. 요약하자면 본 논문에서 수행된 연구는 다음과 같다. 첫째, 체계 이론 및 문헌 분석 방법의 관점에서 의자 설계 절차 및 방법, 의자 조형 디자인 관련 연구 등에 대한 기초 지식을 정리하고, 원목 의자 조형의 형태학적 요소 특징을 귀납한다. 둘째, 문헌 정리를 통해 데이터 구동 생성식 설계(Generative Design), 형상문법, CAD 매개변수화 등에 기반한 생성식 설계 방법을 포함한 현재 널리 사용되는 지능형 설계 방법을 분석하고 귀납한다. 그런 다음 서로 다른 딥 러닝 모델의 비교 연구를 통해 데이터 획득 및 처리, 데이터 세트 구축 및 교육 등 절차를 수행하여 딥 러닝에 기반한 원목 의자 지능형 설계 모델을 구축한다. 또한 AI 원목 의자 지능형 설계 방법과 전통적인 의자 설계 방법의 대조 실험연구를 진행하여 그들 사이의 설계 효율과 설계 효과도의 품질의 차이를 확보한다. 또한 데이터 세트와 생성 모델을 결합하여 딥 러닝에 기반한 원목 의자 지능형 설계 도구를 구축하고 AI 가구 지능형 설계 절차 및 방법을 귀납해낸다. 마지막으로, 엔트로피 TOPSIS 방법으로 원목 의자 지능형 설계를 위한 평가 모델 및 지수 시스템을 구축한다. 본 연구는 딥 러닝에 기반한 원목 의자 지능형 설계 모델링 방법을 탐구하고, 솔원목 의자 지능형 설계 평가 모델 및 지수 시스템을 구축하는 것을 목적으로 한다. 본 연구 결과에 따르면 첫째, 구축한 완벽한 원목 의자 데이터 세트는 가구 디자이너에게 많은 설계 참고 소재를 제공할 수 있고, 둘째 구축한 원목 의자 지능형 설계 모델과 연구개발한 AI 원목 의자 지능형 설계 도구는 가구 제조업자과 디자인너가 사용할 수 있어 가구 디자인의 효율성과 품질 향상에 도움이 되고 또한 귀납한 AI 가구 지능형 설계 절차 및 방법은 가구 설계를 위한 새로운 설계 경로를 제공할 수 있고, 마지막으로 엔트로피 TOPSIS 방법에 기반한 원목 의자 지능형 설계 평가 모델 및 지수 시스템은 가구의 설계 평가를 위한 이론적, 실용적 지침을 제공하기도 한 것으로 나타났다.

Novel Deep Learning Approaches: Robust Learning from Noisy Labels and Multi-Task Learning for Efficient Image Processing

공경보 포항공과대학교 일반대학원 2020 국내박사

Recently, deep neural networks have shown exceptional performances in several computer vision applications. However, deep learning has two main limitations for use in the industry: high complexity and vulnerability against noisy labels, also known as erroneous labels. In this dissertation, I study on improving robustness and efficiency of deep neural networks in classification and image enhancement applications. Firstly, a novel criteria is proposed to robustly train deep neural networks with noisy labels. If the labels are dominantly corrupted by some classes (these noisy samples are called dominant noisy labeled samples), the network learns dominant noisy labeled samples rapidly via content-aware optimization and they cause memorization (reduce generalization) in the deep neural network. To mitigate memorization of noisy labels, algorithm with proposed criteria penalizes dominant noisy labeled samples intensively through inner product of class-wise penalty labels and their prediction confidences, which indicate the probability of being assigned to each class. By averaging prediction confidences for the each observed label, I obtain suitable penalty labels that have high values if the labels are largely corrupted by some classes. Additionally, the penalty label is compensated using weight to make it same for learning speed per class, and it is updated using temporal ensembling to enhance the accuracy. The proposed criteria can be easily combined with the algorithms of loss correction and hybrid categories through a simple modification to improve learning performance. Secondly, multi-task learning based deep neural network is proposed to train various image processing operators efficiently. For real-time image processing, the proposed algorithm takes a joint upsampling approach through bilateral guided upsampling. For multi-task learning, the overall network is based on an encoder–decoder architecture, which consists of encoding, processing, and decoding components, in which the encoding and decoding components are shared by all the image processing operators. In the processing component, a semantic guidance map, which contains processing information for each image processing operator, is estimated using simple linear shifts of the shared deep features. Through these components, the proposed algorithm requires an increase of only 5% in the number of parameters to add another image processing operator and achieves faster and higher performance than that of deep-learning-based joint upsampling methods in local image processing as well as global image processing.

Deep Learning-based Prediction of Seismic Responses and Losses of Nonlinear Structural Systems

김태용 서울대학교 대학원 2021 국내박사

도시 인프라 시스템의 복잡성이 증가함에 따라 지진에 대한 사회 경제적 취약도 역시 나날이 증가하고 있다. 따라서 향후 발생할 지진 재해에 의한 피해를 경감하고 도시 인프라 시스템의 복원력을 증대하기 위해서는 구조물 내진성능의 정확한 평가가 필수적이다. 이론적으로 구조물의 붕괴 및 파괴 지지력(Structural Capacity against Collapse and Failures)의 평가를 위해서는 여러 지진동을 이용한 매우 정밀한 비선형 구조물의 거동 이력을 필요로 한다. 그러나 비선형 시간이력 해석은 높은 계산 비용과 모델링 시간을 필요로 하기에 현재의 내진설계기준에서는 간단 회귀식 기반 방법론들이 이를 대체하여 주로 사용된다. 회귀식 기반 방법론들은 상대적으로 적은 수의 변수와 지진 응답 이력을 바탕으로 개발되었기에 응답 예측의 정확도가 높지 않다. 더불어 기존 방법론들은 지진동이 다르더라도 선택한 지진강도척도(Intensity Measures)의 값이 같다면 항상 같은 값을 추정하게 되어, 구조물 지진 응답의 변동성 정량화에 한계를 보인다. 본 학위논문에서는 비선형 시간이력을 수행하지 않고 효과적으로 구조물의 지진 응답 값 및 그 불확실성을 추정하기 위해 심층 인공 신경망, 즉 딥러닝(Deep Learning)을 도입하고자 한다. 지진에 의해 구조물이 진동하는 자연현상을 바탕으로 지진 및 구조물의 정보가 주어졌을 때 구조물의 지진 응답을 예측할 수 있는 심층 인공 신경망 모델(Deep Neural Network; DNN model)의 구조를 제안하였다. DNN model에는 Convolutional Neural Network (CNN)가 사용되어 구조물의 이력곡선으로부터 응답 예측에 필요한 주요 변수들을 추출하게 된다. 세 가지 이상화된 이력곡선과 미국 NGA-West 데이터베이스의 지진동을 활용해 비선형 동적해석을 수행하여 데이터베이스를 구축하였고 이를 이용해 제안한 DNN model을 학습시켰다. 수치 예제를 통해 학습된 DNN model은 기존 회귀모델기반 방법론에 비해 구조물의 지진 응답 예측 시 매우 높은 수준의 정확도를 보임을 확인하였다. 앞서 개발된 DNN model은 매우 높은 정확도를 보임을 확인하였으나 구조 시스템의 비선형 거동에 따른 예측 불확실성을 산정하지 못한다는 한계를 가진다. 이를 해결하기 위하여 베이지안 딥러닝 기법을 기반으로 구조물의 지진 응답을 확률론적으로 예측할 수 있는 확률론적 심층 인공 신경망 모델(Probabilistic Deep Neural Network; P-DNN model)을 제안하였다. 자연로그를 취한 가우스 분포 함수의 음의 값을 인공 신경망 모델의 손실함수로 사용하여 앞서 구축한 데이터베이스를 바탕으로 P-DNN model을 학습시켰다. 새로운 손실함수를 도입함으로써 구조물의 지진 응답에 대한 평균과 표준편차를 예측할 수 있으며, 입력변수의 불확실성 정도에 따라 표준편차의 크기가 달라짐을 확인하였다. 여러 수치 예제를 통해 개발된 모델이 응답의 불확실성을 효율적으로 정량화함을 증명하였고, 구조물의 불확실성은 비선형 거동의 정도가 커질수록 그 정도가 심해지기에 개발된 방법론은 구조물의 파괴나 붕괴를 다루는 내진공학 측면에서 매우 중요한 역할을 할 것이다. DNN model과 P-DNN model은 기존 단순 회귀식 기반 모델에 비하여 뛰어난 예측 정확도를 보였지만, 이상화된 이력곡선을 기반으로 학습되었다. 다시 말해, 강도/강성 감소 및 핀칭 효과를 보이는 실제 구조 시스템의 지진 응답을 학습된 심층 인공 신경망을 통해 정확히 예측하기는 쉽지 않다. 이러한 문제를 해결하기 위하여, 먼저 구조물 이력곡선에 강도/강성 감소 및 핀칭 효과를 표현할 수 있는 modified Bouc-Wen-Baber-Noori (m-BWBN) 모델을 제안하였다. m-BWBN 모델과 미국 NGA-West 데이터베이스의 다양한 지진동을 사용하여 비선형 동적해석을 수행을 통해 데이터베이스를 구축 하였으며, 상대적으로 많은 정보를 담고 있는 이력곡선의 응답을 예측할 수 있는 BW-DNN model을 제안 및 학습시켰다. 학습된 BW-DNN model은 기존 DNN model과 P-DNN모델에서 다루지 못한 광범위한 구조 시스템의 지진재해에 대한 응답을 예측할 수 있음을 확인하였다. 개발된 방법론의 효율성과 적용가능성을 입증하기 위해 구조 부재의 지진 응답 예측, 구조 시스템의 지진 취약도 추정, 도시의 지진 손실 평가 등 세 가지 서로 다른 규모의 지진 공학 문제를 도입하였다. 더불어 파이썬(Python)으로 개발된 심층 인공 신경망 소스 코드, 학습된 모델, 구축된 데이터베이스, 그리고 제안된 딥러닝 기반 예측 플랫폼을 제공하는 새로운 웹 서비스(http://ERD2.snu.ac.kr)를 개발하여 사용자의 편의성 및 방법론의 확장성을 확보하였다. 본 학위논문에서 개발된 딥러닝 기반 비선형 응답 방법론은 향후 일어날 지진에 따른 관심 구조물의 응답을 효율적으로 예측함으로써 지진 재해에 대한 피해 예측 및 복구를 위한 합리적인 대비에 기여할 것이다. Structural failures caused by a strong earthquake may induce a large number of casualties and huge economic losses. To enhance life safety and disaster-resilience of communities, the current approach aims to design a structure that can withstand a design level earthquake event. To achieve the critical design objective, it is necessary to estimate the nonlinear structural responses under strong earthquake ground motions. Although nonlinear time history analysis is the only possible way to precisely estimate the structural responses in many situations, high computational cost and modeling time may hamper the adoption of the approach in routine engineering practice. Thus, in modern seismic design codes, various simplified regression equations are introduced to replace the onerous and time-consuming nonlinear time history analysis, but the accuracy of the estimated responses is limited. Moreover, the existing methods cannot quantify the uncertain errors in the response estimation, mainly caused by the loss of information in representing input data by selected features, especially regarding ground motion characteristics. To effectively predict the seismic responses without performing dynamic analysis, this study introduces a deep neural network as a regression function and a structural system is considered as a single degree of freedom (SDOF) system. First, a deep neural network (DNN) model that can predict seismic responses of structural systems is developed using a neural network architecture is motivated by the earthquake excitation mechanism. In the DNN model, a convolutional neural network (CNN) is introduced to extract the important features of structural systems from hysteretic behaviors. To train the proposed DNN model, a seismic demand database for three different idealized hysteretic behaviors is constructed by performing a large number of nonlinear time history analysis. Numerical investigation confirms that the proposed DNN model provides superior performance compared to the existing nonlinear static procedures which are developed based on limited dataset and parameters. Although the DNN model is a good replacement for an onerous and complicated nonlinear time history analysis, the response prediction is deterministic, which cannot quantify the variabilities stemming from the nonlinear behavior of the structural system, i.e., varying seismic demands given the same earthquake intensity measure values. In order to quantify such uncertainties and improve the prediction accuracy, a probabilistic deep neural network (P-DNN) model is proposed based on a Bayesian deep learning method. By introducing a loss function which is proportional to the negative log-likelihood of the Gaussian distribution function, the mean and variance of the structural responses can be obtained. This assessment is important especially for earthquake engineering applications because large randomness in the input ground motion details significantly impacts the structural responses. Thorough numerical examinations are carried out to demonstrate the performance of the proposed P-DNN model. The DNN and P-DNN models show a superior level of accuracy compared to the existing simple regression-based methods, but the models were trained based on the idealized hysteresis. Given that the hysteresis of realistic structural systems generally incorporates various hysteretic characteristics such as stiffness/strength degradations and pinching effects, the developed DNN and P-DNN models cannot guarantee the prediction accuracy for the structural systems having sophisticated hysteretic characteristics. To this end, a modified Bouc-Wen-Baber-Noori (m-BWBN) model is first proposed and a parametric investigation is carried out to define the feasible parameter domain to describe the structural hysteresis. A new seismic demand database is constructed, and a Bouc-Wen hysteresis-based deep neural network (BW-DNN) model is proposed and trained. It is found that the BW-DNN model can predict the seismic responses of a wide class of structural systems that are not covered by the DNN and P-DNN models. Three different scales of earthquake engineering problems, i.e., seismic response prediction of structural elements, seismic fragility estimation of structural system, and seismic loss assessment of an urban community, are presented to demonstrate the effectiveness and applicability of the developed DNN models. In addition to the applications, a novel web-service (http://ERD2.snu.ac.kr) is developed to provide source codes, constructed databases, and interactive visualization of the proposed DNN predictions. The compelling results confirm the merits and potential of the outcomes of this study, which eventually enhance the current seismic design provisions and seismic risk assessment of structural systems.

Deep Learning with Privacy Protection via Indirect Data Exchange

장재희 서울대학교 대학원 2023 국내박사

딥 러닝(deep learning)으로 구동되는 인공 지능(artificial intelligence, AI)은 수많은 분야에서 놀라운 성능을 보여주었다. 그러나 이를 가능하게 한 것은 심층 신경망(deep neural network, DNN)을 대규모 데이터에서 훈련했기 때문임에도, 딥 러닝에 사용되는 데이터의 프라이버시 문제는 그동안 크게 간과되었다. 딥 러닝을 기반으로 하는 많은 애플리케이션 서비스들의 실제 사례에서 관찰되는 것처럼, 모델의 추론 및 학습 과정에서 발생하는 개인 정보 보호 위반 사례는 매우 심각한 수준이다. 따라서 개인 정보를 보호하는 딥 러닝의 중요성이 대두하였다. 이 논문은 암호화된 심층 신경망 추론, 이기종(heterogeneous) 모델을 사용한 개인화된 연합 학습(personalized federated learning), 자기 지도 학습(self-supervised learning)을 사용한 수직 연합 학습(vertical federated learning, VFL)을 포함하여 개인 정보를 보호하는 딥 러닝의 세 가지 방법론에 대해 논의한다. 첫 번째 연구는 동형 암호화(homomorphic encryption, HE) 를 사용하여 원격 서버에 저장된 심층 신경망과 사용자 데이터를 안전하게 보호하는 데 이바지한다. 암호화된 상태에서 모델과 사용자 데이터를 연산하는 것은 가장 높은 수준의 개인 정보 보호 솔루션을 제공할 수 있다. 그럼에도 동형 암호화된 데이터에 대한 연산의 어려움으로, 지금까지의 연구는 심층 신경망 네트워크의 깊이가 매우 얕은 모델에 대해서만 이루어졌고, 해당 모델을 사용해 해결할 수 있는 문제의 범위를 크게 한정하였다. 본 연구에서는 효율적인 행렬 표현을 제공하기 위해 CKKS 체계를 확장하는 $\texttt{MatHEAAN}$을 사용하여 $\texttt{MatHEAAN}$ 기반 게이트 순환 유닛($\texttt{MatHEAAN}$-based recurrent gated unit, MatHEGRU)이라는 게이트 순환 유닛으로 심층 순차 모델을 구현한다. MatHEGRU는 본 연구에서 제안하는 \textit{학습 가능한 비선형 함수 근사화 기법}을 채택하여, 상당히 정확한 활성화 값을 달성함과 동시에 활성화 함수 계산에서의 연산 회로 깊이의 양을 크게 줄일 수 있다. 그리고 실험을 통하여, MatHEGRU가 시퀀스 모델링, 회귀, 이미지 및 게놈 시퀀스의 분류를 포함하는 실제 시퀀스 데이터 세트에 대해 거의 평문에 가까운 예측 성능을 보인다는 것을 확인한다. 두 번째 연구에서는 연합 분류기 평균화(Federated classifier averaging, FedClassAvg)를 통해 이기종 클라이언트 모델 학습을 가능하게 함으로써 연합 학습의 개인화를 강화한다. 개인화된 연합 학습(personalized federated learning)은 참여하는 여러 클라이언트가 각자 가지고 있는 민감한 데이터를 공개하지 않고 커뮤니케이션이 효율적인 방식으로 학습에 참여하면서 동시에 개인화된 모델을 구축할 수 있도록 하였다. 그럼에도 대다수의 개인화된 연합 학습 프레임워크 들은 클라이언트들이 같은 신경망 모델 구조로 되어 있다고 가정하여 왔으며, 개인화된 클라이언트 모델 구조에 관한 연구는 부족한 실정이다. 따라서 우리는 새로운 개인 맞춤형 연합 학습 방법인 FedClassAvg를 제안한다. FedClassAvg의 메인 아이디어는 지도 학습(supervised learning) 작업을 위한 심층 신경망이 특징 추출기(feature extractor)와 분류기(classifier) 레이어로 구성된다는 관찰을 기반으로 한다. FedClassAvg는 기능 공간(feature space)에 대한 결정선(decision boundary)에 대한 합의로 분류기 모델의 웨이트(classifier weights)를 집계하여 독립적이고 동일하게 분산되지 않은(non-IID) 데이터가 있는 클라이언트가 희소 레이블에 대해 학습할 수 있도록 한다. 또한 로컬 기능 표현 학습(local feature representation learning)을 활용하여 의사 결정 범위를 안정화하고 클라이언트 모델의 로컬 기능 추출 기능을 향상한다. 이종 모델을 사용하는 기존의 연구에서는 추가 데이터 및 그에 대한 모델 웨이트를 활용해 지식 이전(knowledge distillation)를 위한 추가적인 연산을 해야 했다. 그러나 FedClassAvg는 클라이언트가 단 몇 개의 완전히 연결된 신경망 레이어(fully-connected layers)를 바탕으로 통신하여 학습하는 알고리즘이기 때문에 통신 효율성이 비교적 매우 높다. 또한 FedClassAvg는 상당한 계산 오버헤드를 초래하는 지식 이전과 같은 서버에서의 추가 최적화 문제가 필요하지 않다. FedClassAvg를 사용한 광범위한 실험을 통해 FedClassAvg가 기존의 최신 알고리즘을 능가한다는 것을 입증한다. 세 번째 연구는 그래디언트 전송이 없는 새로운 VFL(Vertical Federated Learning) 프레임워크를 제안하여, 로컬 클라이언트 데이터 세트의 개인 정보 보호에 기여한다. 수직 연합 학습은 데이터를 직접 전송하지 않고 분산된 데이터 기능을 학습하기 위한 연합 학습 방법론이다. 기존의 수직 연합 학습은 하나의 대규모의 모델을 서브네트워킹하여 여러 클라이언트의 정렬된 데이터에서 학습하도록 설계되었으며, 협업 당사자 간의 로짓 및 그래디언트와 같은 중간 컴퓨팅 결과의 전송을 통해 학습한다. 그러나 수많은 연구를 통해 공격자가 그래디언트를 기반으로 클라이언트의 로컬 데이터 세트를 성공적으로 복구할 수 있음이 입증되었고, 이는 새로운 프라이버시 침해 문제를 초래할 수 있다. 또한 기존의 수직 연합 학습은 정렬된 클라이언트 데이터 세트에 대해서만 학습할 수 있다. 즉, 클라이언트의 로컬 데이터 세트 중 일부만을 활용할 수밖에 없으며, 더 많은 데이터를 학습하기 위해서 클라이언트간 데이터를 정렬하는 과정에서 추가적인 비용과 개인 정보 손실이 필요할 수 있다. 또한 테이블 형식의 데이터 세트에 대해 딥 러닝이 기존의 머신 러닝 알고리즘과 비교하여 성능이 좋지 않은 것이 많은 연구에서 확인되었기 때문에, 수직 연합 학습이 가장 많이 필요시되는 테이블 데이터에 특정된 새로운 알고리즘이 필요하다. 따라서 우리는 로컬 표현 벡터의 지식 이전을 이용하는 테이블 데이터에 대한 수직 연합 학습 방법론(vertical federated learning on tabular datasets via local representation distillation, FedTaDR)을 제안한다. FedTaDR은 로컬 인코더의 표현 능력을 향상하기 위해 로컬 데이터 세트에서 마스킹된 컬럼의 재구성(masked feature reconstruction) 및 마스크 위치 예측(mask prediction)을 학습한다. 이후 글로벌 서버는 정렬된 데이터에 대한 로컬 인코더의 표현 벡터들을 수집하고, 지도 재구성 네트워크(supervised reconstruction network)를 사용하여 예측 문제에 대한 협업 정보를 전달할 수 있는 방향으로 로컬 표현 벡터들을 재구성한다. 이때, 대조 학습(contrastive learning)을 사용하여, 로컬 표현 벡터의 잠재 공간(latent space) 상에서의 거리도 조절한다. 이후, 글로벌 서버가 재구성된 표현 백터를 클라이언트에게 전송하면, 클라이언트는 지식 이전 기법을 사용하여 로컬 모델을 미세 조정한다. FedTaDR이 산업 제조 출력, 분산된 자동차 센서 및 웹사이트 클릭 로그와 같은 실제 VFL 시나리오에서 탁월한 예측 성능을 보여주는 것을 실제 실험으로 확인하였다. 본 논문에서는 간접적인 데이터 교환을 통한 프라이버시 보호를 통한 딥러닝 방법을 제안한다. 제안된 기법으로 모델의 계산 효율성 및 예측 효율성에 미치는 영향을 최소화하면서 데이터 프라이버시 문제를 해결할 수 있다. 실제 데이터에 대한 많은 실험을 통해, 제안된 방법이 데이터를 있는 그대로 직접 공유하지 않고도 딥 러닝을 위한 강력한 추론 또는 학습 기능을 제공한다는 것을 확인한다. 본 논문이 데이터 프라이버시를 보호하는 인공지능 시스템 개발에 이바지하여, 누구나 안심하고 AI를 사용할 수 있을 것으로 기대된다. In numerous disciplines, artificial intelligence systems powered by deep learning have demonstrated amazing performance. However, the significance of data privacy in deep learning has been largely overlooked, despite the fact that these advances were made possible by deep neural networks (DNNs) trained on enormous data. In applications of deep learning, serious privacy violations can occur during both model inference and training, as observed in various real-world instances. Therefore, the significance of privacy-preserving deep learning has emerged. This dissertation discusses three fundamental themes in privacy-preserving deep learning, including encrypted DNN inference, personalized federated learning with heterogeneous client models, and vertical federated learning with self-supervised learning. The first study contributes to making DNNs and data on third-party servers safe using homomorphic encryption (HE). Computing both model and user data in encrypted state offers the solution at the highest privacy level. Nevertheless, the difficulty of functioning on homomorphically encrypted data has hitherto limited the scope of accessible operations and the depth of networks. Using an extended CKKS scheme $\texttt{MatHEAAN}$ to provide efficient matrix representations, we implemented a deep sequential model with a gated recurrent unit called the $\texttt{MatHEAAN}$-based gated recurrent unit (MatHEGRU). MatHEGRU adopts the \textit{trainable nonlinear approximation} proposed in this study, which significantly reduces the amount of operation circuit depth in computing activation functions while achieving fairly precise activations. MatHEGRU demonstrated near-plaintext predictive performance on practical sequence datasets including sequence modeling, regression, and classification of images and genome sequences. In the second study, we enhance the personalization of federated learning by enabling heterogeneous client model training through federated classifier averaging (FedClassAvg). Personalized federated learning seeks to enable multiple clients to build personalized models while engaging in collaborative training in a communication-efficient manner and without disclosing sensitive data. Nonetheless, numerous personalized federated learning algorithms assume that clients have the same neural network design, and those for heterogeneous models are understudied. Therefore, we propose a novel personalized federated learning method FedClassAvg. FedClassAvg is based on the observation that DNNss for supervised learning tasks consist of feature extractor and classifier layers. FedClassAvg aggregates classifier weights as an agreement on decision limits on feature spaces, allowing clients with not independently and identically distributed (non-iid) data to learn about scarce labels. In addition, local feature representation learning is utilized to stabilize decision bounds and increase client local feature extraction capabilities. While prior approaches necessitate the collection of supplementary data or model weights in order to generate a counterpart, FedClassAvg simply requires clients to communicate with a few of fully connected layers, which is extremely communication-efficient. In addition, FedClassAvg does not require additional optimization challenges at server, such as knowledge transfer, which results in a substantial computation overhead. Extensive experimentation utilizing FedClassAvg proved that it outperforms the previous state-of-the-art algorithms. The third study proposes a novel vertical federated learning (VFL) framework training without gradient transmission, which contributes to preserving the privacy of local client datasets. Vertical Federated Learning (VFL) is a method that aims to acquire knowledge of distributed data features without requiring direct data transfer. Conventional VFL approaches involve the dissemination of a large model into subnetworks, with the training process being executed through the transmission of intermediate computation results, such as logits and gradients, between collaborating parties. However, multiple research studies have highlighted the vulnerability of this approach, as attackers can potentially reconstruct the local dataset through partial derivatives. Furthermore, conventional VFL training is limited to aligned client datasets, which can result in clients being unable to fully leverage their local datasets, leading to additional costs and a loss of privacy in pursuit of optimal alignment. To address these issues, we propose Vertical Federated Learning on tabular datasets via Local Representation Distillation (FedTaDR). FedTaDR utilizes masked feature reconstruction and mask prediction on local datasets to enhance the expressive capacity of local encoders. The global server subsequently reconstructs local representations using a supervised reconstruction network, which facilitates communication of collaborative information pertaining to the prediction task. Through the use of contrastive learning on the latent space, the server regulates the distance between local representations. Client models are then updated through the distillation of reconstructed representations. Through empirical evaluations, we demonstrate that FedTaDR achieves exceptional prediction performance on real-world VFL scenarios, such as industrial production output, distributed automobile sensors, and website click records. Throughout this dissertation, we propose methods for deep learning with privacy protection via indirect data exchange. They addressed the data privacy issues with minimal impact on the computational efficiency and predictive effectiveness of the model. Substantial empirical evaluations reveal that the proposed methods provide potent inference or training capabilities for deep learning without requiring the direct sharing of raw data. It is anticipated that this dissertation will contribute to the development of private artificial intelligence systems, allowing everyone to use AI applications without fear.

Empowering Deep Learning with Graphs

You, Jiaxuan ProQuest Dissertations & Theses Stanford Universit 2021 해외박사(DDOD)

Deep learning has reshaped the research and applications in artificial intelligence. Modern deep learning models are primarily designed for regular-structured data, such as sequences and images. These models are built for tasks that take these regular-structured data as the input (e.g., classification, regression), as the output (e.g., generation), or as the structural prior (e.g., neural architecture design). However, not all forms of data are regular-structured. One notable example is graph-structured data, a general and powerful data structure that represents entities and their relationships in a succinct form. While graph-structured data is ubiquitous throughout the natural and social sciences, its discrete and non-i.i.d. nature brings unique challenges to modern deep learning models.In this thesis, we aim to empower deep learning with graph-structured data, by facilitating deep learning models to take graphs as the input, the output, and the prior. My research in these three directions has opened new frontiers for deep learning research: (1) Learning from graphs with deep learning. We develop expressive and effective deep learning methods that can take graphs as the input, which promotes the learning and understanding of graphs. (2) Generation of graphs with deep learning. We formulate the generation process of graphs using deep learning models, which advances the discovery and design of graphs. (3) Graph as the prior for deep learning. We discover that graph structure can serve as a powerful prior for neural architectures and machine learning tasks, which opens a new direction for the design and understanding of deep learning. Finally, we discuss the wide applications of the above-mentioned techniques, including recommender systems, drug discovery, neural architecture design, and missing data imputation.

Deep Learning Networks and ICT-based Plant Disease and Animal Activity Detection System for Digital Agriculture

부젤아닐 경상국립대학교 대학원 2022 국내박사

The majority of food for human beings comes from agriculture. Recently, farmers have had significant pressure to fulfill the rising demand for agricultural products with the increased world population. However, various factors such as catastrophic diseases, urbanization, and climate changes limit agriculture production. Moreover, conventional and subsistence farming cannot meet the increased global food requirement. In this context, it is of utmost necessity to apply the latest technology and tools in agriculture for food safety and production increment. Therefore, the conventional farming concept has been quickly transitioning into digital farming. The main objective of this study was to implement deep learning networks and information and communication technology (ICT) to detect plant diseases, segment and measure disease severity, and detect animal activity. The varieties of deep convolutional neural networks were applied and evaluated their performances. This study has been divided broadly into two parts. The first part deals with the tomato disease classification using lightweight attention-based convolutional neural networks and strawberry gray mold disease segmentation and severity measurement. Likewise, the second part contains the pig posture and locomotion activity detection system using the deep learning-based object detection models and tracking algorithm. Two experiments were conducted on plant disease classification and segmentation and one on pig posture and walking activity detection. In the first experiment of plant disease identification, ten varieties of tomato diseases and healthy leaves images were collected from both the open-source database and the glasshouse located at Gyeongsang National University. A lightweight attention-based deep convolutional neural network (ACNN) was designed to improve the performance of the model for plant disease classification. The total images were divided into training, testing, and validation datasets at a ratio of 8:1:1. Then the performance of the proposed model was compared with the baseline CNN without attention (WACNN) and the standard ResNet50 model. In the second experiment, three concentrations of Botrytis cinerea (causal agent of gray mold disease) were inoculated to the strawberry plants at an early reproductive stage. The occurrence of disease spots on the leaves and their expansion were recorded using a handheld RGB camera daily non-invasively. The raw images were pre-processed to remove clutter background and to extract the target leaf only. Then a deep CNN-based pixel-level segmentation Unet model was designed, trained, tested, and validated using the pre-processed images. The performance of the deep learning model was calculated using the standard segmentation metrics (pixel accuracy, intersection over union (IoU) accuracy, and dice accuracy) and validated using the 5-fold cross-validation method. Moreover, the performance of the Unet model was compared with the XGboost and K-means machine learning models and an image processing algorithm. The disease severity is calculated by using the percentage of diseased pixels in a leaf. The results of tomato disease classification showed that the deep CNN with attention mechanism improved by 1.2% in the tomato disease classification accuracy compared to CNN without attention mechanism in compensation of a few more network parameters and complexity. The CNN without attention module extracts the global features from the whole image. However, the characteristics of the diseased regions would be more specific to an individual disease class. Therefore, the attention module emphasizes regional features rather than global features. Thus, boosting the disease classification accuracy of the model. Whereas, in terms of gray mold disease segmentation, the average pixel, dice, and IoU accuracies of 98.24%, 89.71%, and 82.12%, respectively, were achieved from the Unit model, followed by XGBoost (98.06%, 87.76%, and 80.12%) on 80 test images. Results showed that the Unit model surpasses the conventional XGBoost, K-means, and image processing technique in detecting and quantifying the gray mold disease. The Unit model has two encoder and decoder blocks without fully connected networks. Thus, the network parameters reduce considerably, allowing the model to converge even in a small number of training datasets. Moreover, the Unet model provided a disease segmented image of the same size as the input image due to implementing an up-converter block. For the pig posture and walking activity detection, an experiment was conducted in the experimental pig barn located in Gyeongsang National University. The concentration of greenhouse gases (GHGs) was elevated by closing the ventilator and door of the pig barn for an hour three times a day (morning, day, and night), and the treatment was repeated for three days. The GHGs concentration before, after, and after an hour of treatment was measured by taking air samples from three spatial locations near the center of the house and analyzed using gas chromatography (GC). The livestock environment monitoring system (LEMS) collected the other environmental data (temperature and humidity), including CO2 gas. A top view network camera (HIK VISION) was installed to record the videos of pig activities and stored them in a network video recorder (NVR). A total of 6,012 frames from the video were labeled manually using the computer vision annotation tool (CVAT) and split into training and testing datasets (9:1). Three variances of object detection models (YOLOv4, Faster R-CNN, and SSD ResNet) were trained and validated to detect pig postures and walking activity. Then the deep association simple online real-time tracking algorithm (Deep SORT) was implemented to track the individual pig in the video clips. Pig postures and walking activity information was extracted from the one hour before, during, and after the treatment periods and analyzed the changes in activity due to the compromised environment. The pigs' standing, walking, and sternal lying activities reduce with increased GHGs, increasing lateral lying posture duration. Also, the pigs were more active in the morning than daytime and the least in the nighttime. Moreover, the pig posture detection performances of the object detection models were evaluated using the average precision (AP) and mean AP (mAP) and found the YOLO model provided the highest mAP of 98.67%, followed by the Faster R-CNN model (96.42%). Furthermore, the YOLO model outperformed in terms of detection speed (0.031 s/frame), followed by the SSD model (0.123 s/frame) and the Faster R-CNN model (0.15 s/frame). Therefore, the deep learning networks showed that they could effectively solve complex agricultural problems. However, more researches are recommended for further improvement. Finally, a web-based client-server architecture (http://sfsl.gnu.ac.kr) was designed to automatically collect the environmental and image data from the experimental sites. Similarly, a multi-user python interactive program called JupyterHub was installed on the server (https://sfslws.gnu.ac.kr), allowing the deep learning models to run in the cloud.

Development of a Methodology for Designing a Steady-state Dataset using Deep Learning : An Application to Predict NOx Emissions under Transient Conditions of a Diesel Engine

신승협 서울대학교 대학원 2021 국내박사

Recently, the development of deep learning technology has been leading the rising of artificial intelligence. Deep learning technology is a different approach from conventional modeling methodologies and presents high prediction accuracy in various research fields, which attracted attention from many researchers. In automotive and internal combustion engine research, studies using deep learning are beginning to be actively performed. The conventional methodologies simplified engine phenomena and predicted target phenomena with several equations, which causes errors, and is a limitation of the conventional methodologies. Deep learning predicts phenomena by learning the internal relationship between variables of the data, and it can catch complex relationships that researchers could not recognize. In this study, nitrogen oxides (NOx) under transient conditions in a diesel engine were predicted through deep learning, which had limitations in prediction accuracy using conventional modeling methodologies. This study included the entire process for constructing a deep learning model such as hyperparameter optimization, algorithm comparison, and dataset design for domain transfer. Hyperparameters, the structure of the deep learning model, were automatically optimized by combining the Bayesian optimization and hidden-node determination logic. This optimization process could be conducted regardless of the type or number of data inputs and outputs. The hyperparameters to be optimized were the learning rate, learning rate decay, batch size, number of hidden layers, and number of nodes in 1st hidden layer. Because the Bayesian optimization method utilized the previous information based on the Bayesian rule during the optimization process, it was more effective and more accurate than the conventional grid search and random sampling. The hidden-node determination logic used the number of hidden layers and the number of nodes in 1st hidden layer to arrange the node sequence of hidden layers in an arithmetical sequence. It was possible to prevent information loss due to sudden changes in nodes, and control the number of exponentially increased iterations when each layer and node were individually optimized. A study on the structure of a deep learning model suitable to predict NOx in transient conditions was also conducted. The accuracy and computation time of the deep neural network (DNN) model and long short-term memory (LSTM) model were evaluated from the viewpoint of real-time prediction. The LSTM model presented higher prediction accuracy than that of the DNN model, but it needed more calculation time, which is not suitable for real-time prediction. Through data preprocessing, the accuracy of the DNN model increased to a level similar to that of the LSTM model, and its advantage of the calculation speed is maintained, which is suitable to predict NOx emissions under transient conditions through quasi-stationary. Finally, a study was performed to overcome the domain constraint to predict NOx using deep learning. Previously, the domains of both training data and target data should be identical. In order to predict transient NOx emissions using the model trained by the steady-state data, the experimental dataset under the steady-state conditions was designed and used for model training. From the analysis of the engine behaviors under transient conditions, the intake air mass, intake pressure, injection pressure, and main injection timing were set as swing variables, and data were acquired by experiments in certain ranges for operating points. This allowed the steady-state data to be extended to the transient prediction. Temperature swing experiments were additionally designed and performed to consider the effects of intake and coolant temperature in transient conditions. This process was proposed as a method for designing steady-state experimental conditions for predicting transient conditions, and the results were also provided. By overcoming the domain constraint of deep learning models using this method, a deep learning model for the NOx emission prediction can be used at the overall development stages of engines including design, evaluation, and prediction of whether real engines for measurement of transient NOx emissions exist. In addition, the proposed procedure of the steady-state experimental design for predicting transient NOx emissions could be applied to real driving conditions and other mechanical systems. 최근 딥러닝 기술의 발전은 인공지능의 비약적인 도약을 이끌었다. 딥러닝 기술은 기존의 모델링 방법론과는 다른 접근 방법으로 다양한 분야에서 높은 정확도를 보여주고 있어, 많은 연구자들에게 주목받고 있다. 자동차 및 내연기관 연구 분야에도 이러한 딥러닝을 이용한 연구가 활발히 진행되기 시작하고 있다. 기존의 연구는 엔진의 현상을 단순화하여 주요한 수식으로 모델링하여 대상 현상을 예측하는 방식을 가진다. 이 경우, 현상을 단순화하는 과정에서 오차가 발생하여 예측 정확도에 한계가 있을 수밖에 없었다. 딥러닝은 이러한 단순화 과정 없이, 데이터에 내재된 변수 간의 관계를 학습하여 현상을 예측하기 때문에 오차가 발생할 여지가 적고, 연구자가 파악하기 어려운 관계까지 파악하여 기존보다 정확한 예측 정확도를 달성할 수 있다. 본 연구에서는 기존의 모델링 방법으로는 예측 정확도에 한계가 있었던 과도 상태에서의 디젤 엔진의 질소산화물을 딥러닝을 통해 예측하였다. 하이퍼파라미터 최적화, 알고리즘 비교, 도메인 전이를 위한 데이터 세트 설계를 포함한 딥러닝 모델을 구축하기 위한 전체 프로세스에 대한 연구를 진행하였다. 딥러닝 모델의 구조인 하이퍼파라미터는 베이지안 최적화와 은닉 노드 결정 로직을 결합하여 데이터의 입출력 종류나 개수와 관계없이 자동으로 최적화하였다. 최적화 대상 하이퍼파라미터는 학습률, 학습률의 감쇄율, 배치크기, 은닉 층의 개수, 첫 번째 은닉층의 노드 개수였다. 베이지안 최적화 방법은 최적화 과정에서 이전 정보를 활용하는 베이지안 룰을 기반으로 동작하므로, 기존의 그리드 검색, 랜덤 샘플링에 비해 효과적이고 정확도가 높았다. 은닉 노드 결정 로직은 은닉층의 개수와 첫 번째 은닉층의 노드 개수를 이용하여, 은닉층의 노드 배열을 등차수열로 배치한다. 이를 통해 노드 개수의 급격한 변화로 인한 정보 손실을 막고, 각 은닉층과 노드를 개별적으로 최적화할 경우 기하급수적으로 발산하는 최적화 횟수를 제어할 수 있었다. 과도 상태에서의 질소산화물 예측에 적합한 딥러닝 모델 구조에 관한 연구도 진행되었다. Deep neural network (DNN) 모델과 Long short-term memory (LSTM) 모델의 정확도 및 계산 시간을 실시간 예측 관점에서 평가하였다. LSTM 모델은 DNN 모델에 비해 예측 정확도가 높았으나, 계산에 더 많은 시간이 소요되어 실시간 예측으로의 적용에는 적절하지 않았다. 또한 데이터 전처리를 통해 DNN 모델의 빠른 계산 속도의 장점을 유지하면서, 계산 시간의 정확도를 LSTM 모델과 비슷한 수준으로 높일 수 있었다. 이는 딥러닝을 통해 과도 상태의 질소산화물을 예측할 시, 준 정상 상태를 통한 예측이 가능함을 의미하였다. 마지막으로, 딥러닝을 통해 질소산화물 예측 시, 기존의 학습데이터와 예측데이터의 상태가 동일해야 한다는 제약을 극복하기 위한 연구를 진행하였다. 이를 위해 정상 상태에서의 실험 데이터 세트를 설계하여 모델 학습에 사용함으로써 과도 상태에서의 질소산화물을 예측하였다. 과도 상태의 엔진 거동을 분석하여, 흡기 공기량, 흡기 압력, 분사 압력 및 주 분사 타이밍을 스윙 변수로 설정하여 각 운전점 별로 일정 범위 내에서 실험하여 데이터를 취득하였다. 이를 통해 정상 상태 데이터를 과도 상태 예측으로 확장할 수 있었다. 또한 과도 조건에서 흡기 온도와 냉각수 온도의 영향을 고려하기 위하여 온도 실험을 추가로 설계하고 수행하여, 온도가 다른 조건에서의 과도 상태 질소산화물을 예측하였다. 이러한 과정을 통해 과도 상태 예측을 위한 정상 상태 실험 조건 설계에 대한 방법을 제시하였고, 그 결과 역시 확인할 수 있었다. 이러한 방법으로 딥러닝 모델의 도메인 제한을 극복함으로써, 질소산화물 예측 모델을 엔진 설계, 검증, 예측 등의 개발 단계 전반과 과도 데이터를 측정할 수 있는 실제 엔진이 없는 경우에도 사용할 수 있게 되었다. 또한 본 연구에서 제시된 정상 상태 실험 계획 방법론은 향후 실도로 조건에서의 질소산화물 예측에 적용할 수 있을 것이며, 다른 기계 시스템의 예측에도 활용할 수 있다.