Deep Learning with Privacy Protection via Indirect Data Exchange

장재희 서울대학교 대학원 2023 국내박사

딥 러닝(deep learning)으로 구동되는 인공 지능(artificial intelligence, AI)은 수많은 분야에서 놀라운 성능을 보여주었다. 그러나 이를 가능하게 한 것은 심층 신경망(deep neural network, DNN)을 대규모 데이터에서 훈련했기 때문임에도, 딥 러닝에 사용되는 데이터의 프라이버시 문제는 그동안 크게 간과되었다. 딥 러닝을 기반으로 하는 많은 애플리케이션 서비스들의 실제 사례에서 관찰되는 것처럼, 모델의 추론 및 학습 과정에서 발생하는 개인 정보 보호 위반 사례는 매우 심각한 수준이다. 따라서 개인 정보를 보호하는 딥 러닝의 중요성이 대두하였다. 이 논문은 암호화된 심층 신경망 추론, 이기종(heterogeneous) 모델을 사용한 개인화된 연합 학습(personalized federated learning), 자기 지도 학습(self-supervised learning)을 사용한 수직 연합 학습(vertical federated learning, VFL)을 포함하여 개인 정보를 보호하는 딥 러닝의 세 가지 방법론에 대해 논의한다. 첫 번째 연구는 동형 암호화(homomorphic encryption, HE) 를 사용하여 원격 서버에 저장된 심층 신경망과 사용자 데이터를 안전하게 보호하는 데 이바지한다. 암호화된 상태에서 모델과 사용자 데이터를 연산하는 것은 가장 높은 수준의 개인 정보 보호 솔루션을 제공할 수 있다. 그럼에도 동형 암호화된 데이터에 대한 연산의 어려움으로, 지금까지의 연구는 심층 신경망 네트워크의 깊이가 매우 얕은 모델에 대해서만 이루어졌고, 해당 모델을 사용해 해결할 수 있는 문제의 범위를 크게 한정하였다. 본 연구에서는 효율적인 행렬 표현을 제공하기 위해 CKKS 체계를 확장하는 $\texttt{MatHEAAN}$을 사용하여 $\texttt{MatHEAAN}$ 기반 게이트 순환 유닛($\texttt{MatHEAAN}$-based recurrent gated unit, MatHEGRU)이라는 게이트 순환 유닛으로 심층 순차 모델을 구현한다. MatHEGRU는 본 연구에서 제안하는 \textit{학습 가능한 비선형 함수 근사화 기법}을 채택하여, 상당히 정확한 활성화 값을 달성함과 동시에 활성화 함수 계산에서의 연산 회로 깊이의 양을 크게 줄일 수 있다. 그리고 실험을 통하여, MatHEGRU가 시퀀스 모델링, 회귀, 이미지 및 게놈 시퀀스의 분류를 포함하는 실제 시퀀스 데이터 세트에 대해 거의 평문에 가까운 예측 성능을 보인다는 것을 확인한다. 두 번째 연구에서는 연합 분류기 평균화(Federated classifier averaging, FedClassAvg)를 통해 이기종 클라이언트 모델 학습을 가능하게 함으로써 연합 학습의 개인화를 강화한다. 개인화된 연합 학습(personalized federated learning)은 참여하는 여러 클라이언트가 각자 가지고 있는 민감한 데이터를 공개하지 않고 커뮤니케이션이 효율적인 방식으로 학습에 참여하면서 동시에 개인화된 모델을 구축할 수 있도록 하였다. 그럼에도 대다수의 개인화된 연합 학습 프레임워크 들은 클라이언트들이 같은 신경망 모델 구조로 되어 있다고 가정하여 왔으며, 개인화된 클라이언트 모델 구조에 관한 연구는 부족한 실정이다. 따라서 우리는 새로운 개인 맞춤형 연합 학습 방법인 FedClassAvg를 제안한다. FedClassAvg의 메인 아이디어는 지도 학습(supervised learning) 작업을 위한 심층 신경망이 특징 추출기(feature extractor)와 분류기(classifier) 레이어로 구성된다는 관찰을 기반으로 한다. FedClassAvg는 기능 공간(feature space)에 대한 결정선(decision boundary)에 대한 합의로 분류기 모델의 웨이트(classifier weights)를 집계하여 독립적이고 동일하게 분산되지 않은(non-IID) 데이터가 있는 클라이언트가 희소 레이블에 대해 학습할 수 있도록 한다. 또한 로컬 기능 표현 학습(local feature representation learning)을 활용하여 의사 결정 범위를 안정화하고 클라이언트 모델의 로컬 기능 추출 기능을 향상한다. 이종 모델을 사용하는 기존의 연구에서는 추가 데이터 및 그에 대한 모델 웨이트를 활용해 지식 이전(knowledge distillation)를 위한 추가적인 연산을 해야 했다. 그러나 FedClassAvg는 클라이언트가 단 몇 개의 완전히 연결된 신경망 레이어(fully-connected layers)를 바탕으로 통신하여 학습하는 알고리즘이기 때문에 통신 효율성이 비교적 매우 높다. 또한 FedClassAvg는 상당한 계산 오버헤드를 초래하는 지식 이전과 같은 서버에서의 추가 최적화 문제가 필요하지 않다. FedClassAvg를 사용한 광범위한 실험을 통해 FedClassAvg가 기존의 최신 알고리즘을 능가한다는 것을 입증한다. 세 번째 연구는 그래디언트 전송이 없는 새로운 VFL(Vertical Federated Learning) 프레임워크를 제안하여, 로컬 클라이언트 데이터 세트의 개인 정보 보호에 기여한다. 수직 연합 학습은 데이터를 직접 전송하지 않고 분산된 데이터 기능을 학습하기 위한 연합 학습 방법론이다. 기존의 수직 연합 학습은 하나의 대규모의 모델을 서브네트워킹하여 여러 클라이언트의 정렬된 데이터에서 학습하도록 설계되었으며, 협업 당사자 간의 로짓 및 그래디언트와 같은 중간 컴퓨팅 결과의 전송을 통해 학습한다. 그러나 수많은 연구를 통해 공격자가 그래디언트를 기반으로 클라이언트의 로컬 데이터 세트를 성공적으로 복구할 수 있음이 입증되었고, 이는 새로운 프라이버시 침해 문제를 초래할 수 있다. 또한 기존의 수직 연합 학습은 정렬된 클라이언트 데이터 세트에 대해서만 학습할 수 있다. 즉, 클라이언트의 로컬 데이터 세트 중 일부만을 활용할 수밖에 없으며, 더 많은 데이터를 학습하기 위해서 클라이언트간 데이터를 정렬하는 과정에서 추가적인 비용과 개인 정보 손실이 필요할 수 있다. 또한 테이블 형식의 데이터 세트에 대해 딥 러닝이 기존의 머신 러닝 알고리즘과 비교하여 성능이 좋지 않은 것이 많은 연구에서 확인되었기 때문에, 수직 연합 학습이 가장 많이 필요시되는 테이블 데이터에 특정된 새로운 알고리즘이 필요하다. 따라서 우리는 로컬 표현 벡터의 지식 이전을 이용하는 테이블 데이터에 대한 수직 연합 학습 방법론(vertical federated learning on tabular datasets via local representation distillation, FedTaDR)을 제안한다. FedTaDR은 로컬 인코더의 표현 능력을 향상하기 위해 로컬 데이터 세트에서 마스킹된 컬럼의 재구성(masked feature reconstruction) 및 마스크 위치 예측(mask prediction)을 학습한다. 이후 글로벌 서버는 정렬된 데이터에 대한 로컬 인코더의 표현 벡터들을 수집하고, 지도 재구성 네트워크(supervised reconstruction network)를 사용하여 예측 문제에 대한 협업 정보를 전달할 수 있는 방향으로 로컬 표현 벡터들을 재구성한다. 이때, 대조 학습(contrastive learning)을 사용하여, 로컬 표현 벡터의 잠재 공간(latent space) 상에서의 거리도 조절한다. 이후, 글로벌 서버가 재구성된 표현 백터를 클라이언트에게 전송하면, 클라이언트는 지식 이전 기법을 사용하여 로컬 모델을 미세 조정한다. FedTaDR이 산업 제조 출력, 분산된 자동차 센서 및 웹사이트 클릭 로그와 같은 실제 VFL 시나리오에서 탁월한 예측 성능을 보여주는 것을 실제 실험으로 확인하였다. 본 논문에서는 간접적인 데이터 교환을 통한 프라이버시 보호를 통한 딥러닝 방법을 제안한다. 제안된 기법으로 모델의 계산 효율성 및 예측 효율성에 미치는 영향을 최소화하면서 데이터 프라이버시 문제를 해결할 수 있다. 실제 데이터에 대한 많은 실험을 통해, 제안된 방법이 데이터를 있는 그대로 직접 공유하지 않고도 딥 러닝을 위한 강력한 추론 또는 학습 기능을 제공한다는 것을 확인한다. 본 논문이 데이터 프라이버시를 보호하는 인공지능 시스템 개발에 이바지하여, 누구나 안심하고 AI를 사용할 수 있을 것으로 기대된다. In numerous disciplines, artificial intelligence systems powered by deep learning have demonstrated amazing performance. However, the significance of data privacy in deep learning has been largely overlooked, despite the fact that these advances were made possible by deep neural networks (DNNs) trained on enormous data. In applications of deep learning, serious privacy violations can occur during both model inference and training, as observed in various real-world instances. Therefore, the significance of privacy-preserving deep learning has emerged. This dissertation discusses three fundamental themes in privacy-preserving deep learning, including encrypted DNN inference, personalized federated learning with heterogeneous client models, and vertical federated learning with self-supervised learning. The first study contributes to making DNNs and data on third-party servers safe using homomorphic encryption (HE). Computing both model and user data in encrypted state offers the solution at the highest privacy level. Nevertheless, the difficulty of functioning on homomorphically encrypted data has hitherto limited the scope of accessible operations and the depth of networks. Using an extended CKKS scheme $\texttt{MatHEAAN}$ to provide efficient matrix representations, we implemented a deep sequential model with a gated recurrent unit called the $\texttt{MatHEAAN}$-based gated recurrent unit (MatHEGRU). MatHEGRU adopts the \textit{trainable nonlinear approximation} proposed in this study, which significantly reduces the amount of operation circuit depth in computing activation functions while achieving fairly precise activations. MatHEGRU demonstrated near-plaintext predictive performance on practical sequence datasets including sequence modeling, regression, and classification of images and genome sequences. In the second study, we enhance the personalization of federated learning by enabling heterogeneous client model training through federated classifier averaging (FedClassAvg). Personalized federated learning seeks to enable multiple clients to build personalized models while engaging in collaborative training in a communication-efficient manner and without disclosing sensitive data. Nonetheless, numerous personalized federated learning algorithms assume that clients have the same neural network design, and those for heterogeneous models are understudied. Therefore, we propose a novel personalized federated learning method FedClassAvg. FedClassAvg is based on the observation that DNNss for supervised learning tasks consist of feature extractor and classifier layers. FedClassAvg aggregates classifier weights as an agreement on decision limits on feature spaces, allowing clients with not independently and identically distributed (non-iid) data to learn about scarce labels. In addition, local feature representation learning is utilized to stabilize decision bounds and increase client local feature extraction capabilities. While prior approaches necessitate the collection of supplementary data or model weights in order to generate a counterpart, FedClassAvg simply requires clients to communicate with a few of fully connected layers, which is extremely communication-efficient. In addition, FedClassAvg does not require additional optimization challenges at server, such as knowledge transfer, which results in a substantial computation overhead. Extensive experimentation utilizing FedClassAvg proved that it outperforms the previous state-of-the-art algorithms. The third study proposes a novel vertical federated learning (VFL) framework training without gradient transmission, which contributes to preserving the privacy of local client datasets. Vertical Federated Learning (VFL) is a method that aims to acquire knowledge of distributed data features without requiring direct data transfer. Conventional VFL approaches involve the dissemination of a large model into subnetworks, with the training process being executed through the transmission of intermediate computation results, such as logits and gradients, between collaborating parties. However, multiple research studies have highlighted the vulnerability of this approach, as attackers can potentially reconstruct the local dataset through partial derivatives. Furthermore, conventional VFL training is limited to aligned client datasets, which can result in clients being unable to fully leverage their local datasets, leading to additional costs and a loss of privacy in pursuit of optimal alignment. To address these issues, we propose Vertical Federated Learning on tabular datasets via Local Representation Distillation (FedTaDR). FedTaDR utilizes masked feature reconstruction and mask prediction on local datasets to enhance the expressive capacity of local encoders. The global server subsequently reconstructs local representations using a supervised reconstruction network, which facilitates communication of collaborative information pertaining to the prediction task. Through the use of contrastive learning on the latent space, the server regulates the distance between local representations. Client models are then updated through the distillation of reconstructed representations. Through empirical evaluations, we demonstrate that FedTaDR achieves exceptional prediction performance on real-world VFL scenarios, such as industrial production output, distributed automobile sensors, and website click records. Throughout this dissertation, we propose methods for deep learning with privacy protection via indirect data exchange. They addressed the data privacy issues with minimal impact on the computational efficiency and predictive effectiveness of the model. Substantial empirical evaluations reveal that the proposed methods provide potent inference or training capabilities for deep learning without requiring the direct sharing of raw data. It is anticipated that this dissertation will contribute to the development of private artificial intelligence systems, allowing everyone to use AI applications without fear.

Deep-Learning-Based Real-Time Monitoring of Laser Keyhole Welding Processes

Hyeongwon Kim Ulsan National Institute of Science and Technology 2021 국내박사

Recently, laser welding has been widely used in metal joining fields. Since the laser beam has a high energy density, the laser welding has high efficiency, small heat affected zone (HAZ), and good qualities of joining. In laser keyhole welding, a keyhole is formed by the rapid melting and evaporation of substrates. The interaction between the laser beam and keyhole exhibits inherently unstable behavior, and the variations in laser-beam absorptance are also highly unstable. For this reason, monitoring of the keyhole geometry and laser-beam absorptance inside the keyhole is significant in understanding the entire laser keyhole welding process. In this dissertation, a real-time monitoring system combined with the state-of-the-art (SOTA) deep learning models to accurately and promptly analyzed the entire lap joint laser welding process in iron (cold rolled steel and in this study) and nonferrous metal (aluminum alloy in this study) was proposed. In addition, high-speed object deep learning framework that detects defects on the weld bead which were frequently occurred during the laser keyhole welding of foil were developed. In chapter 1, the background of laser keyhole welding and the introduction of deep learning were presented. Analysis methods for laser keyhole welding introduced the prediction of laser-beam absorptance inside the keyhole and the observation of keyhole dynamics. The image classification and object-detection deep learning frameworks, which are the most commonly used methods in computer vision were described. In chapter 2, a data-based deep-learning model for predicting laser-beam absorptance in full-penetration laser keyhole welding was firstly proposed. The training dataset was prepared with laser-beam absorptances computed from various keyhole geometries by the ray-tracing model. A modified ResNet, which is based on a convolutional neural network (CNN) for image regression (predicting scalar values from input images), was employed to predict the laser-beam absorptance from the combined keyhole top and bottom aperture images. The trained model is applicable to real-time monitoring system since it can calculate the laser-beam absorptance inside the keyhole with extremely high accuracy and speed. In chapter 3, a real-time full-penetration laser keyhole welding monitoring system using a synchronized high-speed coaxial observation method and the state-of-the-art deep learning models was established. To observe the rapid variations in unstable keyhole dynamics, the high-speed observation method is essential, but analyzing large amounts of data obtained from the observations is still trouble in perspective of speed and accuracy. The proposed system consisted of a synchronized high-speed coaxial observation method for simultaneously pertaining the top and bottom surfaces of the welding process without any distortion and two deep learning models. In the deep learning models, an object detection deep learning model (YOLOv4) for automatically measuring the keyhole top and bottom apertures and a ResNet with image regression for predicting laser-beam absorptance inside the keyhole observed from the YOLOv4 model were employed. Through this system, it was possible to accurately figure out the tendency of variations in welding process under different experimental conditions (welding speed and laser power) and the weld defect generation process. In chapter 4, study of keyhole behavior and weld defect generation in full-penetration laser keyhole welding of aluminum (Al) alloy using the proposed deep learning frameworks was conducted. Al alloy laser welding has been a challenging task because Al alloy has a low absorptance to the laser beam and the alloying elements have a negative effect on the welding process. Using the developed real-time monitoring system presented in chapter 3, the Al alloy keyhole welding processes according to the experimental conditions and shielding gas (Ar and He) in terms of keyhole dynamics and energy absorptance inside the keyhole were analyzed. In addition, the weld defects (porosity and burn-through) generation processes and factors could be analyzed and comprehended. In chapter 5, the process quality of thin foil keyhole-mode welding was discussed and a deep learning model for detecting defects on the beads in laser keyhole welding of a 100 μm-thick stainless-steel foil onto a 0.5 mm-thick stainless-steel sheet was developed. Since thin metal foils are susceptible to deformation and defects, the joining of metal foils has always been a challenge task. Furthermore, if the penetration depth was deeper than the beam size, keyhole-mode welding was forced and then the process became more unstable. In this dissertation, keyhole-mode welding was found to be sensitive to the shield gas flow rate due to the tiny melt pool and keyhole, and a deep-learning-based model that detects defects on the beads generated during foil welding with high accuracy and speed was developed.

딥 러닝을 기반으로 원목 의자 디자인 방법에 관한 연구

서락 국민대학교 테크노디자인전문대학원 2022 국내박사

As an essential living appliance for human life, furniture is inseparable from people’s clothing, food, housing, and transportation. In all the furniture products, chairs have the longest contact time with humans, and they are also the most closely related items. Thus, the chair is the most competitive and favorite furniture item in the market. With the rapid development of world education and the economy, people's living standards continue to improve, and the general aesthetic has been dramatically enhanced. In this case, people are more concerned about the aesthetics of its shape when buying a chair, which has undoubtedly put forward higher requirements for chair design. As traditional design methods rely too much on experience and have low efficiency, there is an urgent need to research efficient design methods. With the rapid development of information technology in recent years, artificial intelligence in life has gradually become more widespread, triggering changes in human production and life, and the application scenario is increasingly broad. Artificial intelligence is of significant research value. Given the substantial increase in computer arithmetic power today and the powerful modeling capability of deep neural networks for visual graphics, deep learning methods have provided a new path for solving chair design and other related problems. However, there are still some problems to be solved in this research: 1. How to integrate AI with chair design. 2. What specific functions AI should have in the design process. 3. Which AI model is more suitable for chair design. 4. How designers can use AI for controlled design. With the above issues fully considered, the practice of AI-based intelligent design of solid wood chairs is conducted. In summary, the research conducted in this paper is as follows: Firstly, from the perspective of system theory and literature analysis method, the basic knowledge of chair design procedures and methods, related research on chair shape design, etc., were sorted out. Besides, the morphological element characteristics of solid wood chair shapes were summarized. Secondly, through the organization of the literature, the intelligent design methods widely used nowadays were analyzed and summarized, including data-driven generative design, shape grammar-based, CAD parameterization, and other generative design methods. Then, based on the comparative study of different deep learning models, the process of data acquisition and processing, data set construction, and training was carried out to build a deep learning-based intelligent design model for solid wood chairs. Furthermore, a controlled experimental study was conducted for the AI solid wood chair intelligent design method and the traditional chair design method to obtain the design rate ratio and the variability of the quality of the scheme effect drawing between them. In addition, the dataset and the generative model were combined to constitute a deep learning-based intelligent design tool for solid wood chairs. In addition, the AI furniture intelligent design procedure and method were summarized. Finally, the Entropy TOPSIS method was used to construct the evaluation model and index system for the intelligent design of solid wood chairs. This study explored the deep learning-based intelligent design modeling method of solid wood chairs and constructed the intelligent design evaluation model and index system of solid wood chairs. As shown by the results of this study, firstly, an excellent wood chair dataset was constructed, providing a large amount of design reference materials for furniture designers. Then, furniture manufacturers and designers can use the constructed intelligent design model for solid wood chairs and the advanced AI intelligent design tool for solid wood chairs, which will help improve the efficiency and quality of furniture design. In addition, the inducted AI furniture intelligent design procedures and methods provide a new design path for furniture design. Finally, the evaluation model and index system of intelligent design of solid wood chairs based on the Entropy TOPSIS method was constructed, providing theoretical and practical guidance for the design evaluation of furniture. 가구는 인간의 생활에 필수적인 생활기구로 사람들의 의식주와 교통과 뗄 수 없는 존재이다. 모든 가구 제품들 증 의자는 인간과 접촉 시간이 가장 길면서 가장 밀접하게 연관된 품목이기 때문에 가장 시장 경쟁력 있고 또한 사람들이 선호하는 가구 품목이다. 세계 교육과 경제의 급속한 발전으로 사람들의 생활 수준은 계속 향상되고 있으며 대중적 심미도 극적으로 향상되었다. 이 경우에서 사람들은 의자를 살 때 조형의 미학에 더 신경을 쓰기때문에 의심할 여지 없이 의자 디자인에 더 높은 요구를 제시했다. 전통적인 설계 방법은 경험에 지나치게 의존하고 효율도 비교적 낮기 때문에 효율적인 설계 방법에 대한 연구가 시급히 필요하다. 최근 정보기술의 급속한 발전에 따라 생활 속 인공지능의 활용이 점차 확산되어 인간의 생산과 생활을 변화시키고 응용 시나리오가 갈수록 광범위해져 인공지능은 상당한 연구 가치를 가지고 있다. 오늘날 크게 향상된 컴퓨팅 능력과 시각적 그래픽을 위한 심화된 신경망의 강력한 모델링 능력을 고려할 때 딥 러닝 방법은 의자 설계 및 기타 관련 문제를 해결하기 위한 새로운 경로를 제공했다. 그러나 이 연구에는 여전히 미해결 문제가 있다. 1. 인공지능과 의자 디자인을 통합하는 방법. 2.설계 과정에서 인공지능이 갖춰야 할 구체적인 기능은 무엇인가? 3.어떤 인공지능 모델이 의자 디자인에 더 적합한지? 4. 디자이너가 인공지능을 사용하여 통제 가능한 설계를 수행하는 방법. 위의 문제들이 충분히 고려된 전제 하에 인공지능에 기반한 원목 의자 지능형 설계의 실천이 수행된다. 요약하자면 본 논문에서 수행된 연구는 다음과 같다. 첫째, 체계 이론 및 문헌 분석 방법의 관점에서 의자 설계 절차 및 방법, 의자 조형 디자인 관련 연구 등에 대한 기초 지식을 정리하고, 원목 의자 조형의 형태학적 요소 특징을 귀납한다. 둘째, 문헌 정리를 통해 데이터 구동 생성식 설계(Generative Design), 형상문법, CAD 매개변수화 등에 기반한 생성식 설계 방법을 포함한 현재 널리 사용되는 지능형 설계 방법을 분석하고 귀납한다. 그런 다음 서로 다른 딥 러닝 모델의 비교 연구를 통해 데이터 획득 및 처리, 데이터 세트 구축 및 교육 등 절차를 수행하여 딥 러닝에 기반한 원목 의자 지능형 설계 모델을 구축한다. 또한 AI 원목 의자 지능형 설계 방법과 전통적인 의자 설계 방법의 대조 실험연구를 진행하여 그들 사이의 설계 효율과 설계 효과도의 품질의 차이를 확보한다. 또한 데이터 세트와 생성 모델을 결합하여 딥 러닝에 기반한 원목 의자 지능형 설계 도구를 구축하고 AI 가구 지능형 설계 절차 및 방법을 귀납해낸다. 마지막으로, 엔트로피 TOPSIS 방법으로 원목 의자 지능형 설계를 위한 평가 모델 및 지수 시스템을 구축한다. 본 연구는 딥 러닝에 기반한 원목 의자 지능형 설계 모델링 방법을 탐구하고, 솔원목 의자 지능형 설계 평가 모델 및 지수 시스템을 구축하는 것을 목적으로 한다. 본 연구 결과에 따르면 첫째, 구축한 완벽한 원목 의자 데이터 세트는 가구 디자이너에게 많은 설계 참고 소재를 제공할 수 있고, 둘째 구축한 원목 의자 지능형 설계 모델과 연구개발한 AI 원목 의자 지능형 설계 도구는 가구 제조업자과 디자인너가 사용할 수 있어 가구 디자인의 효율성과 품질 향상에 도움이 되고 또한 귀납한 AI 가구 지능형 설계 절차 및 방법은 가구 설계를 위한 새로운 설계 경로를 제공할 수 있고, 마지막으로 엔트로피 TOPSIS 방법에 기반한 원목 의자 지능형 설계 평가 모델 및 지수 시스템은 가구의 설계 평가를 위한 이론적, 실용적 지침을 제공하기도 한 것으로 나타났다.

Deep learning 프레임워크 성능 비교 연구 : cloud computing 환경에서

황재승 숭실대학교 2017 국내석사

통신 기술의 발달로 인한 사람과 사람, 장치와 장치, 사람과 장치 간의 연결성의 증가와 저장 매체 기술의 발달, 그리고 데이터 저장 비용의 감소로 인해 데이터의 양이 폭발적으로 증가했다. 이에 따라 다양한 형태의 대규모의 데이터를 빠른 시간 내에 효율적으로 처리할 수 있는 Cloud Computing 기술이 주목 받고 있고, Cloud Computing을 위한 오픈소스 기반의 솔루션 또한 많이 나타나게 되었다. 2012년부터 주목받기 시작한 Deep Learning은 전 세계적으로 가장 많은 관심을 받는 연구 분야 중 하나이며, 이중 CNN(Convolution Neural Network)은 가장 대표적 알고리즘이다. Deep Learning은 미래사회를 이끌어갈 분야로 평가받고 있으며, 이에 따라 많은 연구들이 진행되고 있고, Deep Learning을 쉽게 활용할 수 있도록 하는 많은 프레임워크가 개발되었다. 이에 따라 많은 사람들이 쉽게 Deep Learning을 접할 수 있게 되었지만 특정 환경에서 어떤 프레임워크가 더 우수한 성능을 보이는지에 대한 연구는 부족한 실정이다. 본 논문에서는 특정 환경에서의 성능 비교가 부족하다는 기존 연구의 한계점을 개선하고자 가장 대표적인 Cloud Computing용 오픈소스 소프트웨어 중 하나인 OpenStack을 이용하여 Cloud Computing 환경에서 어떤 Deep Learning 프레임워크가 더 우수한 성능을 보이는지 비교해 보고자 한다. With the development of communication technology, the amount of data explosively increased due to the increase of connectivity between people and people, devices and devices, people and devices, the development of storage media technology, and the reduction of data storage costs. As a result, cloud computing technology that can process various types of large-scale data efficiently in a short period of time has been attracting attention, and many open-source-based solutions for cloud computing have appeared. Deep Learning, which has been attracting attention since 2012, is one of the most sought-after research fields in the world, and CNN is the most representative algorithm. Deep Learning has been evaluated as a field that will lead the future society, and many researches have been carried out accordingly, and a number of framework have been developed to facilitate the use of Deep Learning. As a result, many people can easily access Deep Learning, but there is a lack of research on which libraries perform better under certain circumstances. In this paper, we attempt to compare the performance of some Deep Learning framework in Cloud Computing environment by using OpenStack, one of the most representative Open Source software for Cloud Computing, do.

Deep Learning Networks and ICT-based Plant Disease and Animal Activity Detection System for Digital Agriculture

부젤아닐 경상국립대학교 대학원 2022 국내박사

The majority of food for human beings comes from agriculture. Recently, farmers have had significant pressure to fulfill the rising demand for agricultural products with the increased world population. However, various factors such as catastrophic diseases, urbanization, and climate changes limit agriculture production. Moreover, conventional and subsistence farming cannot meet the increased global food requirement. In this context, it is of utmost necessity to apply the latest technology and tools in agriculture for food safety and production increment. Therefore, the conventional farming concept has been quickly transitioning into digital farming. The main objective of this study was to implement deep learning networks and information and communication technology (ICT) to detect plant diseases, segment and measure disease severity, and detect animal activity. The varieties of deep convolutional neural networks were applied and evaluated their performances. This study has been divided broadly into two parts. The first part deals with the tomato disease classification using lightweight attention-based convolutional neural networks and strawberry gray mold disease segmentation and severity measurement. Likewise, the second part contains the pig posture and locomotion activity detection system using the deep learning-based object detection models and tracking algorithm. Two experiments were conducted on plant disease classification and segmentation and one on pig posture and walking activity detection. In the first experiment of plant disease identification, ten varieties of tomato diseases and healthy leaves images were collected from both the open-source database and the glasshouse located at Gyeongsang National University. A lightweight attention-based deep convolutional neural network (ACNN) was designed to improve the performance of the model for plant disease classification. The total images were divided into training, testing, and validation datasets at a ratio of 8:1:1. Then the performance of the proposed model was compared with the baseline CNN without attention (WACNN) and the standard ResNet50 model. In the second experiment, three concentrations of Botrytis cinerea (causal agent of gray mold disease) were inoculated to the strawberry plants at an early reproductive stage. The occurrence of disease spots on the leaves and their expansion were recorded using a handheld RGB camera daily non-invasively. The raw images were pre-processed to remove clutter background and to extract the target leaf only. Then a deep CNN-based pixel-level segmentation Unet model was designed, trained, tested, and validated using the pre-processed images. The performance of the deep learning model was calculated using the standard segmentation metrics (pixel accuracy, intersection over union (IoU) accuracy, and dice accuracy) and validated using the 5-fold cross-validation method. Moreover, the performance of the Unet model was compared with the XGboost and K-means machine learning models and an image processing algorithm. The disease severity is calculated by using the percentage of diseased pixels in a leaf. The results of tomato disease classification showed that the deep CNN with attention mechanism improved by 1.2% in the tomato disease classification accuracy compared to CNN without attention mechanism in compensation of a few more network parameters and complexity. The CNN without attention module extracts the global features from the whole image. However, the characteristics of the diseased regions would be more specific to an individual disease class. Therefore, the attention module emphasizes regional features rather than global features. Thus, boosting the disease classification accuracy of the model. Whereas, in terms of gray mold disease segmentation, the average pixel, dice, and IoU accuracies of 98.24%, 89.71%, and 82.12%, respectively, were achieved from the Unit model, followed by XGBoost (98.06%, 87.76%, and 80.12%) on 80 test images. Results showed that the Unit model surpasses the conventional XGBoost, K-means, and image processing technique in detecting and quantifying the gray mold disease. The Unit model has two encoder and decoder blocks without fully connected networks. Thus, the network parameters reduce considerably, allowing the model to converge even in a small number of training datasets. Moreover, the Unet model provided a disease segmented image of the same size as the input image due to implementing an up-converter block. For the pig posture and walking activity detection, an experiment was conducted in the experimental pig barn located in Gyeongsang National University. The concentration of greenhouse gases (GHGs) was elevated by closing the ventilator and door of the pig barn for an hour three times a day (morning, day, and night), and the treatment was repeated for three days. The GHGs concentration before, after, and after an hour of treatment was measured by taking air samples from three spatial locations near the center of the house and analyzed using gas chromatography (GC). The livestock environment monitoring system (LEMS) collected the other environmental data (temperature and humidity), including CO2 gas. A top view network camera (HIK VISION) was installed to record the videos of pig activities and stored them in a network video recorder (NVR). A total of 6,012 frames from the video were labeled manually using the computer vision annotation tool (CVAT) and split into training and testing datasets (9:1). Three variances of object detection models (YOLOv4, Faster R-CNN, and SSD ResNet) were trained and validated to detect pig postures and walking activity. Then the deep association simple online real-time tracking algorithm (Deep SORT) was implemented to track the individual pig in the video clips. Pig postures and walking activity information was extracted from the one hour before, during, and after the treatment periods and analyzed the changes in activity due to the compromised environment. The pigs' standing, walking, and sternal lying activities reduce with increased GHGs, increasing lateral lying posture duration. Also, the pigs were more active in the morning than daytime and the least in the nighttime. Moreover, the pig posture detection performances of the object detection models were evaluated using the average precision (AP) and mean AP (mAP) and found the YOLO model provided the highest mAP of 98.67%, followed by the Faster R-CNN model (96.42%). Furthermore, the YOLO model outperformed in terms of detection speed (0.031 s/frame), followed by the SSD model (0.123 s/frame) and the Faster R-CNN model (0.15 s/frame). Therefore, the deep learning networks showed that they could effectively solve complex agricultural problems. However, more researches are recommended for further improvement. Finally, a web-based client-server architecture (http://sfsl.gnu.ac.kr) was designed to automatically collect the environmental and image data from the experimental sites. Similarly, a multi-user python interactive program called JupyterHub was installed on the server (https://sfslws.gnu.ac.kr), allowing the deep learning models to run in the cloud.

Empowering Deep Learning with Graphs

You, Jiaxuan ProQuest Dissertations & Theses Stanford Universit 2021 해외박사(DDOD)

Deep learning has reshaped the research and applications in artificial intelligence. Modern deep learning models are primarily designed for regular-structured data, such as sequences and images. These models are built for tasks that take these regular-structured data as the input (e.g., classification, regression), as the output (e.g., generation), or as the structural prior (e.g., neural architecture design). However, not all forms of data are regular-structured. One notable example is graph-structured data, a general and powerful data structure that represents entities and their relationships in a succinct form. While graph-structured data is ubiquitous throughout the natural and social sciences, its discrete and non-i.i.d. nature brings unique challenges to modern deep learning models.In this thesis, we aim to empower deep learning with graph-structured data, by facilitating deep learning models to take graphs as the input, the output, and the prior. My research in these three directions has opened new frontiers for deep learning research: (1) Learning from graphs with deep learning. We develop expressive and effective deep learning methods that can take graphs as the input, which promotes the learning and understanding of graphs. (2) Generation of graphs with deep learning. We formulate the generation process of graphs using deep learning models, which advances the discovery and design of graphs. (3) Graph as the prior for deep learning. We discover that graph structure can serve as a powerful prior for neural architectures and machine learning tasks, which opens a new direction for the design and understanding of deep learning. Finally, we discuss the wide applications of the above-mentioned techniques, including recommender systems, drug discovery, neural architecture design, and missing data imputation.

Novel Deep Learning Approaches: Robust Learning from Noisy Labels and Multi-Task Learning for Efficient Image Processing

공경보 포항공과대학교 일반대학원 2020 국내박사

Recently, deep neural networks have shown exceptional performances in several computer vision applications. However, deep learning has two main limitations for use in the industry: high complexity and vulnerability against noisy labels, also known as erroneous labels. In this dissertation, I study on improving robustness and efficiency of deep neural networks in classification and image enhancement applications. Firstly, a novel criteria is proposed to robustly train deep neural networks with noisy labels. If the labels are dominantly corrupted by some classes (these noisy samples are called dominant noisy labeled samples), the network learns dominant noisy labeled samples rapidly via content-aware optimization and they cause memorization (reduce generalization) in the deep neural network. To mitigate memorization of noisy labels, algorithm with proposed criteria penalizes dominant noisy labeled samples intensively through inner product of class-wise penalty labels and their prediction confidences, which indicate the probability of being assigned to each class. By averaging prediction confidences for the each observed label, I obtain suitable penalty labels that have high values if the labels are largely corrupted by some classes. Additionally, the penalty label is compensated using weight to make it same for learning speed per class, and it is updated using temporal ensembling to enhance the accuracy. The proposed criteria can be easily combined with the algorithms of loss correction and hybrid categories through a simple modification to improve learning performance. Secondly, multi-task learning based deep neural network is proposed to train various image processing operators efficiently. For real-time image processing, the proposed algorithm takes a joint upsampling approach through bilateral guided upsampling. For multi-task learning, the overall network is based on an encoder–decoder architecture, which consists of encoding, processing, and decoding components, in which the encoding and decoding components are shared by all the image processing operators. In the processing component, a semantic guidance map, which contains processing information for each image processing operator, is estimated using simple linear shifts of the shared deep features. Through these components, the proposed algorithm requires an increase of only 5% in the number of parameters to add another image processing operator and achieves faster and higher performance than that of deep-learning-based joint upsampling methods in local image processing as well as global image processing.

Deep reinforcement learning with LSTM-based exploration bonus

양진호 서울대학교 대학원 2017 국내석사

Deep learning is dominant method in recent machine learning community. Deep learning outperforms traditional methods in various tasks such as image classification, object recognition, speech recognition, and natural language processing. However, most deep learning algorithm is focused on supervised learning task. Supervised learning only considers static environment therefore it is not proper to dynamic environment. To solve this problem, reinforcement learning method combined with deep learning called deep reinforcement learning is proposed. Deep reinforcement learning is composed of two parts. First part is feature extraction using deep learning method. Second part is learning proper action for agent using reinforcement learning through trial and error. However, reinforcement learning algorithm has exploration and exploration trade-off problem. It is hard to find optimal exploration and exploitation ratio for reinforcement learning. To solve this problem, we propose novel deep reinforcement learning algorithm with LSTM-based exploration bonus. LSTM-based exploration bonus uses Long-Short Term Memory (LSTM) networks as predictor and makes exploration bonus based on prediction error. LSTM-based exploration bonus guides agent play more daring action. As a result, agent could find optimal solution in more short time. We test our method playing various Atari games. Experimental results shows our method outperforms plain deep reinforcement learning method. This shows the effectiveness of our method.

Efficient Deep Representation Learning for Improving Model Transparency and Addressing Distribution Shift

정다흰 서울대학교 대학원 2024 국내박사

AGI를 달성하기 위한 탐구는 오랫동안 AI 분야에서 소중히 여겨진 열망으로, 여기에는 AI 시스템이 다양한 작업에서 인간과 유사한 적응력과 이해력을 발휘할 수 있는 미래가 그려져 있다. 특히 GPT-3.5, LLaVA, 그리고 GPT-4V와 같은 대규모 언어 모델 및 다중 모달 모델들의 도입과 같은 최근의 발전은 AGI라는 먼 개념을 현실로 전환하였다. AGI의 주요 목표는 다양한 감각 입력과 출력을 능숙하게 통합하는 시스템을 창출하는 데에 지속적으로 있다. 이는 단순히 텍스트나 시각 정보를 처리하는 것을 넘어, AI가 물리적 환경과 상호 작용하며, 자연어를 이해하고, 컴퓨터 비전을 통해 시각 정보를 해석하며, 텍스트 또는 청각 출력을 생성하는 능력을 갖추도록 한다. AGI의 정점은 현실 세계에서 지각, 의사 소통, 그리고 행동을 수행할 수 있는 다중 감각 에이전트에 의해 상징된다. 이러한 기능을 용이하게 하는 데에 있어서 중요한 요소는 Deep Representation Learning (DRL)의 효과적인 활용에 있다. 효율적인 DRL은 성능과 리소스 양측에서 표현 공간을 더 효과적으로 훈련시키는 과정을 의미한다. 최근 몇 년 동안 딥 러닝 분야에서는 표현 학습의 세 가지 중요한 패러다임 변화를 목격했다. 구체적으로 말하면, 특정에서 일반 및 인간 수준의 의미적 표현으로의 전환한다. 본 논문은 효율적인 DRL을 통한 AGI의 개발과 함께 이러한 패러다임에 대한 탐구를 제시하며, 각각이 독특한 학습 방법론과 목표를 가진 DRL의 여러 시대를 아우르며 투명성, 신뢰성, 그리고 효율적인 학습과 같은 AI의 핵심 측면을 탐구한다. 초기에는 딥 러닝 연구가 주로 특정 작업에 맞춰진 표현 공간을 상대적으로 작은 데이터셋과 겸손한 모델 아키텍처로 훈련하는 데 중점을 두었다. 그러나 시간이 흐름에 따라, 보다 일반적이고 의미 있는 표현 공간을 여러 작업 범위에 걸쳐 학습할 수 있게 하는 자기 지도 학습 기술의 채택으로 이러한 패러다임이 전환되었다. 더불어, 특히 대형 언어 및 다중 모달 모델의 등장으로 인해 더 다양한 용도로 활용 가능한 표현 공간을 활용하는 것이 점점 더 실현 가능해졌다. 이러한 진화하는 트렌드와 일치하면서 투명성 및 분포 이동에 관한 세 가지 고급 작업을 제안하고 있다. 먼저, 딥 뉴럴 네트워크의 해석성을 향상시키기 위해 새로운 투명 모델을 제안한다. 이 프레임워크는 모델의 업데이트를 벡터 형식으로 변환하는 캡슐 네트워크를 기반으로 한다. 모델의 예측이 설명을 제공하는 데에 역할을 할 수 있도록 하기 위해 개념의 내부 변동을 고려한 투명 모델 학습을 위한 새로운 목적 및 프레임워크를 제안한다. 이 접근 방식은 기존의 캡슐 네트워크의 한계를 해결하기 위해 클래스 지도형 분리 알고리즘과 추가적인 정규화기를 제안함으로써 성능을 저해하지 않으면서 모델의 투명성을 향상시킨다. 이 작업은 DRL의 초기 시대에 뿌리를 둔 것으로, 향상된 해석력을 위한 중간 어노테이션 데이터 세트의 효율적인 사용을 강조한다. 방법론, 실험 결과 및 토론은 개념에 기반한 해석 가능한 분류기의 생성을 중심으로 하며, 이를 통해 분류기의 정보 전달력, 독립성 및 설명 가능성을 보여준다. 둘째, 계속적인 학습의 목표는 새로운 분포를 학습하면서 이전 분포의 지식을 유지한다. 그러나 현재의 딥 뉴럴 네트워크는 이 과정에서 종종 이전 분포를 잊어버린다. 더불어, 온라인 계속적인 학습은 각 학습 분포를 단 한 번만 볼 수 있는 것에서 오는 장기적인 기억과 새로운 지식 습득 양면에서 도전을 겪는다. 제 4장에서는 혁신적인 프레임워크 내에서 다양한 사전 훈련된 모델을 활용함으로써 온라인 계속적인 학습에 중요한 기여를 제안한다. MuFAN이라는 새로운 방법을 소개하여 사전 훈련된 모델의 다중 스케일 피처 맵을 활용하고 구조별 증류 손실 및 안정성 플라스티시티 정규화 모듈을 도입한다. 구체적으로 MuFAN은 사전 훈련된 인코더의 다른 레벨에서 활용되는 다중 스케일 표현을 빠르게 적응하기 위해 시퀀스의 작업 중에 획득하고 융합한다. 이 접근 방식은 안정성과 플라스티시티를 균형잡기 위해 목표를 설정하며, 계속적인 학습의 역사에서 두 번째로 나타난 DRL 역사와 일치한다. 셋째, 우리는 테스트 시간 적응 (TTA)에 중점을 두어 테스트 중에 분포 변화를 해결하기 위한 새로운 기술을 개발한다. 사전 훈련된 모델의 정규화 레이어의 가중치만 업데이트함으로써, 우리의 방법은 특히 편향된 환경에서 새로운 데이터 분포에 강력하게 적응할 수 있게 한다. 최근의 매개변수 효율적 전이 학습 (PETL) 방식은 시각, NLP, 음성 등 다양한 도메인에서 상당한 성능 향상을 이끌어 냈다. 이 트렌드에 기반하여 제 5장에서는 특히 편향된 시나리오에서 엔트로피의 신뢰 지표에 대한 신뢰성을 도전하고, 객체 모양이 예측에 미치는 영향을 고려하는 새로운 신뢰 지표를 제안한다. 이론적으로 우리는 편향된 시나리오에서 엔트로피의 한계를 강조하며, 이는 예측에 영향을 미치는 잠재적으로 구별되는 요소들의 감시를 간과한 결과라고 설명한다. 이 방법은 효율성과 견고성에 대한 주목할만한 특징을 가지며, 특히 편향된 환경의 도전에 대응한다. 이로써 이 작업은 DRL의 세 번째 시대에 위치하게 된다. 자기 지도 학습, 대형 언어 모델 및 다중 모달 모델의 발전은 효율적인 DRL의 주요 패러다임이었다. 효율적인 깊은 표현 공간은 다양한 작업에 대한 적응과 기초를 통한 도메인 간 이동을 가능케 한다. ChatGPT (대화용 대형 언어 모델)와 LLaVA (대형 언어-시각 어시스턴트)와 같은 주요 예시들은 무한한 확장성을 입증했습니다. 대형 모델의 개발은 AGI와 밀접한 관련이 있다. 대형 및 다중 모달 모델이 다양한 형태로 사람들의 삶에 통합됨에 따라 모델 및 세밀한 조정의 복잡성, 사용 중에 발생하는 분포 변경, 저장 및 에너지 효율성, 신뢰성 및 개인 정보와 같은 요소를 고려해야 할 필요성이 증가한다. 그 중에서도 AI 시스템에서의 해석 가능성과 적응성의 중요성에 대해 주로 논의하며, 모델 투명성, 계속적인 학습, 및 분포 이동의 도전에 대응한다. 이 논문은 미래의 AGI 연구를 위한 새로운 방향을 제시하며, 더 견고하고 투명하며 효율적인 시스템을 탐색하는 것이 목표한다. 향후 연구에서는 특히 책임 있는 AI와 효율적인 AI에 관련된 더 포괄적이고 광범위한 조사를 목표한다. The pursuit of Artificial General Intelligence (AGI) [70] in AI envisions systems with human-like adaptability across tasks. Recent progress, marked by expansive language models like GPT [25, 155], LLaVA [135], and GPT-4V [230], has made AGI a tangible reality. The primary goal is to create AI systems that seamlessly merge diverse sensory inputs, empowering them to interact with the physical world, understand language, interpret visuals, and generate responses. The key to achieving these capabilities lies in the effectiveness of Deep Representation Learning (DRL) [20]. Efficient DRL refers to the process of using deep learning to train a representation space more effectively in terms of both performance and resources. In recent years, the field of deep learning has witnessed three significant paradigm shifts in DRL: specifically, the transition from specific to general and human-level semantic representation. This dissertation explores the development and implications of AGI through Efficient DRL, a crucial component in realizing AGI’s potential. It spans multiple eras of DRL, each characterized by distinct learning methodologies and goals, and delves into the core aspects of AI such as transparency, reliability, and efficient learning. In its early stages, deep learning research primarily focused on training representation spaces tailored to specific tasks, often with relatively small datasets and modest model architectures. However, as time progressed, there has been a shift towards the adoption of self-supervised learning [36] techniques, enabling the learning of more general and meaningful representation spaces across a broader spectrum of tasks. Furthermore, recent advancements, particularly the emergence of large language and multi-modal models, have made it increasingly feasible to leverage representation spaces with greater versatility, requiring minimal finetuning [90]. We have proposed three advanced works at model transparency and distribution shift in alignment with these evolving trends: First, in Chapter 3, we propose a novel transparent model enhancing the interpretability of deep neural networks through a disentangled representation space [102]. This framework is based on capsule networks [181], which transform the model’s updates into a vector form. This approach addresses the limitations of existing capsule networks by proposing a class-supervised disentanglement algorithm and an additional regularizer, enhancing model transparency without compromising performance. This work, rooted in the first era of DRL, emphasizes the efficient use of moderate annotated datasets for improved interpretability. The methodology, experimental results, and discussions revolve around the creation of an interpretable classifier based on concepts, demonstrating the classifier’s informativeness, distinctness, and explainability. Second, the goal of continual learning (CL) [235] is to learn new distributions while retaining knowledge of previous ones, even as the learning distributions change over time. However, current deep neural networks often forget previous distributions during this process. Further, online CL [141] faces challenges from both the perspective of forgetting and acquiring new knowledge since each learning distribution is seen only once. In Chapter 4, we propose a significant contribution to online CL by utilizing various pre-trained models within an innovative framework. We introduce MuFAN [104], a novel method that leverages multi-scale feature maps from the pre-trained model and introduces a structure-wise distillation loss and stability-plasticity normalization module. This approach aims to balance stability and plasticity, highlighting the utility of pre-trained models in CL and aligning with the second era of DRL history. Third, we focus on Test-Time Adaptation (TTA) [217], developing a novel technique to address distribution shifts during testing. By updating only the weights of a normalization layer in a pre-trained model, our method enables robust adaptation to new data distributions, especially in biased environments. Recent parameter-efficient transfer learning (PETL) [90] approaches have led to significant performance improvements across domains, including vision, natural language process, and speech. Building upon this trend, Chapter 5 challenges the reliability of entropy as a confidence metric, especially in biased scenarios, and proposes a new confidence metric that considers the influence of object shape on predictions [120]. Theoretically, we highlighted the limitations of entropy as a confidence metric in biased scenarios, attributing it to the oversight of latent disentangled factors affecting predictions. This method, notable for its efficiency and robustness, situates this work in the third era of DRL. The progress in self-supervised learning, Large Language Models (LLMs), Large Vision Models (LVMs), and Parameter-Efficient Transfer Learning (PETL) is a pivotal paradigm in efficient Deep Representation Learning (DRL). An effective deep representation space enables adaptation to diverse tasks and facilitates domain bridging. Examples like ChatGPT and LLaVA showcase limitless scalability, aligning with the development of large models and the path to Artificial General Intelligence (AGI). As large, multi-modal models integrate into daily life, considerations include model complexity, fine-tuning, distribution changes during usage, storage and energy efficiency, reliability, and privacy. This dissertation emphasizes interpretability and adaptability in AI systems, addressing challenges like model transparency, continual learning, and distribution shifts. It charts a new direction for future AGI research, aiming for robust, transparent, and efficient systems to navigate modern AGI challenges. Future investigations will delve into responsible AI [191] and efficient AI [52, 90].

Deep learning-based classification models for cybersecurity threats

부석준 Graduate School, Yonsei University 2023 국내박사

글로벌 인터넷의 확산과 기술의 진보에 따라, 보다 개인화된 장비가 그 어느 때보다도 개인의 삶에 깊숙히 연관된 환경이 조성되었다. 최적의 디지털 환경을 제공하는 것과 동시에, 보안은 연구자의 가장 중요한 과제가 되었다. 디지털 환경을 활용해서 사용자의 개인 식별 정보 (PII), 컴퓨팅 리소스 및 시스템 조작 권한을 훔치는 디지털 공격이 증가하고 있다. 사이버 보안이라는 용어는 이러한 형태의 디지털 공격으로부터 컴퓨팅 시스템과 개인정보를 지키기 위한 노력으로 정의된다. 다행히도, 디지털 환경에서 수집된 방대한 데이터에 대한 가용성으로 사이버 보안 위협에 대한 다양한 탐지 방법이 탐구되고 있다. 특히, 대량의 관측치에 기반하여 고성능 맵핑 함수를 학습하는 딥러닝 접근은 이러한 환경에 적용하기에 적절하다. 본 논문에서는 사이버보안 분야에서 가장 치명적인 위협으로 알려진 악성코드, 내부자 공격, 피싱 공격을 탐지하기 위한 딥러닝 기반 분류 모델을 제안한다. 우리는 전통적인 탐지 방법에서 현대 딥러닝 모델을 기반으로 하는 탐지 방법에 이르기까지 광범위하게 조사하였고, 세가지 도전 문제와 해결 방법을 정리하였다. 첫번째, 악성코드 탐지의 후처리과정 중 가장 중요한 단계인 악성코드 분류 문제를 정의하고 딥러닝 기반의 악성코드 분류기를 제안한다. 이때 딥러닝 기반 분류기는 레이블이 잘 지정된 대량의 훈련 데이터가 필요하고 미관측 (zero-day) 악성코드에 취약하다는 점을 고려하여, 다른 딥러닝 모델과의 결합 방법을 설계하고 악성코드 샘플을 자동으로 생성함으로써 문제를 해결하였다. 두번째, 역할-기반 접근제어 환경 (role-based access control) 에서 내부자 공격을 탐지하기 위한 딥러닝 기반 SQL 역할 분류기를 설계한다. 데이터베이스에 여러 테이블에 동시에 액세스하는 SQL 쿼리를 모델링하는 것이 어렵다는 점을 감안할 때, SQL 역할 분류기는 학습가능성과 적응성이 동시에 확보되어야 한다. 우리는 조합론적 탐색 프로세스를 통해 하이퍼파라미터 공간을 분할하는 효과가 있는 유전자 알고리즘과 결합된 딥러닝 방법을 제안한다. 세번째, 웹사이트를 통한 피싱 공격을 탐지하기 위해 딥러닝 기반 URL 분류기를 설계한다. 피싱 URL 은 기본적으로 보고된 직후에 폐기되며 자동으로 생성되는 미관측 공격이다. 우리는 피싱 URL 분류 작업은 귀납적 학습 접근으로는 처리하기 어려울 수 있다는 점을 지적하고, 딥러닝에 실제-세계의 제약 조건을 주입하기 위한 도메인 지식과의 결합 방법을 제안한다. 제안하는 딥러닝 기반 분류 모델들은 각 태스크에서 최신의 다른 방법과 광범위하게 비교되었고, 각 문제에서 최고의 정확도와 재현율을 달성하였음을 10겹 교차검증하였다. With the proliferating global internet and technological advances, an environment has been created in which personalized equipment is more deeply connected with an individual's life than ever before. Alongside optimally providing the digital environment, the researchers' most significant challenge is security. Attacks that abuse digital environments to steal personally identifiable information (PII), computing resources, and privileges to manipulate systems are on the rise. The term cybersecurity is defined as endeavors to protect computing systems and personal information from these forms of digital attack. Fortunately, various detection methods for cybersecurity threats are being explored with the availability of massive data collected in the digital environment. In particular, a deep learning method to learn a high-performance mapping function based on a large amount of observation is suitable for application in these environments. In this thesis, we propose deep learning models for malware, insider attacks, and phishing attacks, known as the most lethal threats in cybersecurity. We have compiled three challenge issues and solutions from an extensive investigation ranging from traditional detection methods to detection methods based on modern deep learning models. First, we formulate the malware classification problem, the most critical step in the post-processing of malware detection, and design a malware classifier based on deep learning. Considering that deep learning-based classifiers require large amounts of well-labeled training data and are vulnerable to zero-day malware, we propose a deep learning model enhanced with other deep learning models to generate malware samples efficiently. Second, we design a SQL role classifier based on deep learning to detect insider attacks in a role-based access control environment. Given the difficulty of modeling SQL queries that access multiple tables in a database, SQL role classifiers require learnability and adaptability. We propose a deep learning model embedded with a genetic algorithm that partitions the hyperparameter space through a combinatorial search process. Third, we design a URL classifier based on deep learning to detect phishing attacks through websites. Phishing URLs are essentially zero-day attacks that are automatically generated and discarded immediately after being reported. The phishing URL classification task may be challenging with inductive learning approaches. We propose an integration method with domain knowledge to inject real-world constraints into deep learning. The proposed knowledge-integrated deep learning models were extensively compared with other state-of-the-art techniques, and the highest accuracy and recall were achieved in each task.