단순 방사선 촬영 영상에서 딥러닝 알고리즘의 객체 검출법을 이용한 두개골 골절의 자동화 진단

정태석 가천대학교 일반대학원 2021 국내박사

두부 외상 환자에서 두개골 골절은 뇌출혈, 감염 등의 악화 가능성이 있기 때문에 신속하고 정확히 진단해야 한다. 두개골 단순 방사선 촬영은 두개골 골절을 진단하는 가장 기본적인 영상 검사이다. 딥러닝은 인공 신경망 훈련을 기반으로 하는 기계 학습 접근 방식으로, 딥러닝을 이용한 객체 검출 알고리즘은 이미지 분석에 있어 가장 강력한 도구로 활용되고 있다. 최근 들어 의료분야에서 딥러닝을 이용한 영상학 검사 분석에 대한 연구들이 많이 발표되고 있다. 하지만 현재까지 두개골 단순 방사선 촬영 영상을 분석한 연구는 없는 상태이다. 우리는 이번 연구를 통해 두개골 단순 방사선 촬영 영상 이미지에서 두개골 골절을 찾기 위한 합성곱 신경망 딥러닝 알고리즘의 진단 성능을 분석, 평가하고, 임상적 적용 가능성을 알아보고자 하였다. 두부 손상으로 인한 두개골 골절로 진단된 환자 481명과 두부 손상은 있었으나 두개골 골절이 없는 환자 260명을 포함한 총 741명의 환자로부터 2,026장(골절: 991장, 정상: 1,035장)의 두개골 단순 방사선 촬영 이미지를 얻었다. 그 중 1,639장(골절: 810장, 정상: 829장)을 딥러닝 알고리즘 학습에 사용하였고, 학습에 사용하지 않은 나머지 387장을 딥러닝 알고리즘 시험에 사용하였다. 두 명의 신경외과 전문의가 딥러닝 학습을 위해 골절 영역에 상자 모양의 ROI (region of interest)를 그렸다. 딥러닝 모델로 RetinaNet 아키텍쳐를 사용하였고, 딥러닝 알고리즘의 진단 성능을 평가하기 위해 정밀도, 재현율, 평균 정밀도를 측정하였다. ResNet-50, 101, 152, 세 모델에 대한 평균 정밀도는 ResNet-152 모델에서 가장 높았다. ResNet-152 모델에서 IOU (intersection over union) 역치값을 0.1, 0.3, 0.5로 정했을 때의 평균 정밀도는 각각 0.7240, 0.6698, 0.3687이었으며, IOU와 신뢰도 역치값이 0.1일 때 정밀도는 0.7292, 재현율은 0.7650이었다. IOU 역치값 0.1, 신뢰도 역치값 0.6일 때 참과 거짓은 82.9%, 17.1%였고, 전후상, 전후 반축위상, 양 측면상 간의 참/거짓 비율, 위양성/위음성 비율은 유의미한 차이를 보였다(p=0.032, 0.003). 위양성에서 검출된 객체는 혈관구와 봉합선이 있었고, 위음성에서는 이개골절 및 봉합선에 걸쳐있는 골절, 혈관구 주변에 생긴 골절, 안와 주변에서 보이는 골절의 검출 성능이 떨어졌다. 성인과 만 10세 이하의 소아 이미지에 대한 분석 결과, 위양성/위음성 비율에서 두 군 간의 유의미한 차이를 보였고(p=0.042), 소아에서 상대적으로 위양성이 높았다. 이번 연구는 단순 방사선 촬영 영상에서 딥러닝을 이용한 두개골 골절 검출 성능을 분석하고 평가한 첫 연구로서의 의미를 가진다. 딥러닝을 통한 객체 검출 알고리즘은 의료진의 판단과 더해져 진단과 치료 결정에 있어 지금보다 훨씬 뛰어난 결과를 보일 수 있을 것이다. 향후 추가 연구를 통해 알고리즘의 검출 성능을 더욱 높일 수 있을 것으로 기대된다.

자동차용 S/W 취약성 점검을 위한 딥러닝 기반의 바이너리 코드 분석기법에 관한 연구

변경근 숭실대학교 대학원 2023 국내박사

자동차용 S/W 취약성 점검을 위한 딥러닝 기반의 바이너리 코드 분석기법에 관한 연구 변경근 IT정책경영학과 숭실대학교 대학원 자동차 제작사들은 자동차 첨단기능 제공 및 유연한 기능 개선·패치 기반 마련을 위해 오픈소스를 활용하여 자율주행 프로그램 등 각종 S/W와 자체 통합운영체제의 개발·탑재를 추진 중이다. 오픈소스의 활용은 개발 속도의 향상과 비용절감에 크게 기여하지만, 노출된 코드로 인해 취약성 발굴이 손쉬워 보안 위협이 증가하였다. 자 동차용 S/W를 대상으로 제로데이 공격이 발생할 경우, 사회 전반에 치 명적인 피해 발생이 우려된다. 자동차용 S/W의 취약성을 사전에 점검하고 발견하여 차단하는 것이 피해를 예방할 수 있는 가장 효과적인 방법이다. 본 논문에서는 딥러닝을 기반으로 한국인터넷진흥원에서 제공한 오픈 소스 취약성 바이너리셋을 대상으로 자동차용 S/W 바이너리 코드의 취 약성 분석 모델을 생성하여 취약성을 분류하고 바이너리 코드에서 취약 성이 발생하는 위치까지 확인하여 제시하였다. 본 논문에서 다양한 보안 취약성 중 포맷 스트링, 힙 오버플로우, 스택 오버플로우, 사용후 재사용 등의 네 가지 보안 취약성을 분석하였다. 바이너리 코드의 구조적 특성과 제어 흐름을 효과적으로 표현할 수 있 는 CFG(Control Flow Graph)를 활용하여 네 가지 취약성과 취약성이 제 거된 정상 CFG를 분류 예측하였다. 이와 관련 Canny 알고리즘을 활용하여 이미지의 외곽선을 보강하여 CFG의 특징을 강화하였다. 다만, 바이너리 셋 자체가 딥러닝의 훈련·검증에 필요한 데이터의 양에 미치지 못하여 이 미지 증강기법을 사용, CFG 이미지 데이터셋을 확대하여 활용하였다. 이렇게 제작된 데이터셋의 각 픽셀 데이터를 추출하여 CSV 파일로 전 환하였다. CSV 파일의 데이터를 훈련용과 테스트용으로 8대2로 분류하여 합성곱 신경망 기반 분류 모델을 생성, 예측 성능을 검증하였다. 취약성과 정상 CFG 분류 예측 성능 평가에 정확도(Accuracy), 정밀도 (Precision), 재현율(Recall), F1-score 등의 지표를 사용하였다. 네 가지 보안 취약성․정상 CFG의 분류 성능 평가 결과를 살펴보면, 첫째 정확도(Accuracy)에서는 포맷 스트링, 힙 오버플로우, 스택 오버플로우, 사용후 재사용 등이 모두 우수하였다. 특히 Epoch 값이 10·20·30이고 Batch size가 128일 때 정확도(Accuracy)가 가장 우수하였다. 둘째, 정밀도(Precision) 측면에서는 포맷 스트링, 힙 오버플로우, 스택 오버플로우, 사용후 재사용 모두 Epoch 값이 10~30이고 Batch Size가 128일 때 가장 우수하였다. 셋째, 재현율(Recall) 측면에서는 포맷 스트링, 힙 오버플로우, 스택 오버플로우, 사용후 재사용 모두 Epoch 값이 15~30 이고 Batch Size가 128일 때 가장 우수하였다. 마지막으로 F1-score에서 는 포맷 스트링, 힙 오버플로우, 스택 오버플로우, 사용후 재사용 모두 Epoch 값이 20~30이고 Batch Size가 64~128 때 가장 우수하였다. 한편, 바이너리 코드에서 취약성이 발생한 위치 확인에 있어서는 개략적인 위 치 확인에는 용이하였으나 정확한 위치 확인에는 개선이 필요하였다. 한편, 본 논문의 학문적 의의 및 시사점을 살펴보면, 첫째, 기존 국내 딥러닝을 이용한 바이너리 코드 취약성 분석 연구는 대부분 악성코드의 분류에 집중되었다. 그러나, 본 논문에서는 바이너리 코드 자체에 존재하 는 취약성 분석을 그 대상으로 삼아, 취약성 연구 분야를 확장하였다. 둘 째, 바이너리 코드의 CFG를 활용한 취약성 분석 모델을 정립함으로써 관련 연구의 토대를 마련하였다. 셋째, CFG는 바이너리 코드 취약성을 분석하는데 필요한 전반적인 정보를 제공할 수 있음을 확인하고 CFG를 활용한 접근법이 취약성 분석 연구에서 가치가 있는 연구 주제임을 실증 하였다. 실용적 의의 및 시사점으로는 첫째, 바이너리 코드의 소스 코드를 사 용할 수 없을 때 취약성 분석 연구가 난해한데 이러한 한계성을 극복하 기 위해 바이너리 코드 자체를 취약성 분석 연구 대상으로 설정하여 본 논문의 실용적 가치를 제고하였다. 둘째, 보안 취약성의 CFG 이미지를 생성하여 딥러닝을 활용한 분석 모델을 구성하였기 때문에, 신규 취약성 의 특징점 CFG의 이미지를 추가할 경우, 분석 성능을 계속해서 개선할 수 있다. 셋째, 취약성 CFG는 바이너리 코드의 제어 흐름에서 취약성 코 드가 발생하는 위치를 확인하는데 필요한 수단을 제공할 수 있다는 것을 제시하였다. 마지막으로 본 논문의 딥러닝 취약성 분석 모델은 대량의 바이너리 코 드를 단시간에 정확하게 분석할 수 있는 장점이 있다. 본 논문을 통해 자동차용 S/W 바이너리 코드 취약성 연구가 더욱 활발해지기를 기대한다. A Study on Deep Learning-based Binary Code Analysis Techniques for Vehicle Software Vulnerability Check BYUN, KYUNGKEUN Department of IT Policy and Management Graduate School of Soongsil University Automakers are using open source to develop and install various software and their own integrated operating systems, including autonomous driving programs, in order to provide advanced automotive functions and provide a flexible function improvement and patching base. The use of open source contributes significantly to improving development speed and reducing costs, but it also increases security threats as exposed code makes it easier to discover vulnerabilities. If a zero-day attack occurs against automotive software, it could cause catastrophic damage to the entire society. The most effective way to prevent damage is to proactively check, discover, and block vulnerabilities in automotive software. In this study, based on deep learning, we created a vulnerability analysis model for automotive software binary code based on the open source vulnerability binary set provided by the Korea Internet & Security Agency to classify vulnerabilities and identify the location of vulnerabilities in the binary code. Among the various security vulnerabilities, this study analyzed four security vulnerabilities: format string, heap overflow, stack overflow, and use after free. Utilizing the Control Flow Graph (CFG), which can effectively represent the structural characteristics and control flow of binary code, we predicted the classification of four vulnerabilities and a normal CFG with the vulnerabilities removed. In addition, the Canny algorithm was utilized to enhance the features of the CFG by enhancing the outline of the image. However, the binary set itself was insufficient for the amount of data required for training and validation of deep learning, so we used image augmentation techniques to expand and utilize the CFG image dataset. Each pixel data of the dataset was extracted and converted into a CSV file. We created a convolutional neural network-based classification model by dividing the data in the CSV file 8:2 for training and testing, and verified the prediction performance. Metrics such as accuracy, precision, recall, and F1-score were used to evaluate the prediction performance of vulnerability and normal CFG classification. Looking at the classification performance evaluation results of the four security vulnerability and normal CFGs, first, Accuracy was excellent for format string, heap overflow, stack overflow, and use after free. In particular, the best accuracy was achieved with Epoch values of 10․20․30 and a batch size of 128. Second, in terms of precision, format string, heap overflow, stack overflow, and use after free all performed best with Epoch values of 10~30 and a Batch Size of 128. Third, in terms of Recall, Format String, Heap Overflow, Stack Overflow, and use after free all performed best with epoch values of 15~30 and a batch size of 128. Finally, in terms of F1-score, format string, heap overflow, stack overflow, and use after free all perform best when the Epoch value is 20~30 and the Batch Size is 64~128. On the other hand, when it came to identifying the location of the vulnerability in the binary code, it was easy to identify a schematic location using images, but it needed improvement for accurate location. Regarding the academic significance and implications of this paper, first, most of the existing research on binary code vulnerability analysis using deep learning in Korea has focused on the classification of malware. However, in this study, we expanded the field of vulnerability research by analyzing vulnerabilities in binary code itself. Second, this study lays the foundation for related research by establishing a vulnerability analysis model using the CFG of binary code. Third, we verified that CFGs can provide the overall information needed to analyze binary code vulnerabilities and demonstrated that an approach using CFGs is a valuable research topic in vulnerability analysis. In terms of practical significance and implications, first, vulnerability analysis research is difficult when the source code of binary code is not available, and to overcome this limitation, we set the binary code itself as the subject of vulnerability analysis research, which enhances the practical value of this research. Second, since we have created CFG images of security vulnerabilities and constructed an analysis model using deep learning, we can continue to improve the analysis performance by adding CFG images of new vulnerability features. Third, we have shown that vulnerability CFGs can provide the necessary means to identify where vulnerable code occurs in the control flow of binary code. Finally, our deep learning vulnerability analysis model has the advantage of being able to accurately analyze large amounts of binary code in a short time. We hope that this research will contribute to further research on automotive software binary code vulnerabilities.

딥러닝 기반 범죄 예측 모델과 MCLP 기법을 활용한 최적의 CCTV 설치 장소 비교

최보균 전남대학교 2024 국내석사

대한민국의 범죄 증가로 인한 국민의 안전 우려가 커짐에 따라, CCTV 설치를 늘려 범죄율 감소에 기여하였다. 그러나 효율적인 배치를 위한 명확한 기준의 부재로, 민원이 많은 지역에만 집중되는 문제가 발생하였다. 이로 인해 감시 중복 및 사각지대가 생기는 비효율성이 나타났다. 따라서 CCTV를 범죄 예방과 공공 안전 향상을 위해 필요한 장소에 효과적으로 배치하는 것이 중요했다. 본 연구는 범죄 예방을 위한 딥러닝 모델과 MCLP 기법을 활용하여 CCTV의 최적 설치 위치를 비교 분석하였다. 이를 위해 범죄 현황, 지리정보, 유동인구 데이터 등과 같은 범죄 관련 데이터와 CCTV 데이터를 활용하였으며, 딥러닝 모델에서 타켓 변수인 범죄 발생 건수를 5분위수 구간화 기법을 적용하여 범주화하였다. 이를 통해 범죄 예측에 유의한 변수들을 포함하는 딥러닝 모델과 MCLP 기법을 비교 분석하여 CCTV 설치 후보지를 선정하였다. 딥러닝 모델과 MCLP를 통해 선정된 CCTV 1대당 범죄 감시 건수를 비교한 결과, 딥러닝 모델은 1대당 8.84 건의 결과를 보였으며, MCLP 모델은 1대당 11.20건으로 나타났다. 이는 MCLP 모델이 딥러닝 모델보다 우수한 성능을 보였다. 동일한 수량의 CCTV를 설치하더라도, 설치 위치에 따라 경제적 차이가 발생하였다. 연구 결과에 따르면, 기존 설치된 CCTV의 범죄 당 감시 비용은 1,674,914원으로 도출되었다. 반면, 딥러닝 모델을 통해 제안된 CCTV 설치 후보지의 경우 범죄 당 감시 비용은 443,235원이었고, MCLP 모델을 통해 제안된 경우는 349,844원으로 나타났다. 이로 인해 딥러닝 모델은 73.54%의 비용 절감 효과, MCLP 모델은 79.11%의 비용 절감 효과를 보여주었다. 딥러닝 모델은 다양한 변수를 활용해 미래 범죄 가능성이 높은 지역을 예측하는 데 장점이 있으며, MCLP 모델은 현재의 범죄 감시에 중점을 두는 상황에 더 우수하였다. 본 연구는 범죄 예방을 위한 CCTV의 최적 배치 전략을 제시함으로써, 도시 안전을 위한 구체적인 방향을 제공하였다. 이는 정책 결정자들에게 데이터 기반의 결정을 가능하게 하여, 자원을 보다 경제적으로 활용할 수 있는 기회를 마련하였다.

국내비거주전력사용량기반장단기예측을위한딥러닝모델최적화방안연구

윤준철 전남대학교 2024 국내박사

전세계적으로 전력사용량은 꾸준히 증가하고 있으며 탄소 배출을 줄이기 위한 다양한 정책들이 등장하고 있다. 전력수요가 지속적으로 증가함에 따라 전력설비의 효율적인 운영, 정전 예방, 효과적인 에너지 관리를 위해 정확한 전력사용량 예측이 중요해지고 있다. 그러나, 기존 통계적 방법을 통한 예측은 다양한 공간적, 시간적 요인의 영향을 받는 전력데이터에 내재되어 있는 불규칙하고 복잡한 패턴으로 인해 정확한 예측에 어려움을 겪고 있다. 최근에는 머신러닝, 딥러닝 등 인공지능 기술이 전력사용량 예측, 이상탐지 등 다양한 영역에서 불규칙 패턴을 예측하는 문제에 사용되고 있다. 전력사용량은 환경에 많은 영향을 받는 데이터 중 하나이다. 거주 환경과 비거주 환경의 경우를 비교하면 거주 환경은 사람의 근로 형태나 거주형태에 따라 차이가 있고 비거주 환경은 특정 시간대에 전력 소비량이 많아지거나 전력 소비가 일정하게 이루어지는 특징이 있다. 또한, 정확한 전력사용량 예측을 위한 한가지 문제는 우리나라 고유 기후와 공간적 특성을 고려한 개방형 전력데이터 세트가 부족하다는 점이다. 기존 공개 데이터세트는 외국에서 수집되어 공개된 데이터가 많아 한국 상황에 직접적으로 적용하긴 어렵다. 본 학위 논문에서는 한국의 특수한 기후와 공간적 특성을 고려할 수 있도록 전남대학교와 경기도 지역의 공장에서 전력사용량 데이터를 수집하였다. 확보한 전남대학교의 공과대학 7호관 전력 사용량 데이터와 경기도 지역의 공장에서 수집한 고압 전력-1시간 데이터세트는 거주 환경과 달리 비거주 환경 특성을 가지고 있으며 상세 분석 및 시각화를 통해 우리나라 전력 소비의 패턴과 추세를 파악했다. 확보한 데이터세트는 딥러닝 기술에 적용하여 국내 비거주 전력 데이터 고유의 시간적, 공간적 특성을 학습하였다. 학습된 모델은 정확하고 신뢰할 수 있는 전력 소비 예측이 가능하여 우리나라 전력설비 운영의 최적화, 정전예방 및 전력자원의 효율적 활용에 기여할 것으로 기대한다. 본 학위 논문은 전남대학교와 경기도 공장에서 수집한 고압 전력 데이터세트를 공개 및 활용하고 딥러닝 기술을 적용하여 환경적, 시간적, 공간적 특성이 반영된 전력 예측 문제에 대한 실질적인 통찰력과 솔루션을 제공하는 것을 목표로 한다. 이러한 목표와 문제를 해결하기 위해서 국외 거주 전력 사용량 데이터인 프랑스 가정용 데이터세트와 스페인 데이터세트를 활용한 초단기부터 초장기 예측 연구를 진행하여 세밀한 장단기 예측을 위한 실험결과를 도출하였다. 실험결과를 바탕으로 1시간부터 24시간까지 1시간 단위의 세밀한 전력사용량을 예측할 수 있도록 실험 환경을 구성하였다. 실험 환경을 바탕으로 전남대학교 공과대학교 7호관 전력데이터와 공장의 고압 전력-1시간 데이터를 딥러닝 모델에 학습하였다. 딥러닝 모델은 기초적인 MLP 모델뿐만 아니라 RNN 계열의 LSTM, GRU와 최근 시계열 데이터에 적합하고 데이터의 주기성 패턴을 파악하여 예측하는 TCN 모델과 이를 경량화한 Stride-TCN 모델, 데이터의 주요 패턴에 집중하여 값을 예측하는 Transformer 모델의 인코더 구조를 3계층과 8계층으로 구성한 모델을 비교하였다. 그 결과로, 국내 비거주 전력사용량 데이터 세트에서는 비거주 환경으로 인해 기온, 습도, 기압 데이터의 영향을 덜 받으며 평균적으로 TCN 모델이 더 높고 좋은 성능을 보였다. 한국의 환경적, 시간적, 공간적 특성을 잘 반영할 수 있는 TCN 모델은 하이퍼파라미터 최적화를 통해 최적화된 파라미터 값을 도출하였으며 단변량과 다변량에서 모두 좋은 성능을 보였다. 도출된 최적 하이퍼 파라미터값을 바탕으로 전남대학교 전력사용량 데이터 세트와 같이 주기적인 패턴을 가지는 경우에는 커널 사이즈가 작은 TCN 모델이 우수하였으며 고압 전력-1시간 데이터세트와 같이 변동성이 큰 경우에는 커널 사이즈가 큰 TCN 모델이 우수하다는 것을 알 수 있었다.

클라우드 환경에서 딥러닝 추론의 성능 최적화 및 분석

박수빈 국민대학교 일반대학원 2022 국내석사

DNN(Deep Neural Network)은 이미지 인식, 자연어 처리를 포함한 다양한 분야에서 널리 사용되고 있으며 이러한 모델을 실제 환경에서 효율적으로 실행하는 것이 중요하다. 사용자의 요구를 충족하기 위해 딥러닝 추론을 최적화하는 것은 더욱 중요하지만 다양한 클라우드 환경에서 딥러닝 추론 최적화 구성을 찾는것은 어렵다. 본 논문에서는 다양한 하드웨어와 최적화 기법을 활용하여 딥러닝 추론을 실험하고 분석한다. 딥러닝 추론의 특성을 파악하고 클라우드에서 제공하는하드웨어들 중 서버리스 컴퓨팅 아키텍처를 사용하여 딥러닝 추론 작업을 배포하는데 용이한 프로토타입을 제안하고 결과를 분석한다. 하드웨어 유형, 모델 그래프 최적화, 하드웨어 최적화 및 컴파일, 서버리스 메모리 및 배치 크기 설정 등 서버리스 컴퓨팅 환경에서 제공할 때 고려해야할 많은 요소들이 있으며 사용자는 완전 관리형 웹 서비스를 통해 쉽게 다양한 구성에 대해서 시도해볼 수 있다. 제안한 시스템을 통해 최적의 서버리스 환경 구성을 찾을 수 있으며 공개된 소스를 통해 FaaS 구성에 비교적 쉽게 접근할 수 있다. Deep Neural Networks (DNNs) are widely used in various fields including image recognition and natural language processing, and it is important to run these models efficiently in environments. Optimizing deep learning inference to meet user needs is more important, but finding deep learning inference optimization configurations in various cloud environments is difficult. In this paper, we experiment and analyze deep learning inference using various hardware and optimization techniques. Identify the characteristics of deep learning inference, propose a prototype that is easy to deploy deep learning inference job using a serverless computing architecture among hardware provided by the cloud, and analyze the results. There are many factors to consider when providing a serverless computing environment, such as hardware type, model graph optimization, hardware optimization and compilation, serverless memory and batch size settings, and users can easily try out various configurations through fully managed web services. Through the proposed system, the optimum serverless environment configuration can be found, and FaaS configuration can be relatively easily accessed through open sources.

딥러닝 모델 설계 지원을 위한 빈발 서브 패턴 추출 및 모듈화

박기선 충북대학교 2021 국내석사

GPU와 같은 하드웨어적인 컴퓨팅 파워의 향상과 ReLU와 같은 알고리즘적인 돌파구는 심층 신경망을 더욱 깊게 구성할 수 있도록 해주었다. 계층이 쌓이면 쌓일수록 심층 신경망은 더욱 향상되고 추상화된 특징을 추출해낼 수 있다. 최근의 딥러닝 모델들은 수 천 개로 이루어진 복잡하고 장황한 형태의 아키텍처를 갖는 경향이 있다. 이러한 장황하고 복잡한 형태의 아키텍처는 개발자에게 모델을 이해하고 모델로부터 통찰력을 얻는 데에 한계가 있다. 장황하고 복잡한 형태의 아키텍처 내에는 몇 개의 서브패턴이 반복적으로 나타난다. '구글넷(GoogleNet)'의 '인셉션 모듈(Inception Module)'이나 '레스넷(ResNet)'의 '잔차 블록(Residual Block)'과 같은 서브패턴은 아키텍처 내에서 하나의 컴포넌트로써 특정 역할을 수행한다. 이러한 컴포넌트들의 조합은 개발자가 딥러닝 모델의 아키텍처를 설계할 때 빈번히 사용된다. 따라서 반복적으로 나타나는 서브패턴은 딥러닝 모델링 과정에서 사용될 수 있기 때문에 이러한 서브패턴을 추출하는 작업은 유의미하다. 이 논문에서는 딥러닝 계층구조로부터 반복적으로 나타나는 서브패턴을 추출하고 그것을 활용하는 방법에 대해 제안한다. 제안하는 서브패턴 추출방법은 서브패턴을 재귀적으로 탐색해낸 후 전체적인 아키텍처를 비교적 간단한 형태로 가시화하는 것이다. 딥러닝 모델의 재사용성의 증대와 모델 설계과정에서의 효율성을 위해 딥러닝 모델링 플랫폼을 제안한다. 제안하는 딥러닝 모델링 플랫폼은 GUI 기반의 모델링 에디터, 모델 데이터베이스, 모델 실행 엔진을 포함한다. GUI 기반의 딥러닝 에디터는 개발자가 딥러닝 모델을 하드코딩 작업 없이 쉽게 설계할 수 있도록 보조한다. 딥러닝 모델 데이터베이스는 설계된 모델정보와 추출한 모듈정보를 관리한다. 딥러닝 모델 실행 엔진은 컴퓨팅 파워를 포함하며, 딥러닝 모델을 학습하고 결과를 예측한다. 또한, 추출한 모듈의 재사용성을 극대화하기 위해 이종 계층 간 연결성 문제를 해결하는 방법을 제안한다. 마지막으로, 오토-케라스(Auto-Keras)의 API를 활용하여 딥러닝 모델링 에디터로부터 직접 생성된 모델의 성능을 개선할 수 있는 딥러닝 모델 아키텍처 튜닝방법을 제안하여 사용자의 편의성과 접근성을 증대한다. The improvement of hardware-wise computing power using GPU and the algorithmic breakthrough such as backpropagation with ReLU(Rectified Linear Unit) allow us to build deep neural networks more deeper. As layers are stacked hierarchically, deep neural networks are able to extract more advanced and abstracted features. Recent deep learning models tend to have a complex and lengthy architecture which made of thousands layers. There are limits for developers to recognize the model architecture and to get insight from such lengthy and complex architecture. In a complex and lengthy architecture, several sub-patterns appear repeatedly. Those sub-patterns like 'Inception module’ in GoogleNet or 'Residual block’ in ResNet perform a specific role in an architecture as a component. The combinations of components are frequently used when developers design a deep learning architecture. Therefore, it is meaningful task to extract such frequent sub-patterns for deep learning modeling by using those extracted patterns as components. This thesis propose a method of frequent sub-pattern extraction in hierarchical architecture and a utilization of extracted sub-patterns. The proposed extraction method recursively searches sub-patterns, and then enables to visualize an overall architecture into simplified one. For better reuse of deep learning model and efficiency of deep learning model design, we propose DL Modeling Platform. The proposed DL Modeling Platform includes GUI-based DL Editor, DL Model Database, and DL Execution Engine. The GUI-based DL Editor supports developers to easily design a deep learning model without hard coding. DL Model Database manages the designed model information and extracted module information. And DL Execution Engine which includes resources for computing power performs training the designed deep learning model and estimating the output. We also propose a novel method to maximize reuse of extracted modules and to solve the compatibility problem between heterogeneous layers. Lastly, we implement a deep learning model architecture tuning method using Auto-keras’ API that is to improve the performance of the directly created architecture from DL Modeling Editor, thereby improving user accessibility and convenience.

다중모드 광섬유에서 딥러닝을 이용한 광학 이미지 전송 연구

박성민 아주대학교 2021 국내석사

스펙클(speckle) 패턴은 산란 매질을 진행하는 빛의 무작위한 위상(phase) 변화와 간섭에 의해 나타난다. 이러한 현상은 공간적으로 결맞은(spatially coherent) 빛이 거친 표면에서 반사되거나 생체 조직 내부를 투과하는 등의 경우에 발생할 수 있다. 또한 다중모드 광섬유를 통하여 빛이 진행할 때 광섬유 내 공간 모드간 간섭에 의하여 스펙클과 유사한 형태의 신호가 발생하며 이는 광섬유를 진행하는 빛의 형상을 왜곡할 수 있다. 다중모드 광섬유를 진행하는 빛의 스펙클 패턴으로부터 원래의 형상을 복원하고자 하는 다양한 연구가 시도되었다. 그 중에서 최근 딥러닝 기법을 이용한 이미지 및 형상 복원 연구가 주목받고 있다. 딥러닝은 전체 광학 시스템을 하나의 함수로 간주하고 원래의 광학 이미지와 산란 매질을 통과해서 나온 스펙클 패턴을 선형적인 관계로 연결한다. 이를 통하여 측정된 스펙클 패턴으로부터 해당되는 광학 이미지를 추측함으로써 원래의 광학 이미지를 복원하는 것이 가능해진다. 딥러닝 학습을 통하여 다양한 입출력 이미지에 대한 광학 시스템 분석이 완료되면 이후 주어지는 개별적 출력 이미지를 빠른 시간에 복원할 수 있다는 장점이 있다. 또한 다양한 복잡 매질에 대한 충분한 학습 이후 동일한 시스템에서 학습하지 않은 데이터 또한 복원이 가능하는 점에서 주목받고 있다. 본 논문에서는 산란매질을 투과한 빛이 생성하는 스펙클 패턴을 딥러닝 훈련을 이용하여 본래 광학 이미지로 복원하는 연구를 진행하였다. 특히 주어진 입력 이미지에 대하여 다양한 조건에서 스펙클 출력 이미지를 훈련시키면서 딥러닝의 복원에 어떠한 영향을 끼치는지 살펴보고자 하였다. 산란 매질로 글래스 디퓨저와 다중모드 광섬유를 사용하였으며 Dense-net구조를 바탕으로 만들어진 “IDiff-net” 딥러닝 구조를 사용하여 복원을 시도하였다. 또한 원래 이미지와 복원된 이미지의 유사도를 평가하기 위하여 PCC(Pearson Correlation Coefficient)라는 수치를 사용하였다. 이때 PCC값이 1에 가까울수록 두 이미지간 유사도가 높게 된다. 글래스 디퓨저 산란매질을 진행한 빛의 딥러닝 학습 결과 대부분의 조건에서 0.9 이상의 PCC 값을 가지며 형상을 복원하였다. 다중모드 광섬유의 경우 코어에 커플링 되는 위치에 따라서 다른 스펙클 패턴이 나타나는데 커플링 위치에 관계없이 PCC값이 0.95 이상으로 복원되는 것을 확인하였다. 마지막으로 스펙클 이미지 획득에 사용된 카메라의 노출시간을 달리해가면서 얻은 딥러닝 결과가 형상복원에 어떻게 영향을 미치는지 확인하고자 하였다. 연구결과 딥러닝을 통한 이미지 복원 결과가 카메라의 노출에 따른 본래 이미지 변화와 유사한 양상을 띄고 있는 것으로 확인되었다. 본 연구를 통하여 광학적 이미지가 다중모드 광섬유 등 산란 매질을 통과하여 왜곡되었을 경우 딥러닝 기법을 통하여 성공적으로 형상을 복원하는 것을 확인하였다. The speckle pattern is produced by random phase change and interference of light propagating through the scattering medium. This phenomenon occurs when spatially coherent light is reflected from a rough surface or transmitted through living tissue. In addition, when light propagates through a multimode optical fiber, a speckle-like signal can be generated due to interference between spatial modes in the optical fiber. As a result, it distorts the shape of the light traveling through the multimode fiber. Various efforts have been made to restore the original shape from the speckle pattern of light traveling through a multimode optical fiber. Among them, research on image reconstruction using deep learning techniques has recently attracted attention. Deep learning regards the entire optical system as a specific function that connects the original optical image with the speckle pattern from the scattering medium in a linear relationship. Through this, it reconstructs the original optical image by estimating the corresponding optical image from the measured speckle pattern. When the optical system analysis for various input/output images is completed through the deep learning method, it can quickly restore individual output images given thereafter. In addition, after sufficient learning of various complex media, data that has not been trained in the same system can be restored. In this thesis, a study was conducted to restore the speckle pattern generated by the light passing through the scattering medium to the original optical image using the deep learning method. In particular, we examined how it affects the restoration of deep learning while training the speckle output image under various conditions for a given input image. In the study, a glass diffuser and a multimode optical fiber were used as the scattering medium, and restoration was realized using the “IDiff-net” deep learning based on the dense-net structure. In addition, a method called Pearson Correlation Coefficient (PCC) was used to evaluate the similarity between the original image and the reconstructed image. Here the closer the PCC value to 1, the higher the similarity between the two images. As a result of deep learning of scattered light through a glass diffuser, the shape was restored with a PCC value of 0.9 or higher under most conditions. In the case of multimode optical fiber, the PCC value was obtained to 0.95 or higher under various conditions. Finally, we investigate how the exposure time of the camera used to acquire the speckle image affects shape restoration through deep learning. In conclusion, we successfully restore the original image from the speckle pattern generated from the scattering medium, including multimode optical fibers.

딥러닝을 이용한 해석 가능한 함수 추정에 관한 연구

송낙윤 명지대학교 대학원 2018 국내석사

인공지능은 1997년 체스게임에서 인간에게 승리를 거둔 것을 시작으로 다양한 분야, 다양한 과제에서 인간의 능력을 뛰어넘는 결과를 내고 있다. 이러한 결과의 배경에는 대량의 연산을 가능케 하는 하드웨어의 발달, 학습을 위한 빅 데이터의 등장, 학습 알고리즘의 발전 등이 있다. 다양한 배경 중 학습 알고리즘의 발전에는 딥러닝이 존재한다. 딥러닝의 특성은 학습과정 중 입력값의 다양한 조합을 통해 비선형적 특징을 추출하여 과제를 수행하는데 이러한 특성으로 인해 다양한 분야에 대한 전문지식 없이 뛰어난 성능을 낸다. 뛰어난 성능을 내는 반면 이러한 특성으로 인해 입력값과 출력값에 대한 관계를 해석할 수 없는 Balck-Box 특성의 문제점을 갖게 된다. 본 논문에서는 딥러닝의 Black-Box 특성의 문제점을 풀기 위해 데이터의 비선형적 조합을 Signomial 함수를 통해 명시적인 표현이 가능한 딥러닝 기반 Signomial 함수 추정 알고리즘을 제안한다. 제안한 알고리즘의 원활한 학습 및 성능향상을 위해 제안한 알고리즘에 적합한 규제화 방법을 함께 제안하였다. 제안된 알고리즘의 우수성을 검증하기 위해 다양한 데이터에 대해 기존 기계학습 분야에서 일반적으로 사용되는 알고리즘인 Least Square Regression, Support Vector Regression, 기존 딥러닝 알고리즘과 성능을 비교하였다. 또한 제안한 알고리즘을 통해 학습되는 파라미터를 이용하여 데이터에 대한 비선형적 특징을 갖는 Signomial 함수를 생성하였다. Artificial intelligence, which started to win a human in the chess game in 1997, has overcome human ability in various fields and tasks. These results are due to the growth of analytical data combined with the development of AI hardware and efficient learning algorithms. Especially, deep learning algorithms have contributed significantly to the development of AI. Deep learning algorithms have the advantage of being able to explore nonlinearity of data through combinations of input values during the learning process. While this characteristic leads to excellent performance, deep learning algorithms have a drawback that they cannot define explicit function to express the relationship between the input and output variables, called “black-box characteristic” To avoid such a problem, we propose deep learning-based signomial function estimation algorithms, which can express nonlinearity of data using an explicit signomial function in deep learning process. In addition, we propose various regularization methods for the proposed algorithms to improve performance of the proposed algorithms. Then the proposed algorithms are compared to the commonly used algorithms including least square regression, support vector regression, and existing deep learning algorithms using various data sets. Experimental results show that the proposed approach provides competitive or even better performance, while giving an explicit function description.

딥러닝 알고리즘을 이용한 건설공사 공기예측의 적정성 분석

안현주 경상대학교 대학원 2020 국내석사

건설 프로젝트에서 공정관리는 프로젝트의 성공적인 수행에 있어 중요한 업무범위이며 공사계약 체결, 공사비 산정 등의 중요한 사항을 좌우한다. 현재 건설 프로젝트의 공기산정 방식은 다양하며, 적정 공사기간 산정에 대하여 건설관련 법령에 명문화된 규정이 없어 이전에 행해진 공사기록이나 공사기간 산정식, 그리고 공사관리자의 경험으로 인한 주관적인 판단 등에 의하여 산정되고 있다. 그러나 이러한 공사기간 산정방식은 기업이나 공사관리자 개인의 역량에 따라 달라질 수 있으며 정해진 기준이 없어 적정한 공사기간 산정이 어려운 실정이다. 또한 부적정한 공사기간 산정은 공사기간 부족 및 발주자의 불합리한 공사기간 단축 요구 등으로 인하여 공사시설물의 품질 저하 및 안전사고 발생 등의 심각한 문제가 발생할 수 있다. 이에 따라 국토교통부에서는 훈령으로 ‘공공 건설공사의 공기 산정기준’을 제정하여 대표공종을 대상으로 기준을 제시하였으나, 세부공종의 순작업일수에 대한 기준은 명확히 제시되지 않았다. 따라서 본 연구에서는 순공사기간 산정에 대하여 공사관리자의 주관적인 공사기간 산정방식이 아닌, 기존에 시행되었던 다량의 공사내역 속에서 패턴을 발견하고 스스로 학습하여 종합적인 판단 및 예측하는 딥러닝 알고리즘을 적용하여 건설공사 세부공종별 순공사기간을 예측하는 방법론을 제시한다. 이를 위해 순공사기간에 영향을 주는 영향요인을 도출하고, 영향요인을 고려한 딥러닝 예측 모델을 구축하여 실제 공사기간과 예측 공사기간의 비교와 분석을 통하여 딥러닝 모델의 적정성을 평가한다. 본 연구에서 제시한 공사기간 예측 모델을 통하여 해당 실제 세부공종의 순공사기간의 예측에 적용한다면 기존의 공기산정방법보다 객관적이고 적정한 공사기간을 도출할 수 있으며, 이를 바탕으로 건설공사 공정관리 프로세스에서 딥러닝 적용 절차 모형의 활용을 기대할 수 있을 것으로 사료된다. In construction projects, process control is an important scope for successful project performance. It also determines important matters such as signing construction contracts and calculating construction costs. Currently, the methods of calculating the construction duration for construction projects vary, and there is no policy for calculating the appropriate construction duration. Therefore, the calculation is made based on the construction records, the calculation ceremony, and the judgment of the construction manager. However, this method of calculating the construction duration may vary depending on the competence of the company or the construction manager. And due to the lack of a set standard, it is difficult to calculate the proper construction duration. Accordingly, the Ministry of Land, Infrastructure and Transport established the 'Standard for Estimating the Construction Duration of Public Construction Projects' to present the criteria for representative construction. However, the criteria for the net working days of the detailed process were not clearly provided. Therefore, in this study, a deep learning algorithm is applied to detect patterns in the construction details that were previously implemented, and to determine and predict them on their own. Through this, this paper propose a methodology for predicting the net construction duration for each construction subcontract type. To this end, the influence factors affecting the net construction duration are derived, and the deep learning prediction model considering the influence factors is established. To this end, the influence factors of net construction duration are derived and the deep learning prediction model is established, and the appropriateness of the deep learning model is evaluated by comparing and analyzing the actual construction duration and the prediction construction duration. If applied to the prediction of actual net construction duration through the construction duration prediction model presented in this study, it is possible to derive an objective and appropriate construction duration than existing methods. Based on this, it can be expected to use the deep learning application model in the construction process management process.

객체 탐지를 위한 경량 딥러닝 최적화 연구

이한해솔 고려대학교 2020 국내석사

최근 Convolutional Neural Network(CNN) 기반 네트워크 모델에 관한 연구가 증가함에 따라 이를 응용한 딥러닝 연구도 함께 진행되고 있는 가운데, 스마트폰, 임베디드 보드 같은 소형기기(Device)에서 계산 자원의 문제로 딥러닝 기술을 적용하기 어려운 문제가 발생한다. 본 연구에서는 알고리즘 경량화 기술을 이용하여 영상처리 응용을 소형기기에서 실시간 처리하는 문제를 풀고자 하며, 이 문제는 자율 자동차 등과 같이 소형기기에서 클라우드로 데이터를 전송할 시 실시간 요구 조건을 만족하지 못하는 응용에 매우 필요한 기술이다. 특히, 계산 자원이 부족한 소형기기에서 많은 계산을 필요로 하는 딥러닝 알고리즘을 실시간에 처리하기 위해서는 딥러닝에 필요한 계산을 경량화해야 하는데, 단순히 계산량만 줄이는 것이 아니고 경량화를 위한 네트워크 압축에 따라 발생하는 정확도 저하를 최소화하는 경량 딥러닝 최적화 문제를 풀어야 한다. 한편 경량 딥러닝 최적화에 관한 많은 연구들이 발표되고 있으나, 대부분 영상처리 응용 중 가장 난이도가 쉬운 영상 분류(Classification) 문제에 국한되어 있어, 난이도가 높다고 알려진 객체 탐지(Object Detection) 문제에 필요한 경량 딥러닝 최적화 솔루션이 필요하다. 본 연구에서는 객체 탐지 문제 중 겹침이 발생한 객체 탐지 문제를 해결하기 위하여 탐지하고자 하는 객체를 회전시키는 데이터 증강 방법을 이용하는 영상처리 기법을 제안하고, 제안된 경량 딥러닝 기법을 활용하여 정확도와 계산 시간이 개선된 솔루션을 제안한다. 즉, 객체 탐지에 뛰어난 성능을 보이는 YOLO의 경량 버전인 TinyYOLO와 filter pruning을 이용하여 경량 딥러닝 최적화 방법을 제안하고 바운딩 박스 내 여백을 가정하고, 회전을 통한 데이터 증강방법을 활용하는 방법을 제안한다.