깊이별 분리 합성곱 신경망을 이용한 탄성파 속도 모델 구축

조준현,하완수 한국자원공학회 2022 한국자원공학회지 Vol.59 No.2

정확한 속도 모델 구축은 석유 가스 탐사를 위한 탄성파 자료처리에서 가장 중요한 작업 중 하나이다. 최근 심층 신경망 기법이 지구물리학 분야에서 큰 인기를 얻으면서, 일반 합성곱 신경망을 이용하여 속도 모델을 예측하는 연구들이 출판되고 있다. 본 연구에서는 속도 모델 구축을 위해 깊이별분리 합성곱 층과 인코더-디코더 구조를 가진 신경망을 제안하였다. 이 신경망은 지도 학습 방식으로 훈련되며 시간 영역 파동장으로부터 P파 속도 모델을 예측한다. 이 신경망 구조의 핵심 부분인깊이별 분리 합성곱은 입력 채널 별로 독립적으로 공간 방향의 합성곱을 수행한다. 깊이별 분리 합성곱을 이용하면 일반 합성곱에 비해 모델 매개변수 수를 크게 줄이면서 신경망의 성능을 개선할수 있다. 훈련을 위해 생성한 합성 속도 모델들은 습곡, 단층 및 암염 구조 등 다양한 지질학적 특징을 포함한다. 깊이별 분리 합성곱을 이용한 신경망과 일반 합성곱을 이용한 신경망을 동일한 하이퍼파라미터 및 훈련 조건으로 비교 분석하였다. 실험 결과 깊이별 분리 합성곱 신경망이 일반 합성곱 신경망보다 속도 모델 구축 문제에서 더 효율적인 것으로 나타났다.

ANN을 이용한 노이즈 MNIST 이미지의 분류 정확도 향상을 위한 다양한 필터 크기를 가진 CNN 앙상블 모델 연구

구기범 한국품질경영학회 2023 한국품질경영학회 학술대회 Vol.2023 No.0

앙상블 학습(Ensemble Learning)은 여러 개의 통계모델을 작성하고 그 결과를 결합하여 결과를 도출하는 학습 기법이다. 앙상블 학습 방법에는 투표(voting), 배깅(bagging), 부스팅(boosting) 등이 있으며 다양한 연구 분야에서 앙상블 학습 기법을 활용하고 있다. 본 연구에서는 MNIST 숫자 이미지를 분류하는, 서로 다른 필터 크기를 가진 여러 개의 합성곱 신경망을 작성하고 작성된 각각의 합성곱 신경망 모델의 예측결과들을 다시 신경망 모델의 입력 데이터로 활용하여 이미지를 분류하는 앙상블 학습 모델을 작성하였다. 이 앙상블 학습 모델은 두 단계의 모델링을 거쳐 작성되었다. 첫 번째 모델링은 합성곱 신경망 모델들을 작성하는 것으로, 주어진 모델링 데이터(숫자 이미지)로 필터의 크기가 서로 다른 합성곱 신경망 모델들을 작성하는 것이다. 합성곱 신경망 모델의 필터 크기는 각각 임의의 크기인 3x3, 5x5, 7x7, 11x11, 13x13으로 설정하였고 합성곱 신경망 모델의 마지막 계층의 활성화 함수는 softmax 대신 ReLU를 적용하였다. 두 번째 모델링은 5개의 합성곱 신경망에서 출력된 각각의 출력 신호들을 입력신호로 이미지를 분류하는 신경망 학습이다. 각각의 합성곱 신경망 모델은 마지막 계층에서 10개의 출력신호를 가지므로, 이 신경망 모델은 50개의 입력변수를 받아 이미지를 최종 분류하게 된다. 작성된 앙상블 학습 모델의 정확도 평가는 테스트 데이터를 이용하여 실시하였으며 단일 합성곱 신경망 모델의 예측결과와 비교하여 정확도 향상이 어느 정도 이루어졌는지 확인하였다. 또한, 잡음이 섞인 이미지 데이터로 학습시켰을 때의 이미지 분류 예측 정확도도 비교하였다.

그래프 합성곱-신경망 구조 탐색 : 그래프 합성곱 신경망을 이용한 신경망 구조 탐색

최수연,박종열 국제문화기술진흥원 2023 The Journal of the Convergence on Culture Technolo Vol.9 No.1

This paper proposes the design of a neural network structure search model using graph convolutional neural networks. Deep learning has a problem of not being able to verify whether the designed model has a structure with optimized performance due to the nature of learning as a black box. The neural network structure search model is composed of a recurrent neural network that creates a model and a convolutional neural network that is the generated network. Conventional neural network structure search models use recurrent neural networks, but in this paper, we propose GC-NAS, which uses graph convolutional neural networks instead of recurrent neural networks to create convolutional neural network models. The proposed GC-NAS uses the Layer Extraction Block to explore depth, and the Hyper Parameter Prediction Block to explore spatial and temporal information (hyper parameters) based on depth information in parallel. Therefore, since the depth information is reflected, the search area is wider, and the purpose of the search area of the model is clear by conducting a parallel search with depth information, so it is judged to be superior in theoretical structure compared to GC-NAS. GC-NAS is expected to solve the problem of the high-dimensional time axis and the range of spatial search of recurrent neural networks in the existing neural network structure search model through the graph convolutional neural network block and graph generation algorithm. In addition, we hope that the GC-NAS proposed in this paper will serve as an opportunity for active research on the application of graph convolutional neural networks to neural network structure search. 본 논문은 그래프 합성곱 신경망을 이용한 신경망 구조 탐색 모델 설계를 제안한다. 딥 러닝은 블랙박스로 학습이 진행되는 특성으로 인해 설계한 모델이 최적화된 성능을 가지는 구조인지 검증하지 못하는 문제점이 존재한다. 신경망 구조 탐색 모델은 모델을 생성하는 순환 신경망과 생성된 네트워크인 합성곱 신경망으로 구성되어있다. 통상의 신경망 구조 탐색 모델은 순환신경망 계열을 사용하지만 우리는 본 논문에서 순환신경망 대신 그래프 합성곱 신경망을 사용하여 합성곱 신경망 모델을 생성하는 GC-NAS를 제안한다. 제안하는 GC-NAS는 Layer Extraction Block을 이용하여 Depth를 탐색하며 Hyper Parameter Prediction Block을 이용하여 Depth 정보를 기반으로 한 spatial, temporal 정보(hyper parameter)를 병렬적으로 탐색합니다. 따라서 Depth 정보를 반영하기 때문에 탐색 영역이 더 넓으며 Depth 정보와 병렬적 탐색을 진행함으로 모델의 탐색 영역의 목적성이 분명하기 때문에 GC-NAS대비 이론적 구조에 있어서 우위에 있다고 판단된다. GC-NAS는 그래프 합성곱 신경망 블록 및 그래프 생성 알고리즘을 통하여 기존 신경망 구조 탐색 모델에서 순환 신경망이 가지는 고차원 시간 축의 문제와 공간적 탐색의 범위 문제를 해결할 것으로 기대한다. 또한 우리는 본 논문이 제안하는 GC-NAS를 통하여 신경망 구조 탐색에 그래프 합성곱 신경망을 적용하는 연구가 활발히 이루어질 수 있는 계기가 될 수 있기를 기대한다.

합성곱 인공 신경망의 네트워크 종류에 따른 객체 인식 성능에 대한 실험적 고찰

정진범(J. B. Jeong),변태선(T. S. Byun),임용규(Y. K. Im),이길수(K. S. Lee) 유공압건설기계학회 2020 유공압건설기계학회 학술대회논문집 Vol.2020 No.12

본 논문은 인공신경망 종류 중 하나인 합성곱 인공신경망의 객체 인식 성능에 살펴보고자 한다. 현재의 합성곱 인공신경망은 인공지능의 부분기술로서 영상 기반의 객체인식에 널리 사용되고 있으며 신경망의 구조에 따른 다양한 합성곱 인공신경망의 네트워크가 존재한다. 본 논문을 통해 합성곱 인공신경망의 네트워크 종류와 환경 변수에 따른 객체 인식 성능을 비교 분석한다.

합성곱 신경망을 이용한 아스팔트 콘크리트 도로포장 표면균열 검출

최윤수,김종호,조현철,이창준 한국구조물진단유지관리공학회 2019 한국구조물진단유지관리공학회 논문집 Vol.23 No.6

A Convolution Neural Network(CNN) model was utilized to detect surface cracks in asphalt concrete pavements. The CNN used for this study consists of five layers with 3x3 convolution filter and 2x2 pooling kernel. Pavement surface crack images collected by automated road surveying equipment was used for the training and testing of the CNN. The performance of the CNN was evaluated using the accuracy, precision, recall, missing rate, and over rate of the surface crack detection. The CNN trained with the largest amount of data shows more than 96.6% of the accuracy, precision, and recall as well as less than 3.4% of the missing rate and the over rate. 본 연구에서는 아스팔트 콘크리트 도로포장의 표면균열 검출을 위해 합성곱 신경망을 이용하였다. 합성곱 신경망의 학습에 사용되는 표면균열 이미지 데이터의 양에 따른 합성곱 신경망의 성능향상 정도를 평가하였다. 사용된 합성곱 신경망의 구조는 5개의 층으로 구성되어있으며, 3x3 크기의 convolution filter와 2x2 크기의 pooling kernel을 사용하였다. 합성곱 신경망의 학습을 위해서 도로노면 조사 장비를 통해 구축된 국내 도로포장 표면균열 이미지를 활용하였다. 표면균열 이미지 데이터를 학습한 합성곱 신경망 모델의 표면균열 검출 정확도, 정밀도, 재현율, 미검출율, 과검출율을 평가하였다. 가장 많은 양의 데이터를 학습한 합성곱 신경망 모델의 표면균열 검출 정확도, 정밀도, 재현율은 96.6% 이상, 미검출율, 과검출율은 3.4% 이하의 성능을 나타내었다.

FPGA를 활용한 합성곱 신경망 모델의 실시간 추론을 위한 Edge AI 하드웨어 연구

권구윤(Guyun Kwon),서태원(Taeweon Suh) 한국컴퓨터교육학회 2022 한국컴퓨터교육학회 학술발표대회논문집 Vol.26 No.1

최근 합성곱 신경망(Convolutional Neural Network, CNN)을 활용한 이미지 분석에 관한 연구가 활발하게 진행되고 있다. 합성곱 신경망은 인공신경망의 한 종류로, 기존 handwritten 방식의 이미지 분석보다 정확도가 높아 널리 사용되고 있다. 하지만 합성곱 신경망 모델의 추론 과정에는 다수의 MAC(Multiply-Accumulate) 연산이 필요하며, 이를 edge device에서 실시간으로 모두 처리하기는 어렵다. 이 때문에, 현재 상용화된 대부분의 합성곱 신경망 모델 기반의 IoT 서비스는 edge device에서 중앙 서버로 데이터를 전송한 후, 중앙 장치가 합성곱 신경망 모델의 추론을 처리하는 방식을 사용하고 있다. 하지만 이 방식은 네트워크에 부담을 주고, 네트워크 상태에 따라 실시간 처리가 지연될 수 있다는 단점이 있다. 이에 본 연구에서는 Xilinx Vivado Design Suite을 사용하여 edge device에서 LeNet-5 합성곱 신경망 추론이 가능한 edge AI 하드웨어를 설계하고, Xilinx Zedboard FPGA에 포팅하여 실시간 동작이 가능함을 증명하였다.

심방세동 진단을 위한 시계열성을 보전한 2차원 심전도 데이터 기반의 합성곱 신경망 모델

윤용선(Yongsun Yoon),김재광(Jaekwang Kim) 한국지능시스템학회 2021 한국지능시스템학회논문지 Vol.31 No.1

본 논문은 심장의 이상징후 중 심방세동 진단을 위하여 시계열성을 보전한 2D 심전도 데이터 기반의 합성곱 신경망 모델을 제안한다. 제안 모델은 시계열성을 보전한 2D 구조의 심전도 데이터를 사용하여 1D 합성곱 신경망 모델이나 기존의 2D 합성곱 신경망 모델에 비하여 심방세동 진단 성능을 높인다. 제안 방법의 유효성을 검증하기 위하여 Physionet 2017에 공개된 심전도 데이터를 활용하여 비교실험을 수행하였다. 1D 합성곱 신경망을 사용한 모델, 기존의 2D 합성곱 신경망 모델들과 제안 방법을 동일 환경에서 비교한 결과, 제안 방법이 다른 방법들에 비하여 더 적은 수의 학습 파라미터를 사용하면서도 더 높은 F1 점수와 정밀도(precision)를 보임을 확인하였다. This paper proposes a convolutional neural network model based on 2D electrocardiogram data that preserves time series for diagnosing of atrial fibrillation among cardiac abnormalities. The proposed model uses ECG data of a 2D structure that preserves time series to improve atrial fibrillation diagnosing performance compared to the 1D convolutional neural network model and the existing 2D convolutional neural network model. To confirm the superiority of the proposed method, a comparative experiment was conducted using the ECG data published in Physionet 2017. A comparing of a 1D convolutional neural network model, two existing 2D convolutional neural network models and ours in the same experimental environments, the proposed method shows a higher F1 score and precision with fewer learning parameters.

합성곱신경망을 이용한 KDD Cup 1999 데이터분석

이석준,심동희 차세대컨버전스정보서비스학회 2021 차세대컨버전스정보서비스기술논문지 Vol.10 No.2

KDD Cup 1999 data has been used for the network intrusion detection studies. This data is analyzed using the convolutional neural networks in this paper. Many researchers have analyzed this data using the aritificial intelligence techniques such as TAVSM, decision tree algorithm and random forest algorithm etc. Although multilayer neural networks also have been used in these analysis, convolutional neural networks models have not been used. LeNet-5 among the various convolutional neural networks models is used with Keras for this analysis. At the first method, the 10% training set of the KDD Cup 1999 dividing into training set and testing set is used. At the second method, the 10% training set is used for train and testing set is used for test. The results are compared with the result of analysis using the mutlilayer neural networks uploaded in Kaggle web site. Because attacks are classified into 4 types in KDD Cup 1999 data, the performance measures are calculated by each attack types. LeNet-5 shows the better perfomance than the multilayer neural networks uploaded to Kaggle web site at both methods in all performance measures. KDD Cup 1999 데이터는 네트워크침입탐지 연구에 많이 이용된 데이터셋이다. 본 연구에서는 합성곱신경망을 이용해서 이 데이터를 분석하였다. 그 동안 이 데이터에 대한 TASVM, 의사결정트리 알고리즘, 랜덤포레스트알고리즘 등의 인공지능기법을 이용한 많은 분석이 이루어졌다. 그리고 다층신경망을 통한 분석도 이루어져왔지만 합성곱신경망을 이용한 접근은 거의 없었다. 합성곱신경망중 LeNet-5를 이용하여 Keras를 사용해서 분석을 하였다. 첫 번째 방법에서는 KDD Cup 1999의 10%훈련셋을 훈련셋과 테스트셋으로 나누어 분석하였다. 그리고 두 번째 방법에서는 10%훈련셋으로는 훈련하고 테스트는 테스트셋을 사용하여 분석하였다. 그리고 이 두 가지 방법의 결과를 캐글 웹사이트에 올려진 다층신경망과 비교하였다. KDD Cup 1999 데이터에는 침입유형을 크게 4가지로 분류하는데 각 유형별로 성능척도를 계산하였다. 그 결과 2가지 방법 모두에서 LeNet-5가 캐글에 올려진 다층신경망보다 우수한 성능을 나타냈다.

합성곱신경망을 이용한 타이타닉호의 재난 데이터 분석

이석준,심동희 차세대컨버전스정보서비스학회 2021 차세대컨버전스정보서비스기술논문지 Vol.10 No.1

Titanic disaster data is analyzed using the convolutional neural networks in this paper. Although many researchers have analyzed this data using the aritificial intelligence techniques such as k-nearest neighbors algorithm, Naive Bayes algorithm, decision tree algorithm, SVM algorithm and logistic regression algorithm. Although the artificial neural networks are also used in another researches, the convolutional neural networks model has not been used in the analysis for this titanic disaster data. LeNet-5 among the various convolutional neural networks model is used with Keras for the train in this analysis. The performance result is compared with the result of analysis using the mutlilayer neural networks uploaded in Kaggle web site. In the comparison of the number of parameters to be trained, LeNet-5 shows efficient than multilayer neural networks. In the results of test after trained process, LeNet-5 shows 0.856 in accuracy and 0.923 in precision. These performance measures are better than those of multilayer neural networks whose accuracy was 0.841 and the precision was 0.872. 본 연구에서는 합성곱신경망을 이용해서 타이타닉 재난데이터를 분석하였다. 그 동안 타이타닉 재난 데이터에 대한 k-최근접이웃 알고리즘, Naive Bayes 알고리즘, 의사결정트리 알고리즘 , SVM 알고리즘, 로지스틱 회귀 알고리즘 등 인공지능기법을 이용한 많은 분석이 이루어져왔다. 또한 인공신경망을 이용한 분석도 이루어져왔지만 합성곱신경망을 이용해서 이 타이타닉 재난데이터에 대한 분석은 없었다. 이 타이타닉 재난데이터 분석을 위하여 Keras를 이용하여 합성곱신경망중 LeNet-5를 사용해 모델링하여 훈련을 진행하였다. 이 성능결과를 Kaggle 웹사이트에 올려진 다중신경망을 이용한 분석결과와 비교하였다. LeNet-5를 이용한 경우 모델훈련에서 요구되는 훈련파라미터 개수의 비교에서 Kaggle 웹사이트에 올려진 다중신경망보다 월등히 적었다. 또한 훈련된 모델을 이용한 테스트 결과에서도 정확도는 0.856, 정밀도는 0.924를 나타냈다. 이 성능측정치는 Kaggle에 올려진 다중신경망의 정확도 0.842, 정밀도 0.873보다 우수한 것이다.

합성곱 신경망을 이용한 실시간 상추 생육 센싱 연구

강민석 ( Minseok Gang ),김학진 ( Hak-jin Kim ),김동욱 ( Dong-wook Kim ) 한국농업기계학회 2021 한국농업기계학회 학술발표논문집 Vol.26 No.2

원예 작물의 생육 지표로 사용되는 생체중, 건물중, 높이, 엽면적, 직경은 증산 및 광합성과 밀접한 관계가 있고, 이러한 생육 지표는 작물 생산성을 정량화하여 최적의 환경, 양분, 관수 제어 전략을 수립하는데 활용될 수 있다. 따라서 정확한 생육 지표 측정은 매우 중요하지만, 생육 지표를 측정하기 위한 전통적인 방법은 파괴적이고 인적 자원을 많이 필요로 하여 시간과 비용 소모가 클 뿐만 아니라, 시료의 채취 방법이나 시료 상태에 따라 신뢰성이 떨어질 수 있다. 생육 지표 측정에는 정확성 뿐만 아니라 작물 성장 단계별 양액의 변량 공급을 위해 실시간으로 작물의 생육 정도를 측정하는 기술 또한 필요하다. 최근 딥러닝 기술의 발전으로 3차원 영상 데이터를 이용한 합성곱 신경망과 같은 기술이 도입되고 있어 생육 센싱을 비롯한 분야에서 농업 적용성이 높아지고 있다. 본 연구에서는 RGB 채널과 깊이 정보를 이용하여 4개 품종 상추의 생체중, 건물중, 높이, 엽면적, 직경을 예측할 수 있는 합성곱 신경망 기반 모델을 개발하고, 예측 성능을 구명하였다. 사용된 재료는 2021년 6월 바게닝긴대학교 주최 온라인 인공지능 경진대회에서 제공한 상추 데이터이며, 해당 데이터는 인텔 Realsense D435 카메라를 이용하여 수집된 상추의 RGB와 깊이 정보이다. 선행 연구에서 개발한 자동 3D 영상 데이터 수집 시스템 및 모니터링 시스템을 개선하여 합성곱 신경망 모델 적용이 가능하도록 하였으며, 측정 항목별 합성곱 신경망 예측 모델의 측정 성능을 분석한 결과 예측 모델은 결정계수 0.9 이상의 정확도를 나타냈으며 모니터링 시스템에서 이미지 하나당 평균 150 ms의 처리 속도를 나타내어 실시간 생육 지표 예측 가능성을 보였다.