표면근전도 신호를 활용한 한국 숫자지화 인식에서 CNN 학습의 일관성에 관한 연구

박종준,권춘기,Park, Jong-Jun,Kwon, Chun-Ki 한국산학기술학회 2018 한국산학기술학회논문지 Vol.19 No.10

합성곱 신경망 (Convolutional Neural Network, CNN)은 컴퓨터 비전 분야에서 활발히 적용되어 왔으며, 이미지 분류, 문서 분류, 지문 인식 등에서 탁월한 인식 능력을 보여 왔음을 여러 연구를 통해서 검증되었다. 본 연구는 시계열의 표면근전도 신호를 입력데이터로 취하는 숫자지화 인식 응용에 이미지 분류에서 탁월한 인식 성능을 보이는 합성곱 신경망을 적용한 것으로, 반복적인 한국 숫자지화 인식 수행에서도 일관된 학습을 수행하는지를 검증하는 연구로, 문헌에서 보기 힘든 연구이다. 이를 검증하기 위해, 한국 숫자지화 영(0)부터 다섯(5)까지의 여섯 숫자지화를 시연하도록 훈련한 실험 대상 1인의 아래팔 근육으로부터 획득한 숫자별 60개씩 총 360개의 표면근전도 신호를 획득하였으며, 그 중에서 252개의 표면근전도 신호를 입력데이터, 108개의 표면근전도 신호는 테스트데이터로 CNN 인식에 활용하였다. CNN 인식을 위해 필요한 학습단계는 100 학습단계, CNN 인식의 반복 수행 횟수는 10회로 설정하였으며, 반복 수행마다 테스트데이터를 활용하여 인식률을 계산하였다. 본 연구에서 실험한 결과에서 보듯이, 반복 인식마다 CNN의 학습은 일관되었으며, 99.1% 이상 (60 숫자지화 중 하나의 숫자지화 인식에 오류발생)의 높은 인식률을 보였다. 따라서, CNN 기법은 시계열의 표면근전도 신호를 입력데이터로 하는 숫자지화 인식 분야에서도 전역 솔루션과 함께 우수한 인식 능력을 제공하는 기법 중에 하나이다. Convolutional Neural Network (CNN) has been actively employed in the application of computer vision, and has been proved to have its superior performance in image classification, document classification, and finger print recognition. This work focuses on an application of CNN, having outstanding performance in image classification, to recognition of korean finger number using time series sEMG signals as input and validates CNN's capability in providing its consistent learning in repeated application for recognition of sEMG based Korean finger numbers, which has been rarely a topic in previous studies. To this end, 252 sEMG signals as input data and 108 sEMG signals as test data out of 360 sEMG signals (60 signals each number) acquired from a forearm muscle of the subject who is trained to consistently perform six Korean finger number gestures from zero(0) to five(5) were used for CNN based finger number recognition. CNN was set to have 100 learning iterations for each application of finger number recognition, and to have 10 repetitive applications of finger number recognition for the consistency of CNN's learning. Recognition rate at each repetition was calculated from test data. As can be seen from the results in this work, CNN shows consistent learning at each repetitive application of finger number recognition and outstanding recognition rates of more than 99.1% (missed one case out of 60 cases). Thus, CNN is one of powerful techniques for finger number recognition based on time-series sEMG signals to provide not only global solution but also excellent recognition rates.

영상에서 패치기반 CNN 모형을 이용한 잡음제거

허광해(Kwanghae Heo),임동훈(Dong Hoon Lim) 한국데이터정보과학회 2019 한국데이터정보과학회지 Vol.30 No.2

영상에서 잡음제거는 패턴인식, 영상압축, 에지검출, 영상분할과 같은 영상처리 분야의 전처리과정으로 도전할 만한 가치가 있다. 본 논문에서는 딥러닝의 convolutional neural network (CNN) 모형을 이용하여 잡음제거 하고자 한다. CNN 모형은 영상인식, 물체인식 얼굴인식과 같은 컴퓨터 비전 문제에서 좋은 성능을 보이고 있으나 잡음제거에 대해서는 그 중요성에 비추어 아직까지 연구가 덜 이루어졌다. 지금까지 영상에서 잡음제거는 특정한 분포 특성을 갖고 있다는 가정 하에서 설계된 고유한 필터를 사용하였다. 이 경우 가정을 만족하지 않는 필더를 사용하는 경우 성능이 현저히 떨어지는 경향이 있다. 본 논문에서는 잡음에 대한 사전정보 없이 사용가능한 방법으로 영상의 작은 블록인 패치 (patch) 상에서 CNN을 적용하고 중첩된 패치(overlapped patches)에서 해당 픽셀들의 가중평균을 구하여 잡음제거 영상을 얻는다. CNN에서 매개변수 최적화는 잡음데이터에 적응력이 좋은 Adam 알고리즘을 사용한다. 영상실험은 가우시안 잡음영상과 임펄스 잡음영상 모두를 고려하였고 실험결과, 패치기반 CNN 모형은 다른 방법보다 좋은 화질의 영상을 도출하였고 또한 MAE (mean absolute error)와 PSNR (peak signal-to-noise ratio) 면에서도 좋은 성능을 지님을 알 수 있었다. Noise reduction problem in images still prevails as a challenge in the field of image processing such as pattern recognition, image compression, edge detection and image segmentation. Addressing this issue, this paper presents a novel deep learning approach based on a Convolutional Neural Network (CNN) . CNN has shown excellent performance in computer vision problems such as image recognition, object recognition, and face recognition, but little has been discussed in light of the importance of noise reduction in images. Until now, noise reduction in the images has been used with filters designed under the assumption that it has specific distribution characteristics. In this case, the use of filters that do not satisfy the assumption leads to significant performance degradation. In this paper, CNN is applied on patches of images in a way that is available without prior information about noise. The restored image is obtained by the weighted average of the corresponding pixels in overlapping patches. In CNN, parameter optimization is done by the Adam algorithm that is adaptable to noise data. We considered both Gaussian noise and impulse noise to test the performance of our CNN model. Experimental results on several images show that the patch-based CNN model yields significantly superior image quality and better MAE (mean absolute error) and PSNR (peak signal-to-noise ratio).

CNN의 컨볼루션 레이어, 커널과 정확도의 연관관계 분석

공준배(Jun-Bea Kong),장민석(Min-Seok Jang) 한국전자통신학회 2019 한국전자통신학회 논문지 Vol.14 No.6

본 논문에서는 CNN의 컨볼루션 레이어 개수 및 커널의 크기와 개수가 CNN에 어떠한 영향을 끼치는지 실험을 통해 알아보기 위해 진행하였다. 또한 분석을 위해 일반적인 CNN도 실험하여 실험에 사용된 CNN과 비교하 였다. 분석에 사용될 신경망들은 CNN을 기반으로 하며 각각의 실험모델들은 레이어 개수, 커널의 크기 및 개수를 일정한 값으로 고정해 실험을 진행하였다. 모든 실험에는 2계층의 완전연결계층을 고정으로 사용하였다. 다른 변수들은 모두 동일한 값을 주어 실험하였다. 분석결과 레이어의 수가 작을 경우 커널의 크기 및 개수와 상관없이 데이터의 분산 값이 작아 견고한 정확도를 보여주었다. 레이어의 수가 커질수록 정확도도 증가됐으나 일정 수치 이상부턴 오히려 정확도가 내려갔으며 분산 값도 커져 정확도 편차가 크게 나타났다. 커널의 개수는 다른 변수보다 학습속도에 큰 영향을 끼쳤다. In this paper, we experimented to find out how the number of convolution layers, the size, and the number of kernels affect the CNN. In addition, the general CNN was also tested for analysis and compared with the CNN used in the experiment. The neural networks used for the analysis are based on CNN, and each experimental model is experimented with the number of layers, the size, and the number of kernels at a constant value. All experiments were conducted using two layers of fully connected layers as a fixed. All other variables were tested with the same value. As the result of the analysis, when the number of layers is small, the data variance value is small regardless of the size and number of kernels, showing a solid accuracy. As the number of layers increases, the accuracy increases, but from above a certain number, the accuracy decreases, and the variance value also increases, resulting in a large accuracy deviation. The number of kernels had a greater effect on learning speed than other variables.

MLP 층을 갖는 CNN의 설계

박진현,황광복,최영규 한국기계기술학회 2018 한국기계기술학회지 Vol.20 No.6

After CNN basic structure was introduced by LeCun in 1989, there has not been a major structure change except for more deep network until recently. The deep network enhances the expression power due to improve the abstraction ability of the network, and can learn complex problems by increasing non linearity. However, the learning of a deep network means that it has vanishing gradient or longer learning time. In this study, we proposes a CNN structure with MLP layer. The proposed CNNs are superior to the general CNN in their classification performance. It is confirmed that classification accuracy is high due to include MLP layer which improves non linearity by experiment. In order to increase the performance without making a deep network, it is confirmed that the performance is improved by increasing the non linearity of the network.

CNN을 활용한 M-PSK변조 기반 무선 광통신 시스템에서의 Log-Normal 모델과 Gamma-Gamma 모델의 대기 난류 채널 분류 성능 비교

황용운,김소은,이충규 한국차세대컴퓨팅학회 2024 한국차세대컴퓨팅학회 논문지 Vol.20 No.4

본 논문은 서로 다른 위상 천이 변조(phase shift keying, PSK) 방식을 사용하는 무선 광통신 시스템에서 합성곱 신경망 (convolutional neural network, CNN)에 기반하여 대기 난류 채널의 분류 성능을 비교한다. 대기 난류는 무선 광통신 시스템의 성능 저하를 야기하는 주요 요인 중 하나로, 난류 강도에 따라 약한 난류, 중간 난류, 강한 난류로 구분된다. 본 연구는 PSK 변조 방식을 적용한 무선 광통신 시스템을 대상으로, 수신 신호의 성상도 (constellation diagram)를 입력으로 하는 CNN 모델을 이용하여 난류 채널을 분류하고, 분류 정확도를 비교한다. 약한 난류 채널을 Log-Normal (L-N) 난류 모델과 Gamma-Gamma (G-G) 난류 모델로 모델링하였으며, 중간 난류와 강한 난류는 G-G 난류모델로부터 파라미터를 조절하여 모델링한다. 각 난류 강도에 따른 데이터셋을 생성하여 CNN 모델을 학습하였다. PSK 변조 방식들에 대해 제안된 CNN 모델의 분류 정확도를 비교함으로써, 성상도 기반 CNN 채널 분류 기법이 PSK 변조 방식에 적용 가능함을 보여준다. This paper compares the classification performance of atmospheric turbulence channels based on convolutional neural networks (CNNs) in wireless optical communication systems employing different phase shift keying (PSK) modulation schemes. Atmospheric turbulence is one of the primary factors causing performance degradation in wireless optical communication systems, and it is classified into weak, moderate, and strong turbulence based on the intensity. This study focuses on classifying turbulence channels in PSK modulated wireless optical communication systems using a CNN model that takes constellation diagrams of received signals as input and compares the classification accuracy. Weak turbulence channels are modeled using both the Log-Normal (L-N) turbulence model and the Gamma-Gamma (G-G) turbulence model, while moderate and strong turbulence are modeled by adjusting the parameters of the G-G turbulence model. The CNN model is trained using data sets generated for each turbulence intensity. By comparing the classification accuracy of the proposed CNN model across various PSK modulation schemes, the study demonstrates that the constellation diagram-based CNN channel classification technique can be applied to PSK modulation schemes.

CNN을 이용한 영상기반 토지이용현황조사에 관한 연구

이돈선,임거배,홍성언 한국지적학회 2022 한국지적학회지 Vol.38 No.1

This study aims to analyze the surveys related to the current land use status for an efficient land use status survey, review the redundancy of survey items, and suggest a method for automating survey items through empirical analysis. In order to achieve the purpose of this study, it was carried out by limiting the redundancy of the survey items and the aspect of automation of the survey. Surveys related to the current state of land use show an inefficient form of wasting administrative power as they individually perform overlapping survey items. In addition, since the method of survey is carried out in different ways, such as a method of visiting the site directly and a method based on images obtained by satellite, air, or drone, there is an anxiety factor that may result in different results depending on the type of survey, In particular, in the case of an on-site survey method, it is challenging to conduct an accurate survey in an area where access is difficult. Therefore, as with the experimental results, it is necessary to reclassify the duplicated survey items to establish an environment that can be integrated, linked, and shared into a single survey item system. In addition, the image-based survey should be activated for an efficient survey. For example, suppose an image-based land use status survey is conducted, Then, a method for automatically surveying items showing a similar pattern using CNN(convolutional neural network) method may be considered. 본 연구의 목적은 효율적인 토지이용현황조사를 위해 현재 수행 중인 토지이용현황과 관련된 조사들을 분석하여 조사항목의 중복성을 검토하고 실증분석을 통해 조사항목의 자동화 방안을 제시하는 것이다. 이러한 연구의 목적을 달성하기 위하여 조사항목의 중복성과 조사의 자동화 측면으로 한정하여 수행하였다. 현행 토지이용현황과 관련된 조사들은 서로 중복된 조사항목을 개별적으로 수행하고 있어 행정력이 낭비되는 비효율적인 형태를 보이고 있다. 또한, 조사하는 방법도 직접 현장에 방문하는 방식과 위성이나 항공, 드론으로 얻어진 영상을 기반으로 하는 방식 등 각기 다른 방식으로 수행되고 있어 조사유형에 따라 상이한 결과가 나타날 수 있는 불안요소를 지니고 있으며, 특히 현장조사 방식의 경우 접근이 어려운 지역에 대한 정확한 조사가 진행되기 어렵다. 따라서 본 연구의 실험결과와 마찬가지로 중복조사 항목을 재분류하여, 하나의 조사항목 체계로 통합하고 연계 및 공유할 수 있는 환경을 구축해야 한다. 또한, 효율적인 조사 수행을 위해 영상기반의 조사가 활성화되어야 한다. 영상기반 토지이용현황조사가 이루어진다면 유사한 패턴을 보이는 조사항목에 대해 CNN(Convolutional Neural Network) 기법을 활용하여 자동으로 조사할 수 있는 방안도 함께 고려할 수 있을 것이다.

CNN 모형을 이용한 서울 아파트 가격 예측과 그 요인

이현재,손동희,김수진,오세인,김재직 한국통계학회 2020 응용통계연구 Vol.33 No.5

This study focuses on the prediction and factors of apartment prices in Seoul using a convolutional neural networks (CNN) model that has shown excellent performance as a predictive model of image data. To do this, we consider natural environmental factors, infrastructure factors, and social economic factors of the apartments as input variables of the CNN model. The natural environmental factors include rivers, green areas, and altitudes of apartments. The infrastructure factors have bus stops, subway stations, commercial districts, schools, and the social economic factors are the number of jobs and criminal rates, etc. We predict apartment prices and interpret the factors for the prices by converting the values of these input variables to play the same role as pixel values of image channels for the input layer in the CNN model. In addition, the CNN model used in this study takes into account the spatial characteristics of each apartment by describing the natural environmental and infrastructure factors variables as binary images centered on each apartment in each input layer. 본 연구는 이미지 데이터에 대한 예측 모형으로 뛰어난 성능을 보여온 convolutional neural networks (CNN) 모형을 이용하여 서울 아파트 가격의 예측과 서울 각 지역 아파트들의 가격결정요인들을 연구한다. 이를 위해 강, 녹지, 고도와 같은 자연환경요인, 버스정류장, 지하철역, 상권, 학교 등과 같은 기반시설요소, 일자리수, 범죄율 등의 사회경제요소들을 설명변수로 고려하고, CNN 모형이 이미지 데이터에 좋은 성능을 보여온 것을 기반으로 이 설명변수들의 값들을 CNN 모형 입력층으로써 이미지 채널의 픽셀값과 같은 역할을 하도록 변환하여 아파트 가격의 예측과 가격결정요인에 대한 해석을 시도한다. 덧붙여 본 연구에서 사용된 CNN 모형은 자연환경요인과 기반시설요인 변수들을 각 아파트를 중심으로 하는 각 입력층의 채널에 이진의 이미지로 표현함으로써 각 아파트의 공간적인 특성을 고려할 수 있다.

Convolutional neural network for ultrasonic weldment flaw classification in noisy conditions

Munir, Nauman,Kim, Hak-Joon,Park, Jinhyun,Song, Sung-Jin,Kang, Sung-Sik Elsevier 2019 Ultrasonics Vol.94 No.-

<P><B>Abstract</B></P> <P>Ultrasonic flaw classification in weldment is an active area of research and many artificial intelligence approaches have been applied to automate this process. However, in the industrial applications, the ultrasonic flaw signals are not noise free and automatic intelligent defect classification algorithms show relatively low classification performance. In addition, most of the algorithms require some statistical or signal processing techniques to extract some features from signals in order to make classification easier. In this article, the convolutional neural network (CNN) is applied to noisy ultrasonic signatures to improve classification performance of weldment defects and applicability. The result shows that CNN is robust, does not require specific feature extraction methods and give considerable high defect classification accuracies even for noisy signals.</P> <P><B>Highlights</B></P> <P> <UL> <LI> Investigation of CNN for classification of noisy ultrasonic flaw signals. </LI> <LI> Time shifting of signals for data augmentation. </LI> <LI> Performance comparison of fully connected deep neural network and CNN. </LI> </UL> </P>

Convolutional Neural Network-Based Multi-Target Detection and Recognition Method for Unmanned Airborne Surveillance Systems

김상현,최한림 한국항공우주학회 2019 International Journal of Aeronautical and Space Sc Vol.20 No.4

This paper proposes the convolutional neural network (CNN)-based multiple targets detection and recognition method for unmanned airborne surveillance systems. The proposed method is capable of recognizing the target’s type, position and bearing angle. Recently, deep learning approaches using convolutional neural networks (CNNs) have significantly improved the object detection accuracy on benchmark datasets such as Pascal visual object classes (VOC) and common objects in context (COCO) data sets. Typical CNN-based object detection technologies are designed to recognize regions of interest (RoI) and object classes based on VOC or COCO data set criteria only. However, in many surveillance missions, the bearing angle of the object is also an important entity to infer in addition to the RoI and the vehicle-type. This paper proposes a CNN-based object recognition technique called airborne surveillance neural network (ASNet) that can recognize this additional bearing angle information. Indoor experiments demonstrate the validity of the proposed method.

The Genetic Convolutional Neural Network Model Based on Random Sample

You Zhining,Pu Yunming 보안공학연구지원센터 2015 International Journal of u- and e- Service, Scienc Vol.8 No.11

Convolutional neural network (CNN) -- the result of the training is affected by of initial value of the weights. It is concluded that the model is not necessarily the best features of expression. The use of genetic algorithm can help choosing the better characteristics. But there almost was not literature study of the combining genetic algorithm with CNN. So this research has a lot of space and prospects. GACNN convolution genetic neural network model based on random sample has a better solution to obtain the unknown character expression. CNN individual training set uses a random data set. At the same time, the crossover and the mutation genetic algorithm bring random factors. There may are unknown feature expressions that may be appropriate. Experiments are based on accepted MNIST data sets, and the experimental results proved the advantages of the model.