딥러닝을 이용한 다중이용시설의 이용자수 조사

정지헌(Jung, Ji Heon),박자연(Park, Ja Yeon),한수희(Han, Soohee) 대한토목학회 2022 대한토목학회 학술대회 Vol.2022 No.10

그래프 합성곱-신경망 구조 탐색 : 그래프 합성곱 신경망을 이용한 신경망 구조 탐색

최수연,박종열 국제문화기술진흥원 2023 The Journal of the Convergence on Culture Technolo Vol.9 No.1

This paper proposes the design of a neural network structure search model using graph convolutional neural networks. Deep learning has a problem of not being able to verify whether the designed model has a structure with optimized performance due to the nature of learning as a black box. The neural network structure search model is composed of a recurrent neural network that creates a model and a convolutional neural network that is the generated network. Conventional neural network structure search models use recurrent neural networks, but in this paper, we propose GC-NAS, which uses graph convolutional neural networks instead of recurrent neural networks to create convolutional neural network models. The proposed GC-NAS uses the Layer Extraction Block to explore depth, and the Hyper Parameter Prediction Block to explore spatial and temporal information (hyper parameters) based on depth information in parallel. Therefore, since the depth information is reflected, the search area is wider, and the purpose of the search area of the model is clear by conducting a parallel search with depth information, so it is judged to be superior in theoretical structure compared to GC-NAS. GC-NAS is expected to solve the problem of the high-dimensional time axis and the range of spatial search of recurrent neural networks in the existing neural network structure search model through the graph convolutional neural network block and graph generation algorithm. In addition, we hope that the GC-NAS proposed in this paper will serve as an opportunity for active research on the application of graph convolutional neural networks to neural network structure search. 본 논문은 그래프 합성곱 신경망을 이용한 신경망 구조 탐색 모델 설계를 제안한다. 딥 러닝은 블랙박스로 학습이 진행되는 특성으로 인해 설계한 모델이 최적화된 성능을 가지는 구조인지 검증하지 못하는 문제점이 존재한다. 신경망 구조 탐색 모델은 모델을 생성하는 순환 신경망과 생성된 네트워크인 합성곱 신경망으로 구성되어있다. 통상의 신경망 구조 탐색 모델은 순환신경망 계열을 사용하지만 우리는 본 논문에서 순환신경망 대신 그래프 합성곱 신경망을 사용하여 합성곱 신경망 모델을 생성하는 GC-NAS를 제안한다. 제안하는 GC-NAS는 Layer Extraction Block을 이용하여 Depth를 탐색하며 Hyper Parameter Prediction Block을 이용하여 Depth 정보를 기반으로 한 spatial, temporal 정보(hyper parameter)를 병렬적으로 탐색합니다. 따라서 Depth 정보를 반영하기 때문에 탐색 영역이 더 넓으며 Depth 정보와 병렬적 탐색을 진행함으로 모델의 탐색 영역의 목적성이 분명하기 때문에 GC-NAS대비 이론적 구조에 있어서 우위에 있다고 판단된다. GC-NAS는 그래프 합성곱 신경망 블록 및 그래프 생성 알고리즘을 통하여 기존 신경망 구조 탐색 모델에서 순환 신경망이 가지는 고차원 시간 축의 문제와 공간적 탐색의 범위 문제를 해결할 것으로 기대한다. 또한 우리는 본 논문이 제안하는 GC-NAS를 통하여 신경망 구조 탐색에 그래프 합성곱 신경망을 적용하는 연구가 활발히 이루어질 수 있는 계기가 될 수 있기를 기대한다.

Optimization of Grey Neural Network Model Based on Mind Evolutionary Algorithm

Zhang, Yong-Li(장영예),Na, Sang-Gyun(나상균),Wang, Bao-Shuai(왕바오슈아이) 한국산업경제학회 2017 산업경제연구 Vol.30 No.4

회색신경망모형은 제품의 주문 수량을 예측할 때 소 표본과 정보부족 등의 문제를 해결하는데 유용하게 사용할 수 있지만, 예측 시 무작위로 파라미터를 초기화하면 예측정확도가 낮아지는 단점이 있다. 따라서 본 연구에서는 전통적인 회색신경망모형의 단점을 보완하기 위해서 MEA(Mind Evolution Algorithm)를 적용한 최적화된 회색 신경망모형을 제시하였다. 본 연구 결과는 다음과 같다. 제품의 주문수량을 예측하기 위해서 MEA(Mind Evolution Algorithm)를 이용한 최적화된 회색신경망모형, PSO(Particle Swarm Optimization)를 이용한 최적화된 회색신경망모형, GA(Genetic Algorithm)을 이용한 최적화된 회색신경망모형, BP(Back Propagation)을 이용한 회색신경망모형에 대해 비교분석을 하였다. 분석결과를 보면, MEA(Mind Evolution Algorithm)를 이용한 최적화된 회색신경망모형의 예측 총오차 4457.6000, 평균루트오차 920.7372, 평균오차백분율 4.04%, 운영시간은 1.1509초로 분석되었다. 선행연구에서 제시한 가장 우수한 PSO(Particle Swarm Optimization)를 이용한 최적화된 회색 신경망모형 보다, MEA(Mind Evolution Algorithm)를 이용한 최적화된 회색신경망모형의 예측 총 오차가 16.12%, 평균루트오차 12.39%, 평균오차백분율 16.87%가 감소되어, 결과적으로 운영시간이 감소되면서 계산속도가 21.61%가 증가 되었다. 따라서 다른 지능알고리즘과 비교하면, MEA(Mind Evolution Algorithm)를 이용한 최적화된 회색신경망모형은 최고의 예측 정확도와 계산속도가 높다는 장점을 보유하고 있다. 따라서 기업에서 제품의 주문 수량을 예측할 때 소 표본과 정보부족 등의 문제가 발생할 경우, 최적화된 회색신경망모형을 이용하는 것이 필요하다. For the problem of randomized parameters and large error, the grey neural network model optimized by mind evolutionary algorithm(MEA-GNNM) was presented. The experiment results showed that the total error, root mean square error, mean percentage error, and running time of MEA-GNNM were 4457.6000, 920.7372, 4.04% and 1.1509 seconds; Compared with GA-GNNM, the total error, root mean square error and mean percentage error of MEA-GNNM had decreased by 16.12%, 12.39% and 16.87%, and the calculation speed increased by 21.61%. Compared with PSO-GNNM, the total error, root mean square error and mean percentage error of MEA-GNNM had decreased by 9.13%, 11.33% and 12.17%, but running time increased by 104.50%. The paper presents a new approach to optimize the parameters of grey neural network model, and also provides a new method having higher prediction accuracy for the time series prediction.

순환 신경망의 학습 방법에 관한 연구

김락상 청주대학교 경영경제연구소 2023 경상논총 Vol.15 No.1

현재 인공신경망 분야 중 순환 신경망에 관한 주제를 다루는 연구들이 많이 진행되고 있다. 순환 신경망이 자연어 처리 등의 분야에 많이 이용되고 있는 것이 중요한 이유이다. 순환 신경망은 시간적 또는 순차적으로 들어오는 입력 데이터를 처리하기에 적합하도록 설계되었다. 순차 데이터와 시계열 데이터는 순서가 있는 데이터를 의미한다. 예를 들면, 주식 가격, 텍스트 데이터, 오디오 데이터 등이 순서가 있는 데이터이다. 이러한 순서가 있는 순차적 데이터를 처리하여 정확한 예측을 하려면, 과거의 데이터를 어느 정도 기억하고 있어야 다음 것을 예측할 수 있다. 순환 신경망에서는 전 시점(t-1) 은닉층의 노드(유닛)에서 나온 값이 다시 현시점(t) 은닉층 유닛의 입력으로 보내진다. 순환 신경망은 은닉층의 유닛이 이전에 입력된 정보를 계속 보유하도록 설계되었다. 일반적인 순환 신경망은 데이터 시퀀스가 짧은 경우에는 문제가 되지 않지만, 데이터 시퀀스가 긴 경우에는 먼 이전 단계에서의 정보를 현재의 단계까지 유지하는 것이 어렵다. 이러한 문제의 근본적인 원 인은 그래디언트 소실(vanishing gradient)에 있다. 이러한 문제는 데이터 시퀀스상에서 앞 단계의 정보가 먼 뒷 단계에 전달되는 것을 어렵게 한다. 멀리 떨어져 있는 데이터들간의 관련성을 찾기 어렵게 만든다. 이것을 장기의존성 문제problems of long-term dependencies)라고 한다. Long Short Term Memory(이하 LSTM) 모델은 장기의존성 문제를 해결하기 위해 만들어진 모델이다. LSTM 모델은 비교적 먼 이전의 정보들을 유지할 수 있기 때문에, 시계열 분석, 텍스트 문장 분석 등에 적합한 순환 신경망 모델이다. 이 논문은 인공신경망의 모델 중 순차적인 데이터와 시계열 데이터를 예측하기에 적합하다고 알려진 순환 신경망의 기본적인 모델 및 학습 방법에 대해서 논하고, 이러한 기본적인 순환 신경망의 문제점을 제시한다. 기본적인 순환 신경망의 한계를 극복하기 위해 제시된 LSTM 모델을 소개하고, 실제 시계열 데이터를 이용하여 LSTM 모델의 예측 성능을 평가한다.

인공지능 : 불량 데이타를 포함한 신경망 신용 평가 시스템의 개발

김정원(Kim Jung Won),최종욱(Choi Jong Uk),최홍윤(Choi Hong Yun),정윤(Chung Yoon) 한국정보처리학회 1994 정보처리학회논문지 Vol.1 No.2

지금껏 발표된 많은 연구 결과에 의하면 신경망 시스템의 일반화 정도(정확도)는 통체적 모델과의 비교 평가에서 그 일반화 정도가 그들과 버금가거나 우수하다는 평가를 받고 있다. 그러나, 이러한 신경망 시스템의 우수한 예측 결과는 불량 데이터(noisy data)가 거의 없는 건전한 데이터, 혹은 일정량의 불량 데이터를 제어할 수 있을 만큼의 충분한 양의 데이터로 신경망을 학습시켰을 경우에만 얻을 수가 있었다. 실제 문제-특히, 경제, 경영상의 문제-를 풀기 위하여 모아진 실 데이터는 신경망 시스템이 만족할 만한 예측 결과를 보일 수 있을 정도의 건전한 데이터가 못되는 것이 현실이다. 따라서, 본 연구에서는 일정량의 불량 데이터를 포함하고 있는 훈련 데이터를 통해 신경망을 훈련시킬 경우 신경망 시스템의 일반화 정도를 높일 수 있는 방법에 대하여 논하였다. 본 연구의 관찰된 실험 결과에 의하면 신경망 시스템의 일반화 정도를 높이기 위해 훈련 데이터에서 같은 입력값을 갖는데도 불구하고 서로 상반되는 출력값을 갖는 불량 데이터들을 골라내어 신경망 시스템을 훈련시키는 방법을 제안하였다. 아울러, 두개의 서로 상반된 결과값을 갖는 불량 데이터로 신경망을 훈련 시켰을 경우 두 결과값의 평균값에 의해 신경망의 가중치(weight)조정이 된다는 이전의 연구 결과[25]도 입증되었다. 또한, 본고에서는 현재 진행중에 있는 신경망을 이용한 신용 평가 시스템 개발에 관한 중간 결과도 기술되어 있다. Many research results conducted by neural network researchers claimed that the degree of generalization of the neural network system is higher or at least equal to that of statistical methods. However, those successful results could be brought only if the neural network was trained by appropriately sound data, having a little of noisy data and being large enough to control noisy data. Real data used in a lot of fields, especially business fields, were not so sound that the network gave frequently failed to obtain satisfactory prediction accuracy, the degree of generalization. Enhancing the degree of generalization with noisy data is discussed in this study. The suggestion. which was obtained through a series of experiment, to enhance the degree of generalization is to remove inconsistent data by checking overlapping and inconsistencies. Furthermore, the previous conclusion by other reports is also confirmed that the learning mechanism of neural network takes average value of two inconsistent data included in training set[2]. The interim results of on-going research project are reported is this paper. These are an architecture of the neural network adopted in this project and the whole idea of developing on-line credit evaluation system, being integration of the expert(reasoning) system and the neural network(learning)system. Another definite result is corroborated through this study that quickprop, being adopted as a learning algorithm, also has more speedy learning process than does back propagation even in very noisy environment.

ANN을 이용한 노이즈 MNIST 이미지의 분류 정확도 향상을 위한 다양한 필터 크기를 가진 CNN 앙상블 모델 연구

구기범 한국품질경영학회 2023 한국품질경영학회 학술대회 Vol.2023 No.0

앙상블 학습(Ensemble Learning)은 여러 개의 통계모델을 작성하고 그 결과를 결합하여 결과를 도출하는 학습 기법이다. 앙상블 학습 방법에는 투표(voting), 배깅(bagging), 부스팅(boosting) 등이 있으며 다양한 연구 분야에서 앙상블 학습 기법을 활용하고 있다. 본 연구에서는 MNIST 숫자 이미지를 분류하는, 서로 다른 필터 크기를 가진 여러 개의 합성곱 신경망을 작성하고 작성된 각각의 합성곱 신경망 모델의 예측결과들을 다시 신경망 모델의 입력 데이터로 활용하여 이미지를 분류하는 앙상블 학습 모델을 작성하였다. 이 앙상블 학습 모델은 두 단계의 모델링을 거쳐 작성되었다. 첫 번째 모델링은 합성곱 신경망 모델들을 작성하는 것으로, 주어진 모델링 데이터(숫자 이미지)로 필터의 크기가 서로 다른 합성곱 신경망 모델들을 작성하는 것이다. 합성곱 신경망 모델의 필터 크기는 각각 임의의 크기인 3x3, 5x5, 7x7, 11x11, 13x13으로 설정하였고 합성곱 신경망 모델의 마지막 계층의 활성화 함수는 softmax 대신 ReLU를 적용하였다. 두 번째 모델링은 5개의 합성곱 신경망에서 출력된 각각의 출력 신호들을 입력신호로 이미지를 분류하는 신경망 학습이다. 각각의 합성곱 신경망 모델은 마지막 계층에서 10개의 출력신호를 가지므로, 이 신경망 모델은 50개의 입력변수를 받아 이미지를 최종 분류하게 된다. 작성된 앙상블 학습 모델의 정확도 평가는 테스트 데이터를 이용하여 실시하였으며 단일 합성곱 신경망 모델의 예측결과와 비교하여 정확도 향상이 어느 정도 이루어졌는지 확인하였다. 또한, 잡음이 섞인 이미지 데이터로 학습시켰을 때의 이미지 분류 예측 정확도도 비교하였다.

확률신경망을 이용한 철도 판형교의 손상평가

조효남,이성칠,강경구,오달수 한국전산구조공학회 2003 한국전산구조공학회논문집 Vol.16 No.3

Artificial neural network has been used for damage assessment by many researchers, but there are still some barriers that must be overcome to improve its accuracy and efficiency. The major problems associated with the conventional artificial neural network, especially the Back Propagation Neural Network(BPNN), are on the need of many training patterns and on the ambiguous relationship between neural network architecture and the convergence of solution. Therefore, the number of hidden layers and nodes in one hidden layer would be determined by trial and error. Also, it takes a lot of time to prepare many training patterns and to determine the optimum architecture of neural network. To overcome these drawbacks, the PNN can be used as a pattern classifier. In this paper, the PNN is used numerically to detect damage in a plate girder railway bridge. Also, the comparison between mode shapes and natural frequencies of the structure is investigated to select the appropriate training pattern for the damage detection in the railway bridge. 손상평가를 위해 많은 연구자들에 의해 인공신경망이 이용되어 왔다. 그러나, 인공신경망을 이용한 손상평가에 있어 정확성과 능률성을 제고하기 위해서는 몇가지 문제점이 있다. 기존의 인공신경망 특히 역전파신경망(BPNN)의 경우 신경망 학습을 위해 많은 수의 학습패턴을 필요로 하며, 또한 신경망의 구조와 해의 수렴간에 어떤 확정적인 관계가 존재하지 않는다. 따라서 신경망의 은닉층의 수와 한 은닉층에서의 노드수는 시행착오적으로 결정되게 된다. 이러한 많은 훈련패턴의 준비와 최적의 신경망 구조 결정을 위해서는 많은 시간이 필요하다. 본 논문에서는 이러한 단점들을 극복하기 위해 확률신경망을 패턴분류기로 사용하였다. 이를 판형철도교의 손상평가에 수치해석적으로 검증하였다. 또한 확률신경망을 이용한 철도판형교 손상평가시 적절한 훈련패턴 선택을 위해 모드형상과 고유진동수를 사용한 경우의 적용성에 대해 검토하였다.

발화신경망 모델의 신호반응영역에 대한 연구

조명원 한국물리학회 2019 새물리 Vol.69 No.8

생물학적 신경망 또는 발화신경망 모델에서는 입력발화시간의 차이가 출력세포의 반응성을 결정 짓는데중요한 요소라는 것이 인곤신경망과 구분되는 특성이다. 발화신경망에서는 입력벡터공간도 상대적발화시간에 의해 정의되게 된다. 이 논문에서 우리는 발화신경망가 그 연결구조에 따라 가질 수 있는 반응영역들에대해 연구하였다. 인공신경망에서는 출력세포가 입력세포에 직접 연결된 경우 선형적 평면으로 구분되는반응영역을 가진다는 것이 알려져 있는 것에 비해 발화신경망에서는 닫혀 있는 또는 휘어진 형태의 평면들로 구분되는 반응영역을 가진다는 것을 확인하였다. 또한 우리는 다층구조 외에 신경전달 경로마다거치는 신경세포 개수가 달라지는 복합구조의 발화신경망이 다양한 형태의 반응영역을 가질 수 있다는것을 제안하고 확인하였다. 이러한 결과들은 특정한 인지기능을 가진 생물학적 신경망을 이해하거나설계하는데 적용될 수 있을 것이다. Compared with the artificial neural network model, a biological neural network or a spiking neural network model has the distinctive feature that the difference between input spiking timings plays the key role in the determination of an output neuron’s reactivity. The input vector space of a spiking neural network is also defined from the relative spiking timings. We here explore what response domain a spiking neural network can have depending on its structure. While the response domain of an output neuron, connected directly from input neurons, in an artificial neural network has a deterministic surface with the shape of a linear plane, that in the spiking neural network has a deterministic surface(s) with the shape of a closed or a curved plane. We suggest and demonstrate how a spiking neural network can have a variety of forms for response domains through not only a multilayer structure but also a complex structure having different connections numbers per signaling path. These results can be applied to understanding or designing a biological neural network with a perceptive function.

신경망에서 엔트로피 최대화 원리의 의미

조명원 한국물리학회 2019 새물리 Vol.69 No.4

Both the firing and the learning process in a neural network can be described through the methodology in statistical mechanics. If the learning rule is defined as the gradient descent in the free energy, the derivative of the internal energy should be the product between the activities of the pre- and postsynaptic neurons in a synapse. This corresponds with the basic learning principle, the so-called Hebb’s rule. On the other hand, the derivative of the entropy is expected to bring about a competitive relationship between synapses, which is a requisite mechanism for a neural network to have diverse and proper functions. However, the entropy can be derived in a variety of forms depending on the models, and the maximization exerts different effects on the learning process. In this paper, we explore how the free energy or the entropy can be defined in several models and classify how the entropy affects the learning process when the learning rule is derived from the gradient descent on the free energy. Also, we discuss what characteristics a neural network model should have in order for a proper competitive learning rule to be derived from the entropy maximization process. 신경망에서 진행되는 발화과정과 함께 학습 과정도 통계역학적인 방법론을 기반으로 표현할 수 있다. 자유에너지 경사하강법으로 신경망 학습규칙을 정의하는 경우 내부에너지의 미분 결과는 일반적으로 시냅스 양단의 신경세포들의 발화상태의 곱으로 구해지며, 이는 헤비안 규칙이라 불리는 기본적인 신경망 학습원리와 부합된다. 한편 엔트로피의 값을 높이려는 경향은 신경망이 보다 다양하고 적절한 기능을 습득하기위해 필요한 경쟁적 학습을 이끌 수 있을 것으로 기대된다. 하지만 신경망 모델에 따라 엔트로피는 조금씩다르게 유도되며, 이들을 최대화 하는 과정이 학습에 미치는 영향도 다르다. 이 논문에서는 자유에너지또는 엔트로피가 여러 신경망 모델들에서 어떻게 정의될 수 있는지를 살피고, 신경망 모델에서 원래의학습규칙과는 상관 없이 자유에너지 최소화를 신경망 학습을 진행했을 때 엔트로피가 신경망 학습에 미치는 영향을 정리하였다. 그리고 엔트로피로부터 적절한 경쟁적 학습이 유도되기 위해서 신경망 모델들이갖추어야 할 요소들에 대해 토의하였다.

GPGPU를 활용한 인공신경망 예측기반 텍스트 압축기법

김재주(Jaeju Kim),한환수(Hwansoo Han) 한국정보과학회 2016 정보과학회 컴퓨팅의 실제 논문지 Vol.22 No.3

인공신경망을 압축에 적용하여 더 높은 압축 성능을 보이기 위한 알고리즘들이 몇 가지 연구되어 있다. 그러나 그동안 이러한 알고리즘들은 한정된 계산 능력의 하드웨어를 가지고 있기에 작은 크기의 신경망을 사용할 수밖에 없었으며 적용하는 대상 역시 실제로 사용하기에는 너무 작은 크기의 파일들이었다. 본 논문에서는 GPGPU의 계산능력을 신경망 학습에 이용하여 만든 텍스트 문맥 기반 문자 등장확률 예측기와 함께 허프만 부호화의 성능을 높일 수 있는 변환 방법을 제시한다. 앞먹임 신경망과 GRU회귀 신경망에 대해 실험을 수행하였으며, 회귀 신경망 모델은 앞먹임 신경망에 비해 뛰어난 예측 성공률과 압축률을 보였다. Several methods have been proposed to apply artificial neural networks to text compression in the past. However, the networks and targets are both limited to the small size due to hardware capability in the past. Modern GPUs have much better calculation capability than CPUs in an order of magnitude now, even though CPUs have become faster. It becomes possible now to train greater and complex neural networks in a shorter time. This paper proposed a method to transform the distribution of original data with a probabilistic neural predictor. Experiments were performed on a feedforward neural network and a recurrent neural network with gated-recurrent units. The recurrent neural network model outperformed feedforward network in compression rate and prediction accuracy.