그래프 합성곱-신경망 구조 탐색 : 그래프 합성곱 신경망을 이용한 신경망 구조 탐색

최수연,박종열 국제문화기술진흥원 2023 The Journal of the Convergence on Culture Technolo Vol.9 No.1

This paper proposes the design of a neural network structure search model using graph convolutional neural networks. Deep learning has a problem of not being able to verify whether the designed model has a structure with optimized performance due to the nature of learning as a black box. The neural network structure search model is composed of a recurrent neural network that creates a model and a convolutional neural network that is the generated network. Conventional neural network structure search models use recurrent neural networks, but in this paper, we propose GC-NAS, which uses graph convolutional neural networks instead of recurrent neural networks to create convolutional neural network models. The proposed GC-NAS uses the Layer Extraction Block to explore depth, and the Hyper Parameter Prediction Block to explore spatial and temporal information (hyper parameters) based on depth information in parallel. Therefore, since the depth information is reflected, the search area is wider, and the purpose of the search area of the model is clear by conducting a parallel search with depth information, so it is judged to be superior in theoretical structure compared to GC-NAS. GC-NAS is expected to solve the problem of the high-dimensional time axis and the range of spatial search of recurrent neural networks in the existing neural network structure search model through the graph convolutional neural network block and graph generation algorithm. In addition, we hope that the GC-NAS proposed in this paper will serve as an opportunity for active research on the application of graph convolutional neural networks to neural network structure search. 본 논문은 그래프 합성곱 신경망을 이용한 신경망 구조 탐색 모델 설계를 제안한다. 딥 러닝은 블랙박스로 학습이 진행되는 특성으로 인해 설계한 모델이 최적화된 성능을 가지는 구조인지 검증하지 못하는 문제점이 존재한다. 신경망 구조 탐색 모델은 모델을 생성하는 순환 신경망과 생성된 네트워크인 합성곱 신경망으로 구성되어있다. 통상의 신경망 구조 탐색 모델은 순환신경망 계열을 사용하지만 우리는 본 논문에서 순환신경망 대신 그래프 합성곱 신경망을 사용하여 합성곱 신경망 모델을 생성하는 GC-NAS를 제안한다. 제안하는 GC-NAS는 Layer Extraction Block을 이용하여 Depth를 탐색하며 Hyper Parameter Prediction Block을 이용하여 Depth 정보를 기반으로 한 spatial, temporal 정보(hyper parameter)를 병렬적으로 탐색합니다. 따라서 Depth 정보를 반영하기 때문에 탐색 영역이 더 넓으며 Depth 정보와 병렬적 탐색을 진행함으로 모델의 탐색 영역의 목적성이 분명하기 때문에 GC-NAS대비 이론적 구조에 있어서 우위에 있다고 판단된다. GC-NAS는 그래프 합성곱 신경망 블록 및 그래프 생성 알고리즘을 통하여 기존 신경망 구조 탐색 모델에서 순환 신경망이 가지는 고차원 시간 축의 문제와 공간적 탐색의 범위 문제를 해결할 것으로 기대한다. 또한 우리는 본 논문이 제안하는 GC-NAS를 통하여 신경망 구조 탐색에 그래프 합성곱 신경망을 적용하는 연구가 활발히 이루어질 수 있는 계기가 될 수 있기를 기대한다.

딥러닝을 이용한 다중이용시설의 이용자수 조사

정지헌(Jung, Ji Heon),박자연(Park, Ja Yeon),한수희(Han, Soohee) 대한토목학회 2022 대한토목학회 학술대회 Vol.2022 No.10

신경망 모델을 이용한 선박-교각 최대 충돌력 추정 연구

왕지엔,노재규 해양환경안전학회 2022 해양환경안전학회지 Vol.28 No.1

The collision between a ship and bridge across a waterway may result in extremely serious consequences that may endanger the safety of life and property. Therefore, factors affecting ship bridge collision must be investigated, and the impact force should be discussed based on various collision conditions. In this study, a finite element model of ship bridge collision is established, and the peak impact force of a ship bridge collision based on 50 operating conditions combined with three input parameters, i.e., ship loading condition, ship speed, and ship bridge collision angle, is calculated via numerical simulation. Using neural network models trained with the numerical simulation results, the prediction model of the peak impact force of ship bridge collision involving an extremely short calculation time on the order of milliseconds is established. The neural network models used in this study are the basic backpropagation neural network model and Elman neural network model, which can manage temporal information. The accuracy of the neural network models is verified using 10 test samples based on the operating conditions. Results of a verification test show that the Elman neural network model performs better than the backpropagation neural network model, with a mean relative error of 4.566% and relative errors of less than 5% in 8 among 10 test cases. The trained neural network can yield a reliable ship bridge collision force instantaneously only when the required parameters are specified and a nonlinear finite element solution process is not required. The proposed model can be used to predict whether a catastrophic collision will occur during ship navigation, and thus hence the safety of crew operating the ship. 선박과 교각이 충돌하면 생명과 안전에 큰 위협이 될 수 있다. 따라서 선박-교각 충돌력 영향 인자를 식별하고 다양한 충돌 조건에서의 충돌력에 대한 연구의 필요성이 있다. 본 논문에서는 선박-교각 충돌의 유한요소 모델을 설정하고, 수치 시뮬레이션을 통해 선적상태, 운항속도, 충돌 각도의 세 가지 입력조건을 조합하여 50가지 케이스에서의 선박-교각 최대 충돌력을 계산하였다. 계산된 유한요소해석 결과를 사용하여 신경망 추정 모델을 학습하고 최대 충돌력을 추정함으로써 빠른 시간에 최대 충돌력을 추정하는 프로세스를 제안하였다. 신경망 예측 모델은 가장 기초적인 역전파 신경망과 시간정보를 고려할 수 있는 순환신경망인 Elman 신경망 2가지 모델을 사용하였다. 10가지 케이스의 테스트 데이터로 시험한 결과 Elman 신경망을 사용했을 경우에 평균상대오차가 4.566%로 역전파 신경망보다 나은 최대 충돌력 추정이 가능함을 확인하였고 8가지 케이스에서 5%이하의 상대오차를 보여 주었다. 본 신경망을 이용한 최대 충돌력 추정법은 유한요소해석을 수행하지 않아도 되므로 계산 시간이 짧아 선박 항해 중 충돌을 회피할 수 없는 경우 피해를 최소화하는 의사결정의 기초 방법으로 사용할 수 있다.

발화신경망 모델의 신호반응영역에 대한 연구

조명원 한국물리학회 2019 새물리 Vol.69 No.8

생물학적 신경망 또는 발화신경망 모델에서는 입력발화시간의 차이가 출력세포의 반응성을 결정 짓는데중요한 요소라는 것이 인곤신경망과 구분되는 특성이다. 발화신경망에서는 입력벡터공간도 상대적발화시간에 의해 정의되게 된다. 이 논문에서 우리는 발화신경망가 그 연결구조에 따라 가질 수 있는 반응영역들에대해 연구하였다. 인공신경망에서는 출력세포가 입력세포에 직접 연결된 경우 선형적 평면으로 구분되는반응영역을 가진다는 것이 알려져 있는 것에 비해 발화신경망에서는 닫혀 있는 또는 휘어진 형태의 평면들로 구분되는 반응영역을 가진다는 것을 확인하였다. 또한 우리는 다층구조 외에 신경전달 경로마다거치는 신경세포 개수가 달라지는 복합구조의 발화신경망이 다양한 형태의 반응영역을 가질 수 있다는것을 제안하고 확인하였다. 이러한 결과들은 특정한 인지기능을 가진 생물학적 신경망을 이해하거나설계하는데 적용될 수 있을 것이다. Compared with the artificial neural network model, a biological neural network or a spiking neural network model has the distinctive feature that the difference between input spiking timings plays the key role in the determination of an output neuron’s reactivity. The input vector space of a spiking neural network is also defined from the relative spiking timings. We here explore what response domain a spiking neural network can have depending on its structure. While the response domain of an output neuron, connected directly from input neurons, in an artificial neural network has a deterministic surface with the shape of a linear plane, that in the spiking neural network has a deterministic surface(s) with the shape of a closed or a curved plane. We suggest and demonstrate how a spiking neural network can have a variety of forms for response domains through not only a multilayer structure but also a complex structure having different connections numbers per signaling path. These results can be applied to understanding or designing a biological neural network with a perceptive function.

딥러닝 신경망을 이용한 신용카드 부도위험 예측의 효용성 분석

윤종문 한국금융학회 2019 금융연구 Vol.33 No.1

This study aims to discuss the usefulness of the deep learning neural network and the possibility of the deep learning neural network analysis in judging credit information by using credit card default data. Deep learning neural network analysis in the financial sector excluding the current stock price prediction model is under limited research. It is mainly used for upgrading models of the credit rating (Kvamme et al., 2016, 2018; Tran, 2016; Luo, 2017) and the delinquency rate (Sirignano et al., 2018). In the credit card market, it is focused on credit card issuance and fraud detection model (Ramanathan, 2014, Niimi, 2015). As mentioned earlier, there has not been much analysis of deep learning neural network using financial market data. This is because the study of deep learning neural networks is actively carried out mainly in the field of computer science such as image, speech recognition, natural language processing. Additionally, Researchers in the financial sector have difficulty learning deep learning algorithms and setting up a computer runtime environment. It is also difficult to apply the algorithm to financial data due to lower dimension than the image. Nowadays, financial companies have been interested in machine learning and are increasing their recruitment, but it is still in the stage of verifying the possibility of deep learning neural network. Therefore, This study examines the possibility of improving the accuracy of credit card default risk prediction by using a deep learning neural network algorithm. To do this, we use existing machine learning algorithms (Logistic, SVM, Random Forest, Lasso, etc.) as a comparison index for performance check of deep learning neural network analysis. Firstly, the deep learning neural network is constructed with two hidden layers and five neurons, and derives the prediction accuracy according to the activation function and the initial value setting method. There are Sigmoid, ReLU, tanh and Maxout as active functions, and random value, Xavier, RBM, He’s as initialization methods. Based on this, we compare the accuracy of existing machine learning algorithms. As a result, the deep learning neural network analysis showed performance improvement between 0.6% and 6.6%p compared to the existing machine learning algorithms (Logistic, SVM, Random Forest, Lasso, etc.). Among these results, the active function and the initial value setting method with the highest prediction accuracy are ReLU (rectified linear units) and Xavier initialization. However, there is no significant improvement in performance with increasing number of hidden layers and neurons up to 10 and 25, respectively. Also, the dropout and CNN (convolution neural network) models, which showed high performance in the field of image identification, showed no significant difference in prediction accuracy. Nevertheless, it could be interpreted that the increase of hidden layers can improve the accuracy of estimation because the highest accuracy (0.8161) and the AUC (0.7726) are observed for 10 hidden nodes and 15 neurons. However, we can’t say that accuracy increases linearly by the number of hidden layers and neurons. These limitation could be due to the quantitative and qualitative limitations of the credit card data used here. We did not use recurrent neural network (RNN) and long-short term memory (LSTM) models since the personal default data for credit card used in this study is cross-sectional data. These method are for Time-Series data. Therefore, it is expected that it will be able to obtain better results in identification problems (credit rating, delinquency rate, interest rate calculation) of present various financial markets if these deep learning neural network methodologies are applied through big data including time series data. This study can be turned into a question of how deep learning analysis can lower the default risk and delinquency rate by using financial data from a practical point of ... 본 연구는 국내․외 금융시장에서 아직 활성화되지 못한 딥러닝 신경망(deep learning neural network) 알고리즘을 이용해 신용카드 부도위험 예측의 정확도 향상 가능성에 대해서 점검한다. 이를 위해 기존 머신러닝 알고리즘(Logistic, SVM, Random Forest, Lasso 등)을 딥러닝 신경망 분석의 성능 점검을 위한 비교 지표로 활용한다. 우선, 딥러닝 신경망은 두 개의 은닉층(hidden layers)과 다섯 개의 뉴런(neuron)으로 구축하고, 활성함수(activation function)와 초기값(initial value) 설정방법에 따른 예측정확도를 도출한다. 그 결과 딥러닝 신경망 분석이 기존 머신러닝 알고리즘 보다 최소 0.6%p에서 최대 6.6%p 성능이 향상된 것으로 나타났다. 이 중 가장 높은 예측 정확도를 보인 활성함수와 초기값 설정방식은 ReLU(rectified linear units)와 Xavier(2010)이고 이를 기준으로 은닉층과 뉴런의 수를 각각 최대 10개와 25개까지 늘려 분석한 결과에서도 유사한 결과가 나타났다. 다만, 기존 연구에서와 같이 은닉층과 뉴런의 수의 증가에 따른 뚜렷한 성능의 향상은 나타나지 않았다. 또한, 이미지 식별 분야에서 높은 성능을 보였던 Dropout과 CNN(convolution neural network) 모델도 예측 정확도에서 큰 차이를 보이지 않았다. 이는 여기에서 사용된 신용카드 데이터가 다수 픽셀(pixel)로 이루어진 이미지 데이터와 비교해 양적․질적 한계가 있기 때문으로 판단된다. 한편, 본 연구에서 사용된 개인의 신용카드 부도 데이터는 횡단면 자료이기 때문에 시계열 데이터에서 높은 성능을 나타내는 RNN(recurrent neural network) 및 LSTM(Long- Short Term Memory) 등의 딥러닝 신경망 알고리즘을 사용하지는 않았다. 따라서 추후 시계열 자료가 포함된 빅데이터를 통해 이들 딥러닝 신경망 방법론을 적용한다면, 현재의 다양한 금융시장의 식별문제(신용등급, 연체율, 금리산정)에 있어 보다 향상된 결과를 도출할 수 있을 것으로 기대된다.

스파이킹 신경망 추론을 위한 심층 신경망 가중치 변환

이정수,허준영 (사)한국스마트미디어학회 2022 스마트미디어저널 Vol.11 No.3

Spiking neural network is a neural network that applies the working principle of real brain neurons. Due to the biological mechanism of neurons, it consumes less power for training and reasoning than conventional neural networks. Recently, as deep learning models become huge and operating costs increase exponentially, the spiking neural network is attracting attention as a third-generation neural network that connects convolution neural networks and recurrent neural networks, and related research is being actively conducted. However, in order to apply the spiking neural network model to the industry, a lot of research still needs to be done, and the problem of model retraining to apply a new model must also be solved. In this paper, we propose a method to minimize the cost of model retraining by extracting the weights of the existing trained deep learning model and converting them into the weights of the spiking neural network model. In addition, it was found that weight conversion worked correctly by comparing the results of inference using the converted weights with the results of the existing model. 스파이킹 신경망은 실제 두뇌 뉴런의 작동원리를 적용한 신경망으로, 뉴런의 생물학적 메커니즘으로 인해 기존 신경망보다 학습과 추론에 소모되는 전력이 적다. 최근 딥러닝 모델이 거대해지며 운용에 소모되는 비용 또한 기하급수적으로 증가함에 따라 스파이킹 신경망은 합성곱, 순환 신경망을 잇는 3세대 신경망으로 주목받으며 관련 연구가 활발히 진행되고 있다. 그러나 스파이킹 신경망 모델을 산업에 적용하기 위해서는 아직 선행되어야 할 연구가 많이 남아있고, 새로운 모델을 적용하기 위한 모델 재학습 문제 역시 해결해야 한다. 본 논문에서는 기존의 학습된 딥러닝 모델의 가중치를 추출하여 스파이킹 신경망 모델의 가중치로 변환하는 것으로 모델 재학습 비용을 최소화하는 방법을 제안한다. 또한, 변환된 가중치를 사용한 추론 결과와 기존 모델의 결과를 비교해 가중치 변환이 올바르게 작동함을 보인다.

순환신경망 모형을 활용한 시계열 비교예측

김종화,최종후,강창완 한국자료분석학회 2019 Journal of the Korean Data Analysis Society Vol.21 No.4

Typical algorithms for deep learning include DNN (deep neural network), CNN (convolution neural network), and RNN (recurrent neural network) algorithms. Among them, RNN is excellent at dealing with sequential data. Sequential data such as time series data can be handled without losing gradient by LSTM (long short-term memory) RNN. In this study, the LSTM, a modified algorithm of RNN, is applied to international airline passenger data (from January 1, 1994 to December 1960). We find the optimal model and compare it with the ARIMA model, the initial network model presented by Faraway (1998), and the model of Jordan & Elman, the simple RNN model. To compare the models, we train the data as learning data sets from January 1949 to December 1950, and designate the remaining one year of data as test sets. and compare the performance of the model with the sum of square errors of the test sets. The model comparison shows that the Elman RNN model was the best, and that the LSTM model was not inferior to the ARIMA model. 최근 알파고 이후 딥러닝 연구에 대한 활발한 연구가 진행되고 있다. 딥러닝에는 이미지 분석에 적합한 CNN(convolution neural network), 순차적 자료에 적합한 RNN(recurrent neural network) 모델 등 많은 모델이 존재하는데 그 중 시계열데이터 분석에 적합한 딥러닝 모델을 전형적 시계열데이터인 항공사 데이터(1949년 1월부터 1960년 12월까지 매월 총 국제 항공사 승객 수)에 Box-Jenkins의 ARIMA 모형과 함께 적합시켜 비교 할 것이다. 본 연구에서는 R 프로그램을 이용하여 LSTM(long short-term memory) 순환신경망 모델을 구축하고, ARIMA 모형, Faraway(1998)가 제시한 단순 신경망(neural network) 모형 그리고 Jordan & Elman의 순환신경망 모형과의 적합도를 비교하였다. 모형 비교결과 Elman 모형의 오차제곱합이 0.0128, Jordan 모형의 오차제곱 합이 0.0138, LSTM 모형의 오차제곱합이 0.0165, 신경망 모형은 오차제곱합 0.0212로 ARIMA 모형의 0.0194 에 비해 조금 뒤떨어지는 것으로 나타났다. 결국 Elman 순환신경망 모형이 가장 우수하게 나타났으며 LSTM 모형도 기존 ARIMA 모형과 Faraway의 단순신경망모형 보다 우수한 적합도를 나타났다.

신경망(Neural Network)모델들의 비교를 통한 가맹사업 매출예측분석

김주영(Kim, Juyoung) 한국마케팅학회 2018 마케팅연구 Vol.33 No.3

최근의 경영이슈는 기업경영에 있어서의 사회적 가치의 중요성이다. 그중에서 유통산업, 특히 가맹사업에서는 가맹본부와 가맹점 간의 관계에 있어서 사회적으로 상생할 수 있는 방법을 모색하려는 노력이 많다. 가맹사업은 경쟁력이 검증된 사업아이템을 일정한 비용을 받고 창업희망자들에게 제공하고 이들이 계속적으로 사업이득을 얻을 수 있게 도와주는 것이다. 가맹본부가 가맹점주 들 혹은 미래의 가맹점주 들에게 올바른 의사결정을 위한 정보를 알려주지 않고 무리한 요구를 해왔다고 사회적 이슈가 되고 있다. 문제를 해결하기 위해서는 관련된 정보를 정확히 알아야 하는데, 본사의 경쟁력이나 가맹점의 경영능력 등을 알기가 어렵고, 그들이 처한 경제상황적인 변수도 제대로 고려하지 않은 정보들은 실제 의사결정에는 크게 도움이 되지 않는다. 본 연구는 간단하지만, 보다 정확한 의사결정을 위해서 가맹본부와 가맹점포의 매출액을 설명하는 신경망 모델들을 전통적인 회귀분석과 함께 비교 제안하였다. 공정거래위원회의 가맹사업 정보공개서에 있는 3개년간의 자료들을 이용해서 외식, 서비스, 도소매로 가맹사업을 구분하고, 매년 23개씩의 반복되는 변수들을 독립변수로, 가맹점평균매출과 가맹본부매출을 종속변수로 두었다. 총 2459개의 표본 중 1967개를 학습표본 492개를 검정표본으로 삼았다. 2개년도의 자료로 3개년도차의 종속변수들을 예측하는 4개 모델들을 비교 제안하였다. 전통적인 선형회귀분석과 간단한 신경망, 은닉층이 4개있으며 산업 dummy가 처음과 중간 은닉층에 직접 영향을 미치는 깊은 은닉층, 앞의 년도의 은닉층이 뒤의 년도 은닉층에 영향을 미치는 Recurrent 신경망을 RMSE와 MAPE로 비교했는데, 깊은 신경망이 가장 좋은 결과를 보였다. 또, 신경망의 결과 중 변수중요도를 계산하는 새로운 방법을 두 개 제안하였다. 변수 중에는 가맹점매출에는 본사직원수, 신규개점이나 폐점 등 가맹점수, 과거가맹점매출평균 또 본사의 자산규모, 자본, 부채가 영향을 미치고 있다. 이외에도 기존의 가맹본부를 재무상태등을 기준으로 판단할 때 쓸 수 있는 방법과 새로 가맹점을 하려고 할 때 가맹본부들을 평가하는 방법들을 제시하였다. Social value in corporate management is getting attention. The retail industry, especially the franchise business, is eager to find ways to socially coexist in the relationship between franchisers and franchisees. The franchise business is to provide franchisee entrepreneurs with the proven business know-how at certain amount of fee and to help them continue to gain business benefits. It is claimed that the franchiser has made unreasonable pushes without properly informing the franchisee or future franchisees for making the right decision. One needs to know the exact information in order to solve the problem. It is difficult to know the real competitiveness of the headquarters and the management ability of the franchiser. In this study, neural network models that explain the sales of the franchiser and the average sales of franchisee stores are proposed and compared with traditional regression analysis in order to enable more accurate decision making. Using the three years" data in the Fair Trade Commission’s Franchisee Information Disclosure Documents, we divide franchise into service, food service, and retail industries, and 23 recurring variables are used as independent variables. Of the total of 2459 samples, 1967 were used as training samples and 492 samples as testing samples. The traditional linear regression analysis, and the simple neural network, and the deep neural network with four hidden layers, and the recurrent neural network were used to compare on RMSE/MAPE of their predictions. It was judged that the optimal model is somewhere between the simple neural network and the deep neural network. In addition, two new methods were proposed to calculate the importance of independent variables of neural networks. Among the variables, the number of employees, asset size, capital and debt of the head office are affecting the sales of franchiser. In addition, it suggested methods to judge existing franchiser based on their status of independent variables, and methods to evaluate the franchiser when attempting to open a new merchant for entrepreneur.

Optimization of Grey Neural Network Model Based on Mind Evolutionary Algorithm

Zhang, Yong-Li(장영예),Na, Sang-Gyun(나상균),Wang, Bao-Shuai(왕바오슈아이) 한국산업경제학회 2017 산업경제연구 Vol.30 No.4

회색신경망모형은 제품의 주문 수량을 예측할 때 소 표본과 정보부족 등의 문제를 해결하는데 유용하게 사용할 수 있지만, 예측 시 무작위로 파라미터를 초기화하면 예측정확도가 낮아지는 단점이 있다. 따라서 본 연구에서는 전통적인 회색신경망모형의 단점을 보완하기 위해서 MEA(Mind Evolution Algorithm)를 적용한 최적화된 회색 신경망모형을 제시하였다. 본 연구 결과는 다음과 같다. 제품의 주문수량을 예측하기 위해서 MEA(Mind Evolution Algorithm)를 이용한 최적화된 회색신경망모형, PSO(Particle Swarm Optimization)를 이용한 최적화된 회색신경망모형, GA(Genetic Algorithm)을 이용한 최적화된 회색신경망모형, BP(Back Propagation)을 이용한 회색신경망모형에 대해 비교분석을 하였다. 분석결과를 보면, MEA(Mind Evolution Algorithm)를 이용한 최적화된 회색신경망모형의 예측 총오차 4457.6000, 평균루트오차 920.7372, 평균오차백분율 4.04%, 운영시간은 1.1509초로 분석되었다. 선행연구에서 제시한 가장 우수한 PSO(Particle Swarm Optimization)를 이용한 최적화된 회색 신경망모형 보다, MEA(Mind Evolution Algorithm)를 이용한 최적화된 회색신경망모형의 예측 총 오차가 16.12%, 평균루트오차 12.39%, 평균오차백분율 16.87%가 감소되어, 결과적으로 운영시간이 감소되면서 계산속도가 21.61%가 증가 되었다. 따라서 다른 지능알고리즘과 비교하면, MEA(Mind Evolution Algorithm)를 이용한 최적화된 회색신경망모형은 최고의 예측 정확도와 계산속도가 높다는 장점을 보유하고 있다. 따라서 기업에서 제품의 주문 수량을 예측할 때 소 표본과 정보부족 등의 문제가 발생할 경우, 최적화된 회색신경망모형을 이용하는 것이 필요하다. For the problem of randomized parameters and large error, the grey neural network model optimized by mind evolutionary algorithm(MEA-GNNM) was presented. The experiment results showed that the total error, root mean square error, mean percentage error, and running time of MEA-GNNM were 4457.6000, 920.7372, 4.04% and 1.1509 seconds; Compared with GA-GNNM, the total error, root mean square error and mean percentage error of MEA-GNNM had decreased by 16.12%, 12.39% and 16.87%, and the calculation speed increased by 21.61%. Compared with PSO-GNNM, the total error, root mean square error and mean percentage error of MEA-GNNM had decreased by 9.13%, 11.33% and 12.17%, but running time increased by 104.50%. The paper presents a new approach to optimize the parameters of grey neural network model, and also provides a new method having higher prediction accuracy for the time series prediction.

GPGPU를 활용한 인공신경망 예측기반 텍스트 압축기법

김재주(Jaeju Kim),한환수(Hwansoo Han) 한국정보과학회 2016 정보과학회 컴퓨팅의 실제 논문지 Vol.22 No.3

인공신경망을 압축에 적용하여 더 높은 압축 성능을 보이기 위한 알고리즘들이 몇 가지 연구되어 있다. 그러나 그동안 이러한 알고리즘들은 한정된 계산 능력의 하드웨어를 가지고 있기에 작은 크기의 신경망을 사용할 수밖에 없었으며 적용하는 대상 역시 실제로 사용하기에는 너무 작은 크기의 파일들이었다. 본 논문에서는 GPGPU의 계산능력을 신경망 학습에 이용하여 만든 텍스트 문맥 기반 문자 등장확률 예측기와 함께 허프만 부호화의 성능을 높일 수 있는 변환 방법을 제시한다. 앞먹임 신경망과 GRU회귀 신경망에 대해 실험을 수행하였으며, 회귀 신경망 모델은 앞먹임 신경망에 비해 뛰어난 예측 성공률과 압축률을 보였다. Several methods have been proposed to apply artificial neural networks to text compression in the past. However, the networks and targets are both limited to the small size due to hardware capability in the past. Modern GPUs have much better calculation capability than CPUs in an order of magnitude now, even though CPUs have become faster. It becomes possible now to train greater and complex neural networks in a shorter time. This paper proposed a method to transform the distribution of original data with a probabilistic neural predictor. Experiments were performed on a feedforward neural network and a recurrent neural network with gated-recurrent units. The recurrent neural network model outperformed feedforward network in compression rate and prediction accuracy.