종형의 활성 함수를 사용한 인공 신경망의 학습 효과 = Learning Effect of Artificial Neural Network Using Bell-Shaped Activation Function

다국어 초록 (Multilingual Abstract)

The learning effect of an artificial neural network basically depends on theactivation function used for the neurons in hidden layers. In this paper, we try toanalyze the learning effect of an artificial neural network using a bell-shapedactivation function for the neurons in hidden layers. For this purpose, we present asimple neural network using a bell-shaped function, and attempt to model thecharacteristics of a dynamic system through the learning process by errorback-propagation. Through simulations, we shows the learning effect of the neuralnetwork using a bell-shaped function by comparing the case of considering asigmoid function. As a result, it is shown that training of neural networks using abell-shaped activation function is relatively fast and stable, so that such a neuralnetwork can be usefully applied for more appropriate modeling of dynamic systems.

국문 초록 (Abstract)

인공 신경망의 학습 효과는 기본적으로 은닉층의 뉴런에 사용된 활성 함수에 따라 달라질수 있다. 본 논문에서는 은닉층의 뉴런에 종형의 활성 함수를 사용한 인공 신경망의 학습 효과를 분석하고자 한다. 이러한 목적을 위하여, 종형의 활성 함수를 사용한 간단한 신경망을제시하고, 오차역전달 학습 과정을 통하여 동적 시스템의 특성 모델링을 시도한다. 시뮬레이션을 통하여, 시그모이드 함수를 고려한 경우와 비교하여 종형 함수를 사용한 신경망의 학습효과를 제시한다. 결과적으로, 종형의 활성 함수를 사용한 신경망의 학습이 상대적으로 빠르고 안정적이어서 이러한 신경망이 보다 적절한 동적 시스템의 모델링을 위하여 유용하게 적용될 수 있음을 보인다.

참고문헌 (Reference)

1 김병호, "적응 뉴럴 컴퓨팅 방법을 이용한 동적 시스템의 특성 모델" 제어·로봇·시스템학회 13 (13): 309-314, 2007

2 S. Elfwing, "Sigmoidweighted linear units for neural network function approximation in reinforcement learning"

3 J. -T. Ju, "Pattern classification algorithm of DNA chip image using ANN" 16 (16): 556-561, 2006

4 P. Afshar, "Neural-based control of a robotic hand : evidence for distinct muscle strategies" 4633-4638, 2004

5 J. A. Freeman, "Neural Networks : Algorithms, Applications, and Programming Techniques" Addison-Wesley 1991

6 K. S. Narendra, "Identification and control of dynamical systems using neural networks" 1 : 4-27, 1990

7 S. S. Kim, "Hardware implementation of a real time neural network controller with a DSP and an FPGA" 4639-4644, 2004

8 B.-H. Kim, "An adaptive neural network learningbased solution for the inverse kinematics of humanoid fingers" 11 (11): 2014

9 C. E. Nwankpa, "Activation Functions : Comparison of trends in Practice and Research for Deep Learning"

10 B. -H. Kim, "A study on a novel structure of recurrent neural network for trajectory control of a robot" 32B (32B): 198-207, 1995

11 B. E. Lawson, "A robotic leg prosthesisdesign, control, and implementation" 70-81, 2014