다중퍼셉트론의 강하 학습을 위한 최적 학습률 = Optimal Learning in Gradient DescentTraining of Multilayer Perceptrons

다국어 초록 (Multilingual Abstract)

This paper proposes optimal learning rates in the gradient descent training of multilayer perceptrons, which are a separate learning rate for weights associated with each neuron and a separate one for assigning virtual hidden targets associated with each training pattern. Effectiveness of the proposed error function was demonstrated for a handwritten digit recognition and an isolated-word recognition tasks and very fast learning convergence was obtained.

국문 초록 (Abstract)

이 논문은 다층퍼셉트론의 학습을 빠르게 하기 위한 최적 학습률을 제안한다. 이 학습률은 한 뉴런에 연결된 가중치들에 대한 학습률과, 중간층에 가상의 목표값을 설정하기 위한 학습률로 나타난다. 그 결과, 중간층 가중치의 최적 학습률은 가상의 중간층 목표값 할당 성분과 중간층 오차함수를 최소화 시키고자 하는 성분의 곱으로 나타난다. 제안한 방법은 고립단어인식과 필기체 숫자 인식 문제의 시뮬레이션으로 효용성을 확인하였다.

참고문헌 (Reference)

1 "비선형 변환에 의한 중간층 뉴런의 상관계수 감소" 제3권 (제3권): 98-102, 2003.

2 "Parallel Distributed Processing." MIT Press 1986.

3 "Increased rates of convergence through learning rate adaptation" 1 : 295-307, 1988.

4 "Improving the error backpropagation algorithm with a modified error function" 8 (8): 799-803, 1997.

5 "Faster-learning variations on back- propagation:an empirical study" 38-51, 1988.

6 "Auditory processing of speech signals for robust speech recognition in real-world noisy environments" 7 : 55-69, 1999.

7 "Accelerating the convergence of the back-propagation method" 59 : 257-263, 1988.

8 "A generalized learning paradigm exploiting the structure of feedforward neural networks" 7 : 1450-1459, 1996.

9 "A fast multilayer neural networks training algorithm based on the layer-by-layer optimizing procedures" 7 : 768-775, 1996.

10 "A database for handwritten text recognition research" 16 (16): 550-554, 1994.05