딥 뉴럴 네트워크의 학습방법에 관한 연구 = Learning Algorithm for Deep Neural Networks

국문 초록 (Abstract)

이 논문은 기계학습(machine learning)의 가장 보편적인 형태인 인공신경망의 기본원리와 학습방법들에 대해서 연구하는 것을 목표로 한다. Rumelhart(1986) 는 Back-propagation algorithm을 이용하여 다층신경망을 학습할 수 있다는 것을 입증하였다. 당시에는 매우 획기적인 것으로 인공신경망이 인공지능의 많은 문제를 해결할 수 있을 것으로 기대하였다. 그러나 그 이후에 전개된 상황은 기대 이하였는데, 그 이유는 Back-propagation 알고리즘의 두 가지 문제점에 기인한 것이다. 첫번째 문제는 다층신경망의 계층이 깊은 경우에 상위 계층의 weights 수정이 하위계층으로 제대로 전달이 되지 못해서 학습이 제대로 이루어지지 못하는 것이다. 이러한 문제는 중간층과 출력층의 activation function인 logistic 함수를 Relu 함수로 변경함으로써 일부는 해결되었다. 두 번째 문제는 학습을 하기전에 weights를 랜덤하게 초기화하는 데 따른 문제였다. Connection weights를 랜덤하게 초기화할 경우 local minimum 문제와 더불어 다층신경망의 계층이 깊은 경우 학습을 하는 데 문제가 발생하였다. 다층신경망의 connection weights를 랜덤하게 초기화함으로써 발생하는 문제점은 Geoffrey Hinton이 발표한 비지도 학습 (unsupervised learning) 방법인 Restricted Boltzmann Machine(RBM)에 의해 어느 정도 해결되었다.
첫 번째 장에서는 인공지능, 기계학습 및 인공신경망의 기본 개념을 소개한다. 두번째 장에서는 인공신경망의 기본원리에 대해서 살펴본다. 세 번째 장에서는 Back-propagation 알고리즘 방법과 문제점 및 Restricted Boltzmann Machine 알고리즘을 이용하여 선행 학습으로 weight를 초기화 하는 방법에 대해서 논하고자 한다.