딥러닝에서 활성화 함수에 따른 모델 성능 비교 = (A) comparative study on deep neural network active function

국문 초록 (Abstract)

신경망에서 정확도를 높이기 위하여 은닉층의 개수가 증가하면서 기울기 전파가 깊은 층으로 갈수록 소멸되는 문제가 발생한다. 더 나은 기울기 전파를 위하여 최적화 방법이나 활성함수가 발전되면서 문제는 개선되었고 현재에도 많은 연구가 진행되고 있다. 본 논문에서는 기울기 전파를 위하여 개선하고 있는 알고리즘 중 활성함수에 대하여 소개하고 비교연구를 하고자 한다.
신경망에서 활성함수는 시그모이드(Sigmoid) 함수를 이용하여 모형을 구축하였고 시그모이드 함수의 성능을 향상시키기 위하여 하이퍼볼릭 탄젠트(tanh, hyperbolic tangent)가 사용되어 왔다. 최근에는 ReLU(Rectified Linear Unit) 함수가 제안되어 많이 사용되고 있으며 이를 개선한 ELU(Exponential Linear Unit) 함수, SELU(Scaled Exponential Linear Unit) 함수가 제안되어 ReLU(Rectified Linear Unit) 계열 함수들이 시그모이드 계열 함수들보다 많이 사용되고 있다.
본 논문에서는 여러 활성함수 중 시그모이드, 하이퍼볼릭 탄젠트, ReLU, ELU, SELU, 소프트사인(Softsign), 소프트플러스(Softplus) 활성함수의 특성에 대하여 소개하며 은닉층의 개수와 epoch 수에 따라 각 활성함수들의 정확도가 어떤 이유로 차이가 있는지 연구하고 활성함수에 따른 정확도를 비교하여 경우에 따른 활성함수의 정확도가 얼마나 차이가 나는지에 대한 단서를 제공함으로써 연구자가 활성함수를 사용할 때에 과거 항상 사용하던 시그모이드 함수 또는 하이퍼볼릭 탄젠트 함수만 사용을 하거나 가장 많이 쓰이는 ReLU 함수만을 고집하여 사용하는 것이 아닌 상황에 따라 맞춰서 어떤 활성함수를 효과적으로 사용 할 수 있는지에 대한 정보를 제공하고자 한다.