베이지안 추론과 정규화를 이용한 회귀 머신러닝 = Regression Machine Learning using Bayesian Inference and Regularization

다국어 초록 (Multilingual Abstract)

Recently, the neural network models based on deep learning are replacing the existing machine learning algorithm. In particular, they show excellent performance in classification tasks for image and speech recognition problems such as computer vision and natural language processing. However, because of the large size of hidden layer, the deep neural network model has a difficulty that requires more computation time than the conventional neural networks. The same problem exists for regression problems that are not classification problems. Compared with such deep neural networks, the Bayesian neural network proposed in this study uses only one hidden layer and uses Bayesian inference and regularization to maintain the predictive power of the neural network model while reducing the computation time. That is, the weights of the neural network model are updated by using the prior and posterior distributions of parameters. By using the simulation data, we compare the accuracy and computation time of Bayesian neural networks and deep neural networks to show the validity of the proposed method

국문 초록 (Abstract)

최근 심층학습에 기반 한 신경망 모형이 기존의 머신러닝 알고리즘을 대체하고 있다. 특히 컴퓨터비전, 자연어처리 등이미지와 음성 인식 문제를 위한 분류 작업에서 매우 우수한 성능을 보여주고 있다. 하지만 신경망 모형의 구조에서 은닉층을심층적으로 디자인함으로써 기존의 신경망에 비하여 더 많은 계산시간이 필요하게 되는 어려움이 있다. 분류문제가아닌 회귀문제에 있어서도 같은 문제가 있다. 이와 같은 심층 신경망에 비하여 본 연구에서 제시하는 베이지안 신경망은하나의 은닉층만을 사용하고 베이지안 추론 및 정규화를 이용하여 신경망 모형의 예측력을 유지하면서 동시에 계산시간을단축시키는 결과를 얻기 위하여 노력한다. 즉, 신경망 모형의 가중치를 모수의 사전 및 사후 분포를 이용하여 갱신한다.
모의실험 데이터를 이용하여 베이지안 신경망과 심층 신경망의 예측의 정확성과 계산시간을 비교하여 제안 방법의 타당성을보인다

참고문헌 (Reference)

1 박민규, "모노 카메라 영상과 딥 러닝을 이용한 차량 검출 및 거리 등 급 분류에 관한 연구" 한국지능시스템학회 29 (29): 90-96, 2019

2 김승환, "딥러닝의 변수 중요도를 이용한 인공지능 기술 분석" 한국지능시스템학회 29 (29): 70-75, 2019

3 심희린, "딥러닝을 이용한 연속 시간 감정 상태 추론 시스템 설계" 한국지능시스템학회 29 (29): 76-81, 2019

4 박기선, "딥러닝 모델 설계를 위한 모델 패턴 추출 및 시각화" 한국지능시스템학회 29 (29): 23-29, 2019

5 이상헌, "다차원 신경망 및 의사결정 신경망의 딥러닝 학습을 통한영상인식" 한국지능시스템학회 28 (28): 34-40, 2018

6 K. P. Murphy, "Machine Learning: A Probabilistic Perspective" MIT Press 2012

7 S. Theodoridis, "Machine Learning A Bayesian and Optimization Perspective" Elsevier 2015

8 H. M. Koduvely, "Learning Bayesian Models with R, Birmingham" Packt 2015

9 S. M. Ross, "Introduction to Probability and Statistics for Engineers and Scientists" Elsevier 2012

10 S. Skansi, "Introduction to Deep Learning: From Logical Calculus to Artificial Intelligence" Springer Nature 2018

11 J. K. Kruschke, "Doing Bayesian Data Analysis" Elsevier 2015

12 G. Hinton, "Deep neural networks for acoustic modeling in speech recognition" 29 : 82-97, 2012

13 I. Goodfellow, "Deep Learning" MIT Press 2016

14 R. M. Neal, "Bayesian learning for neural networks (Vol. 118)" Springer Science & Business Media 1996

15 A. Gelman, "Bayesian Data Analysis" Chapman & Hall/CRC Press 2013