인공 신경망의 Catastrophic forgetting 현상 극복을 위한 순차적 반복 학습에 대한 연구 = A study on sequential iterative learning for overcoming catastrophic forgetting phenomenon of artificial neural network

국문 초록 (Abstract)

현재 인공신경망은 단일 작업에 대해선 뛰어난 성능을 보이나, 다른 종류의 작업을 학습하면이전 학습 내용을 잊어버리는 단점이 있다. 이를 catastrophic forgetting이라고 한다. 인공신경망의활용도를 높이긴 위해선 이 현상을 극복해야 한다. catastrophic forgetting을 극복하기 위한 여러노력이 있다. 하지만 많은 노력이 있었음에도 완벽하게 catastrophic forgetting을 극복하지는못하였다. 본 논문에서는 여러 노력 중 elastic weight consolidation(EWC)에 사용되는 핵심 개념을이용하여, 순차적 반복학습을 제시한다. 인공신경망 학습에 많이 쓰이는 MNIST를 확장한 EMNIST데이터 셋을 이용하여 catastrophic forgetting 현상을 재현하고 이를 순차적 반복학습을 통해극복하는 실험을 진행하였으며, 그 결과 모든 작업에 대해서 학습이 가능하였다.

참고문헌 (Reference)

1 손성호, "베이지안 신경망을 이용한 순차적 다중작업 학습 최적화" 한국정보과학회 24 (24): 251-255, 2018

2 Babyak MA, "What you see may not be what you get: a brief, nontechnical introduction to overfitting in regression-type models" 66 (66): 411-421, 2004

3 Shane Legg, "Universal intelligence : A definition of machine intelligence" 17 (17): 391-444, 2007

4 Kirkpatrick, J, "Overcoming catastrophic forgetting in neural networks" 2017

5 Ronald Kemker, "Measuring Catastrophic Forgetting in Neural Networks"

6 Cohen, G., "EMNIST: an extension of MNIST to handwritten letters"

7 Michael McCloskey, "Catastrophic interference in connectionist networks: The sequential learning problem" 24 (24): 92-, 1989

8 Y. LeCun, "Bengio Convolutional Networks for Images Speech, and Time-Series, brain theory neural networks, vol. 3361"