흥분성 및 억제성 뉴런을 이용한 비지도 학습기반 스파이킹 뉴럴 네트워크 설계 = Unsupervised Spiking Nerual Network using dynamic interaction between excitatory and inhibitory neurons

국문 초록 (Abstract)

스파이킹 뉴럴 네트워크(Spiking Neural Network, 이하 SNN)란 3세대 딥 러닝 네트워
크로 불리우는 모델로서 생물학적 뉴런들이 서로 스파이크라 불리 우는 전기적 신호를
주고받으며 학습이 일어나는 구조를 바탕으로 제안 된 모델이다. 따라서 SNN은 이진
화 된 스파이크 신호를 이용하며, 기존 딥 러닝 모델에서 빈번이 이용되는 오차 역전파
등의 비 생물학적 모델을 지양함으로 뉴로모픽 하드웨어에 특화된 구조로 낮은 연산량
대비 높은 성능을 보여주는 차세대 모델이다. 이와 같은 빠른 속도를 바탕으로 뉴로모
픽 하드웨어가 적용될 수 있는 임베디드 시스템 전반적인 산업 군에 이용될 수 있다는
장점이 있다. 뿐만 아니라 실제 인간의 뇌의 구조를 긴밀히 모방하여 만들어진 구조로
서 뇌인지 과학 측면에서도 의의를 가진다. 하지만 SNN은 여전히 기존 딥 러닝 대비
성능 면에서 뒤떨어진다는 단점과 학습을 위해 많은 데이터가 필요하다는 문제 또한
가지고 있다. 본 논문에서는 앞서 언급한 단점을 극복하기 위해 생물학적으로 타당한
모델인 억제량 조절, 시냅틱 와이어링, 베이지안 추론 방법들을 제안하고 적용하여 작
은 데이터량 대비 높은 성능을 보이는 딥 러닝 모델을 구현하였고 딥 러닝 모델의 성
능 지표로 빈번이 이용되는 MNIST 손글씨 데이터 셋을 이용하여 성능 평가를 진행하
였다. 먼저 학습 단계에서 이용한 억제량 조절 모델에서는 억제성 뉴런과 흥분성 뉴런
들 간의 상관관계를 이용하여 입력으로 들어오는 데이터에 대하여 반복적으로 함께 반응하는 뉴런들에 대한 억제량을 조절해 줌으로서 해당 뉴런들의 발화(spike firing)가
빈번하게 일어날 수 있게 도와주었고, 나아가서 반응하는 뉴런들의 발화가 지속적으로
증가하여 임계치를 넘을 경우 해당 뉴런들의 억제량을 양수로 바꾸어주어 입력에 대해
항상 반응할 수 있는 시냅틱 와이어링 모델을 제안하였다. 결국 시냅틱 와이어링으로
인해 만들어진 반복적으로 함께 발화하는 뉴런들 구조는 헵의 가정(Hebb’s postulate)
에 따르면 해당 뉴런들의 시냅스 연결을 의미한다. 추가적으로 발화된 뉴런들의 스파이
크들의 개수, MNIST 입력 데이터의 클래스, 모델의 학습 과정에서 도출된 각 클래스
별 학습된 뉴런들의 개수를 이용해 베이지안 추론을 적용하였다. 베이지안 추론모델에
서 PDF로는 생물학적 뉴런들의 스파이크 발생 패턴에 맞추어 포아송 PDF를 이용하였
다. 본 논문의 결과로는 전체 60,000개의 MNIST 학습 데이터 중 2,000개 만을 이용하
여 학습을 시키고 전체 10,000개의 검증데이터를 이용하여 검증을 진행하였을 때 최고
94.10%의 정확도 (3,000개의 뉴런을 이용)를 보여 생물학적 모델을 이용한 최고성능 모
델인 Diehl et al. 모델과 유사한 성능을 0.002%의 데이터를 이용하여 보여줌을 확인하
였다.

다국어 초록 (Multilingual Abstract)

Spiking neural network (SNN) is known as the 3rd generation of deep learning
model, motivated from an idea that neurons exchange electrical pulse for learning
process. Therefore, SNNs use binary spike signals which do not follow th
conventional learning method of deep neural networks such as back propagation.
However, SNNs strictly obey biologically plausible models which have strength in
low complexity and computational power and are easily applicable to neuromorphic
hardware and its related fields. Moreover, the biological plausibility counts for the
cognitive science and the study of brain. Nonetheless, a few drawbacks make it
difficult to be powerful as the conventional deep learning models, that is, the
performance of SNNs are not as good as the deep learning models, and great
amount of data is required to train the SNNs. This paper addresses a new
architecture to overcoame the forementioned drawbacks using new biologically plausible models such that inhibition weight update, synaptic wiring, and Bayesian
inference.
To evaluate the performance, MNIST, hand written digit dataset was applied. First,
in the training phase, inhibition weight update model is designed between inhibitory
and excitatory neurons. When the input data is fed into the SNN, the neurons that
continually fires together are encouraged by adjusting the inhibition weights. Once
those neurons generate continual spikes until it reaches to a threshold, synaptic
wiring initiates with changing the negative inhibition weight to positive one.
Consequently, the neurons with synaptic wiring model implies that those neurons
are synaptically connected together by Hebb’s postulate. Additionally, Bayesian
inference is applied to the inference phase with the following factors: spike number
of neurons, class of input data, and number of neurons which assigned its class in
the training phase. In order to calculate the Bayesian inference, Poisson distribution
is chosen after observing the spike firing patterns of the biological neurons. For the
result, proposed model used only 2,000 among total 60,000 dataset and showed
95.25% accuracy (6,000 neurons) for 10,000 testing dataset. This result is lower, but
similar to Diehl et al., the best model as biologically plausible SNNs, only using
0.002% of the data.

목차 (Table of Contents)

• 제 1 장 서론 ․․․․․․․․․․․․․․․․․․․․․․ 1
• 제 2 장 관련 연구 ․․․․․․․․․․․․․․․․․․․․ 4
• 제 3 장 알고리즘
• 설계 ․․․․․․․․․․․․․․․․․․․․ 7
• 3.1 입력 뉴런 층 ․․․․․․․․․․․․․․․․․․․․ 9
• 3.2 첫 번째 뉴런 층 ․․․․․․․․․․․․․․․․․․․ 10
• 3.3 두 번째 뉴런 층 ․․․․․․․․․․․․․․․․․․․ 12
• 3.3.1 억제량 변화 모델 ․․․․․․․․․․․․․․․․․ 13
• 3.3.2 시냅틱 와이어링 ․․․․․․․․․․․․․․․․․․ 15
• 3.3.3 추론 ․․․․․․․․․․․․․․․․․․․․․․․ 18
• 제 4 장 실험 결과 ․․․․․․․․․․․․․․․․․․․․ 20
• 제 5 장 고찰 ․․․․․․․․․․․․․․․․․․․․․․․ 24
• 제 6 장 결론 ․․․․․․․․․․․․․․․․․․․․․․․ 25
• 참고 문헌 ․․․․․․․․․․․․․․․․․․․․․․․․ 26