뉴로모픽 Spiking Neural Networks를 위한 Current-mode STDP CMOS 회로 구현 = Implementation of Current-mode STDP CMOS Circuit for Neuromorphic Spiking Neural Networks

국문 초록 (Abstract)

Spiking Neural Network (SNN)는 이벤트 기반의 계산을 위해 스파이크 신호로 실행되는 저전력 소비를 목표로 하는 3세대 신경망이다. 하드웨어 기반의 SNN은 아날로그 시냅스 장치를 사용하여 병렬 계산 및 동작이 가능하다. 저항성 시냅스 장치는 아날로그 시냅스 특성을 구현할 수 있기 때문에 활용된다. Emerging non-volatile memory (eNVM) 장치는 저항성 시냅스 장치로 사용되었지만 선형성과 관련된 문제가 있다. 이러한 결과로 인해 장치의 선형성을 높이기 위해 주변 회로가 필요하게 되었다. 디지털 CMOS SNN 시스템은 이러한 문제를 해결하기 위해 제안되었다. 그러나 디지털 기반의 CMOS SNN 시스템은 low multi-level state에 대한 문제가 있으며 multi-level state를 높이기 위해서는 주변에 디지털 회로가 필요하므로 전체적인 회로의 크기가 커진다.
따라서, 새로운 current-mode SNN 시스템은 디지털 CMOS SNN 시스템의 문제를 해결하기 위해 도입되었다. 본 논문에서는 전류 메모리 회로를 시냅스 장치로 사용하면서 current-mode SNN 시스템의 핵심 소자인 spike-timing-dependent plasticity (STDP) 회로를 제안하였다. SNN의 코어 셀은 두 개의 뉴런 (pre 및 post), 시냅스 및 STDP 장치로 구성된다. 하나의 코어 셀을 cross-array 형식으로 배열하면 패턴을 인식할 수 있다. STDP 장치는 pre-뉴런과 post-뉴런이 발산하는 스파이크 신호의 순서와 시간 차이에 따라 시냅스가 저장하는 가중치를 계산하고 조정한다. 그 결과 시냅스의 연결은 강화되거나 약화된다. 어떠한 반복형태에 대한 시스템의 훈련 후 특정 입력 패턴을 인식하는 특정한 post-뉴런이 생긴다. 결과적으로 각 입력 패턴에는 각 패턴을 나타내는 특정한 post-뉴런이 있다.
본 연구에 사용 된 시냅스 장치는 주로 전류 메모리 회로다. 전류 메모리 회로는 아날로그 신호를 처리할 수 있기 때문에 SNN에 사용되는 저항성 시냅스 장치로 사용할 수 있다. 결과적으로 이 장치는 high multi-level state로 동작하므로 주변 회로를 필요로 하지 않아 전체적인 칩 크기를 줄일 수 있다. 또한 다른 eNVM 장치에 비해 우수한 선형성을 가지고 있어 시냅스 장치로 적합하다.
제안한 STDP 회로는 매그나칩/SK하이닉스 180nm 공정이 사용되었으며, STDP 회로의 성능을 분석하기 위해 Cadence MMSIM을 사용하여 Post-layout simulation을 수행하였다. 이 회로는 3.3V 전원에서 동작하며 130.7μm × 125.2μm의 면적을 가진다. Matlab 및 simulink를 사용하여 3×3 패턴 인식을 위한 current-mode SNN의 코어 셀과 cross-array 형식의 배열을 구현하였다. 제안 된 STDP 회로를 포함하는 SNN의 cross-array 구조는 81%의 인식률을 달성했으며 multiple hidden layer 및 추가 연구를 통해 더 높은 인식률을 달성 할 것으로 예측된다.

다국어 초록 (Multilingual Abstract)

Spiking Neural Networks (SNN) are considered as the third generation of neural networks that implement spike signals for an event-based computation which aims for lower power consumption. Hardware based SNN are viable for parallel computation and operation by using analog synaptic devices. Resistive synaptic devices are utilized as they can implement analog synaptic properties. Emerging nonvolatile memory (eNVM) devices have been used as resistive synaptic devices but there are issues regarding linearity. This results in other peripheral circuits being required to increase the linearity of these devices. In order to resolve these issues, a digital CMOS SNN system was proposed. However, there is a problem with low multi-level state in a digital based CMOS SNN system and more additional digital circuits are needed to increase the multi-level state and thus, the overall size increases. Therefore, a new current-mode SNN system has been introduced to resolve the issues with digital CMOS SNN system. In this paper, a spike-timing-dependent plasticity (STDP) circuit, a key device in the current-mode SNN system has been suggested by using a current memory circuit as a synaptic device. The core cell of SNN is made up of two neurons (pre and post), a synapse and a STDP device. By arranging this one core cell into a cross-array format, pattern recognition can be achieved. The STDP device calculates and adjusts the weight potential that the synapse holds depending on the sequence and time difference of the spike signals given off by the pre-neuron and post-neuron. As a result, the synaptic connection is strengthened or weakened. After training the system for some epoch, there will be a specific post-neuron that will recognize a specific input pattern. As a result, each input pattern will have a specific post-neuron to indicate each pattern. The synaptic device used for this research is mainly the current memory circuit. The current memory circuit is a viable as a resistive synaptic device used for SNN because it can perform analog signal processing. As a result, this device does not need any peripheral circuits because it performs with high multi-level state, which can reduce the overall chip size. The device also shows good linearity characteristics compared to other eNVM devices and is suitable as a synaptic device. The proposed STDP circuit was implemented by Magnachip/SK Hynix 180nm process and post-layout simulation was performed using Cadence MMSIM to analyze the performance of the STDP circuit. It operated at 3.3V power supply, occupied an area of 130.7μm × 125.2μm. Matlab and simulink was used to create the current-mode SNN core cell and arranged in a cross array orientation for a 3×3 pattern recognition. The SNN cross array involving the proposed STDP circuit achieved a recognition rate of 81% and is expected to achieve higher recognition rate with multiple hidden layers and further research.

목차 (Table of Contents)

• I. Introduction 1
• II. Neural Networks 4
• 1. Conventional neural network 4
• 2. Spiking neural network 7
• 3. Spike-timing dependent plasticity 10
• 4. Synaptic device 13
• 5. Current memory circuit 18
• III. Current-mode SNN 29
• 1. Current-mode SNN system and function 29
• 2. Current-mode SNN system pattern recognition 32
• IV. Implementation of STDP Circuit 36
• 1. Logic and circuit diagram 36
• 2. Post-layout simulation 39
• V. Conclusion 45