Consecutive Differentiable Neural Computer for Understanding Context Information in Dialogue : 대화의 문맥 정보를 이해하기 위한 다층의 Differentiable Neural Computer

다국어 초록 (Multilingual Abstract)

With the tremendous success of deep learning techniques, a lot of interesting researches on dialogue systems called chat-bot with deep neural networks have been attempted. In general, sequence-to-sequence models with recurrent neural network (RNN) are conventional dialogue systems which process one or two sentences at a time and can reply to user’s utterance without considering a conversation history. To overcome this problem, we propose consecutive Seq-DNC-seq structures for context understanding in dialogue. For this, we take differentiable neural computer (DNC) which has external memory to store the contextual information related to a conversation. We show that this memory can handle previous conversation history, so that the chat-bot can reply after understanding context information. We implemented consecutive Seq-DNC-seq structures such that the first layer processes first turn and second layer processes second turn and so on. Since each of the layer has the previous conversation’s information, our chat-bot system can generate various sentences even if the input is same. The proposed model can be a start point for more intelligent chat-bot system like human

국문 초록 (Abstract)

최근 많은 딥러닝 연구자들이 심층 신경망을 이용한 chat-bot 개발에 집중하고 있다. 일반적으로Recurrent Neural network(RNN) 기반의 Sequence-to-sequence(Seq-to-seq) 라는 모델을 이용하여 chat-bot 개발 연구가 진행되고 있으나 이 Seq-to-seq 모델은 사용자의 현재 발화에 대해 단순한 대답을 하는 수준이며, 이전까지의 대화내용에 대한 정보를 저장하지 못하는 문제가 존재한다. 이를 해결하기 위해 우리는 외부 메모리를 가지고 있는Differentiable Neural Computer(DNC)라는 기술을 도입하여 이전까지의 대화 내용까지 다룰 수 있는 새로운 chat-bot 모델을 제안한다. 다층의 DNC를 이용, 각 층의 메모리를 연결하여 첫 번째 DNC는 첫 번째 대화를, 두 번째 DNC는 두 번째 대화를 진행하는 방식으로, 모든 단계의 DNC는 그전까지의 대화 정보를 가진다. 따라서 우리의 Chat-bot 모델은 현재 입력이 같더라도 그전까지의 대화 내용에 따라 다양한 출력을 생성해냄으로써 대화의 문맥을 이해할 수 있다. 대화의 문맥을 이해한다는 점에서 제안하는 모델은 보다 사람과 비슷한 인공지능 대화 시스템 개발에 시작점이 될 것이다.

목차 (Table of Contents)

• I. Introduction 1
• II. Literature review on Natural Language Processing. 3
• III. Background 6
• 3.1 Differentiable Neural Computer. 6
• 3.1.1 Interface vector 8
• 3.1.2 Memory write. 9
• 3.1.3 Memory read. 11
• 3.2 Recurrent Neural Network. 12
• 3.3 Word Embeddings. 16
• IV. Proposed method : Consecutive Differentiable Neural Computer . 18
• 4.1 Differentiable Neural Computer with LSTM Decoder. 18
• 4.2 Consecutive Differentiable Neural Computer for understanding context in Dialogue 21
• V. Experiments and results 24
• 5.1 Dataset. 24
• 5.1.1 Maluuba frames dataset . 24
• 5.1.2 Travel related dataset 26
• 5.2 Implementation/Training details. . 27
• 5.3 Results and discussion 28
• VI. Conclusion 35
• VII. Future work 36
• References 37
• Abstract 40
• Abstract (In Korean) 42