Knowledge-Grounded Colloquial Text Generation = 지식 기반 구어체 텍스트 생성

다국어 초록 (Multilingual Abstract)

Natural Language Generation (NLG) or text generation is a field of research focusing on building systems that automatically produce coherent and useful text for humans. In order to make NLG system generate useful texts, the system must deliver informative knowledge and work in a noisy text environment; knowledge-grounded dialogue can be one of the representative examples. Recently proposed pipeline for open-domain QA [1] can be directly used for knowledge-grounded dialogue, but the colloquial nature of dialogue poses new challenges towards human-level performance.

In this thesis, we select four challenges for knowledge-grounded colloquial text generation, and propose novel approaches to improve the generation performance under each challenge. First, we investigate how to collect large-scale colloquial dataset from online discussion forum. Our new dataset has some abstractive characteristics compared to existing datasets based on formal texts. Second, we introduce a new knowledge-grounded dialogue model to improve knowledge selection in knowledge-based dialogue. Unlike prior work, which mostly focused on how to effectively combine given knowledge and dialogue context, our work deals with the diversity in knowledge selection of conversation. Third, we study misinformation and disinformation problems from knowledgeenhanced dialogue agents. We curate colloquial claims by transferring existing fact-checking dataset to colloquialism, and discuss how existing fact checking systems behave on claims in dialogues. Lastly, we proposed data-level knowledge distillation pipeline to build an efficient and precise knowledge-grounded dialogue agent by taking the best of both worlds of large generative model and efficient retrieval model.

국문 초록 (Abstract)

자연어 생성 (Natural Language Generation) 또는 텍스트 생성은 내용이 일관성 있고, 사람에게 유용한 문장들을 생성하는게 목표인 연구 분야이다. 이런 자연어 생성 시스템들이 유용한 문장들을 만들어내게 하기 위해서는, 이 시스템은 (i) 유익 한 정보들을 포함한 문장들을 만들어내야 하며, (ii) 구어체와 같은 비정형 텍스트 상에서도 작동하여야 한다. 이런 요구 사항들을 만족하는 대표적인 예시로는 지식 기반 대화 (knowledge-grounded dialogue)가 있다. 최근에 활발히 연구된 질의 응 답 시스템들 [1]을 바로 지식 기반 대화 시스템을 적용해 볼 수 있으나, 대화의 여러 특성들 때문에 질의 응답 시스템과 달리 인간 수준의 성능을 달성하는데 여러가지 어려움이 있다.본 학위 논문에서는, 구어체 환경에서 지식 기반 텍스트를 생성하기 위한 네 가지 어려움을 이겨내기 위한 방법들을 하나씩 소개한다. 첫번째로, 온라인 게시 판으로부터 수집한 대규모 구어체 데이터셋을 소개한다. 이 데이터는 대화체 및 구어체로 이루어져 있기 때문에 형식이 잘 갖춰진 텍스트로 이루어진 기존의 데 이터셋과 완전히 다른 특성들을 지니고 있다. 두번째로, 지식 기반 대화 시스템의 지식 선택 과정의 정확도를 크게 올린 모델을 제안한다. 기존 연구들은 주로 이 미 선택된 문서와 대화 문맥으로 좋은 응답을 얼마나 잘 만들어낼 수 있는지에 집중해왔었는데, 기존 연구들과 달리 본 연구에서는 대화에 사용할 지식 선택의 모호성 및 다양성 문제를 다뤘다. 세번째로, 지식 기반 대화 시스템이 잘못된 정 보를 전달하는 문제를 다룬다. 이를 위해 기존의 팩트체크 데이터셋들을 대화체로 변환시킨 다음, 기존의 팩트 체크 시스템들이 이런 대화체의 문장들에서 얼마나 잘 동작하는지를 살펴보았다. 마지막으로, 빠르면서 정확한 지식 기반 대화 시스템을 만들기 위해 데이터 레벨의 지식 증류 (knowledge distillation) 방법을 제안한다. 생성 기반 모델을 정확한 대신 느리고, 검색 기반 모델은 빠른 대신 정확도가 떨어진다는 문제가 있는데, 이 둘의 장점을 각각 취합하여 빠르면서 정확한 모델을 만드는 방법을 제안한다.

목차 (Table of Contents)

• Abstract i
• Chapter 1 Introduction 1
• 1.1 Contributions 5
• 1.2 Thesis Organization 7
• Chapter 2 Background 9
• 2.1 Knowledge-grounded Dialogue 9
• 2.1.1 Wizard of Wikipedia 10
• 2.2 Fact-checking System 11
• 2.2.1 FEVER 12
• Chapter 3 Summarization Dataset in Colloquial Style 13
• 3.1 Introduction 13
• 3.2 Related Work 16
• 3.3 Reddit TIFU Dataset 18
• 3.3.1 Preprocessing 19
• 3.3.2 Abstractive Properties of Reddit TIFU 20
• 3.4 Multi-level Memory Networks (MMN) 22
• 3.4.1 Text Embedding 23
• 3.4.2 Construction of Multi-level Memory 23
• 3.4.3 State-Based Sequence Generation 27
• 3.4.4 Training 28
• 3.5 Experiments 29
• 3.5.1 Experimental Setting 29
• 3.5.2 Implementation Details 30
• 3.5.3 Quantitative Results 31
• 3.5.4 Qualitative Results 33
• 3.6 Conclusion 34
• Chapter 4 Sequential Latent Knowledge Selection for Knowledge-Grounded Dialogue 36
• 4.1 Introduction 36
• 4.2 Motivation of Sequential Latent Models 38
• 4.3 Approach 39
• 4.3.1 Training 43
• 4.3.2 Derivation of Conditional Probability 44
• 4.4 Experiments 45
• 4.4.1 Datasets 45
• 4.4.2 Experimental Setting 46
• 4.4.3 Quantitative Results 47
• 4.4.4 Qualitative Results 51
• 4.5 Related Work 52
• 4.6 Conclusion 54
• Chapter 5 Fact Verification for Colloquial Claims 55
• 5.1 Introduction 55
• 5.2 Transferring to Colloquial Claims 58
• 5.2.1 Finetuning a Dialogue Model 59
• 5.2.2 Oversampling and Filtering 59
• 5.2.3 Manual Quality Check on Test set 62
• 5.3 Properties of Colloquial Claims 63
• 5.3.1 Quantitative Comparison 63
• 5.3.2 Qualitative Comparisons 64
• 5.4 Experiments and Analysis 67
• 5.4.1 Experimental Setting 67
• 5.4.2 Fact-Checking Baselines 67
• 5.4.3 Implementation Details 68
• 5.4.4 Experimental Results 70
• 5.4.5 Challenges in Colloquial Claims 71
• 5.5 Related Work 73
• 5.6 Conclusion 74
• Chapter 6 Data-Level Knowledge Distillation for Knowledge-Grounded Dialogue 76
• 6.1 Introduction 76
• 6.2 Related Work 77
• 6.3 Lack of Knowledge Coverage in Retrieval-based Dialogue Models 78
• 6.4 Populating Response Candidates 79
• 6.4.1 Pairing Knowledge Sentences and Utterances 79
• 6.4.2 Response Generation and Filtering 80
• 6.5 Experiments and Analysis 82
• 6.5.1 Experimental Setting 82
• 6.5.2 Implementation Details 83
• 6.5.3 Results 84
• 6.6 Conclusion 86
• Chapter 7 Conclusion 89
• 7.1 Summary 89
• 7.2 Future Work 90
• Acknowledgements 113
• 요약 115

참고문헌 (Reference)

1 A. Ritter , C. Cherry , and W. B. Dolan ,, "Unsupervised Modeling of Twitter Conversations", pp . 172 ? 180 ,, 2010

2 D. K. Dalal , N. T. Carter , and C. J . Lake ,, "Middle Response Scale Options are Inappropriate for Ideal Point Scales", vol . 29 , no . 3 , pp . 463 ? 478, 2014

3 M. Wolf , K. Miller , and F. Grodzinsky, "Why We should have Seen that Coming : Comments on Microsoft ’ s Tay ” Experiment , ” and Wider Implications", vol . 47 , pp . 54 ? 64, 2017