Dialogue Systems Specialized in Social Influence: Systems, Methods, and Ethics

Shi, Weiyan Columbia University ProQuest Dissertations & These 2023 해외박사(DDOD)

소속기관이 구독 중이 아닌 경우 오후 4시부터 익일 오전 9시까지 원문보기가 가능합니다.

This thesis concerns the task of how to develop dialogue systems specialized in social influence and problems around deploying such systems. Dialogue systems have become widely adopted in our daily life. Most dialogue systems are primarily focused on information-seeking tasks or social companionship. However, they cannot apply strategies in complex and critical social influence tasks, such as healthy habit promotion, emotional support, etc. In this work, we formally define social influence dialogue systems to be systems that influence users' behaviors, feelings, thoughts, or opinions through natural conversations. We also present methods to make such systems intelligible, privacy-preserving, and thus deployable in real life. Finally, we acknowledge potential ethical issues around social influence systems and propose solutions to mitigate them in Chapter 6.Social influence dialogues span various domains, such as persuasion, negotiation, and recommendation. We first propose a donation persuasion task, PERSUASIONFORGOOD, and ground our study on this persuasion task for social good. We then build a persuasive dialogue system, by refining the dialogue model for intelligibility and imitating human experts for persuasiveness, and a negotiation agent that can play the game of Diplomacy by decoupling the planning engine and the dialogue generation module to improve controllability of social influence systems. To deploy such a system in the wild, our work examines how humans perceive the AI agent's identity, and how their perceptions impact the social influence outcome. Moreover, dialogue models are trained on conversations, where people could share personal information. This creates privacy concerns for deployment as the models may memorize private information. To protect user privacy in the training data, our work develops privacy-preserving learning algorithms to ensure deployed models are safe under privacy attacks. Finally, deployed dialogue agents have the potential to integrate human feedback to continuously improve themselves. So we propose JUICER, a framework to make use of both binary and free-form textual human feedback to augment the training data and keep improving dialogue model performance after deployment. Building social influence dialogue systems enables us to research future expert-level AI systems that are accessible via natural languages, accountable with domain knowledge, and privacy-preserving with privacy guarantees.

한국어 교육용 대화 시스템 개발을 위한 화행 판별 자질 연구

한지윤 연세대학교 대학원 2018 국내석사

The aim of this paper is to classify the dialogue act of user response utterances for the development of a dialogue system for Korean language education and to select what features are appropriate for efficiently discriminating such utterances. This paper proposes a dialogue tag set that classifies the learner's utterance intent to develop a chat bot dialog system designed to enable Korean learners to practice Korean conversation. In order to classify the utterances automatically according to these tag set, I examine what features are suitable for the conversation system made for Korean education among the discriminant features used in the previous research. For this purpose, a corpus for Korean language education was collected to annotate the discriminant features and dialogue act. Based on the annotated corpus, we selected the dialogue act tags that can be used in the dialogue system for Korean language education. Rather than the traditional linguistic works, the discriminant features were chosen for practical use in the dialogue system for practicing Korean conversation. In case of the discriminant features, the features that can be commonly used in both rules base – d automatic classification and statistics-based automatic classification are selected and analyzed. The first chapter presents the purpose and background of this study. After examining the discussions related to the speech, second chapter the scholarly works on the automatic classification method. Furthermore, this chapter analyze the corpus used in the previous research after summarizing the discriminant features used in the study. The third chapter provides the design and collection of dialog corpus to be used in the dialogue system for Korean language education. The fourth chapter analyses the collected response speech data. The conclusion part gives the results of this study and future issues. 본고의 연구 주제는 한국어 교육 목적의 대화 시스템 개발을 위하여 사용자 응답 발화의 화행을 분류하고, 이러한 화행을 효율적으로 판별하는 데 적합한 자질이 무엇인지를 선별하는 것이다. 본고는 한국어 학습자들이 한국어 회화를 연습할 수 있도록 고안된 챗봇 대화 시스템에 입력된 학습자의 발화 의도를 파악하고 분류하는 화행 표지 체계를 제안한다. 또한, 이러한 화행 표지에 맞춰 발화를 자동으로 분류하기 위하여 기존에 화행 자동 분류 연구에서 이용된 화행 판별 자질 중 한국어 교육 목적 대화 시스템에 적합한 자질이 무엇인지 검토한다. 이를 위하여 한국어 교육용 대화 말뭉치를 구축하여 화행과 화행 판별 자질을 주석하였다. 주석된 말뭉치를 바탕으로 한국어 교육 목적의 대화 시스템에서 활용 가능한 화행 표지를 선정하였고, 화행 판별 자질과 화행 간의 연관도를 검토하여 각 화행별로 유의미한 화행 판별 자질을 추출하였다. 화행 표지는 전통적인 언어학에서의 화행과는 별개로 한국어 회화를 연습하기 위한 대화 시스템에서 실용적으로 활용할 수 있는 표지를 선택하였다. 화행 판별 자질의 경우 규칙 기반 자동 분류 모델과 통계 기반 자동 분류 모두에서 공통으로 활용할 수 있는 자질을 선정하여 그 특성을 분석하였다. 서론에서는 본 연구의 목적과 배경, 의의에 대해서 논한다. 관련 연구에서는 화행과 관련된 논의를 살펴본 후, 화행 자동 분류 방식에 대한 연구의 흐름에 대해서 탐구하면서 이러한 연구에서 활용된 화행 판별자질에 대하여 정리한 뒤 기존의 연구에서 활용된 말뭉치에 대하여 분석한다. 3장에서는 한국어 교육 목적의 대화 시스템에서 사용될 대화 말뭉치의 설계와 구축에 대하여 논의하고 4장에서는 수집된 응답 발화 데이터를 분석하여 화행별로 유의미한 화행 판별 자질을 선별한다. 결론에서는 본 연구의 성과와 추후 과제에 대하여 논한다.

인간-로봇 상호작용을 위한 사회적 대화 전략 모델과 사용자 평가

이한나 고려대학교 대학원 2022 국내석사

과거의 로봇은 사람들을 대신해 특수한 임무를 맡는 산업용으로 개발되었다면, 최근에는 인공지능이 발전하면서 사람들과 상호작용할 수 있는 지능형 로봇이 개발되고 있다. 사람들과 자연스럽게 대화하기 위해 지능형 로봇을 포함한 지능형 에이전트는 대화 시스템(Dialogue System)을 사용해야 한다. 대화 시스템은 대화 이해부, 대화 관리부, 대화 생성부로 구성되며 대화의 문맥을 읽는 시스템을 개발하기 위해서는 대화 관리부의 역할이 필요하다. 대화 관리부에서는 이전의 발화 내용과 사용자의 발화 의도를 통해 적절한 시스템의 발화 의도를 결정하기 때문이다. 대화 시스템 분야에서는 대화 관리부를 통해서 사용자들의 참여를 지속시키고 신뢰, 유대감 형성을 위한 사회적 대화 전략(Social Conversational Strategy)을 연구한다. 사회적 대화 전략을 학습한 대화 관리부는 사람의 사회적인 의도에 따라 시스템도 사회적으로 발화하도록 돕는다. 그러나 사회적 대화 전략 연구는 영어 화자의 위주로 진행되고 있으며, 한국어 화자를 위한 연구는 부족한 상황이다. 지능형 에이전트를 사용하는 한국어 화자들의 지속적인 참여와 신뢰를 향상시키기 위해서는 사회적 대화 전략 연구가 필요하며 한국어 대화 특성을 반영하기 위한 연구가 시도되어야 한다. 본 논문은 한국어 상담 채팅 데이터에서 사회적인 의도를 9가지로 분류한 선행 연구를 토대로 사회적 대화 전략 모델을 제안한다. 사회적 대화 전략 모델은 HMM(Hidden Markov Model)과 CRF(Conditional Random Fields) 모델로 학습시켰고, 각 모델의 성능을 k-fold 교차 검증으로 확인하였다. 또한 학습된 사회적 대화 전략 모델이 실제로 유대적 관계를 형성할 수 있는지 평가하기 위해 사회적 대화 전략 모델, 인간 전략 모델, 랜덤 전략 모델, 과업 수행 모델에서의 서비스 만족도, 유대감, 유용성, 신뢰도를 비교하였다. In the past, robots were developed for industries that have special missions on behalf of people. Recently, intelligent robots that can interact with people have been developed as artificial intelligence technology advances. To interact naturally with people, intelligent agents need to use dialogue systems. The dialogue system is composed of Natural Language Understanding, Dialogue Manager, and Natural Language Generation. Among these, the Dialogue Manager is necessary for intelligent agents to grasp the context of the conversation. This is because the Dialogue Manager determines an appropriate utterance intention of the intelligent agent based on the previous utterance contents and the user's utterance intention. In the field of the Dialogue System, Social Conversational Strategy is studied to maintain user participation and build trust and bond through the Dialogue Manager. The Dialogue Manager, which has learned the Social Conversational Strategy, allows the Dialogue system to speak socially according to people's social intentions. However, previous research on Social Conversational Strategy has been focused on English speakers, and research for Korean speakers is lacking. To improve the sustainable use and trust of Korean speakers using intelligent agents, it is necessary to investigate Social Conversational Strategy research as reflected in the characteristics of Korean dialogue. This paper designs a Social Conversational Strategy Model based on the previous research that classifies social intentions into nine categories using Korean consultation chat data. The Social Conversational Strategy Model was trained using the HMM (Hidden Markov Model) and CRF (Conditional Random Fields) models, and the performance of each model was confirmed by k-fold cross-validation. In addition, in order to explore whether the learned Social Conversational Strategy Model affects the formation of social bonds between the intelligent agents and humans this paper figured out the effect of four models (Social Conversational Strategy Model, Human strategy model, Random strategy model, Task-Only model) on service evaluation, bonding, usefulness, and reliability were evaluated.

Knowledge-Grounded Colloquial Text Generation

김병창 서울대학교 대학원 2022 국내박사

Natural Language Generation (NLG) or text generation is a field of research focusing on building systems that automatically produce coherent and useful text for humans. In order to make NLG system generate useful texts, the system must deliver informative knowledge and work in a noisy text environment; knowledge-grounded dialogue can be one of the representative examples. Recently proposed pipeline for open-domain QA [1] can be directly used for knowledge-grounded dialogue, but the colloquial nature of dialogue poses new challenges towards human-level performance. In this thesis, we select four challenges for knowledge-grounded colloquial text generation, and propose novel approaches to improve the generation performance under each challenge. First, we investigate how to collect large-scale colloquial dataset from online discussion forum. Our new dataset has some abstractive characteristics compared to existing datasets based on formal texts. Second, we introduce a new knowledge-grounded dialogue model to improve knowledge selection in knowledge-based dialogue. Unlike prior work, which mostly focused on how to effectively combine given knowledge and dialogue context, our work deals with the diversity in knowledge selection of conversation. Third, we study misinformation and disinformation problems from knowledgeenhanced dialogue agents. We curate colloquial claims by transferring existing fact-checking dataset to colloquialism, and discuss how existing fact checking systems behave on claims in dialogues. Lastly, we proposed data-level knowledge distillation pipeline to build an efficient and precise knowledge-grounded dialogue agent by taking the best of both worlds of large generative model and efficient retrieval model. 자연어 생성 (Natural Language Generation) 또는 텍스트 생성은 내용이 일관성 있고, 사람에게 유용한 문장들을 생성하는게 목표인 연구 분야이다. 이런 자연어 생성 시스템들이 유용한 문장들을 만들어내게 하기 위해서는, 이 시스템은 (i) 유익 한 정보들을 포함한 문장들을 만들어내야 하며, (ii) 구어체와 같은 비정형 텍스트 상에서도 작동하여야 한다. 이런 요구 사항들을 만족하는 대표적인 예시로는 지식 기반 대화 (knowledge-grounded dialogue)가 있다. 최근에 활발히 연구된 질의 응 답 시스템들 [1]을 바로 지식 기반 대화 시스템을 적용해 볼 수 있으나, 대화의 여러 특성들 때문에 질의 응답 시스템과 달리 인간 수준의 성능을 달성하는데 여러가지 어려움이 있다.본 학위 논문에서는, 구어체 환경에서 지식 기반 텍스트를 생성하기 위한 네 가지 어려움을 이겨내기 위한 방법들을 하나씩 소개한다. 첫번째로, 온라인 게시 판으로부터 수집한 대규모 구어체 데이터셋을 소개한다. 이 데이터는 대화체 및 구어체로 이루어져 있기 때문에 형식이 잘 갖춰진 텍스트로 이루어진 기존의 데 이터셋과 완전히 다른 특성들을 지니고 있다. 두번째로, 지식 기반 대화 시스템의 지식 선택 과정의 정확도를 크게 올린 모델을 제안한다. 기존 연구들은 주로 이 미 선택된 문서와 대화 문맥으로 좋은 응답을 얼마나 잘 만들어낼 수 있는지에 집중해왔었는데, 기존 연구들과 달리 본 연구에서는 대화에 사용할 지식 선택의 모호성 및 다양성 문제를 다뤘다. 세번째로, 지식 기반 대화 시스템이 잘못된 정 보를 전달하는 문제를 다룬다. 이를 위해 기존의 팩트체크 데이터셋들을 대화체로 변환시킨 다음, 기존의 팩트 체크 시스템들이 이런 대화체의 문장들에서 얼마나 잘 동작하는지를 살펴보았다. 마지막으로, 빠르면서 정확한 지식 기반 대화 시스템을 만들기 위해 데이터 레벨의 지식 증류 (knowledge distillation) 방법을 제안한다. 생성 기반 모델을 정확한 대신 느리고, 검색 기반 모델은 빠른 대신 정확도가 떨어진다는 문제가 있는데, 이 둘의 장점을 각각 취합하여 빠르면서 정확한 모델을 만드는 방법을 제안한다.

Improving Reliability in Dialogue Systems

Gupta, Prakhar Carnegie Mellon University ProQuest Dissertations 2023 해외박사(DDOD)

소속기관이 구독 중이 아닌 경우 오후 4시부터 익일 오전 9시까지 원문보기가 가능합니다.

Dialogue systems have undergone significant advancements by leveraging large public corpora and advancements in neural architectures. Thanks to large pre-trained language models and recent developments in neural networks, dialogue generation systems are now capable of producing fluent and engaging responses across various dialogue contexts. However, black-box nature and heightened complexity of end-to-end neural dialogue models make them susceptible to unknown failure modes that often emerge only after deployment. To improve the reliability of neural dialogue models for practical applications, several challenges need to be addressed. Firstly, creating robust and bias-free evaluation and ranking models for dialogue is a not straight-forward as it requires careful consideration of various factors such as context, coherence, relevance, and user satisfaction. Secondly, controlling the outputs of dialogue response generation models to align with developers' intended goals presents a challenge. Current approaches often lack the necessary flexibility, intuitiveness, interpretability, and data-efficiency to enable fine-grained control over the generated responses. Lastly, enhancing safety measures is crucial to ensure that dialogue systems do not generate offensive or factually incorrect responses, thereby avoiding unintended harm to users.This thesis addresses the challenges in enhancing the reliability of neural dialogue models by introducing novel techniques for robust evaluation and providing finer, more intuitive control over the response generation process. The thesis comprises two main parts that tackle these challenges. The first part focuses on the development of techniques for creating robust dialogue response evaluation and ranking algorithms. These techniques utilize multiple references, automatically generated adversarial responses, and improved benchmarking methods for assessing factuality. By incorporating these approaches, the thesis aims to establish more reliable and comprehensive evaluation metrics for dialogue systems, ensuring a more accurate assessment of their performance. The second part of the thesis proposes techniques to empower developers with flexible, intuitive, and interpretable means of controlling the generation process. This includes the utilization of templates, examples, instructions, and guidelines to guide the system towards generating responses that align with specific tasks and developer intent. Additionally, this part introduces safety mechanisms designed to prevent misuse and harm to users. These safety mechanisms utilize natural language instructions and guidelines to ensure responsible and ethical behavior of the dialogue systems.

문서 기반 대화 생성을 위한 개선된 타겟 증강 및 자가 가이드된 응답 생성

이정두 전북대학교 일반대학원 2023 국내석사

Many works on dialogue systems have developed a knowledge-grounded dialogue system to incorporate knowledge into dialogue. MultiDoc2Dial is a realistic task that dialogue flow shifts relevant grounding content among different documents dynamically in a conversation. In this paper, we employ a pipeline system of retriever, re-ranker, generator. We propose an improved target-side data augmentation approach that narrows the gap in the decoding procedure between train and inference. Furthermore, we propose multi-task learning, which includes grounding span and dialog act prediction, as a single sequence generation for document-grounded dialogue generation. We evaluate our methods on the validation set of MultiDoc2Dial dataset, obtaining state-of-the-art results on both seen and unseen settings. 최근 지식을 대화에 통합하는 지식 기반 대화 시스템에 대한 많은 연구가 이루어진다. MultiDoc2Dial은 대화 흐름에 따라 서로 다른 문서에 기반한 대화가 이루어지는 현실적인 태스크이다. 본 논문에서는 retriever, re-ranker, generator의 파이프라인 시스템을 사용한다. 우리는 디코딩 단계에서 훈련과 추론 사이의 차이을 좁히는 개선된 target 측 데이터 증강 방법을 제안하고 또한, 문서 기반 대화 생성을 위한 단일 시퀀스 생성으로 grounding span 및 dialog act 예측을 포함하는 다중 작업 학습을 제안한다. MultiDoc2Dial 데이터 세트의 validation 데이터 상에서 우리가 제안한 방법론을 평가한 결과 seen setting과 unseen setting 모두에서 State-of-the-Art 성능을 달성하였다.

Towards Multi-Lingual Multi-Modal Dialogue Systems

Zhou, Mingyang University of California, Davis ProQuest Dissertat 2022 해외박사(DDOD)

소속기관이 구독 중이 아닌 경우 오후 4시부터 익일 오전 9시까지 원문보기가 가능합니다.

Having an intelligent assistant that can communicate with humans to serve their needs is a fundamental challenge in Artificial Intelligence (AI) research. Recently, owing to the development of deep learning techniques and the large-scale datasets, we have witnessed a great advancement in dialogue systems. Nowadays, conversational agents have been deployed in millions of smart devices such as Alexa, Google home assistant, and Smartphones (e.g. Siri) to serve as personal assistants or chat companions for human users. Although tremendous success has been achieved, there are still major limitations. The majority of current dialogue systems can only process and communicate with language context, which limits their application to conversational tasks that require situational understanding such as language-guided visual navigation or fashion shopping assistant. Additionally, while there are more than 6500 different languages used in our world, the dialogue systems are mainly studied on English. In order to broaden the access of such AI techniques to non-English speakers, it is essential to build conversational AI agents that can communicate in multiple languages. To address these limitations, we aim to build multi-lingual multi-modal dialogue systems that learn to process context from multi-modal signals (vision and language) and communicate in various languages via interacting with real users. In this dissertation, we introduce our effort to approach this goal in two different research directions: 1. Ground Vision and Action: we build multi-modal dialogue systems that can ground conversations in a visual environment and adopt optimal actions to improve task success. we also collect a new benchmark that helps the dialogue system to learn cross-modal grounding via simultaneously handling vision generation from textual context and text generation from visual context in a unified conversational task. 2. Cross-lingual Cross-modal Representation Learning: To enable dialogue systems to become multi-lingual speakers, we conduct research to align the vision and various languages in a learned semantic space. Specifically, we research multi-modal machine translation and cross-lingual cross-modal pre-training techniques to learn joint representations across languages and modalities. we have also introduced how to learn robust universal cross-modal representation without parallel image-text pairs.

English speaking practice system for non-native speakers based on reading comprehension checks

이인구 Graduate School, Korea University 2022 국내박사

This study tried to establish a new speaking practice system using deep learning for non-native speakers of preschool or lower-grade elementary school children. While the basic speaking system assumes that the user can converse with the AI chatbot to some extent, the speaking practice system suggested in this study aims to reduce the child's burden by giving the child texts to read in advance and answer to the system’s questions according to the given text material. In order to use the new speaking practice system in reality, mainly two models in the speaking practice system need improvement. First, the performance of the Automatic Speech Recognition (ASR) model for non-native children's speech must be improved. Second, the Natural Language Processing (NLP) model for child response evaluation must be generalizable. Firstly, in order to improve the performance of the ASR model for non-native children's speech, spontaneous speech data of native adults was additionally used. The original data consists of read speeches of native adults, native children, non-native adults, and non-native children. It was confirmed in this study that the performance of speech recognition for non-native children improved with additional spontaneous speech data of native adults. Secondly, by introducing a deep learning method to the response evaluation system, it was possible to create a natural language processing model that can evaluate children's responses with over 90% accuracy even for new reading comprehension questions and answers that the NLP model have never been seen before. For the experiments, the ALBERT v3 model provided by Google was used. As a result of comparing 4 different trained models, it can be concluded that adding general paraphrase or non-paraphrase data to the model was helpful for generalizing the evaluation of the children’s responses to the reading comprehension questions. Also the result showed that question conditions prepended to the model inputs can give the NLP model better context on which to evaluate the users’ response. 이 연구의 목적은 미취학 및 초등학교 저학년 비원어민 아동을 위한 쉬운 말하기 연습 시스템을 만드는 것이다. 이를 위하여 본고는 독해 평가 기반의 말하기 연습 시스템을 제시하였다. 독해 평가 기반의 말하기 연습 시스템을 실제 서비스에 적용하기 위해서는 음성 인식 모델의 성능이 미취학 및 초등학교 저학년 비원어민 아동에 대하여 높아야 하고, 사용자 응답 평가 시스템이 새로운 질문과 답변에 대해서도 잘 대응할 수 있어야 한다. 이 연구는 독해 평가 기반의 말하기 연습 시스템이 실제 상용 서비스에서 사용될 수 있도록 음성인식 모델 개선 실험 및 사용자 응답 평가 시스템 일반화 실험을 진행하였다. 첫번째로 음성 인식 모델 실험에서는 기존의 원어민 성인, 원어민 아동, 비원어민 성인, 비원어민 아동의 낭독 발화 데이터를 모두 넣어 음향 모델을 학습한 결과와 추가적으로 원어민 성인의 자유 발화 데이터를 넣어 학습한 결과를 비교하였다. 결과적으로 자유 발화 데이터를 음성 인식 모델 훈련에 포함시켜서 비원어민 아동 음성 인식에 대한 모델 성능이 높아지는 것을 확인할 수 있었다. 두번째로 사용자 응답 평가 모델을 일반화하기 위하여 딥러닝 모델인 영어 알버트 모델을 훈련하였고, 훈련 시에 본 적 없는 새로운 독해 질문과 정답에 대해서도 사용자 응답의 정오 판단을 90% 이상의 정확도로 대응할 수 있는 일반화된 사용자 응답 평가 모델을 구축할 수 있었다.

Multi-domain dialogue state tracking via dual dynamic graph with hierarchical slot selector

공예슬 Graduate School, Yonsei University 2023 국내석사

Dialogue state tracking aims to maintain user intent as a consistent state across multi-domains to accomplish natural dialogue systems. Previous researches propose graph-based methods to learn domain-slot relationships. However, these approaches fail to capture the semantic connections among dialogue turns, resulting in limited contextual understanding. As a consequence, they struggle to predict co-referential slots accurately. Furthermore, using a single tracker for various types of slots leads to utilizing insufficient or unnecessary information for target slots which have to be differentiated by their properties. To address these issues, we propose HS2DG-DST, a Hierarchical Slot Selector and Dual Dynamic Graph-based DST. Our proposed model hierarchically classifies a slot type based on the multiple properties of slots. It further utilizes two dynamic graphs, a value graph and a dialogue graph, to effectively manage semantic dialogue information and provide relevant knowledge to the target slots. This enables our model to accurately predict co-referential slots by incorporating pertinent knowledge and applying a suitable value-generation method for each slot. Experimental results on MultiWOZ datasets demonstrate that our model outperforms state-of-the-art models. 사람과 사람 간의 자연스러운 대화 속에는 멀티 턴 대화를 통해 사용자의 동적인 의도를 추적하는 것이 필수적으로 수행된다. 대화 상태 추적은 여러 도메인에 걸친 사용자 의도를 일관된 대화 상태로 유지하는 것을 목표로 한다. 하지만, 기존 연구들은 대화 턴 간의 의미적 연결성을 고려하지 않고, 도메인-슬롯 간의 관계만을 학습하는 그래프 기반 방법을 제안하기 때문에 동일 지시어를 가지는 값들을 추적하기 어렵다. 또한 슬롯의 특성을 고려하지 않고 하나의 추적기를 사용하여, 대상 슬롯을 추적할 때 충분하지 않거나 불필요한 정보를 사용한다. 위 문제들을 해결하기 위해 우리는 계층적 슬롯 선택 기반 이중 동적 그래프를 활용한 대화 상태 추적 방법을 제안한다. 해당 방법은 슬롯의 다중 특성에 따라 계층적으로 그 유형을 구분하고, 대화의 의미적 정보를 관리하는 두 가지 동적 그래프를 도입하여 동일 지시어를 가지는 값에 대한 추가 정보를 제공한다. 뿐만 아니라 각 슬롯 유형별 특성을 고려한 다른 생성 방식을 적용하여 그래프로부터 해당 슬롯과 관련된 정보를 찾아 참조하는 정교한 수준의 예측을 수행할 수 있도록 한다. 실험을 통해 베이스라인들과 비교하여 우리가 제안하는 방법의 효율성과 우수성을 보여준다.

Out of domain detection and text-to-SQL conversion for querying databases in natural languages

Choi, Donghyun Sungkyunkwan University 2022 국내박사

This paper proposes a system to process natural language user queries for database storage, where the repository could contain multiple, unrelated databases. The proposed approach first classifies the natural language user input into one of the databases. Then the utterance is converted into an SQL statement to query the classified database. Two issues could significantly influence the performance of the proposed system. The first issue is to reject the inputs which query for databases not in the storage. If the system accepts those inputs, the results will be erroneous. The second issue is to convert the user utterance into an SQL statement. Since the SQL is hard to master for non-technical users, it is tough to gather the training corpus for the Text-to-SQL conversion task for each database. Two novel approaches are proposed to handle the issues. This paper first proposes OutFlip, which automatically generates out-of-domain (OOD) samples using only the in-domain training dataset. A white-box natural language attack method HotFlip is revised to generate OOD samples instead of adversarial examples. The evaluation results showed that integrating the generated OOD samples into the training dataset could significantly improve a classification model’s OOD detection performance. To solve the second issue, one needs a cross-domain Text-to-SQL system that could process unseen databases during training. This paper proposes a cross-domain Text-to-SQL system called RYANSQL (Recursively Yielding Annotation Network for SQL). Statement Position Code (SPC) is defined to transform a nested SQL query into a set of non-nested SELECT statements; a sketch-based slot filling approach is proposed to synthesize each SELECT statement for its corresponding SPC. RYANSQL achieved a competitive result of 58.2% accuracy on the challenging Spider benchmark. This paper proposes integrating three Text-to-SQL corpora to get a new corpus to measure the end-to-end performance of the proposed system. Evaluation results suggested that the proposed OutFlip and RYANSQL significantly improve system performances compared to the baselines. 본 논문에서는 서로 연관이 없는 다수의 데이터베이스를 보관하고 있는 데이터베이스 저장소에 대한 자연어 질의를 처리하는 시스템을 제안한다. 제안된 방식은 먼저 사용자 발화를 저장소의 데이터베이스 중 하나로 분류하고, 입력 발화를 해당 데이터베이스에 대한 SQL문으로 변환한다. 두 가지 문제가 제안된 시스템의 성능에 크게 영향을 미칠 수 있다. 첫 번째 문제는 저장소의 데이터베이스와 관련 없는 입력이 들어왔을 때, 이를 처리하지 않는 것이다. 만약 엔진이 이러한 입력을 처리하게 된다면, 잘못된 결과값을 생성하게 될 것이다. 두 번째 문제는 사용자 입력을 SQL로 변환하는 것이다. 기술적 배경이 없는 사용자들에게 SQL 문을 다루는 것을 기대하기는 힘들기 때문에, 각각의 데이터베이스에 대해서 발화-SQL 변환을 위한 훈련 말뭉치를 수집하는 것은 굉장히 어려운 일이다. 이 문제들을 해결하기 위하여, 두 가지 새로운 방법이 제안되었다. 본 논문에서는 대화 엔진 시스템 및 이를 훈련하기 위한 의도 분류 말뭉치가 주어졌을 때, 오류를 일으킬 가능성이 높은 범위 밖 발화들을 자동으로 생성하는 OutFlip 시스템을 제안한다. 화이트 박스 기반 자연어 처리 모델 공격 방법인 HotFlip이 변형되어 적대적인 발화 대신 모델이 잘 솎아내지 못하는 범위 밖 발화들을 생성해내도록 하였다. 실험 결과에 의하면, 제안된 OutFlip에 의해 생성된 범위 밖 발화들을 모델 훈련 데이터에 추가하여 훈련함으로써, 대화 엔진 의도 분류 모델의 미지원 입력 발화 감지 성능이 크게 향상됨이 확인되었다. 두 번째 문제를 해결하기 위해서 본 논문에서는 훈련 시 관측되지 않은 새로운 데이터베이스에 대한 복잡한 SQL 쿼리 변환 문제를 해결할 수 있는 RYANSQL (Recursively Yielding Annotation Network for SQL) 이라는 새로운 네트워크 구조를 제안하였다. 중첩된 SQL 쿼리를 비중첩된 SELECT 구문의 집합으로 생성하기 위하여, 구문 위치 코드 (Statement Position Code, SPC) 가 정의되었다. 각 구문 위치 코드에 대응하는 SELECT 구문을 생성하기 위하여, 스케치 기반 슬롯 필링 방법이 제안되었다. 또한, 추가적인 시스템 성능 향상을 위하여 두가지의 입력 변형 방법이 제안되었다. 제안된 자연어 기반 데이터베이스 질의 시스템을 테스트하기 위하여, 세 개의 텍스트-SQL 변환 말뭉치가 통합되어 실험에 사용되었다. 실험 결과는 새로이 제안된 두 가지 방법이 전체 시스템의 성능을 크게 향상시킬 수 있음을 보여주었다.