계층적 Transformer 및 슬라이딩 윈도우 어텐션 기반 Dialogue Act Classification 모델 연구

이민준 연세대학교 대학원 2024 국내석사

Dialogue Act Classification(DAC)은 발화 별 Dialogue Act(DA)를 분류하는 과제이다. 이것은 과제 지향적 대화 시스템(task oriented dialogue system)을 구축하기 위해 선행되는 자연어 이해 과제 중 하나이다. 최근 다양한 Large Language Model(LLM)이 등장하면서 여러 대화 시스템 연구도 큰 영향을 받았다. 하지만 LLM이 가지는 부족한 신뢰성, 전문분야에 관한 취약성과 같은 한계점으로 인해 LLM이 과제 지향적 대화 시스템을 온전히 대체하는 것은 불가능하다. 따라서, 과제 지향적 대화 시스템을 잘 구축하기 위한 세부 단계인 DAC에 관한 연구는 여전히 중요하다. 대화 이해에 대한 기존 방법론들은 대화의 계층적, 연속적인 특징을 반영하기 위해 주로 Hierarchical RNN 기반의 구조를 사용해왔다. 하지만 이러한 방법론들은 하나의 발화를 이해하기 위해 대화의 모든 발화의 정보를 동일하게 반영하였다. 이는 발화를 이해하는 데 있어 멀리 떨어진 발화보다 인접 발화의 정보가 더 중요하다는 대화의 특성을 반영하지 못한다는 한계를 가진다. 이러한 문제를 해결하기 위해 본 논문에서는 계층적인 구조의 Transformer를 도입하였고 인접 발화 간의 영향을 반영할 수 있는 새로운 방법론을 제안하였다. 먼저, BERT 기반 모델을 사용하여 발화에 대한 임베딩을 생성한다. 또한, 화자에 대한 정보를 학습하기 위해 화자를 대표하는 스페셜 토큰을 추가하였고 해당 토큰의 임베딩을 발화에 대한 임베딩과 결합하여 사용하였다. 생성된 임베딩에 대해 Transformer의 sequence to sequence 구조를 활용하여 최종적으로 발화에 대한 act를 예측하였다. 이때 인접 발화의 정보를 더욱 면밀히 반영할 수 있는 새로운 attention 구조를 제안하고 도입하였다. 이후 DailyDialog(DyDA) 벤치마크 데이터에 대한 실험을 통해 베이스라인과 결과를 비교하였다. 이를 통해 본 논문이 제안하는 모델이 기존 방법론들보다 성능적인 우위를 가진다는 것을 확인하였다. 또한, 새롭게 도입한 attention 구조가 성능향상에 기여했음을 확인하였다. Dialogue Act Classification (DAC) is a task that involves classifying Dialogue Acts (DAs) on a per-utterance basis. This constitutes one of the preliminary tasks in natural language understanding, essential for constructing task-oriented dialogue systems. Recently, various Large Language Models (LLMs) have emerged, greatly influencing research on various dialogue systems. However, due to limitations such as the inherent lack of reliability and vulnerabilities in specific domains, complete replacement of task-oriented dialogue systems by LLMs is deemed impossible. Consequently, research on the DAC, a crucial step in constructing effective task-oriented dialogue systems, remains paramount. Existing methodologies for dialogue understanding have employed structures based on Hierarchical Recurrent Neural Networks (RNNs) to capture the hierarchical and sequential features of conversations. However, these approaches fail to adequately reflect the characteristic influence between adjacent utterances, as they uniformly incorporate information from all utterances in a dialogue when understanding a single utterance. To address this limitation, this paper introduces a hierarchical Transformer structure and proposes a novel attention mechanism capable of capturing the influence between adjacent utterances. Firstly, embeddings for utterances are generated using a BERT-based model. Additionally, a special token representing the speaker is added to learn speaker information, and the embedding of this token is combined with the embedding for the utterance. The final act for the utterance is predicted by utilizing the sequence-to-sequence structure of the Transformer on the generated embeddings. A novel attention structure is proposed and introduced to more precisely incorporate information from adjacent utterances. Subsequent experiments on the Dailydialog (DyDA) benchmark dataset compare the results of our proposed model with existing methodologies. Through these experiments, we confirm that the model proposed in this paper outperforms existing approaches in terms of performance. Furthermore, we validate that the newly introduced attention structure contributes to performance improvement.

Dialogue act-based partner persona extraction for consistent personalized response generation

이경찬 Graduate School, Yonsei University 2023 국내석사

대화 모델에 있어서 문맥에서 벗어나지 않으려는 능력, 즉 일관성을 유지하려는 능력은 더 인간에 가까운 개인화된 답변을 생성하는 데 있어서 오랫동안 중요한 문제로 지속되어 왔다. 이런 문제 해결을 위해 페르소나 기반 대화에 대한 많은 연구들이 지속되고 있다. 하지만 대부분의 연구들은 대화에서의 자신의 일관성을 지키기 위한 자신의 페르소나에만 집중해왔다. 문맥에서 벗어나지 않으려는 능력은 자기 자신뿐만 아니라 상대방 쪽을 고려하여야 하고 이전 연구들의 흐름은 상대방의 발화에 대한 일관성을 지키지 못하는 경우들이 발생하게 되었다. 이러한 현상은 사용자가 대화에 흥미를 잃게 하고 결국에는 대화를 떠나는 상황을 유발한다. 이런 상황들을 미연에 방지하기 위해 우리는 새로운 페르소나 추출 태스크를 제시하고 이를 위한 적절한 데이터셋을 제안한다. 방법론의 일환으로 우리는 화행 정보를 이용하여 모든 발화들을 분류하고 여기서 나타나는 조합을 통해 이를 상대방 페르소나 추출에 활용한다. 또한 화행 컨덕터를 사용하여 모델이 화행 정보를 제대로 고려할 수 있도록 하고 미리 학습된 언어 모델과 함께 사용할 수 있도록 게이트 메커니즘을 통해 토큰 생성 시 각 임베딩을 조절할 수 있도록 한다. 마지막으로 강화 학습을 통해 모델이 화행 노이즈에 견딜 수 있는 능력을 키우고 화행 정보가 페르소나 등장을 예측하지 못하는 상황에 대처할 수 있도록 한다. 실험을 통해 베이스라인들과 비교하여 우리가 제안하는 모델의 우수한 성능을 증명한다. The ability of a dialogue model to keep not being out of a context during a conversation, so-called keeping the consistency, have long been a critical issue on generating more human-like personalized response. To face this challenge, a plethora of research has been made on persona-based dialogues. However, most of the previous works have focused on a self persona to sustain the self consistency during a conversation. Since the consistency is not limited to only on the self side, there still lies the problem where generated responses often contradict the utterance of a partner. This kind of behavior discourages the user from responding and eventually causes the user to leave the conversation. To prevent this from happening, our work focuses on recognizing the partner persona. We propose a new model, PEDA (Persona Extractor based on Dialogue Act), and construct an appropriate dataset for training the model. Specifically, Dialogue Act is utilized to identify the utterances that captures the persona of a user. The proposed model extracts partner persona from the combination of utterances and their Dialogue Acts. We propose DA conductor to properly consider the DA as an input and make use with PLM. A proposed gating mechanism controls the both of probability distributions. Finally, we train the model further by setting up a reinforcement learning framework with our evaluation network. Experimental results demonstrate that our model outperforms state-of-the-art models.

인간-로봇 상호작용을 위한 사회적 대화 전략 모델과 사용자 평가

이한나 고려대학교 대학원 2022 국내석사

과거의 로봇은 사람들을 대신해 특수한 임무를 맡는 산업용으로 개발되었다면, 최근에는 인공지능이 발전하면서 사람들과 상호작용할 수 있는 지능형 로봇이 개발되고 있다. 사람들과 자연스럽게 대화하기 위해 지능형 로봇을 포함한 지능형 에이전트는 대화 시스템(Dialogue System)을 사용해야 한다. 대화 시스템은 대화 이해부, 대화 관리부, 대화 생성부로 구성되며 대화의 문맥을 읽는 시스템을 개발하기 위해서는 대화 관리부의 역할이 필요하다. 대화 관리부에서는 이전의 발화 내용과 사용자의 발화 의도를 통해 적절한 시스템의 발화 의도를 결정하기 때문이다. 대화 시스템 분야에서는 대화 관리부를 통해서 사용자들의 참여를 지속시키고 신뢰, 유대감 형성을 위한 사회적 대화 전략(Social Conversational Strategy)을 연구한다. 사회적 대화 전략을 학습한 대화 관리부는 사람의 사회적인 의도에 따라 시스템도 사회적으로 발화하도록 돕는다. 그러나 사회적 대화 전략 연구는 영어 화자의 위주로 진행되고 있으며, 한국어 화자를 위한 연구는 부족한 상황이다. 지능형 에이전트를 사용하는 한국어 화자들의 지속적인 참여와 신뢰를 향상시키기 위해서는 사회적 대화 전략 연구가 필요하며 한국어 대화 특성을 반영하기 위한 연구가 시도되어야 한다. 본 논문은 한국어 상담 채팅 데이터에서 사회적인 의도를 9가지로 분류한 선행 연구를 토대로 사회적 대화 전략 모델을 제안한다. 사회적 대화 전략 모델은 HMM(Hidden Markov Model)과 CRF(Conditional Random Fields) 모델로 학습시켰고, 각 모델의 성능을 k-fold 교차 검증으로 확인하였다. 또한 학습된 사회적 대화 전략 모델이 실제로 유대적 관계를 형성할 수 있는지 평가하기 위해 사회적 대화 전략 모델, 인간 전략 모델, 랜덤 전략 모델, 과업 수행 모델에서의 서비스 만족도, 유대감, 유용성, 신뢰도를 비교하였다. In the past, robots were developed for industries that have special missions on behalf of people. Recently, intelligent robots that can interact with people have been developed as artificial intelligence technology advances. To interact naturally with people, intelligent agents need to use dialogue systems. The dialogue system is composed of Natural Language Understanding, Dialogue Manager, and Natural Language Generation. Among these, the Dialogue Manager is necessary for intelligent agents to grasp the context of the conversation. This is because the Dialogue Manager determines an appropriate utterance intention of the intelligent agent based on the previous utterance contents and the user's utterance intention. In the field of the Dialogue System, Social Conversational Strategy is studied to maintain user participation and build trust and bond through the Dialogue Manager. The Dialogue Manager, which has learned the Social Conversational Strategy, allows the Dialogue system to speak socially according to people's social intentions. However, previous research on Social Conversational Strategy has been focused on English speakers, and research for Korean speakers is lacking. To improve the sustainable use and trust of Korean speakers using intelligent agents, it is necessary to investigate Social Conversational Strategy research as reflected in the characteristics of Korean dialogue. This paper designs a Social Conversational Strategy Model based on the previous research that classifies social intentions into nine categories using Korean consultation chat data. The Social Conversational Strategy Model was trained using the HMM (Hidden Markov Model) and CRF (Conditional Random Fields) models, and the performance of each model was confirmed by k-fold cross-validation. In addition, in order to explore whether the learned Social Conversational Strategy Model affects the formation of social bonds between the intelligent agents and humans this paper figured out the effect of four models (Social Conversational Strategy Model, Human strategy model, Random strategy model, Task-Only model) on service evaluation, bonding, usefulness, and reliability were evaluated.

한국어 교육용 대화 시스템 개발을 위한 화행 판별 자질 연구

한지윤 연세대학교 대학원 2018 국내석사

The aim of this paper is to classify the dialogue act of user response utterances for the development of a dialogue system for Korean language education and to select what features are appropriate for efficiently discriminating such utterances. This paper proposes a dialogue tag set that classifies the learner's utterance intent to develop a chat bot dialog system designed to enable Korean learners to practice Korean conversation. In order to classify the utterances automatically according to these tag set, I examine what features are suitable for the conversation system made for Korean education among the discriminant features used in the previous research. For this purpose, a corpus for Korean language education was collected to annotate the discriminant features and dialogue act. Based on the annotated corpus, we selected the dialogue act tags that can be used in the dialogue system for Korean language education. Rather than the traditional linguistic works, the discriminant features were chosen for practical use in the dialogue system for practicing Korean conversation. In case of the discriminant features, the features that can be commonly used in both rules base – d automatic classification and statistics-based automatic classification are selected and analyzed. The first chapter presents the purpose and background of this study. After examining the discussions related to the speech, second chapter the scholarly works on the automatic classification method. Furthermore, this chapter analyze the corpus used in the previous research after summarizing the discriminant features used in the study. The third chapter provides the design and collection of dialog corpus to be used in the dialogue system for Korean language education. The fourth chapter analyses the collected response speech data. The conclusion part gives the results of this study and future issues. 본고의 연구 주제는 한국어 교육 목적의 대화 시스템 개발을 위하여 사용자 응답 발화의 화행을 분류하고, 이러한 화행을 효율적으로 판별하는 데 적합한 자질이 무엇인지를 선별하는 것이다. 본고는 한국어 학습자들이 한국어 회화를 연습할 수 있도록 고안된 챗봇 대화 시스템에 입력된 학습자의 발화 의도를 파악하고 분류하는 화행 표지 체계를 제안한다. 또한, 이러한 화행 표지에 맞춰 발화를 자동으로 분류하기 위하여 기존에 화행 자동 분류 연구에서 이용된 화행 판별 자질 중 한국어 교육 목적 대화 시스템에 적합한 자질이 무엇인지 검토한다. 이를 위하여 한국어 교육용 대화 말뭉치를 구축하여 화행과 화행 판별 자질을 주석하였다. 주석된 말뭉치를 바탕으로 한국어 교육 목적의 대화 시스템에서 활용 가능한 화행 표지를 선정하였고, 화행 판별 자질과 화행 간의 연관도를 검토하여 각 화행별로 유의미한 화행 판별 자질을 추출하였다. 화행 표지는 전통적인 언어학에서의 화행과는 별개로 한국어 회화를 연습하기 위한 대화 시스템에서 실용적으로 활용할 수 있는 표지를 선택하였다. 화행 판별 자질의 경우 규칙 기반 자동 분류 모델과 통계 기반 자동 분류 모두에서 공통으로 활용할 수 있는 자질을 선정하여 그 특성을 분석하였다. 서론에서는 본 연구의 목적과 배경, 의의에 대해서 논한다. 관련 연구에서는 화행과 관련된 논의를 살펴본 후, 화행 자동 분류 방식에 대한 연구의 흐름에 대해서 탐구하면서 이러한 연구에서 활용된 화행 판별자질에 대하여 정리한 뒤 기존의 연구에서 활용된 말뭉치에 대하여 분석한다. 3장에서는 한국어 교육 목적의 대화 시스템에서 사용될 대화 말뭉치의 설계와 구축에 대하여 논의하고 4장에서는 수집된 응답 발화 데이터를 분석하여 화행별로 유의미한 화행 판별 자질을 선별한다. 결론에서는 본 연구의 성과와 추후 과제에 대하여 논한다.

Towards a Context-Aware Intelligent Assistant for Multimodal Exploratory Visualization Dialogue

Kumar, Abhinav ProQuest Dissertations & Theses University of Illi 2022 해외박사(DDOD)

소속기관이 구독 중이 아닌 경우 오후 4시부터 익일 오전 9시까지 원문보기가 가능합니다.

Visualization is a core component of exploring data, providing a guided search through the data to gain meaningful insight and verify hypotheses. However it is also cognitively demanding to construct visualizations particularly for users that are novice to visualization. Such users tend to struggle translating hypotheses and relevant questions into data attributes, only select familiar plot types such as bar, line, and pie charts, and can misinterpret visualizations once they are created. Although visualization tools can alleviate these problems by performing some of the decision making for constructing the visualization, the software interface for these tools requires a steep learning curve. Rooted on the commercial success of natural language processing in technologies such as iPhone, Android, and Alexa, there has been an increased focus on building natural language interfaces to assist the user in data exploration. The broader goal of our research is towards developing a natural language interface implemented using dialogue system architecture capable of conversing with humans through language and hand pointing gestures. In this thesis, we highlight our approach to modeling the dialogue. In particular, we built a multi-modal dialogue corpus for exploring data visualizations, capturing user speech and hand gestures during the conversation. As part of this work we also developed the natural language interface capable of processing speech and gesture using multimodal interfaces. Evaluation of our visualization system shows it is effective in interpreting speech and pointing gestures as well as generating appropriate visualizations with real subjects in a live environment. We also focused on advanced models for language processing. We modeled user intent by informing our language interpretation module of the nearby utterances with respect to the current request to give it context for the interpretation. We also addressed the small size of our corpus by developing a paraphrasing approach to augment its size, leading to improvement in predicting the user intent. Since the user can switch between request and thinking aloud we also modeled the ability to differentiate between them and used that to segment incoming utterances into the request and surrounding think aloud. Finally, we developed an approach to recognize visualization-referring language and pointing gestures and resolve them to the appropriate target visualization on the screen, as well as create new visualizations using the referred-to visualization as a template. We performed intrinsic evaluation of these individual models as well as an incremental evaluation of the end-to-end system, indicating effectiveness in predicting user intent as well as recognizing and resolving visualization-referring language and pointing gestures.

Sequence clustering variable length customer service calls using HMM with global knowledge of call center dialogue acts

Jungmin Son Graduate School, Yonsei University 2022 국내석사

In this paper, we cluster customer service calls between the call center's agent and customer with an unsupervised clustering algorithm. Specifically, we focus on the fact that most customer calls follow certain common call flows because manual scripts are provided to the agents beforehand for specific circumstances. Taking this characteristic of customer calls into account, it seems natural to cluster the customer calls in a sequential manner to explore the calls with a similar flow. In order to cluster the dialogues sequentially, we split each call into utterances, and then express those - vi - utterances with topics by LDA topic modeling. In consequence, calls represented as the sequence of utterance topics have different lengths, which makes it reasonable to use HMM-Spectral Clustering, which is a method that is capable of clustering sequences with variable lengths. However, since not all topics are discussed in a single call, every call consists of a different set of topics provoking the sparsity issue when applied to traditional HMM-Spectral Clustering. This paper defines and arises the “sparsity issue” of HMM-Spectral Clustering, which is the problem of emission probability getting too sparse with discrete HMM fitting. We solve this limitation by giving global features of the entire dataset to HMM in the format of prior transition and emission probability knowledge. To send every discrete HMM to the same parameter space of transition, we fit entire dataset with one single HMM and defined this process as “Global HMM learning”. Putting global characteristics to model is possible because we introduce an underlying structure of customer call dialogues and use these acts as the hidden states of the HMM. We have verified that with the global knowledge gained from the fixed flow of dialogue acts, HMM-Spectral Clustering achieves the ability to cluster sequences with different sets of observable states without sparsity issue.

한국어 인용구문의 화용적 의미와 기능 연구 : 사적 구어 말뭉치의 분석을 중심으로

황유정 국민대학교 일반대학원 2021 국내석사

본고는 사적 구어 담화에서 인용구문의 화용적 의미와 기능을 대화행위 이론을 바탕으로 고찰하는 데 목적을 두고 있다. 인용구문은 한국어교육 과정에서 2급 후반에서 3급 초반에서 학습할 수 있도록 구성되어 있다. 대부분의 교재에서 인용구문의 유형은 직접인용구문과 간접인용구문의 형태로만 제시되어 있으며, 문법적 기능은 ‘정보 전달하기’로 기술하고 있다. 그러나 한국어 모어 화자들의 실제적인 인용구문 사용 양상을 살펴보면 형태뿐만 아니라 의미와 기능이 다양하게 나타난다는 것을 알 수 있다. 이에 본고에서는 Harry Bunt의 대화행위 이론을 바탕으로 인용구문의 화용적 의미와 기능을 살펴보고자 하였다. 본고에서 인용구문의 화용적 의미와 기능을 고찰하기 위해 선택한 담화 자료는 사적 담화 구어 말뭉치이다. 구어의 대표적인 특성으로는 상호교류와 실시간성이며, 이러한 특성을 가장 잘 나타내는 것이 일상대화이다. 정보 전달의 의미 기능을 언어적으로 부호화한 인용구문이 화자와 청자 사이에서 어떠한 의도로 사용되며, 담화를 구성하는 데 있어 어떤 의미와 기능을 하는지 고찰하고자 한다. 본고의 구성은 다음과 같다. 제1장에서는 본 연구의 목적 및 필요성을 기술하고 인용구문에 대한 연구를 통사적‧의미적 관점과 담화‧화용적 관점에서 이루어진 연구들로 나누어 검토하였다. 또한 연구 대상 및 연구 방법에 대해서 기술하였다. 제2장에서는 인용구문 분석을 위한 사전 논의를 인용구문의 개념 및 유형과 의미 기능 표기 규약으로 나누어 정리하였다. 인용구문의 개념은 ‘화자의 의도에 따라 재사용된 발화 행위나 인지 행위를 표현한 구문’이라고 정의하였고, 인용구문의 유형은 출처, 대상, 형식에 따라 구분하였다. 그리고 전산언어 화용론의 영역에 속하는 대화행위 이론의 의사소통 기능을 제시하였고, 이를 토대로 ‘자기 피드백, 상대 피드백, 자기 발화 통제, 상대 발화 통제, 담화 구조화’의 5개 항목으로 설정하였다. 선정된 의사소통 기능 항목들은 발화된 의미론적 내용으로 청자의 정보 상태를 어떻게 변화시키는가에 따라 각 항목의 변별성을 드러내고자 하였다. 제3장에서는 2장에서 정리한 내용을 바탕으로 한국어 모어 화자의 사적 담화에서 나타나는 인용구문을 분석하였다. 그 결과 14개의 화용적 의미와 기능을 세분화하여 제시하였다. 본고는 전산언어학적 관점에서 대화행위 이론을 바탕으로 한국어 모어 화자의 사적 구어 담화에서 나타난 인용구문의 의미와 기능을 재정립하였다는 점에서 의의를 둘 수 있다. This study is purposed to contemplate the pragmatic meaning and function of quotations in colloquial discourse based on the theory of dialogue behaviour. Quotations is composed of being learned in the late second to early third grades of the Korean language curriculum. In most textbooks, the type of quote is presented only in the form of direct and indirect quotes, and the grammatical function is described as 'information delivery'. However, if we look at the actual use of quotes by speakers who use Korean as their mother tongue, we can perceive that there are various meanings and functions as well as forms. Accordingly, we wanted to examine the pragmatic meaning and function of quotes based on Harry Bunt's theory of dialogue behaviour in this study. The discourse data selected in this study utilized the colloquial discourse corpus to examine the potentially pragmatic meaning and function of quotations. Representative characteristics of spoken conversations are mutual interchange and real-time, and it is daily conversation that best represents these characteristics. We would like to consider the intentions of quotations that linguistically encode the semantic function of information transmission between speakers and listeners, and what meanings and functions they have in composing discourse. The composition of the study is as follows: In Chapter 1 is described the purpose and necessity of this study and examined the study of quotations divided into studies consisting of syntactic and semantic perspectives and discourse and pragmatic perspectives. In addition, it is described as the subject and method of this study. In Chapter 2 is summarized the prior discussions for analyzing quotes by dividing them into concepts and types of quotes and their semantic functional notation conventions. The concept of a quote was defined as 'a phrase that expresses a reused utterance or cognitive behaviour according to the speaker's intentions', and the type of quote was distinguished by its source, subject, and format. It also presented communication functions of the theory of conversational behaviour in the domain of computational language utilization, and based on this, it was set to five categories: ‘Auto-Feedback, Allo-feedback, Partner Speech Management, Owe Speech Management and discourse structuring’ The selected communication function items were ignited semantic content to reveal the distinctiveness of each item according to how the addressee’s information state is updated. In Chapter 3, based on what was summarized in Chapter 2, the quotations constructions appearing in the private discourse of native Korean speakers were analyzed. The results showd that 14 pragmatic meanings and functions in quotative constructions. This study is meaningful in that it reestablished the meaning and function of quotative constructions in the private spoken discourse of native Korean speakers based on the dialogue act theory in computational pragmatics.

신약성경 해석을 위한 담화행위 접근법의 가능성 모색 : 기독교윤리의 관점에서 고찰한 신약성경 윤리학

김영동 연세대학교 대학원 2001 국내박사

한국어 교재 대화문의 실제성 연구 : 은행 대화를 중심으로

박정우 연세대학교 교육대학원 2012 국내석사