목적 지향 대화 시스템의 의도 분류 오류 개선을 위한 명확화 질문 적용 방안 연구

정수민 고려대학교 대학원 2023 국내석사

멀티미디어 신호처리에 기초한 스마트홈 환경에서의 대화시스템

김영태 경남대학교 산업대학원 2006 국내석사

본 연구는 차세대 연구개발 과제 중의 하나인 스마트홈(Smart Home) 관련 대화시스템의 구축을 목적으로 하고 있고, 스마트홈 환경에 있어서 핵심적인 기술로서 음성인식, 음성합성 및 비디오신호처리 기술 등 멀티미디어 신호처리의 기반 기술을 응용함으로써 사용자에 보다 편리한 주거환경을 제공함을 그 궁극적인 목적으로 하고 있다. 즉, 대화기능을 가진 가정환경이 거주자와 자연스런 음성으로 대화 가능하도록 음성인식과 음성합성 기능을 부여함과 동시에 센서신호와 화상신호처리 기술을 응용한 동작 감지기술을 소파에 연계시킴으로써 사용자에 편리한 주거환경을 제공하도록 한다. 이를 실현하기 위하여 대화시스템의 중요한 모듈로서의 음성합성기, HM-Net(Hidden Markov Network)에 기반한 실시간 음성인식기, 픽셀의 밝기차를 이용한 실시간 움직임 검출 및 터치센서 등을 대화시스템에 통합함으로써 이루어진다. 스마트홈 환경을 가정하고 거실의 소파에 앉으면 소파에 설치된 터치센서가 동작하고 자동적으로 음성인식기와 움직임 검출모드가 동작한다. 음성인식 모드에서는 음성인식의 출력으로써 하드웨어 인터페이스를 통하여 가전제품을 제어하고 멀티미디어 소프트웨어를 제어할 수 있는 기능을 가진다. 또한 음성의 출력으로 음성합성 기능으로 대화를 진행한다. 비디오 신호처리에 있어서는 어느 일정 시간 동안 검출된 움직임이 문턱치보다 낮을 경우 움직임이 없다고 판단하고 음성인식 모드를 자동 휴지상태로 들어가게 한다. 소파에 연계된 시스템을 작동하는 실제 구동 실험에서, 주위 노이즈 환경의 영향으로 시뮬레이션 결과보다는 성능이 떨어지나, 실험 평가를 통한 설문조사에서 가전제품 등의 컨트롤이 비교적 사용하기 쉬웠고 앞으로 유용하리라는 결과를 얻었다. This paper focuses on the use of the virtual dialog system whose aim is to build more convenient living environments. In order to realize this, the main emphasis of the paper lies on the description of the multimedia signal processing on the basis of the technologies such as speech recognition, speech synthesis, video, and sensor signal processing. For essential modules of the dialog system, we incorporated the real-time speech recognizer based on HM-Net(Hidden Markov Network) as well as speech synthesis into the overall system. In addition, we adopted the real-time motion detector based on the changes of brightness in pixels, as well as the touch sensor that was used to start system. In experimental evaluation, the results presented that the performance of real-time speech recognition in the proposed system was not better than the simulation results owing to the ambient noisy environments. Nevertheless, the results from the questionnaire showed an affirmative possibility for building interactive system that might give us much more convenient and comfortable living environments.

유사 발의를 활용한 초점 기반 다자대화 대화시스템

장영재 성균관대학교 일반대학원 2024 국내석사

다자대화는 여러 명의 사람 간의 대화를 지칭하며, 두 명 사이에서 이루어지는 대화와 대비된다. 일상적으로 여러명과 상호작용하는 환경에서 쉽게 일어나며, 인터넷 게시판과 같은 온라인 상황에서도 발생한다. 여러명이 참여하기 때문에, 각 발화마다 직접적으로 연관이있는 현재 발화자와 발화 대상자 뿐만이 아니라 간접적으로 듣는 간접적 참여자들도 존재하게 된다. 기존 대화시스템에 대한 연구들은 대부분 화자가 여러명인 상황을 고려하지 않기 때문에 관련된 연구가 필요한 실정이다. 다자대화 환경을 고려한 과거 연구의 경우 직접적인 참여관계만 반영하여 그래프로 모델링하는 연구가 주를 이루었다. 하지만 직접적인 참여관계만 반영하게 되면 간접적인 참여관계가 중요하게 작용하는 대화 양상에서는 대화 히스토리에 대한 적절한 응답 생성에 어려움이 있다. 본 연구에서는 직접적인 참여관계 뿐만 아니라 간접적인 참여관계 효과적으로 반영할 수 있도록 하는 두 개의 모듈로 기존 트랜스포머를 개선하는 SoPI 모델을 제안한다. 두 개의 모듈은 각각 초점 토큰 합산기와 발화자-발의 부분 임베딩으로 트랜스포머에 다자대화 해석에 필요한 정보들을 전달한다. 또한, 대화 히스토리의 핵심이라 볼 수 있는 발의 개념을 도입해서, 대화의 초점을 찾음으로써 더욱 알맞는 응답을 생성할 수 있는 기법을 제시한다. SoPI 모델은 다자대화 응답 생성 태스크인 Ubuntu IRC 벤치마크에서 실험 한 결과, 모든 지표에서 이전 최고 성능 모델 및 다양한 기준 모델들을 뛰어넘는 우수한 성능을 기록하였다. 추가적으로 본 연구에서는 대화 내 참여자 수의 변화가 각 모델에 미치는 영향 등 여러 분석을 통해서 다각도로 제안하는 SoPI 모델의 우수성을 입증한다. Multi-party conversations commonly take place on online discussion platforms as well as in various off-line situations. For dialogue systems to effectively comprehend multi-party conversations, it is important to understand the dynamic nature of engagement between speakers and the unique characteristics of each speaker. However, recent approaches only emphasize the direct engagement of a speaker and addressee, leaving out other indirectly participating interlocutors. In this work, we present a simple yet effective method, SoPI, which introduces two novel modules to capture the subtle variations in engagement level. We also introduce the concept of pseudo initiatives that are extracted from the dialogue context as a key element in multi-party dialogue generation. Extensive experiments are conducted on the UbuntuIRC benchmark and SoPI achieves the best performance in all metrics including human evaluation, compared to the previous state-of-the-art model and various baselines. Analysis on the effect of the varying number of interlocutors further show the effectiveness of SoPI in Multi-party conversations.

베이지안 네트워크를 활용한 대화기반 학습 시스템 설계 및 구현

이영석 한국교원대학교 대학원 2008 국내석사

본 연구는 대화형 학습시스템에서 베이지안 네트워크를 활용해 LSA기반 대화형 시스템 보다 적은 수의 질의응답으로 학습자의 지식수준을 추론하고 그에 맞는 적절한 학습과정을 동적으로 제공하는 대화형 학습시스템을 개발하는데 목적이 있다. 이를 위하여 교과 내용을 분석하여 내용의 연관성 및 구체성 정도에 따라 베이지안 네트워크를 구성하고 대화형 학습시스템에 적용하도록 하였다. 시스템의 학습자 지식수준 추론 결과를 인간 교사의 주관식 문항 채점 결과와 비교해본 결과 보다 적은 수의 질의응답만으로 LSA기반 시스템과 비슷한 수준에서 인간교사의 채점 결과와 일치 하는 것으로 나타났다. 이 결과는 학습자에게 보다 적은 질의응답만으로도 학습자의 지식수준을 파악할 수 있게 하며 다양한 교수전략을 빠르고 동적으로 적용하는 학습시스템개발에 활용이 기대된다. This research makes use of bayesian network in dialogue based system and it has an intention of developing dialogue based system by offering the learners the fitting learning process dynamically with inference of the learner on a intellectual level by fewer question and answer of than existing system. For the purpose of it, I have analyzed the curriculum and have organized bayesian network through depending on the relation and concreteness and then I developed the system. The survey by the inference by system compared with the result for grading examination papers by human teacher, it appeared it is similar with the result for grading examination papers by human teacher on higher level then the existing system only by fewer question and answer. Through this result, it can be grasped the intellectual level of the learner by only fewer question and answer and it is expected to make use of system for learning by computer which can apply to fast and dynamically various teaching strategy.

Listening-Oriented Response Generation by Exploiting User Responses

방지수 포항공과대학교 일반대학원 2021 국내박사

A dialog system is a system that enables humans and machines to communicate in natural language. Dialogue systems are largely divided into a task-oriented dialogue system and a chat-oriented dialogue system. The task-oriented dialogue system has a goal to accomplish a specific task, such as plane ticket booking, restaurant information providing, or bus route information providing. The task-oriented dialogue system has proven its usefulness in the industry in narrow domains but is not adaptable for providing natural conversation experience to humans in open-domain situations. On the other hand, the chat-oriented dialogue system aims to have a natural conversation with the user. The chat-oriented dialogue system does not have a specific task to accomplish but has a goal to act like a human. Although listening to a conversation partner is a key factor in the success of dialogue systems or conversational agents, recent neural conversation systems have no interest in generating listening-oriented responses. In this paper, we conduct research on a dialogue system that provides responses that make users feel listened to. In detail, we propose an end-to-end dialogue system that generates listening-oriented responses which make users reveal themselves and feel positive emotions. The proposed model uses `self-disclosure' and `positiveness' as listening features and generates responses appropriately to the features. Furthermore, the model infers a user response that will be brought out at the end of the dialogue and uses the inferred user response for generating a system response. By utilizing both listening features and user responses, our model becomes capable of generating listening-oriented responses. In quantitative and qualitative experiments, our model shows that it can generate listening-oriented responses that induce users to disclose themselves and talk positively. The results also show that the model utilizing user responses generates more listening-oriented responses than the models not using user responses.

Unsupervised Joint Retrieval Augmentation of Knowledge Graph and Textual Passage for Non-goal-oriented Dialogue Response Generation

김병주 포항공과대학교 인공지능대학원 2022 국내석사

To generate information-related responses in dialogue systems, lots of studies have been focused on using only one form of knowledge source, such as a knowledge graph or textual passage. In this thesis, I propose a novel method for generating informative and contextual responses in non-goal-oriented dialogue by searching for and integrating two forms of knowledge in an unsupervised manner. The proposed method retrieves knowledge graphs and textual passages and then integrates each retrieval result by forcing the results to be contextually correlated for augmented generation. Experimental results and analyses show that reducing content inconsistencies between each retrieval result is of particular importance to improve response generation by adequately leveraging two forms of sufficient knowledge sources in the augmented generation process. 대화 시스템이 주제 정보와 관련된 응답을 생성하는 것을 목표로 하는 기존 연구들은 지식 그래프나 비정형 문단과 같이 한가지 형태의 지식 정보만을 응답 생성 과정에 활용하는 데 집중해왔다. 본 논문에선, 비 목표 지향 대화에서 정보적이고 문맥과 관련된 응답을 생성하기 위해 앞선 두 가지 형태의 지식 소스를 비지도 적인 방식으로 검색하고 통합하여 응답 생성 과정에서 두 가지 형식의 지식 정보를 동시에 고려하는 방법을 제시한다. 제시된 방법은 통합된 문장 인코더의 강력한 의미론적 표현 능력을 활용하여 지식 그래프와 비정형 문단의 지식소스를 각각 검색하고, 각 지식 형식의 검색 결과는 전체 대화 정보 및 내용 연관성을 고려하여 증강 생성 방식에 활용되기 위한 형태로 통합된다. 실험 결과와 그 분석을 통해서 제시한 방법이 두 가지 형태의 지식 소스가 가지는 특징을 적절히 반영하여 응답 생성을 개선할 수 있을 뿐 아니라, 검색된 두 지식 형태 사이의 내용 일관성을 유지하는 것이 증강 생성 결과를 개선하는 것에 있어 특히 중요하다는 사실을 보인다.

XML DTD 작성을 위한 대화형 편집 시스템에 관한 연구

김두학 배재대학교 대학원 2002 국내석사

대화식 시스템에서 화면상태 생성도구에 관한 연구

이주연 崇實大學校 1987 국내석사

검색증강생성과 대형언어모델 GPT-4 를 이용한 여행사 챗봇 개발

김보미 서강대학교 정보통신대학원 2024 국내석사

인공지능 기술 중 일상 가까이에 제공되는 기술 중 하나가 채팅 로봇, 챗봇이다. 챗봇이란 채팅창에 문자나 음성을 입력해서 대화를 통해 원하는 정보를 얻는 컴퓨터 프로그램을 말한다. 머신러닝 기술 중 지도학습 방식인 사전에 학습된 데이터를 기반으로 사용자 질의를 분류(Classification)해서 해당 질문에 정의된 답변을 내보는 원리이다. 이 같은 챗봇은 사용자에게 익숙하다. 고객센터 상담사 역할을 맡는 CS(Customer Service) 목적의 챗봇은 각 기업의 고객센터 역할을 하고 있다. 자주 묻는 질문과 답변에 대해 대부분 기업들이 챗봇 형태로 제공하기도 한다. OPEN AI에서 2022년 11월에 발표한 ChatGPT는 채팅 형태를 이용하지만, 대화 외에도 번역, 보고서 쓰기, 이야기 짓기 등 어떤 요청이나 대화에도 유려한 답변을 선보여 많은 사람들에게 놀라움을 주었다. ChatGPT의 파운데이션 모델인 GPT-4라는 거대 언어 모델 (LLM, Large language Model)은 자연언어처리 기술의 발전을 상용화한 사례이다. GPT-4를 활용하여 대화형 시스템을 제작하는 방식이 이전에 비해 더욱 쉬워졌다. 그 이유는 2018년 트랜스포머 모델[5] 등장으로 자연어처리 성능이 빠르게 발전하였고, 이를 기반으로 GPT-4의 자연어 처리 성능이 GPT 이전 모델과 비교해 월등히 향상되었다. GPT-4 이전 지도학습 챗봇 제작 방식은 사람이 서로 겹치지 않는 질문 의도를 분류한 인텐트(Intent)를 만들어 학습데이터에 라벨링을 하면서 출력 목푯값을 답변하도록 챗봇 모델을 트레이닝 시켰다. 트레이닝 결과 정답, 오답을 일괄 평가하기도 하지만 정확한 결과 산출을 하기 위해선 휴먼 평가도 필요했다. 새로운 질문과 답변을 추가하려면 먼저 트레이닝 시킨 내용과 겹치지 않게 신규 질문을 기획하고, 학습데이터를 제작하여 추가로 트레이닝 시키는 작업도 별도로 필요하였다. 이 방식과 다르게 대형언어모델인 GPT-4를 챗봇 모델로 활용하는 방법으로 Retrieval-Augmented Generation(RAG, 검색증생성)이 있다. 원하는 데이터를 언어모델에 컨텍스트로 제공하여 LLM 프롬프트에 보내서 최종 답변을 생성하는 방식이다. 이 논문에서는 RAG를 이용해 보유하고 있는 여행사 질문, 답변 데이터를 GPT-4 모델을 기반으로 답변을 하도록 설계하였다. 이 방식을 활용하면 GPT-4에 답변으로 출력되길 원하는 데이터를 전이학습(Fine- tuning)하지 않아도 된다. 별도의 트레이닝을 하지 않고 GPT-4를 학습시킨 듯한 답변을 얻을 수 있다. RAG 영역에서 답변 성능을 높이는 요인을 컨텍스트 수라는 가설을 바탕으로 실험을 진행하였고, GPT-4 영역에서 답변 성능을 높이는 요인을 프롬프트 엔지니어링 요인으로 가설을 세워, 서로 다른 프롬프트 명령어로 답변 성능을 실험하였다. 이와 같이 답변 성능을 높이는 가설 실험을 통해 지도학습보다 간소화된 RAG와 GPT-4로 제작한 챗봇 성능을 검증하였다. One of the more familiar AI technologies is the chat robot, or chatbot. A chatbot is a computer program that gets the information it wants through a conversation by entering text or voice into a chat window. The principle is that it classifies user queries based on pre-trained data, which is a supervised learning method among machine learning technologies, and provides defined answers to those questions. Chatbots like this are familiar to users. These chatbots are familiar to users. Chatbots for CS (Customer Service) purposes, which act as customer service agents, serve as a customer center for companies. Many companies provide answers to frequently asked questions in the form of chatbots. ChatGPT, announced by OPEN AI in November 2022, uses a chat format, but it has surprised many people by providing fluent answers to any request or conversation, including translation, report writing, and storytelling. ChatGPT's foundation model, a large language model (LLM) called GPT-4, is a commercialization of advances in natural language processing technology. Utilizing GPT-4 makes it easier than ever to create conversational systems. This is because natural language processing performance has developed rapidly with the advent of the Transformer model, and based on this, GPT- 4's natural language processing performance has improved significantly compared to GPT's predecessor. Prior to GPT-4, supervised learning chatbots were built by individuals who created intents that classified non-overlapping question intentions, labeled the training data, and trained the chatbot model to answer the output goals. The training results were evaluated in batches for correct and incorrect answers, but human evaluation was also needed to ensure accurate results. To add new questions and answers, it was necessary to first plan new questions without overlapping with the trained ones, and then create training data and train them separately. Unlike this method, Retrieval-Augmented Generation (RAG) is a method that utilizes GPT-4, a large language model, as a chatbot model. It is a method that provides the desired data as a context to the language model and sends it to LLM prompts to generate the final answer. In this paper, I use RAG to answer travel agency question and answer data based on the GPT-4 model. By utilizing this method, I do not need to fine-tune the data that I want to output as answers to GPT-4. You can get answers that look like they were trained on GPT-4 without any additional training. I conducted experiments based on the hypothesis that the number of contexts is a factor that improves answer performance in the RAG domain, and I hypothesized that the prompt engineering factor is a factor that improves answer performance in the GPT-4 domain, and I tested answer performance with different prompt commands. Through these hypothesis tests, I verified the performance of chatbots built with RAG and GPT-4, which are simpler than supervised learning.

Zero-shot Slot Filling with Momentum Contrastive Learning and Pre-trained Knowledge

허성환 포항공과대학교 인공지능대학원 2022 국내석사

제로샷 슬롯 채우기는 목적 도메인에 대한 데이터가 제한적인 경우를 해결하기 위한 방법으로서 주목받아왔다. 제로샷 학습에 있어 가장 중요한 요인은 모델이 일반화되고 신뢰성 있는 표현을 학습하도록 하는 것이다. 이러한 목적으로, 우리는 모멘텀 대조학습과 사전학습된 언어모델 BERT를 도입한 모델을 제안한다. 제안하고자 하는 모델은 질의 인코더와 BERT를 사용하여 두 인코더를 초기화하고 SNIPS 데이터셋을 사용한 실험에서 제안 모델은 기존의 제안 방법들과 비교하여 훨씬 뛰어난 성능을 보여주었다. 한편, 우리는 제안 모델의 각 구성 요소들이 성능 향상에 미치는 영향을 확인하는 실험을 진행하였다. Zero-shot slot filling has received considerable attention to cope with the problem of limited available data for the target domain. One of the important factors in zero-shot learning is to make the model learn generalized and reliable representations. For this purpose, we present mcBERT, which stands for `m'omentum `c'ontrastive learning with \textbf{BERT}, to develop a robust zero-shot slot filling model. mcBERT uses BERT to initialize the two encoders, the query encoder and key encoder, and is trained by applying momentum contrastive learning. Our experimental results on the SNIPS benchmark show that mcBERT substantially outperforms the previous models, recording a new state-of-the-art. Besides, we also show that each component composing mcBERT contributes to the performance improvement.