Exploring the effect of a pedagogical conversational agent’s warmth on learning

오선효 서울대학교 대학원 2023 국내석사

Pedagogical conversational agents (PCAs) are beneficial in that they can simulate social interactions, which support students to be emotionally engaged in learning. PCAs can take on various forms depending on the modalities in which they are developed. Text-based conversational agents, in particular, have become increasingly prevalent in educational contexts due to the widespread use of instant messaging by students. However, compared to other modalities that incorporate graphic elements, text-based approaches have not been able to effectively foster social interaction with students. This may be because their primary focus is yet on determining which specific instructional methods to use or which learning content to deliver. Taking this into account, the present study manipulated the level of warmth (low vs. high), which is known to be a dominant dimension of social cognition, to encourage students socially interact with the conversational agent and become emotionally engaged in learning. Although emotional engagement through social interaction can motivate students to learn, it may not be sufficient to promote active engagement in learning. This is because multiple dimensions of student engagement, such as cognitive engagement, are closely interconnected. To fill this void, in this study, we also incorporate manipulation of the type of learning activity that is delivered to students by the agent, varying the level of cognitive engagement that the activity requires (active vs. constructive). The present study examined the effect of two variables mentioned above, the level of warmth and the type of learning activity. In particular, we measured both objective and subjective variables of the learning experience, learning achievement and intrinsic motivation for learning, and conducted a semi-structured interview with each student to get further insight on the learning experience. We conducted a 2x2 between-subjects laboratory experiment with sixth-grade elementary school students (n = 98) with GeomBot, a pedagogical conversational agent that requires students to explain how to solve geometry problems. Quantitative analyses of experimental results showed that when GeomBot sends high-warm messages to students, they showed significantly greater learning achievement and interest-enjoyment than when GeomBot sends low-warm messages. In addition, when students solve constructive learning activities with GeomBot, they showed significantly greater learning achievement and interest-enjoyment than when solving active learning activities. Furthermore, significant interaction effects for learning achievement, interest-enjoyment, and tension-pressure were observed between the level of warmth and the type of learning activities. Qualitative analyses of interview data demonstrated two key findings. First, despite researchers making variations on every message sent by GeomBot, students still perceived the content to be repetitive. Second, although students who received high-warm messages showed greater learning achievement, those who received low-warm messages perceived GeomBot as more honest compared to those who received high-warm messages. Interview data from each group indicated that students perceived low-warm GeomBot to be honest when GeomBot reacted negatively to students’ feedback after solving a problem incorrectly. In contrast, students rated high-warm GeomBot as less honest because GeomBot responded positively even when it received negative feedback from students. This finding indicates that the current version of high-warm GeomBot did not reciprocate to students’ feedback, which may have resulted in a deterioration in the perceived honesty towards the agent. Taking these findings together, we could conclude that (1) automatically generating high-warm and low-warm messages and (2) manipulating the warmth of messages based on students' feedback, which may improve the reciprocity, could improve their agent perception. To further explore the effect of reciprocal warmth design on agent perception, the second study was conducted with GeomPT. GeomPT automatically generates high or low-warm messages which deliver constructive learning activities, by applying prompting engineering techniques to ChatGPT. We compared two groups (n = 10) of sixth-grade students who studied with GeomPT which sends high-warm messages only (HW-C) and those who used GeomPT that switches the level of warmth of its messages according to students’ feedback (HLW-C). In addition to measuring perception-related variables, to investigate students’ internal thoughts on GeomPT, we asked students to draw what they thought GeomPT would look like. Our experimental results showed that the high-reciprocity group (HLW-C) showed better perceived reciprocity and perceived honesty than the low-reciprocity group (HW-C). Qualitative analysis of drawing data indicated that students perceived the agent as more human-like, peer-like, and competent when reciprocally responding to their feedback. The contribution of the study is as follows: (1) We present verbal and non-verbal cues to implement different levels of warmth in the pedagogical conversational agent. (2) We suggest how to apply generative AI, ChatGPT, to educational settings, focusing on the warmth manipulation of the message and constructive activity design. (3) We provide empirical findings on reciprocally using high-warm and low-warm messages with constructive learning activities to foster students’ active engagement. 교육용 대화형 에이전트는 학생들이 학습에 대해 정서적으로 참여할 수 있도록 도와주는 사회적 상호작용을 모방한다는 점에서 이점을 가진다. 교육용 대화형 에이전트는 사용되는 모달리티에 따라 다양한 형태를 취할 수 있다. 특히, 인스턴트 메시징을 학생들이 널리 사용하게 되면서 텍스트 기반의 대화형 에이전트는 교육 맥락에서 보편화되고 있다. 그러나, 그래픽 요소를 포함하는 다른 모달리티들과 다르게, 텍스트 기반의 접근 방식은 아직까지는 어떤 교수법으로 어떤 내용을 전달할지에 집중하여 제작되어 왔기 때문에 학생들과의 사회적 상호작용을 효과적으로 촉진하고 있지 못하다. 따라서 이 연구에서는 사회적 인식의 중요한 차원인 따뜻함의 정도를 조작하여 학생들이 대화형 에이전트와 사회적으로 상호작용하고 학습에 정서적으로 참여할 수 있도록 하고자 한다. 비록 정서적 참여가 학생에게 학습동기를 부여할 수 있지만, 학습에 관한 참여에는 여러 차원들이 있고 서로 밀접히 연관되어 있기 때문에 정서적 참여만으로 능동적 참여를 충분히 유도하기 어려울 수 있다. 따라서 이 연구에서는 학생에게 전달되는 학습활동의 유형을 인지적 참여 정도에 따라 조작하여 이를 보완하고자 한다. 이 연구에서는 교육용 대화형 에이전트에서 두 변수, 따뜻함의 정도 (높음 vs. 낮음)와 학습활동의 종류 (constructive vs. active)의 효과를 알아본다. 학습경험에 대한 객관적이고 주관적인 변수들, 학습 성취와 학습에 대한 내재적 동기를 측정하였고 학습경험에 대한 추가적인 통찰을 얻기 위해 각 학생들에 대해 반구조화 인터뷰를 진행했다. 우리는 98명의 초등학교 6학년 학생을 대상으로 기하 문제를 설명하도록 하는 챗봇인 GeomBot을 제작하여 2x2 피험자 간 실험을 진행하였다. 실험 결과에 대한 양적 분석에 의하면, GeomBot이 따뜻함이 높은 메시지를 보낼 때 따뜻함이 낮은 메시지를 보낼 때보다 학생들의 학습 성취, 흥미-즐거움이 유의하게 더 높았다. 또한, 학생이 인지적 참여 정도가 높은 활동을 할 때 낮은 활동을 할 때보다 유의하게 더 높은 학습 성취와 흥미-즐거움이 관찰되었다. 그리고 학습 성취, 흥미-즐거움, 긴장-불안에 대한 유의미한 상호작용 효과를 발견할 수 있었다. 인터뷰 데이터에 대한 질적 분석을 통해서는 두 가지 주요 인사이트를 도출할 수 있었다. 첫째, 연구자가 GeomBot이 보내는 모든 메시지에 변주를 주었음에도 불구하고 학생들은 내용이 반복적이라고 인식했다. 둘째, 비록 따뜻함이 높은 메시지를 받은 학생들이 더 높은 학습 성취를 보였지만, 따뜻함이 낮은 메시지를 받은 학생들이 GeomBot을 더 정직하다고 인식했다. 인터뷰 데이터에 의하면, 따뜻함이 낮은 GeomBot이 학생들로부터 부정적인 피드백을 받았을 때 부정적인 리액션을 하기 때문에 정직하게 느껴진다고 보고되었다. 이와 반대로, 따뜻함이 높은 GeomBot은 부정적인 피드백을 받아도 긍정적으로 반응하기 때문에 덜 정직하게 느껴진다고 보고되었다. 이는 현재 버전의 따뜻함이 높은 GeomBot의 메시지가 학생의 피드백에 대해 학생의 기대에 상응하지 못하는 반응을 함을 의미하고, 이로 인해 GeomBot에 대한 정직함 인식이 저하될 수 있음을 시사한다. 두 가지 질적 분석 결과를 통합하여, 우리는 (1) 따뜻함이 높은 메시지와 따뜻함이 낮은 메시지를 자동 생성하고, (2) 학생들의 피드백에 기반하여 메시지의 따뜻함 정도를 조절하는 것이 교육용 대화형 에이전트 사용 경험을 개선하는 데 도움이 될 수 있다는 결론을 얻을 수 있었다. 학생의 피드백에 따라 따뜻함의 정도를 조절하는 것이 에이전트에 대한 인식에 미치는 영향을 알아보기 위해, GeomPT를 제작하여 두 번째 연구를 진행하였다. GeomPT는 ChatGPT에 프롬프트 엔지니어링 기술을 활용하여 학습 활동을 전달하는 따뜻함이 높거나 낮은 메시지를 자동으로 생성한다. 두번째 연구에서는 10명의 초등학교 6학년 학생들을 대상으로, 따뜻한 메시지만 보내는 GeomPT와 공부한 그룹 (HW-C)과 학생의 피드백에 따라 메시지의 따뜻함 정도를 조절하여 보내는 GeomPT를 사용한 그룹 (HLW-C)을 비교한다. 에이전트에 대한 인식에 관한 변수들을 측정하는 것에 더하여, GeomPT에 대한 학생의 내면적 인식을 알아보기 위해, GeomPT가 어떻게 생겼을 것이라고 생각하는지 그림을 그리도록 하였다. 실험 결과를 통해, 메시지의 따뜻함을 조절한 그룹 (HLW-C)이 따뜻함이 높은 메시지만 받은 그룹 (HW-C)에 비해 더 높은 정직함 인식을 보였다. 그림 데이터에 대한 질적 분석은 학생들이 그들의 피드백에 따라 따뜻함의 정도를 조절하는 GeomPT를 더 인간답고, 또래다우며, 유능하다고 인식함을 나타내었다. 이 연구의 기여점은 다음과 같다: (1) 우리는 교육용 대화형 에이전트에 따뜻함의 정도를 다르게 적용할 수 있는 언어적, 비언어적 단서들을 제공한다. (2) 우리는 메시지의 따뜻함과 constructive 활동 디자인에 집중하여, 생성 인공지능 중 ChatGPT를 학습 상황에 적용하기 위한 가이드라인을 제시한다. (3) 우리는 학생의 능동적 학습을 촉진하기 위해 constructive 활동을 학생의 피드백에 따라 따뜻함의 정도를 조절하여 전달하는 것에 대한 경험적 증거들을 제공한다.

대화형 에이전트와 사용자의 친밀감 형성이 신뢰에 미치는 영향에 대한 연구 : 자기노출, 잡담, 의인화 전략을 중심으로

박선영 연세대학교 대학원 2019 국내석사

4차 산업혁명의 시대를 맞이하여 여러 인공지능 기술이 출시되고 있다. 이러한 인공지능 기술이 효과적으로 사용되기 위해서는 사용자가 그것을 신뢰하는 것이 중요하다. 신뢰라는 개념은 대인관계에서 매우 중요한 요소 중 하나이며, 컴퓨터는 사회적 행위자라는 패러다임에 의하면 기술과 인간의 관계에도 적용될 수 있을 것이다. 본 연구에서는 대화를 통해 상호작용이 가능하여 기계가 아닌 교류의 대상으로 인식되기에 적합한 환경을 갖춘 대화형 에이전트를 중심으로 인간과의 상호작용에 대해 연구하였다. 연구에서는 신뢰의 중요한 선행요건인 친밀감 형성을 중심으로, 대인관계에서 친밀감을 형성하기 위한 전략으로 사용되는 자기노출과 잡담을 대화형 에이전트에 적용하였다. 또한 성격적으로 유사한 대상에 친밀감을 느끼게 되는 현상을 이용하여 의인화 전략을 대화형 에이전트에 적용하였다. 세 가지 전략을 적용한 에이전트에 대해 사용자들이 친밀감을 느끼는가, 이것이 신뢰에 영향을 미치는가를 알아보고자 하였고 이를 통해 대인관계의 사회적 전략이 에이전트와 인간의 관계에도 적용되는지 알아보고자 하였다. 또한 이들의 관계에 있어서도 친밀감이 신뢰의 선행요건이 되는지 밝히고자 하였다. 연구는 인공지능 스피커와 사용자가 대화하는 모습의 데모 영상을 피험자들에게 보여준 후 설문에 응답하도록 하는 방식으로 이루어졌다. 변인 간의 독립성을 확보하고 실험의 효율성을 증대시키기 위해 2x2x2의 혼합요인설계로 실험을 설계하였고 분석은 측정 변인의 타당성 검증, 조작화 검증, 가설 검증의 세 단계로 이루어졌다. 실험 결과, 잡담 전략은 친밀감 형성에 부정적인 영향을 미쳤고 자기노출과 의인화 전략은 긍정적인 영향을 미쳤다. 또한 세 개의 전략은 신뢰에는 직접적으로 영향을 미치지 않았지만, 친밀감은 신뢰에 영향을 미쳤기 때문에 친밀감이 신뢰를 매개함을 알 수 있었다. 본 연구의 결론은 다음과 같다. 첫째, 자기노출, 잡담, 의인화 전략은 사용자의 신뢰를 형성하는 데 직접적인 영향을 미치지 않는 것으로 나타났다. 이러한 전략들에 의해 먼저 친밀감이 형성된 이후 신뢰가 형성됨을 알 수 있었다. 즉, 불확실성이 감소되어야 신뢰가 형성될 수 있으며, 사용자들은 잘 모르는 에이전트에 대해 신뢰하지 않는 것이다. 본 연구를 통해 친밀감이 신뢰를 매개하는 현상은 사용자가 제공 받고자 하는 정보의 종류나 수행하려는 업무의 복잡도에 따라 달라질 수 있음을 알 수 있었다. 간단한 업무에 대해서는 친밀한 에이전트를 신뢰하지만 복잡하거나 난이도가 높은 업무에 있어서는 오히려 친밀한 에이전트보다 딱딱하고 형식적인 에이전트를 신뢰할 수 있다는 점을 발견하였다. 둘째, 대인관계에서 상대방의 마음을 얻기 위한 하나의 전략으로 사용되는 잡담은 대화형 에이전트에 대한 사용자의 친밀감 형성에 기여하지 않는 것으로 나타났다. 이는 대화형 에이전트에 대한 사용자의 인식에서 기인하는 것으로 보인다. 아직까지 사용자들은 대화를 나눌 수 있는 음성기기를 ‘컴패니언(Companion)’으로 인식하지 않고 ‘비서’의 개념으로 인지하고 있는 것을 알 수 있었다. 또한 잡담하는 에이전트에 대해 인간인 척 하는 것 같아 불편함을 느낀다는 의견이 존재하므로 언캐니 밸리(Uncanny valley) 현상이 외모 뿐만 아니라 발화에 있어서도 적용됨을 알 수 있었다. 그러나, 일부 긍정적인 의견도 존재하여 컴패니언으로 발전할 여지도 존재함을 알 수 있었다. 마지막으로, 사용자들은 자기노출하는 에이전트와 의인화된 에이전트에게 친밀감을 느끼는 것으로 나타났다. 그리고 이러한 특성이 사용자가 에이전트를 신뢰하게 되는 요소임을 알 수 있었다. 사용자들은 같은 수준의 자기노출을 대화 상대방에게 들었을 경우와 대화형 에이전트에게 들었을 경우에 대하여 각각 다른 수준으로 받아들이고 있음을 알 수 있었다. 이는 언급한 것처럼 사용자들이 인공지능 스피커에게 정서적 효용성 보다는 기능적 효용성에 더 큰 가치를 두기 때문일 것이다. 또한 잡담이나 자기노출 없이 의인화만 이루어진 에이전트에 대해서 기계적이라고 인식하는 경향이 높았다. 따라서 말투와 억양보다 중요한 것은 컨텐츠이며, 대인관계에서의 사회적 전략을 이용하는 것이 인공지능 스피커의 지속적인 사용을 유도하는 방법의 하나로 사용될 수 있다는 점을 도출하였다. 그러나 선행되어야 할 것은 대화형 에이전트와의 관계에 대한 인식의 개선일 것이다. 대화형 에이전트와 친밀감을 형성하고 이것이 신뢰로까지 연결되기 위해서는 일방적으로 업무를 지시하는 비서에서 더 나아가 대화의 상대로 인식할 수 있도록 할 필요가 있을 것이다. 본 연구에서는 대화형 에이전트에 사회적 전략을 적용하여 친밀감과 신뢰가 형성되는지에 대해 살펴보았다. 본 연구가 음성 기반의 인터페이스를 디자인함에 있어서 사용자와 긍정적인 상호작용을 위한 지침으로 사용되기를 기대한다. With the advent of the fourth industrial revolution, a number of artificial intelligence technologies are being released. It is important for users to trust these artificial intelligence technologies in order to be used effectively. The concept of trust is one of the most important factors in interpersonal relationships, and could be applied to technology and human relationships in the paradigm of ‘Computers Are Social Actors’. This study has investigated interaction between human and conversational agents which interact through dialogue, so that it is suitable for recognition as an object of exchange, no as a machine. This study focused on intimacy-building, an important prerequisite for trust, and applied self-exposure and small talk to conversational agents, which were used as strategies to build intimacy in interpersonal relationships. In addition, the anthropomorphism strategy was applied to the conversational agents using the phenomenon of feeling intimacy with personally similar objects. The purpose of this study was to investigate whether the users feel intimacy about the agents applying the three strategies and whether they affect the trust. We also tried to find out whether intimacy is a prerequisite for trust in these relationships as in interpersonal relationships. The study was conducted by showing the subjects a video demo of an artificial intelligence speaker and a user talking before responding to the survey. In order to secure the independence between the variables and to increase the efficiency of the experiment, the experiment was designed with the 2x2x2 mixed factorial design. The analysis consisted of three steps: validation of the measurement variables, verification of manipulation, and verification of hypothesis. As a result of the experiment, the small talk strategy had a negative effect on the building of intimacy and the self-exposure and anthropomorphism strategy had a positive effect. In addition, the three strategies did not directly affect trust, but because intimacy affected trust, intimacy mediated trust. The conclusions of this study were as follows: First, self exposure, small talk and anthropomorphism strategies did not directly affect the user’s trust. By these strategies, we can see that trust is formed after intimacy is formed first. This means that trust can be formed only when the uncertainty is reduced, and users do not trust the unknown agent. Through this study, it can be seen that the phenomenon that intimacy mediates trust depends on the type of information that the user wants to receive and the complexity of the task to be performed. This study found that users trust close agents for simple tasks, but they can trust harder and more formal conversational agents than they do for complex or challenging tasks. Second, it was found that small talk, which is used as a strategy to gain the hearts of others in interpersonal relationships, did not contribute to the formation of user intimacy with conversational agents. This appears to be due to the user's perception of the agents. So far, users have been able to recognize voice devices that can communicate with each other as 'personal assistant' rather than 'companion'. Also, since there is an opinion that it feels uncomfortable because it seems to pretend to be a human being as a chatting agent, it can be seen that the Uncanny valley phenomenon applies not only to appearance but also to speech. However, there was also some positive opinion, so there was a possibility to develop as a companion. Finally, users were found to be familiar with agents that expose themselves and with agents that are personified. And we could see that these characteristics were factors that users would trust the agents. Users could see that they perceived the same level of self-exposure as different levels for the human conversational partner and for the conversational agent. This may be because, as mentioned, users put more value on functional utility than emotional utility on AI speakers. In addition, there was a tendency to perceive the agent with only anthropomorphism without small talk or self-exposure as mechanical device. Therefore, the thing which is more important than speech and intonation are contents, and it is derived that using social strategy in interpersonal relationship can be used as a way to induce continuous use of AI speaker. However, what should be preceded will be an improvement in awareness of the relationship with the conversational agent. To form intimacy with conversational agent and link it to trust, it will be necessary for conversational agent to be recognized as a dialogue partner further from the personal assistant who unilaterally directs the task. This study looked at whether social strategies were applied to conversational agents to create intimacy and trust. It is expected that this study is used as a guide to positive interactions with users in designing a voice-based interface.

대화형 에이전트와의 상호작용에서 대화 유형과 발화 방식이 사용자 경험에 미치는 영향 : 스마트 홈 맥락을 중심으로

강예슬 연세대학교 정보대학원 2021 국내석사

A conversational agent is an interface that is used in a variety of situations with advances in natural language processing of artificial intelligence. Among them, research on interaction with a conversational agent in smart home is expanding with development of voice processing technology that enables continuous conversation. This article studied the effect of conversational and speaking styles on user experience when interacting with a conversational agent in the form of experimental research. The conversation style was divided into task-oriented conversation and relationship-oriented conversation, and the differences between the two were studied. For smart home, the effects of response utterance type and preceding utterance type on user experience were compared. Through this, we quantitatively verified the elements of conversation that influence the user experience for the design of interactions with a conversational agent. In addition, for smart home, we studied and qualitatively analyzed the differences in the participants' perception of preceding utterance type, a new technology with little recognition, through post-interview. Finally, we tried to find practical discussion points through integrated analysis of the experimental results. Experimental results show: First, the conversation style had a meaningful effect on likability. Task-oriented dialogue showed higher likability rather than a relationship-oriented conversation. The second, the speaking style had a significant effect on psychological reactance. Psychological reactance to the preceding utterance type was great. Third, the effect of interaction of conversational and speaking styles had a meaningful impact on likeability and perceived intelligence. On the task-oriented dialogue conditions, the case of the preceding utterance type showed high likeability and perceived intelligence. On the relationship-oriented dialogue conditions, the case of the response utterance type showed high likeability and perceived intelligence. In post interview and integrated analysis, quantitative and qualitative analysis of psychological reactance were different. We interpreted this result to be due to the diversified perceptions and needs of participants on smart home technology. Based on this analysis, we presented four points of discussion when designing the interaction of a conversational agent for a smart home: (1) Conditional introduction of preceding utterance type and presentation of options. (2) Design for the sequential involvement of agents according to the period of continuous use. (3) Focus on relationship-oriented dialogue design in response utterance type cases. (4) Consideration of a conversational agent applying various types of persona considering role. It is academically meaningful that we have quantitatively studied the role of agents influenced by conversational and speaking styles operating in smart homes. It is also practically meaningful that we presented the discussion points required to design dialogue for the smart home after comprehensively analyzing quantitative and qualitative studies. 대화형 에이전트는 인공지능과 자연어 처리의 발전과 함께 다양한 상황 맥락에서 활용되는 인터페이스이다. 그 중 스마트 홈에서의 대화형 에이전트와의 상호작용에 관한 연구는 최근 음성처리 기술이 지속 대화가 가능한 수준으로 진보하면서 또다시 연구의 영역이 확장되고 있다. 이 논문에서는 대화형 에이전트와의 상호작용에서 대화 유형과 발화 방식이 사용자 경험에 미치는 영향을 실험 연구로 진행하였다. 대화 유형은 과제 중심적 대화와 관계 중심적 대화로 구분하여 유형에 따른 차이가 있는지 확인하였고, 스마트 홈 맥락에서 사용자가 먼저 에이전트를 호출하는 후행 발화 방식과 에이전트가 먼저 말을 거는 선행발화 방식이 사용자 경험에 어떠한 영향을 미치는지 비교해보고자 하였다. 이를 통해 대화형 에이전트와의 상호작용을 설계할 때 대화의 요소 중 어떤 것이 사용자 경험에 영향을 미칠지 정량적으로 검증하고자 하였다. 또한, 스마트 홈 맥락에서의 선행발화가 아직은 사용자들의 인지가 적은 신기술에 해당하기에 사후 인터뷰를 통해 실험 참여자들의 인지 차이를 확인하고 정성적 분석을 실시하였다. 그리고 실험 결과와의 통합 분석을 통해 실무적인 논의점을 찾고자 하였다. 실험 결과 첫 번째, 대화 유형은 호감도에 미치는 주효과가 유의하게 나타났고, 과제 중심적 대화가 관계 중심적 대화에 비교하여 호감도가 높음을 알 수 있었다. 두 번째, 발화 방식은 심리적 저항감에 미치는 주효과가 유의하게 나타났는데, 선행발화에 대한 심리적 저항감이 크게 나타났다. 세 번째, 대화 유형과 발화 방식의 상호작용 효과는 호감도와 인지된 지능에 유의미한 차이가 있음을 알 수 있었다. 과제 중심적 대화 조건에서는 선행발화가 호감도와 지각된 지능이 높게 나타나고, 관계 중심적 대화 조건에서는 후행 발화가 호감도와 지각된 지능이 높게 나타났다. 사후 인터뷰 분석과 통합 분석 시 심리적 저항감의 경우 정량적 분석과 정성적 분석의 결과가 다르게 나왔는데, 각각의 참여자의 스마트 홈 기술에 대한 인지 정도 및 니즈가 다양하기 때문으로 해석하였다. 이러한 분석을 바탕으로 스마트 홈 맥락에서의 대화형 에이전트 상호작용 설계 시 논의되어야 하는 점을 도출하였는데, (1) 선행발화의 조건부 도입 및 옵션을 제시할 것, (2) 지속 사용 기간에 따른 에이전트의 순차적 관여도를 설계할 것, (3) 후행 발화에서의 관계 중심적 대화 설계에 집중할 것, (4) 역할을 고려한 다양한 퍼소나(persona)를 적용한 대화형 에이전트 고려할 것의 4가지로 제안하였다. 이 연구는 스마트 홈 맥락에서 작용하는 대화의 유형과 발화 방식으로 달라지는 에이전트의 역할을 정량적 방법으로 검증하였다는 점에서 연구적 의의가 있다. 또한, 정량적 연구와 정성적 연구를 종합 분석하여 스마트 홈 맥락에서의 대화를 설계할 때 필요한 논의점을 도출하였다는 점에서 실무적 의의를 가진다.

Expressing the Personalities of the Conversational Agents with Visual and Verbal Feedback and Its Match with Tasks

이서영 서울대학교 대학원 2019 국내석사

대화형 에이전트의 심리적이고 감성적인 능력이 인간과 컴퓨터의 자연스러운 관계 형성을 위해 필요로 된다. 대화형 에이전트의 부자연스러운 표현과 반응은 사용자들에게 오히려 반감을 줄 수 있으며, 관계에 부정적인 영향을 끼친다. 감성 컴퓨팅 분야에서 주로 감정을 적용해 이를 해결했다면, 본 연구에서는 성격을 부여함으로써 대화형 에이전트의 자연스러운 피드백과 반응을 표현하고자 한다. 본 연구에서는 대화형 에이전트의 성격을 어떻게 표현할 수 있을지에 대해 탐구했다. 성격 표현 요소들로 선정된 요소들은 시각적 피드백과 언어적 요소들이다. 피험자 간 설계 방식으로, 실험을 실시했는데, 스터디 1에서는 다른 시각적 피드백들에 따른 다섯 가지 성격의 인식을 측정했다. 스터디 2에서는 다른 성별의 목소리와 언어적 요소들에 따른 다섯 가지 성격 인식을 측정했다. 또한, 특정 성격들이 업무수행에 더 적합하다는 관점을 적용하여, 스터디 3에서는 대화형 에이전트가 수행하는 과제들과 성격들에 따라 사용자들의 선호도와 인지한 지적 능력을 측정했다. 스터디 1, 2의 연구 결과에 따르면 시각적 피드백의 색깔에 상관없이 움직임 정도에 따라 사용자들이 인식하는 성격이 달라짐을 확인할 수 있었다. 5가지 성격들 중에, 우호성(agreeableness)을 제외한 성격들에 따른 적합한 언어적 요소들을 확인할 수 있었다. 스터디 3의 연구 결과에 따르면, 대화형 에이전트가 사회적 수행 과제를 제외한 다른 과제들을 수행할 때, 창의성(openness)이 가장 선호되고, 가장 지적으로 여겨졌다. 사회적 과제를 수행하는 대화형 에이전트일 경우에만 외향성이 가장 선호되고, 지능적으로 여겨졌다. 연구 결과들에 따르면, 빠르고, 활발한 움직임의 표현 요소들이 더 뚜렷하며, 긍정적인 성격으로 인식된다. 그리고 대화형 에이전트의 성격에 대한 인식이 목소리의 성별에 따라 달라졌다. 또한, 다양하고, 표현적인 요소들을 사용하는 것이 긍정적인 성격들을 표현하기에 적합하다. 사람들이 대화형 에이전트를 인식할 때 사람들을 인식할 때와 비슷한 패턴들을 적용함을 알 수 있었다. Conversational agents with psychological abilities could facilitate natural communication between humans and computers while conversational agents’ unnatural expressions and reactions could frustrate users. This research applies the concept of personality to conversational agents to implement natural feedback and reactions. This study explores how to express conversational agents’ personalities. The selected cues were visual feedback and verbal cues. As a between-participants study design, Study 1 measured the perception of five personalities toward different visual feedback and Study 2 measured the perception of five personalities depending on different verbal cues with voices of different genders. Concerning that certain personalities of conversational agents were considered more suitable for certain tasks, Study 3 investigated the user preference and perceived intelligence toward conversational agents with different personalities and tasks. The study results demonstrate that different motions of visual feedback were highly influential on the perceptions of personalities. Color was not a decisive factor. In addition, except for agreeableness, different verbal cues were perceived as different personalities. For conversational agents performing service, physical, and office tasks, openness was the most preferred and perceived as intelligent. In case of social tasks, the extravert conversational agents were the most preferred and perceived as intelligent. Fast and active visual feedback is suitable to design conversational agents with distinct and positive personalities. In addition, perceptions of conversational agent’s personalities differed according to the gender of voice. Diverse and expressive cues were suitable for expressing positive personalities. Interactions between conversational agents and humans demonstrated similar patterns of perception as human-human interactions.

시맨틱 베이지안 네트워크를 이용한 지능형 대화 에이전트

김경민 연세대학교 대학원 2005 국내석사

Conversational agents are representative intelligent agents that provide information for users by using the natural language dialogue. They understand the user''s intention through conversation and offer an appropriate service. Pattern matching, one of the popular methods for constructing the conversational agent, works well at a sentence, but it is not feasible to understand a dialogue in which context should be considered. Moreover, it is likely to fail to understand a complex sentence which requires a deep analysis. Recently, researchers have investigated on flexible dialogue models using artificial intelligence techniques such as Bayesian networks.In this paper, we propose semantic Bayesian networks that infer the user''s intention based on Bayesian networks and their semantic information. Since conversation often contains ambiguous expressions, managing the context or the uncertainty is necessary to support flexible conversational agents. The proposed method drives the mixed-initiative interaction that prompts for missing concepts and clarifies for spurious concepts to understand the user''s intention correctly. That not only reduces the complexity of networks, but also infers the user''s intention more pro-actively.Actually implementing a Web information guide with the proposed method, we have conducted qualitative and quantitative analyses to verify the usefulness of the proposed method. 대화형 에이전트는 자연언어를 사용하여 사용자와 에이전트 사이에서 정보를 주고받는 시스템으로, 사용자의 의도나 요구를 대화를 통해 이해하고 적절한 서비스 및 정보를 제공하는 대표적인 지능형 에이전트이다. 전통적인 대화형 에이전트는 패턴매칭 등의 기술을 통해 질의와 답변의 쌍들로 구축된 지식을 기반으로 사용자 질의에 대해 설계자가 미리 준비된 답변을 제공한다. 이런 경우 미리 설계된 질의에 대해서 고정된 답변이 반복적으로 출력되어 친밀감이 떨어지며, 다양한 상황에 대한 융통성이 적어 사용자의 요구에 적절한 답변을 제공하지 못하는 한계가 있다. 최근 보다 세밀하고 유연한 사용자 의도 추론을 위해 베이지안 네트워크 등의 인공지능 기법을 이용한 대화처리 모델이 연구되고 있다.본 논문에서는 대화형 에이전트의 사용자 의도 추론에 사용된 베이지안 네트워크의 성능을 개선하기 위해 노드간의 의미 관계를 표현하는 정보를 포함한 시맨틱 베이지안 네트워크를 제안한다. 단발적인 질의 분석이 아닌 점증적 질의 분석을 바탕으로 불충분한 정보로 적절한 답변을 추론하지 못할 경우에 상호주도적 인터랙션(Mixed-Initiative Interaction; MII)을 이용하여 문제를 보다 능동적으로 해결한다. 기존에 베이지안 네트워크를 이용하여 MII를 수행한 연구가 시도되었지만, 복잡한 네트워크 설계와 확률값 계산의 문제로 인해 실세계에 적용되기에는 한계가 있었다. 따라서 확률적 추론에 기반한 베이지안 네트워크에 의미 정보를 결합한 시맨틱 베이지안 네트워크 모델을 통해 사용자 의도 추론시 네트워크의 의미 관계를 분석하여 보다 적은 정보량으로 해당 답변을 추론함으로써 검색 범위를 축소하고, 다양한 유형의 질의를 처리하여 사용자의 요구를 보다 적극적으로 해결한다.실제 모바일 검색 사이트를 대상으로 다양한 유형의 대화처리를 분석하여 정성적인 성능을 분석하고, 시스템 및 사용자 만족도 측정의 정량적 성능 평가를 통해 제안하는 지능형 대화 에이전트의 유용성을 확인하였다.

Development of the 'ForMe' agent to assist ADHD children in performing daily tasks : user-centered design approach for creating regularity

박도은 Graduate School, Yonsei University 2023 국내박사

Attention deficit hyperactivity disorder (ADHD) is the most common mental illness experienced by children in the prepubertal period. ADHD child patients have difficulty starting and completing daily tasks successfully on time owing to executive function impairment. Failure of children to perform tasks can cause problems such as low self-efficacy and frequent issues with parents. This study aimed to develop a digital assistant to support the daily life of children with ADHD. Four studies were conducted through an iterative user-centered design process to increase the likelihood of developing an effective conversational agent intervention that fits patients' needs and preferences. STUDY 1 aimed to identify the difficulties encountered by children with ADHD in performing daily tasks. An in-depth interview was conducted targeting parents who have children with ADHD, and an analysis was conducted using grounded theory. To address the issue of non-completion of tasks by children, households employed a token-economy method involving planning and scheduling charts. However, despite implementing these solutions, maintaining interest and completing the plan remained challenging. In this process, parents intervened by inquiring, informing, and guiding the behavior of these children. In STUDY 2, a voicebot with self-instruction training and behavioral parenting training was developed to help children perform daily tasks. A pilot randomized controlled trial was conducted for eight weeks to explore the feasibility of the developed voicebot for 16 children with ADHD. The quantitative and qualitative analysis results demonstrated that the use of a voicebot has a positive impact on improving self-efficacy of children and alleviating ADHD symptoms. Interaction with the voicebot helped in performing daily tasks. STUDY 3 developed an application that can be operated on a tablet PC, allowing children to interact through a voice-based conversational agent. It was developed to apply customized interactions according to ADHD severity. A field study of a pre-post design was conducted in which 16 ADHD and eight typical development children used a conversational agent for eight weeks. The quantitative and qualitative analysis confirmed that it was effective in improving self-efficacy of children, improving ADHD symptoms, and enhancing executive function. Reduction in parenting stress of parents was also confirmed. It was explored that habit formation for children's daily tasks was related to relieving ADHD symptoms. In STUDY 4, a field study of pre-post design targeting numerous people was conducted to confirm the effectiveness of the conversational agent. A monitoring application for parents was developed and used in the study. A four-week study was conducted targeting suspected ADHD and typical development children. Quantitative analysis confirmed that it effectively improves the ADHD symptoms of children and promotes school adjustment. In conclusion, we developed a voice-based conversational agent that supports children with ADHD in their daily tasks. The conversational agent improves the quality of life for children with ADHD by helping them overcome difficulties and ultimately achieve functional improvement. This study is significant as it employs an appropriate user-centered design methodology to address the actual problems faced by children with ADHD and presents practical solutions to them. In particular, the completeness of the prototype was improved by conducting repeated experiments targeting children with ADHD. An interaction customized for ADHD symptoms was provided to the child. A way for children and parents to solve their children's problems was presented. Most importantly, the results of the three tests show that the cognitive behavioral therapy and behavioral therapy method applied to the prototype would effectively improve the function of children with ADHD. This study presented a case that can overcome the limitations of pharmacological treatment. Finally, the confirmation that voice-based conversational agents can introduce novel functionalities in the field of digital health opens up possibilities for positive effects in the industrial sector. 주의력결핍 과잉행동장애(ADHD)는 사춘기 전 아동이 경험하는 가장 흔한 정신질환이다. ADHD 아동은 실행 기능 결함으로 일상 과업을 제시간에 성공적으로 시작하고 완료하는 데 어려움을 겪는다. 환아의 과업 수행 실패는 낮은 자기효능감, 부정적 자아상 등 2차 문제를 야기할 수 있다. 본 연구는 ADHD 아동의 일상생활을 돕는 디지털 어시스턴트 개발을 목표로 한다. 환아의 요구를 반영하면서도 효과적인 대화형 에이전트의 중재 방법을 개발하기 위하여, 사용자 중심 설계 프로세스 기반의 반복적인 연구가 수행되었다. 연구 1은 ADHD 아동이 일상 과업을 수행하는 과정에서 겪는 어려움을 확인하는 것을 목표로 했다. ADHD 아동의 부모를 대상으로 심층 인터뷰를 진행하였고, 근거 이론을 통해 분석하였다. 아동의 일상 과업 수행을 돕기 위하여, 각 가정에서는 토큰 이코노미가 적용된 과업 스탬프나 계획표를 사용하고 있었다. 그러나 이러한 솔루션 중에서도 계획 완성이 어렵고, 관심 유지가 어려운 것으로 나타났다. 아동의 일상 과업 수행 중, 부모가 자녀에게 행동과 절차를 묻거나, 알려주거나, 지도하는 모습이 확인되었다. STUDY 2에서는 ADHD 아동의 일상 과업 수행을 돕는 보이스봇이 개발되었다. ADHD 아동 16명을 대상으로 보이스봇의 실행 가능성을 확인하기 위한 8주간의 무작위 대조 시험을 진행했다. 정량적, 정성적 분석 결과, 보이스봇이 아동의 일상 과업 수행, 자기효능감 및 ADHD 증상 개선에 도움이 되는 것을 확인하였다. STUDY 3에서는 아동과 인터랙션 가능한 대화형 에이전트가 탑재된 태블릿 PC 용 애플리케이션을 개발하였다. ADHD 증상 정도에 따라 대화 시나리오를 구성하여 맞춤화된 인터랙션 적용이 가능하다. ADHD 아동 16명과 일반 발달 아동 8명이 8주 동안 대화형 에이전트를 사용하는 사전 사후 설계의 필드스터디가 수행되었다. 정량적, 정성적 분석 결과, 아동의 자기효능감 향상, ADHD 증상 개선, 실행 기능 향상에 도움이 되는 것으로 확인되었다. 부모의 양육 스트레스 감소도 확인할 수 있었다. STUDY 4에서는 대화형 에이전트의 효과를 확인하기 위하여, 대규모 인원을 대상으로 한 사전 사후 설계의 필드스터디가 수행되었다. ADHD 의심 아동과 일반 발달 아동을 대상으로 4주간의 연구가 수행되었다. 정량 분석 결과, 아동의 ADHD 증상 개선과 학교 적응 촉진에 도움이 되는 것으로 확인되었다. 본 연구에서는 ADHD 아동의 일상 과업을 돕는 대화형 에이전트를 개발하였다. 대화형 에이전트는 ADHD 아동이 어려움 극복에 기여하고, 궁극적으로 기능적 향상을 이룰 수 있도록 도와줌으로써, 아동의 삶의 질 향상에 기여한다. 본 연구는 사용자 중심 설계 방법론을 활용하여 ADHD 아동이 겪는 실제 문제점을 탐색하고, 그에 대한 실질적인 해결책을 제시하였다. 반복 실험을 통해 프로토타입의 완성도를 높였고, ADHD 증상에 맞춤화된 인터랙션이 아동에게 제공될 수 있게 개발되었다. 세 번의 임상시험으로, 프로토타입에 적용한 인지행동치료와 행동치료 방법이 ADHD 아동의 삶과 기능 향상에도 도움이 될 수 있다는 추측이 가능하게 되었다. 마지막으로, 음성 기반의 대화형 에이전트가 디지털 헬스 영역에서 새로운 기능을 제시할 수 있음을 확인함으로써, 산업적 측면에서 긍정적인 가능성을 기대할 수 있게 되었다.

Effects of pedagogical agents' attractiveness on learning motivation and tenacity in problem solving

Lee, Seungseb Sungkyunkwan University 2020 국내석사

The purpose of this study was to identify the relationship between agent attractiveness and learning motivation to see the effectiveness of pedagogical agents and to verify the moderating effect of tenacity. The study designed the agent using the elements of an attractiveness stereotype, such as eyes, nose, and mouth because agent attractiveness is an important factor to explain the effectiveness of the embodied agent. The results of the study's model verification are summarized as follows. First, agent attractiveness has been shown to have a positive effect on learning motivation. This is consistent with Khan (2009, 2013), who studied attractive agents. When learning with pedagogical agents, it feels like human teachers and also attractive pedagogical agents can improve learning motivation like attractive human teachers. This shows that the concept of attractiveness used in the field of communication is applicable to education that uses multimedia learning. Second, the relationship between agent attractiveness and learning motivation showed no moderating effect of tenacity. This does not affect learning motivation, even though tenacity is closely related to learning motivations, and results are different from previous studies(Pintrich & DeGroot, 1990; Vanstenkiste, Lens, & Deci, 2006; Zimmerman & Martinez, 1990). What we can see from this is that if learners learn with an agent they feel attractive, there will be a positive learning effect. It's not just learning with a given pedagogical agent, it's learning with attractive pedagogical agents they want. Attractiveness effects have also been verified in the field of education, so it is necessary to consider attractiveness factors when studying the effects of later-designed pedagogical agents. 이 연구는 멀티미디어 학습을 하는 학습자가 학습용 에이전트와 함께 학습할 때 에이전트의 매력도가 학습 동기에 미치는 영향과 에이전트 매력도와 학습 동기간의 관계에서 끈기가 조절 효과를 가졌는지 검증하는 것이 목적이다. 멀티미디어 학습 환경에서 학습용 에이전트 활용에 관해 관심이 높아지고 있는 가운데 학습용 에이전트의 효과를 주기 위한 에이전트 매력도의 필요성을 이해하고 학습용 에이전트 설계하는 데 도움이 되고자 한다. 본 연구에서 나타난 연구모형 검증 결과를 요약하면 다음과 같다. 첫째, 에이전트 매력도는 학습 동기에 정적 영향을 미치는 것으로 나타났다. 이는 매력적인 에이전트를 연구한 Khan(2009, 2013)과 일치한다. 학습용 에이전트와 학습할 때 인간 선생님처럼 느껴지며, 매력적인 학습용 에이전트가 매력적인 인간 선생님처럼 학습 동기를 향상할 수 있다. 이는 기존에 커뮤니케이션 분야에서 활용되는 매력도 개념이 HCI 분야를 넘어 멀티미디어를 활용하는 교육 분야에서도 적용 가능한 것을 알 수 있다. 둘째, 에이전트 매력도와 학습 동기간의 관계에서 끈기의 조절 효과는 없는 것으로 나타났다. 이는 끈기가 학습 동기와 밀접한 관계가 있음에도 영향을 주지 못하며 기존 연구와 다른 결과가 나왔다. 이를 통해서 알 수 있는 것은 학습자 자신이 매력적이라고 느끼는 에이전트와 함께 학습한다면 긍정적인 학습 효과가 나타나는 것을 알 수 있다. 단순히 주어진 학습용 에이전트와 학습하는 것이 아니라 자신이 원하는 매력적인 학습용 에이전트와 학습하는 것이다. 교육 분야에서도 매력도 효과를 검증했으니, 이후에 설계된 학습용 에이전트의 효과를 연구할 때 매력도 요소를 고려할 필요가 있다.

Effects of self-disclosure and customization in conversational agents : Comparison of task- and social-oriented dialogues

Kahyun Lee 연세대학교 정보대학원 2020 국내석사

The market for AI-based voice assistants, or conversational agents (CAs), has been growing in recent years. These devices have a variety of functions and are typically designed to perform tasks, rather than engage in social conversational. Previous research has shown that the use of self-disclosure, the act of revealing personal thoughts and feelings, in CAs improves socialness and increases overall user evaluations. However, CAs that do not use self-disclosure may be more suitable for task-oriented dialogues. This study investigated the role of self-disclosure and customizability on user experiences in specific dialogue types using the Wizard of Oz experimental method. Study 1 utilized a 2(self-disclosure vs. no self-disclosure) x 2(task-oriented vs. social-oriented) mixed factorial between-subjects experiment to determine the effects of self-disclosure on trust, usefulness, and intention to use in distinctive dialogues. Results showed that trust and usefulness evaluations were higher for CAs that did not use self-disclosure in task-oriented dialogues, and higher for CAs that did use self-disclosure in social-oriented dialogues. The interaction effect of dialogue type and self-disclosure on trust, usefulness, and intention to use were all statistically significant, demonstrating that self-disclosure has contrasting effects in different dialogue types. Study 2 explored user perceptions of customizable CAs by adding self-disclosure as a customizable feature. With the customizable CA, participants were able to choose when to enable self-disclosure, while the non-customizable CA automatically used self-disclosure in only social-oriented dialogues. The customizable CA had higher usefulness and intention to use evaluations than the non-customizable CA, showing that users prefer having the ability to choose the CA’s persona. Results of these studies suggest that designers should consider the specific dialogue types and user goals when adding human qualities, such as self-disclosure, to CAs. 최근 인공지능 스피커 시장의 성장으로 인해 인공지능 기반 대화형 에이전트(Conversational Agent)의 이용 범위가 넓어지고 있다. 인공지능 에이전트는 기본적으로 스마트 기기 제어, 음악 재생 등 다양한 서비스를 제공하는 비서라고 할 수 있다. 기존의 의인화 연구에서는 대화형 에이전트가 인간처럼 자기 노출을 사용하면 사회성이 향상되고 전반적인 사용자 경험이 증가하는 것으로 나타났다. 그러나 과업 중심 대화에서는 자기 노출을 사용하지 않는 에이전트가 더 적합 할 수 있다. 이 연구에서 특정 대화 유형에서 자기 노출과 개인 맞춤화(Customization)가 사용자 경험에 미치는 영향을 알아보기 위해 실험을 진행하였다. 연구 1에서는 2(자기 노출 사용: 유/무) x 2(대화 유형: 과업 중심 대화/사회적 대화)로 피험자 간 실험으로 구성하였으며 신뢰도, 유용성 및 사용 의도에 대한 자기 노출 효과를 보았다. 과업 중심 대화에서 자기 노출을 사용하지 않는 에이전트의 신뢰도와 유용성이 높았으며 사회적 대화에서는 자기 노출을 사용하는 에이전트의 신뢰도와 유용성이 높았다. 또한 자기 노출과 대화 유형 사이에는 상호작용 효과가 나타났다. 즉, 자기 노출이 신뢰도, 유용성 및 사용 의도에 미치는 영향은 대화 유형에 따라 다르게 나타난다는 것을 확인할 수 있었다. 연구 2에서는 개인 맞춤 제어가 가능한 에이전트의 사용자 경험을 알아보았다. 실험을 통해 개인 맞춤 제어가 가능한 에이전트와 개인 맞춤화 기능이 없는 에이전트를 비교하였다. 개인 맞춤화 기능이 없는 에이전트는 자동으로 과업 중심 대화에서는 자기 노출을 사용하지 않고 사회적 대화에서는 자기 노출을 사용했다. 개인 맞춤 제어가 기능한 에이전트의 자기 노출은 선택 사항으로 제공되었으며 참가자가 원할 때 활성화할 수 있었다. 그 결과, 개인 맞춤 제어가 가능한 에이전트의 유용성과 사용 의도가 높은 것으로 나타났다. 이 연구에서 자기 노출은 특정 대화 유형과 사용자의 개인 목표에 따라 사용자 평가에 영향을 다르게 미친다는 것을 확인할 수 있었다.

Diversifying Female Conversational Agent’s Response Strategies against Human User’s Sexual Harassment

정규하 서울대학교 대학원 2023 국내석사

With growing interests in artificial intelligence (AI) and conversational agents (CAs), human user's verbal abuse on them has become a universal problem. Compared to other gendered agents, female personified CAs are more frequently attacked by its users, often sexually. To address this issue, this study explored possible response strategies of female conversational agents against human user's sexual harassment. An online questionnaire with a 2 (Agent Type: conversational or human agent) x 4 (Response Strategy: normative appeal, guilt appeal, fear appeal, or avoidant message) within-subject design revealed that fear and normative appeals were perceived as more effective than guilt appeal and avoidant responses. Moreover, a human agent was able to induce more behavioral intentions and likability than a conversational agent. Qualitative data was utilized to interpret the study results. The current study urges future collaboration between academia and industry to encourage research in AI ethics. 인공지능(AI)과 대화형 에이전트(CA)에 대한 관심이 높아지면서 인간 사용자의 언어 폭력은 보편적인 문제가 되었다. 다른 젠더의 에이전트와 비교하여, 여성으로 의인화된 CA는 사용자로부터 더 자주 공격을 받으며, 종종 성적인 발언을 듣는다. 이러한 문제를 해결하기 위해 본 연구는 인간 사용자의 성희롱에 대한 여성화된 대화형 에이전트의 응답 전략을 탐색했다. 2(에이전트 유형: 대화형 또는 인간 에이전트) x 4(응답 전략: 규범적 호소, 죄책감 호소, 두려움 호소 또는 회피적 메시지)의 반복 측정 설계로 된 온라인 설문에서 두려움 호소와 규범적 호소가 죄책감 호소 및 회피적 메시지보다 효과적인 응답으로 확인되었다. 또한 인간 에이전트는 대화형 에이전트보다 더 많은 행동적 의도와 호감을 얻을 수 있었다. 연구 결과를 해석하기 위해서 질적 데이터가 활용되었다. 본 연구는 AI 윤리에 대한 연구를 장려하기 위해 학계와 산업계간의 추후 협력을 촉구하고자 한다.

대화형 에이전트의 성능 개선을 위한 사용자 발화에 관한 탐색적 연구

최혜민 연세대학교 대학원 2018 국내석사

This study collected and analyzed the utterances of human users to improve the performance of conversational agents. To do this, it is important to grasp intentions in user utterances. In order to develop an effective conversational agent, we tried to understand various language processing and language comprehension factors specialized in user's spoken language. There are two things that this study confirmed by collecting user utterances only for music services. First, we examined whether users' intention and utterance match. Second, we analyzed the utterances of the users and examined the morphemes which occupied a large portion. As a result, when using the conversational agent, the user uttered the request message as a direct keyword related to the function and purpose, also confirmed that the user uttered it according to the emotional state or the situation. This inconsistent statement is likely to be unintelligible to the agent. The results of this study suggest that the user 's emotional state and situation should be considered when designing the conversational agent. 본 연구는 대화형 에이전트의 성능 개선을 위해 실제 인간 사용자의 발화를 수집하여 분석하였다. 이를 위해 사용자의 발화에서 의도를 파악하는 것이 중요하다. 효과적인 대화형 에이전트를 개발하기 위해 사용자의 구어체발화에 특화된 다양한 언어 처리 및 언어 이해 요소들을 이해하고자 하였다. 음악서비스에 한정해 사용자 발화를 수집함으로써 본 연구가 확인한 것은 두가지였다. 첫째, 사용자의 의도와 발화가 일치하는지의 여부를 알아보았다. 둘째, 사용자의 발화문을 분석하여 많은 비중을 차지한 형태소가 무엇인지 알아보았다. 그 결과 사용자들은 대화형 에이전트를 사용할 때 기능 및 목적과 관련된 직접적인 키워드로 요청문을 발화하지만, 감정 상태나 처해진 상황에 따라 발화하는 것을 확인하였다. 이러한 불일치 발화문은 에이전트가 이해하지 못할 가능성이 크다. 본 연구 결과는 대화형 에이전트 설계 시 사용자의 감정상태와 상황을 고려해야 한다는 시사점을 가진다.