스마트폰 음성 인터페이스의 사용 현황 및 사용자 인식에 대한 조사 연구

최재호(Jaeho Choe),김훈태(Hoontae Kim) 한국전자거래학회 2016 한국전자거래학회지 Vol.21 No.4

음성 사용자 인터페이스(VUI)는 인간에게 가장 친숙하고 편안한 인터페이스이다. VUI는 이미 스마트폰에 적용되어 있으며 최근에는 클라우드 및 AI 기술의 발전으로 VUI 적용 제품은 더욱 확대되고 있다. 그러나 가장 많이 보급되어 있는 스마트폰의 경우에도 VUI를 사용하는 사용자는 매우 적은 상황이다. 본 연구의 목적은 현재 스마트폰에서 사용되고 있는 VUI의 이용 현황 및 사용자 인식을 조사하고 문제점을 파악하여 향후 VUI 사용성 제고를 위한 연구방향을 제시하는 것이다. 163명의 대학생들을 대상으로 스마트폰 VUI의 사용 현황에 대한 설문 조사를 수행하였다. 조사 결과 VUI의 인지도는 높지만 사용률은 매우 낮았으며, 많은 사용자가 음성 인식 속도, 반응 속도 및 작동 방법에 대해 불편함을 느끼고 있는 것으로 나타났다. 대부분의 사용자가 호기심에서 VUI를 사용해봤지만 일부만이 계속 사용하고 있는것으로 조사되었으며, 많은 사용자들이 기계에게 말하는 것과 다른 사람들이 듣는 것에 거부감을 가지고 있었다. 본 연구의 결과는 VUI의 활용도를 제고하기 위한 향후 연구에 도움이 될 것으로 기대된다. Voice User Interface (VUI) is the most familiar and comfortable interface to human. Recently, with the development of cloud and AI technologies VUI has been applied to various products. The aim of this study was to identify the problems of the current VUI and to find the direction of future study by investigating the utilization status and user perception of the VUI of smartphones. A survey was conducted with 163 college students using Google Forms. The results showed that the level of recognition of VUI is high but the rate of usage is very low, and many users feel uncomfortable about the voice recognition rate, reaction speed and operation method. Most of the survey participants tried VUI out of curiosity, but only a small portion of them found it useful to continue to use it. Many participants disliked talking to machines and also did not want others to listen. The study results will guide future research efforts for improving the utilization of VUI.

음성 사용자 인터페이스 디자인 고찰 연구

김민정(Kim, Min Jung) 한국디자인문화학회 2017 한국디자인문화학회지 Vol.23 No.3

1970년대 말미에 탄생한 퍼스널 컴퓨터(personal computer)를 기점으로 우리는 사각형의 컴퓨터 스크린을 당연한 디지털 환경으로 인식해 왔다. 그러나 2010년부터 본격적으로 대중화되기 시작한 스마트폰의 등장은 당연하다고 인식되어 왔던 사용자 인터페이스와 인터랙션 도식을 과감히 변화시키고 있다. 특히 스마트폰 기반의 음성 사용자 인터페이스(Voice User Interface, 이하 VUI)에 대한 활용이 증가하고 있는 추세이다. 하지만 눈으로 보고 터치하는 방식의 그래픽 사용자 인터페이스(Graphic User Interface) 디자인 전략을 그대로 음성 인터페이스에 적용하면서 원활한 사용자 경험을 이끌어 내지 못하는 것이 현재의 실정이다. 따라서 가로 사각형 인터페이스에 대한 고정관념에서 벗어나 변화하는 인터페이스 디자인을 위한 새로운 전략을 고민해봐야 할 시기이다. 본 연구는 ‘음성인식기술’과 ‘음성 사용자 인터페이스’에 대한 개념 및 활용 현황을 살펴보고, 스마트폰 기반의 지능형 음성 서비스의 인터페이스 사례들의 특징을 분석하여 바람직한 음성 사용자 인터페이스 디자인을 위한 접근 방향을 고찰하는데 그 목적이 있다. 연구의 범위는 국내외 스마트폰 기반의 음성 사용자 인터페이스를 연구의 대상으로 한정하였으며 연구방법을 위한 이론적 고찰은 문헌자료를 중심으로, 사례분석은 인터넷을 통한 D/B 검색을 활용하였다. 연구결과, VUI 디자인을 위해 고려해야 할 사항은 다음과 같다. 첫째, VUI는 더욱 사용자 중심적 이여야 하며 이를 위해 간결한 정보설계와 간결한 디자인이 필연적이다. 둘째, 음성 피드백을 수반하고 있지만, 반드시 그래픽 요소를 효과적으로 사용하여 사용자에게 편리함을 주어야 한다. 셋째, 기계와 사용자를 고려한 VUI 디자인 가이드라인을 도출을 위해 반드시 면밀한 사용자 테스트를 통해 디자인을 시작해야 한다. 마지막으로, VUI를 위한 디자인은 사용자의 감성 및 감정을 고려하여 최대한 친근하게 디자인되어야 하며 이때 그래픽 기반의 디자인 요소와 음성에 대한 부분을 고민할 수 있다. 본 연구결과가 향후 VUI 디자인을 위한 사고의 확장을 촉발하며 더불어 구체적인 디자인 전략 수립을 위한 기반 연구 자료로 활용되기를 기대해본다. Starting with the personal computers that were produced in the late 1970s, we have recognized the rectangular interface of a computer screen as the natural digital environment. However, the popularity of smartphones since 2010 has led to the 4th industrial revolution, which can be characterized by our hyper-connected society. In addition, the schemes and perceptions of the user interface and user experience which have been recognized as natural, are being drastically changed. Especially, the usage of voice user interface(VUI) in smarthphones is increasing. However, VUI does not always lead to the best user experience because graphical user interface(GUI) design has been applied to the voice interface. Therefore, it is time to consider a new design strategy for VUI interface, which uses out of the box thinking and will take us out of our computer screen boxes. This study has the purpose of finding the definition and application of ‘voice recognition technology’ and ‘voice user interface’, comparing the characteristics of smartphone’s VUI which is the core issue of this research. Also this study proposes design approaches which make use of VUI. The scope of this research was limited to the study of voice user interfaces based on smart phones, and theoretical considerations were based on diverse books and publications, and examples for analysis collected from internet resources. As a result of the study, the following points should be considered for VUI design. First, the VUI should be more user-centric and requires concise information architect and interface design. Second, although the VUI works with spoken feedback, it is necessary to use graphic elements effectively to provide convenience to users. Third, you must start VUI design with careful user tests to derive VUI design guidelines for machine and user. Finally, the design for VUI should be designed as friendly as possible considering user"s emotions and feelings. It is helped that the results of this study will be used as a basis for developing detailed design strategies and encouraging the expansion of thinking for VUI design in the future.

Design Strategies for Learnability in Voice User Interface: Literature Survey

Youngin Koh,Sung. H. Han 대한인간공학회 2018 대한인간공학회 학술대회논문집 Vol.2018 No.5

Human and machine can interact each other in spoken language through Voice User Interface. VUI, however, has challenges, such as technical challenge and audio inherent challenge. Audio inherent challenge, especially the invisible nature of VUI can challenge users’ ability to discover its capabilities and limitations. When discoverability is challenging, learnability can be compromised. This study conducted literature survey focusing on learnability issues in VUI. The survey showed several design strategies to improve learnability in VUI; a) Design graphic, b) Design output speech, c) Design universal interface, d) Design sound cues, and e) Design lifelike character. The definition of each design strategy, ways to deliver, and positive aspect of the strategies are described in this paper. This study can be used to enhance the learnability of the VUI.

머신러닝 분석 기술을 통한 뇌파 기반 VUI 감성 만족도 평가

권도훈(Dohoon Kwon),김민재(Minjae Kim),장나영(Nayoung Jang),유희천(Heecheon You) 대한인간공학회 2021 대한인간공학회 학술대회논문집 Vol.2021 No.11

Objective: 본 연구는 뇌파 기반 음성 사용자 인터페이스(voice user interface, VUI) 평가를 통해 인터페이스 변화에 따른 감성 만족도를 확인하는 것이다. Background: 사용자 감성은 사용자 만족도와 선호도에 영향을 끼쳐 객관적으로 평가될 필요가 있다. 두피에 전극을 부착하여 영역별로 활성화된 전위를 측정하는 뇌파(electroencephalogram, EEG)는 사용자가 의도적으로 조절할 수 없어 감성을 객관적으로 평가하는데 유용하게 활용되고 있다. Method: 본 연구의 EEG 평가 실험에는 30명의 실험참여자가 모집되었으며, 실험참여자가 음 높이(낮음: 170 ㎐, 보통: 210 ㎐, 높음: 240 ㎐)와 말 빠르기(느림: 285 spm, 중간: 345 spm, 빠름: 405 spm)가 다양한 9가지 VUI를 청취하는 동안 EEG 신호가 측정되었다. EEG 신호 분석은 전처리, 특징 추출 그리고 분류의 절차를 통해 분석되었다. 전처리 단계에서는 EEG 신호의 body artifact와 eye movement noise가 제거되었으며, 분석에 사용될 데이터 선별 과정을 거쳤다. 특징 추출 단계에서는 frequency band에 따라 delta (1 ~ 4 ㎐), theta (1 ~ 4 ㎐), alpha (1 ~ 4 ㎐), beta (1 ~ 4 ㎐), 그리고 gamma (1 ~ 4 ㎐)의 5가지 신호로 분류되었다. 분류 단계에서는 support vector machine (SVM) method와 random forest를 통해 사용자의 감정이 분류되었으며 주관적 평가와 비교되었다. Results: 높은 음 높이와 중간 말 빠르기 조건에서 실험참여자의 명료성과 친근감 그리고 실험참여자의 전두엽에서 측정된 긍정도(valence)가 가장 높은 것으로 평가되었다. 또한, 경고와 일반 사용 조건의 두가지 사용 상황 중 경고 상황에서 말 빠르기가 빠를수록 정보 전달성이 더 높은 것으로 평가되었다. 사용된 machine의 정확도는 SVM과 RF에서 각각 평균 91.3%, 85.7%이다. Conclusion: 본 연구의 뇌파 기반 사용자 감성 만족도 평가/분석 방법은 감성 만족도가 높은 제품 설계에 활용되어 사용자의 제품 사용성과 선호도를 높이는데 활용될 수 있다.

VUI와 GUI 특성에 따른 스마트 스피커의 멀티모달 인터페이스에 대한 디자인 제언

강동원(Dongwon Kang),남기영(Ki-Young Nam) 한국디자인학회 2019 한국디자인학회 학술발표대회 논문집 Vol.2019 No.5

인공지능 기반의 VUI가 적합한 가전제품군 유형 분석 연구

박승태(Seungtae Park),박지원(Jiwon Park),연명흠(Yeuon, Myeong-Heum) 한국디자인학회 2019 한국디자인학회 학술발표대회 논문집 Vol.2019 No.5

인공지능 스피커의 퍼소나 연구

김나연 ( Kim Na-yeon ),이채린 ( Lee Chae-rin ),홍희수 ( Hong Hee-su ),강다현 ( Kang Da-hyeon ),윤수빈 ( Yun Soo-bin ),윤재영 ( Yun Jae-young ) 커뮤니케이션디자인학회(구 시각디자인학회) 2021 커뮤니케이션 디자인학연구 Vol.75 No.-

인공지능 기반의 VUI 시장이 성장함에 따라, 다양한 VUI 퍼소나를 가진 인공지능 디바이스들이 출시되고 있다. VUI 퍼소나는 사용자 경험과 브랜드 이미지 형성에 큰 영향을 미치지만, 아직 퍼소나 설정에 다소 미흡한 부분들이 존재하며, 이에 대한 연구 또한 미비하다. 본 연구에서는 현재 국내에서 제공되고 있는 5개의 인공지능 스피커들을 대상으로 하여 호출명, 디폴트 음성, 답변내용 등을 분석하여 어떻게 퍼소나가 설정되어 있는지 알아보았다. 기존 인공지능 스피커의 VUI 퍼소나 유형을 비교 분석하여 1차로 퍼소나 이미지를 디자인한 후, 발견한 의문점과 한계점(의인화 정도와 이에 따른 퍼소나 설정, 일관성 이슈 등)을 바탕으로 참여자들에게 각 스피커의 퍼소나에 대해 의견을 묻는 인터뷰를 진행하였다. 인터뷰 결과, 대체로 각 디바이스를 잘 표현할 수 있는 VUI 퍼소나 설정과 의인화가 필요하고 퍼소나가 일관성 없는 경우 혼란스럽다고 하였다. 이를 통해 각 인공지능 스피커의 정체성을 잘 표현함과 동시에 사용자와 원활한 상호작용이 가능한 퍼소나 설정에 대해 논의하였다. 본 연구를 기반으로 인공지능 스피커의 VUI 디자인이 개선될 수 있기를 기대한다. As the artificial intelligence-based VUI market grows, A.I. devices with various VUI personas are being released. The VUI persona has a great influence on user experience and brand image formation, however, the persona setting is incomplete, and related studies are also inadequate. In this study, each call name, voice(default), and answers of five A.I. speakers currently provided in Korea were analyzed to determine how the personas were set. After visualizing each persona by comparing and analyzing the VUI persona types of A.I. speakers, we interviewed participants to ask for their opinions about each persona based on the questions and limitations we found(such as degree of personification and corresponding persona setting, and consistency issues). As a result of interviews, the majority said that VUI Persona setup and personification were needed to express each device well. They added, "If a persona is inconsistent, it is confusing." Through this, the study contemplated the persona setups which express the identity of each A.I. speaker well and help to smoothly interact with users. Based on the study, we hope that the VUI design of A.I. speakers will be improved.

“대체가 아닌, 새로운 뱅킹”: 사용자-기계 대화를 통한 은행 서비스의 VUI 유즈 케이스 탐색

류명균(Myeonggyun Ryu),박상아(Sangah Park),유지수(Jisu Ryou),이중식(Joongseek Lee) 한국HCI학회 2022 한국HCI학회 학술대회 Vol.2022 No.2

은행의 새로운 채널로 VUI(Voice User Interface)가 대두되고 있다. 현재 은행의 VUI 접근 방법은 기존 모바일 기능을 음성 인식으로 가능하게 하는 방식이다. 그러나 모바일 기능을 음성으로 대체하는 것은 효율적이지 않다. 상호작용 방식이 변하면 사용자의 니즈도 달라지기 때문이다. 따라서 본 논문에서는 사용자-기계 대화를 통해 은행 서비스의 VUI 유즈 케이스를 탐색하고자 한다. 이를 위해 두 가지 조사를 진행했다. 첫 번째 조사에서는 참가자들(n=12)에게 금융 활동을 유발하는 장면을 보여주며 WoZ(Wizard of Oz) 방식을 통해 유즈 케이스를 도출했다. 이를 바탕으로 스마트 스피커에서 작동되는 은행 서비스 프로토타입을 제작했다. 두 번째 조사에서는 도출된 유즈 케이스를 검증하기 위해 참가자(n=10)들에게 프로토타입 사용을 요청하였다. 조사를 통해 세 가지 결과를 얻었다. 1) 사용자는 이체, 조회와 같은 가벼운 은행 업무를 원했고, 2) 지출 요약 또는 비교와 같은 계산을 동시에 요청하였으며, 3) 캐주얼한 대화로 금융 전반에 대해 조언을 얻고자 하였다. 본 논문은 VUI 기반 은행 서비스의 유즈 케이스가 기존과 다름을 밝혀 냈고, 프로토타입을 활용하여 VUI 유즈 케이스를 검증했다는 점에서 의의를 갖는다.

음성 사용자 인터페이스(VUI)환경에서 한국어의 대우법과 감탄사가 미치는 영향

이병기(Byeong Ki Lee),윤재영(Ray Jaeyong Yun) 한국HCI학회 2019 한국HCI학회 학술대회 Vol.2019 No.2

음성을 통해 컴퓨터 혹은 기계와 상호작용하는 음성사용자 인터페이스 환경은 스마트 모바일 기기를 넘어 차량내, 의료기관, 금융, 가정 내에 까지 그 영역을 확장해 나가고 있다. 음성 사용자 인터페이스는 기존의 인터페이스와 다른 특징을 갖는데, 언어(Language)를 사용한다는 점이다. 언어는 각 나라마다의 특성이 다르며 한국어 또한 그렇다. 이에 한국어의 특성 중 청자와 화자 간의 상황에 따라 다르게 사용되는 ‘대우법’과 구어에 많이 사용되는 ‘감탄사’ 를 통해 VUI 환경에서 사용자가 느끼는 인간성, 친밀성, 심리적 저항감에 미치는 영향을 알아보고자 한다. 60 명의 예비 실험 결과 인간과 같이 느끼는 인간성이 실험물 D(비존대-감탄사 사용)가 우세한 결과가 나왔다. 현재 제공되는 VUI 의 음성 프롬프트인 존대 방식과 감탄사를 사용하지 않는 방식과 대비되는 결과이다.

스마트 스피커의 레시피 서비스의 사용성 평가

정구민(Gumin Jung),정혜선(Heisawn Jeong) 한국HCI학회 2021 한국HCI학회 학술대회 Vol.2021 No.1

본 연구는 요리에 대한 선호가 높아진 시대의 흐름에 따라 레시피 서비스를 선정하여 스마트 스피커가 사용자의 조리 활동을 얼마나 도와줄 수 있는지 알아보았다. 6 명의 참가자들을 대상으로 스마트 스피커 레시피 서비스를 사용하여 요리하는 것을 관찰하고 조리 후 인터뷰를 실시하였다. 자료분석에서 VUI 기기의 이점인 핸즈프리(hands-free) 사용이 얼마나 자주 이루어지는지, 음성 정보위주의 레시피 제공이 충분한지, 조리 활동을 지원하는 과정에서 기억 부담을 초래하지는 않는지, 숙련도에 따른 차이가 나타나는지 등에 중점적으로 평가되었다. 분석 결과, 본 서비스는 사용자의 손을 자유롭게 하여 조리에 몰두할 수 있도록 하였고, 사용자에 따라 음성 레시피 제공으로 조리를 완성하는 것이 가능하였다. 그러나 레시피 서비스가 사용자들에게 상당한 기억부담을 야기하는 것으로 보이는데, 이는 숙련자보다 비숙련자들에게서 더 많이 관찰되었다. 본 연구의 결과는 GUI 기반의 전통적인 레시피 서비스가 VUI 기반으로 전환될 때 어떠한 점이 고려되어야 하는지에 대한 시사점을 준다.