핑거터치 제스처를 이용한 스마트 스피커 인터랙션 = Interacting with Smart Speakers based on Finger Touch Gestures

다국어 초록 (Multilingual Abstract)

Background This study aims to identify the status of branded content music videos, to establish concepts, and to verify how brand recognition and brand attitudes are affected by the type of expression and the PPL layout of music videos, and whether singer preferences affect brand recognition and brand attitudes of each type.
Methods Concepts are summarized through literature research, and case studies are conducted according to the type of expression and the PPL layout of music videos. We also select representative cases for each type and analyze them empirically through experimental studies and in-depth interviews on brand recognition, brand attitudes, and controlling effects of singer preferences.
Results Brand recognition and brand attitude according to the type of expression in the music video were found to be significantly different, but the PPL layout was found to be not significantly different. The interaction effects have been proven to be significant only for brand recognition. There was a significant difference in brand recognition and brand attitude depending on singer preference, but the interaction effect of expression type and singer preference was not significant. The interaction effects of the type of expression, the PPL Layout, and singer preference have been proven to be significant only for brand recognition.
Conclusions Singer preference is the biggest factor in the advertising effect of using branded content music videos, and singers with popular preferences should be used as advertising models.
In addition, low-profile brands should apply narrative-oriented music videos among the expressions of music videos to alert consumers of the brand. To form a positive attitude of the brand, they can expect advertising effects by utilizing person-image-oriented music videos.

국문 초록 (Abstract)

연구배경 스마트 스피커 시장은 매년 크게 성장하고 있지만 그것의 사용성은 여전히 사용자의 기대 수준에 미치지 못하고 있다. 기존 스마트 스피커와의 음성 인터랙션은 사용자의 호출과 스마트 스피커의 호출 응답으로 이루어진 사전 호출 과정이 반드시 필요하며, 즉각적인 오류 제어가 어렵다는 한계를 가지고 있다. 이에 기존 스마트 스피커의 사전 호출 과정을 단축시키면서 보다 즉각적인 오류 제어를 할 수 있는 새로운 인터랙션이 요구된다.




연구방법 먼저, 스마트 스피커의 주요 기능사용에 필수적인 단위조작들을 12개로 도출하였으며, 사용자의 한 손으로 취할 수 있는 다양한 터치 제스처들을 구상하였다. 그 후, 단위조작별 적합한 제스처를 선정하는 설문조사를 수행하여 핑거터치 제스처 기반의 스마트 스피커 인터랙션을 디자인하였다. 디자인된 제스처 인터랙션의 학습용이성과 사용용이성을 평가하기 위해 오즈의 마법사 기법을 이용한 사용성 평가를 수행하였다.




연구결과 사용성 평가 결과, 참여자들은 핑거터치 제스처를 이용한 스마트 스피커와의 인터랙션에 대해 유용하다고 평가하였으며, 거의 모든 제스처들의 학습이 빠르고 사용용이성도 높게 평가되었다. 하지만 두드리기 1회 윗면이나 문지르기 윗면 제스처의 경우 학습성이나 사용성에 문제가 있는 것으로 드러나 개선이 필요하였다.




결론 핑거터치 제스처는 침대 머리맡이나 책상 위와 같이 스마트 스피커가 사용자에 근접한 위치에 있을 때만 사용 가능하다는 한계가 있으나 사전 호출의 과정 없이 매우 신속하게 조작할 수 있어 향후 스마트 스피커에 적용될 수 있을 것으로 기대된다.

참고문헌 (Reference)

1 Korea Consumer Agency, "인공지능(AI) 가전제품 문제점 및 개선방안 - 음성인식 스피커를중심으로[Problems and Improvement Plans for Artificial Intelligence Home Appliances - Focusing on Voice Recognition Speakers]" 한국소비자원 1-33, 2017

2 박소진, "인공지능 스피커의 시각 피드백 유형에 따른 사용자 경험 연구: 인지욕구와 멀티태스킹 조절 효과를 중심으로" 한국디자인학회 33 (33): 181-199, 2020

3 Ha, J., "인공지능 스피커의 과거와 현재, 그리고 미래[The past, present, and future of artificial intelligence speakers]" 25 (25): 1-8, 2017

4 신종규, "음성기반 지능형 시스템의 사용자 만족도에 영향을 미치는 인터랙션 설계변수들의 정의 및 분류방안" 대한인간공학회 39 (39): 73-86, 2020

5 Im, H, "스마트 스피커 터치 제스처 디자인과 사운드 딥러닝의 적용 가능성 [Design of smart speaker touch gesture and applicability of sound deep learning]" Seoul National University of Science and Technology 2021

6 김헌, "보다 직관적인 비접촉 조작 제스처를 위한 디자인 방향성 제시" 한국디자인학회 25 (25): 269-277, 2012

7 Porcheron, M., "Voice interfaces in everyday life" 1-12, 2018

8 Hoffmann, F., "User-defined interaction for smart homes: voice, touch, or mid-air gestures?" 1-7, 2019

9 Jang, S., "User experience study on use of repetitive wake word in conversational speech interaction using AI voice assistant" 222-223, 2018

10 송해원, "Towards Establishing a Touchless Gesture Dictionary based on User Participatory Design" 대한인간공학회 31 (31): 515-523, 2012

11 Rise, K., "The Potential of Gesture-Based Interaction" Springer 125-136, 2020

12 Lee, J. S., "Speech and Gestures for Smart-Home Control and Interaction for Older Adults" 49-57, 2018

13 Voicebot, "Smart speaker consumer adoption report 2020"

14 Pyae, A., "Investigating the usability and user experiences of voice user interface: a case of Google home smart speaker" 127-131, 2018

15 Pyae, A., "Investigating the role of user's English language proficiency in using a voice user interface: A case of Google Home smart speaker" 1-6, 2019

16 김헌, "Interacting with Touchless Gestures: Taxonomy and Requirements" 대한인간공학회 31 (31): 475-481, 2012

17 van den Hoven, E., "Grasping gestures : Gesturing with physical artifacts. Artificial Intelligence for Engineering Design" 25 (25): 255-, 2011

18 Stößel, C., "Gestural interfaces for elderly users: help or hindrance?" Springer 269-280, 2009

19 Wei, Z., "Evaluating speech-based smart devices using new usability heuristics" 17 (17): 84-96, 2018

20 Alanwar, A., "Echosafe: Sonar-based verifiable interaction with intelligent digital agents" 38-43, 2017

21 McMillan, D., "Designing with Gaze: Tama--a Gaze Activated Smart-Speaker" 3 : 1-26, 2019

22 Pomykalski, P., "Considering Wake Gestures for Smart Assistant Use" 1-8, 2020

23 The Verge, "Amazon's Alexa started ordering people dollhouses after hearing its name on TV"

24 Consumer Insight, "AI스피커, 스마트폰 AI 넘어서나[AI speaker beyond smartphone AI]"