Hi, KIA! 기계 학습을 이용한 기동어 기반 감성 분류

김태수 ( Taesu Kim ),김영우 ( Yeongwoo Kim ),김근형 ( Keunhyeong Kim ),김철민 ( Chul Min Kim ),전형석 ( Hyung Seok Jun ),석현정 ( Hyeon-jeong Suk ) 한국감성과학회 2021 감성과학 Vol.24 No.1

본 연구에서는 승용차에서 사람들이 기기를 사용하기 위해 사용하는 기동어인 “Hi, KIA!”의 감성을 기계학습을 기반으로 분류가 가능한가에 대해 탐색하였다. 감성 분류를 위해 신남, 화남, 절망, 보통 총 4가지 감정별로 3가지 시나리오를 작성하여, 자동차 운전 상황에서 발생할 수 있는 12가지의 사용자 감정 시나리오를 제작하였다. 시각화 자료를 기반으로 총 9명의 대학생을 대상으로 녹음을 진행하였다. 수집된 녹음 파일의 전체 문장에서 기동어 부분만 별도로 추출하는 과정을 거쳐, 전체 문장 파일, 기동어 파일 총 두 개의 데이터 세트로 정리되었다. 음성 분석에서는 음향 특성을 추출하고 추출된 데이터를 svmRadial 방법을 이용하여 기계 학습 기반의 알고리즘을 제작해, 제작된 알고리즘의 감정 예측 정확성 및 가능성을 파악하였다. 9명의 참여자와 4개의 감정 카테고리를 통틀어 기동어의 정확성(60.19%: 22~81%)과 전체 문장의 정확성(41.51%)을 비교했다. 또한, 참여자 개별로 정확도와 민감도를 확인하였을 때, 성능을 보임을 확인하였으며, 각 사용자 별 기계 학습을 위해 선정된 피쳐들이 유사함을 확인하였다. 본 연구는 기동어만으로도 사용자의 감정 추출과 보이스 인터페이스 개발 시 기동어 감정 파악 기술이 잠재적으로 적용 가능한데 대한 실험적 증거를 제공할 수 있을 것으로 기대한다. This study explored users’ emotional states identified from the wake-up words ―“Hi, KIA!”―using a machine learning algorithm considering the user interface of passenger cars’ voice. We targeted four emotional states, namely, excited, angry, desperate, and neutral, and created a total of 12 emotional scenarios in the context of car driving. Nine college students participated and recorded sentences as guided in the visualized scenario. The wake-up words were extracted from whole sentences, resulting in two data sets. We used the soundgen package and svmRadial method of caret package in open source-based R code to collect acoustic features of the recorded voices and performed machine learning-based analysis to determine the predictability of the modeled algorithm. We compared the accuracy of wake-up words (60.19%: 22%~81%) with that of whole sentences (41.51%) for all nine participants in relation to the four emotional categories. Accuracy and sensitivity performance of individual differences were noticeable, while the selected features were relatively constant. This study provides empirical evidence regarding the potential application of the wake-up words in the practice of emotion-driven user experience in communication between users and the artificial intelligence system.

Deep neural network-hidden Markov model 하이브리드 구조의 모델을 사용한 사용자 정의 기동어 인식 시스템에 관한 연구

윤기무,김우일 한국음향학회 2020 韓國音響學會誌 Vol.39 No.2

Wake Up Word (WUW) is a short utterance used to convert speech recognizer to recognition mode. The WUW defined by the user who actually use the speech recognizer is called user-defined WUW. In this paper, to recognize user-defined WUW, we construct traditional Gaussian Mixture Model-Hidden Markov Model (GMM-HMM), Linear Discriminant Analysis (LDA)-GMM-HMM and LDA-Deep Neural Network (DNN)- HMM based system and compare their performances. Also, to improve recognition accuracy of the WUW system, a threshold method is applied to each model, which significantly reduces the error rate of the WUW recognition and the rejection failure rate of non-WUW simultaneously. For LDA-DNN-HMM system, when the WUW error rate is 9.84 %, the rejection failure rate of non-WUW is 0.0058 %, which is about 4.82 times lower than the LDA-GMM-HMM system. These results demonstrate that LDA-DNN-HMM model developed in this paper proves to be highly effective for constructing user-defined WUW recognition system. 음성 인식기를 대기모드에서 동작 모드로 전환하기 위해 발화하는 짧은 단어를 기동어(Wake Up Word, WUW)라고 하며, 음성 인식기를 실제로 사용하는 사용자가 지정한 기동어를 사용자 정의 기동어라고 한다. 본 논문에 서는 이러한 사용자 정의 기동어를 인식하기 위해 기존의 Gaussian Mixture Model-Hidden Markov Model(GMM- HMM) 기반의 시스템, Linear Discriminant Analysis(LDA)를 적용한 LDA-GMM-HMM 기반의 시스템과, LDA- GMM-HMM 모델에서 GMM을 Deep Neural Network(DNN)로 대체한 LDA-DNN-HMM 기반의 시스템을 제작 하고 각 시스템의 사용자 정의 기동어 인식 성능 및 비기동어 거절 성능을 비교한다. 또한 기동어 인식기의 체감 성능을 향상시키고자 각 모델에 threshold를 적용하여 기동어 인식 실패율을 약 10 % 수준으로 감소 시킨 후에 비기동어 (non-WUW)의 거절 실패율을 비교 평가한다. Threshold 적용시에 LDA-DNN-HMM 기반의 시스템의 경우 기동어 인식 실패율 9.84 % 수준에서 비기동어 거절 실패율이 0.0058 %의 인식 성능을 나타내어 LDA-GMM-HMM 시스템 보다 약 4.82배 향상된 비기동어 거절 성능을 나타낸다. 이러한 결과는 본 논문에서 제작한 LDA-DNN-HMM 모델이 사용자 정의 기동어 인식 시스템을 구축하는데 효과적임을 입증한다.

잡음 환경에 강인한 기동어 검출을 위한 삼중항 손실 기반 도메인 적대적 훈련

임형준,정명훈,김회린 한국음향학회 2020 韓國音響學會誌 Vol.39 No.5

A good acoustic word embedding that can well express the characteristics of word plays an important role in wake-up word detection (WWD). However, the representation ability of acoustic word embedding may be weakened due to various types of environmental noise occurred in the place where WWD works, causing performance degradation. In this paper, we proposed triplet loss based Domain Adversarial Training (tDAT) mitigating environmental factors that can affect acoustic word embedding. Through experiments in noisy environments, we verified that the proposed method effectively improves the conventional DAT approach, and checked its scalability by combining with other method proposed for robust WWD. 단어의 특성을 잘 표현하는 음성 단어 임베딩은 기동어 인식에서 중요한 역할을 한다. 하지만 기동어 인식이수행되는 환경에서 필연적으로 발생하는 다양한 종류의 잡음으로 인해 음성 단어 임베딩의 표현 능력이 손상될 수 있으며, 인식 성능의 저하를 초래할 수 있다. 본 논문에서는 음성 단어 임베딩에 영향을 줄 수 있는 환경적인 요인을 완화시키는 삼중항 손실 기반의 도메인 적대적 훈련 방식을 제안한다. 잡음 환경에서의 기동어 검출 실험을 통해 제안하는방식이 기존의 도메인 적대적 훈련 방식을 효과적으로 개선하는 모습을 확인할 수 있었고, 잡음 환경에서의 기동어 검출을 위해 기존에 제안된 다른 방법과의 결합을 통해 제안하는 방식의 확장성을 확인할 수 있었다.

하이기아~ 하.이…기.아… 하!이!기!아!!!

김영우,김태수,김근형,전형석,석현정 한국감성과학회 2020 추계학술대회 Vol.2020 No.-

This study explores whether the Wake-Up-Word, "Hi, Kia!" may deliver emotions as much as full-sentence does. The deep learning-based algorithm was facilitated to analyze the emotional characteristics of the voices that began with "Hi, Kia!" articulated to 22 kinds of in-car contexts(N = 9 skilled subjects). When the emotion analyses were compared with those from the full sentence, weak but positive correlations were found on anger, boredom, and happiness. Except for sadness and disgust, the Wake-Up-Word's emotional intensity was larger than that from the full sentence. Additionally, the Wake-Up-Words' emotion scores were often more than those of full sentences on boredom, demonstrating the potential application of the emotional recognition of the Wake-Up-Words.

‘잠에서 깨다’류 동사의 역사적 변천과정

한승 ( Han Seung ) 한국중국언어학회 2021 중국언어연구 Vol.- No.93

This paper investigates the diachronic evolution of the verbs of “wake up from sleep”. To express the concept of “wake up”, “醒”(xing), “覺”(jiao), “寤”(wu) is used from ancient times till modern times. “覺”(jiao) is the main used from ancient times to Tang Dynasty. “醒”(xing) took over “覺”(jiao) in Song Dynasty. This paper investigates the usage of members in the semantic field from ancient times to Tang Dynasty and analyzes the historical replacement of “覺”(jiao) with “醒”(xing) as well as its causes. This paper also described that monosyllabic verb was how to develop the various of disyllabic words. In addition, this paper also with researched the relationship of verbs of “wake up from sleep” and “過來”(guolai) and found the reason why the words for the concept of “wake up from sleep” often collocate with it. Final, This paper Showed the distribution of regional dialect of verbs of “wake up from sleep”.

쉠과 숀: 『피네건의 경야』 3권 1장 읽기

전은경 ( Eunkyung Chun ) 한국제임스조이스학회 2016 제임스조이스저널 Vol.22 No.2

This article begins by suggesting a thematic continuity among A Portrait of the Artist as a Young Man, Ulysses, and Finnegans Wake a theme of Stephen Dedalus`s difficulty in reconciling the “sordid tide of life” with his search for spiritual beauty. Although literary techniques vary among the three novels, the theme of Stephen`s conflict between unearthliness and earthliness is consistently presented in Joyce`s works. Stephen`s mind is troubled by the irreconcilable opposition between the ideal and the actual and this opposition predicts the Shem-Shaun theme in Finnegans Wake. Focusing on Book III, Chapter 1 of Finnegans Wake this article explores the Shem-Shaun theme. The particular aspects of human nature split between sordidness and beauty are personified by Shem and Shaun. The battle of Shem and Shaun is concerned with a conflict central to the world of Stephen Dedalus and of Joyce himself. While vulgar reality does not seem to please Stephen, Joyce himself did not deny the truth of life but rather accepted life`s inescapable sordidness. In Ulysses Stephen struggles vainly in his dilemma and he seems to realize that he will never be able to escape unpleasant reality of life. In Book III of Finnegans Wake Shaun is depicted more in detail than Shem and his action and voice dominate it. Shaun embodies the earthly aspects of life- that is, the physical and material side of life. In the fable of “The Ondt and the Gracehoper” Shaun-the Ondt blames Shem-the Gracehoper for his immorality and “lowquacity.” In some way Shaun`s harsh castigation against Shem might reflect a sense of guilt of Shem-Joyce. In this sense Shaun is a character who embodies the deeply-sited guilty conscience of Stephen-Shem-Joyce.

선박항적이 가지는 특수 군에 대한 연구

김세라(Sera Kim) 한국해군과학기술학회 2023 Journal of the KNST Vol.6 No.4

This paper aims to introduce a specific group that describes the ship wake as a braid word in knot theory in order to utilize the characteristics when expressing the form of a ship wake. I define three different types of generators and those relationships for the braid group which is different from braid group presentations. And I explain how they are applied to the actual representation of ship wakes.

다양한 합성곱 신경망 방식을 이용한 모바일 기기를 위한 시작 단어 검출의 성능 비교

김상홍,이보원 한국음향학회 2020 韓國音響學會誌 Vol.39 No.5

Artificial intelligence assistants that provide speech recognition operate through cloud-based voice recognition with high accuracy. In cloud-based speech recognition, Wake-Up-Word (WUW) detection plays an important role in activating devices on standby. In this paper, we compare the performance of Convolutional Neural Network (CNN)-based WUW detection models for mobile devices by using Google's speech commands dataset, using the spectrogram and mel-frequency cepstral coefficient features as inputs. The CNN models used in this paper are multi-layer perceptron, general convolutional neural network, VGG16, VGG19, ResNet50, ResNet101, ResNet152, MobileNet. We also propose network that reduces the model size to 1/25 while maintaining the performance of MobileNet is also proposed. 음성인식 기능을 제공하는 인공지능 비서들은 정확도가 뛰어난 클라우드 기반의 음성인식을 통해 동작한다. 클라우드 기반의 음성인식에서 시작 단어 인식은 대기 중인 기기를 활성화하는 데 중요한 역할을 한다. 본 논문에서는공개 데이터셋인 구글의 Speech Commands 데이터셋을 사용하여 스펙트로그램 및 멜-주파수 캡스트럼 계수 특징을입력으로 하여 모바일 기기에 대응한 저 연산 시작 단어 검출을 위한 합성곱 신경망의 성능을 비교한다. 본 논문에서사용한 합성곱 신경망은 다층 퍼셉트론, 일반적인 합성곱 신경망, VGG16, VGG19, ResNet50, ResNet101, ResNet152, MobileNet이며, MobileNet의 성능을 유지하면서 모델 크기를 1/25로 줄인 네트워크도 제안한다.

고정희 시의 청각적 지각과 소리 풍경

이경수 ( Lee¸ Kyung-soo ) 우리어문학회 2021 우리어문연구 Vol.71 No.-

이 논문은 고정희 시에서 지속적으로 포착되는 소리를 분류하고 귀납적으로 분석하는 과정을 거쳐 고정희 시에 나타나는 청각적 지각이 어떤 소리 풍경을 의미화하고 있는지 살펴보는 것을 목적으로 한다. 고정희의 시에서 청각적 지각은 세 가지 유형으로 나타났다. 첫째, 소리가 직접 나타나는 경우로, 이 유형의 시에서는 대개 외부나 내부에서 들려오는 소리에 예민하게 귀 기울이는 주체가 함께 등장했다. 고정희의 초기 시에서는 바깥에서 들려오는 소리뿐만 아니라 내면에서 들려오는 불협화음조차 시끄러운 소리 풍경을 만들어 낸다. 고정희 시를 읽으며 독자들이 청각적 지각이 지배적으로 쓰였다고 감각하게 되는 데에는 이런 유형의 시들이 구축하는 소리 풍경이 기여하고 있었다. 둘째, 고정희가 시인으로서 주로 활동했던 1980년대를 표상하는 소리들이 시대의 소리 풍경으로 고정희 시에 나타났다. 1980년대는 바깥에서는 시위와 진압과 구호와 최루탄 소리와 비명으로 늘 가득했고 안에서는 컬러텔레비전의 보급으로 대중문화가 급격히 확산되며 요란한 텔레비전 소리가 가득했던 시절이었다. 침묵을 강요했지만 비어져 나오는 소리들로 가득했던 시대의 특성이 고정희 시에서 청각적 지각을 활용한 시대의 소리 풍경으로 재현되면서 고정희 시에 소리가 넘쳐 흐른다는 인상을 형성하는 데 기여했다. 청각적 지각은 고정희 시에서 생생한 현장감을 전달하며 시대의 소리 풍경을 완성하거나 균열의 자리를 만들어 냈다. 셋째, 고정희 시에 나타난 청각적 지각의 또 하나의 유형은 마당굿 형식을 차용한 시들에서 나타났다. 이런 유형의 시들에서는 주체의 발화 외에도 다양한 종류의 ‘타인의 말’이 끼어들었다. 소리 높여 외치지 않으면 시대의 희생양이 되거나 존재를 인정받지 못했던 여성들의 목소리를 끊임없이 들려줌으로써 타인의 말들이 형성하는 소리 풍경은 고정희가 개성적으로 개척해 간 여성 주체의 말하기 형식이 된다. 여성 주체로서 바깥의 소리에 반응하는 태도와 시대의 소리 풍경, 여성주의적 말하기 방식으로서 창안해 낸 소리 풍경 등은 궁극적으로 종교와 시대와 여성주의적 문제의식이 교차하는 고정희 시의 성취를 다시 한 번 확인시켜 주었다. This study set out to classify sounds consistently captured in Go Jeong-hee's poems and analyze them inductively, thus examining what soundscapes she signified with the auditory perceptions captured in her poems. There are three types of auditory perceptions in her poems. The first type involves sounds appearing themselves. In her poems of this type, there are subjects listening sensitively to sounds from the outside or inside. In her early poems, even discords from the inside as well as sounds from the outside create noisy soundscapes. Readers reading her poems sense that auditory perceptions are used overwhelmingly, and the soundscapes created by her poems of this type contribute to it. In the second type, the sounds representing the 1980s when she was mainly active as a poet appear in her poems as the soundscapes of the times. In the 1980s, the outside world was always filled with demonstrations, suppressions, chanting, tear gas sound, and screams. The inside world was full of blaring TV sounds with the rapid spread of popular culture following the supply of color TV sets. The characteristics of the times filled with sounds pressed out of forced silence were reproduced as the soundscapes of the times based on auditory perceptions in her poems, thus contributing to an impression that her poems overflew with sounds. In her poems, auditory perceptions deliver a vivid sense of reality and complete the soundscapes of the times. The last type of auditory perceptions appeared in her poems that borrowed the Madanggut form. In her poems of this type, there were various kinds of "speeches by others" intervening in addition to speeches by the subjects. Letting the voices of women, who became victims of the times or had their existence not recognized without shouting loudly, others created soundscapes with their words. These soundscapes evolved into the speech form of female subjects that she pioneered characteristically. Female subjects' attitudes toward sounds from the outside, the soundscapes of the times, and the soundscapes created in feminist ways of speaking ultimately demonstrate once again the achievements of Go's poems in which religion, the times, and feminist problematic consciousness cross one another.

"탄생어": 조이스, 언어 그리고 아일랜드 민족주의

남기헌 한국제임스조이스학회 2004 제임스조이스저널 Vol.10 No.2