감정노동 과정에서 정서의 역할

안찬민 경희대학교 대학원 2016 국내박사

감정노동 연구는 지금까지 주로 서비스 종사자들이 고객을 응대하는 상황에서 발생하는 스트레스 등 개인 내면의 부정적 측면에 대한 연구가 이루어 왔다. 감정노동의 시작으로 여겨지는 감정표현규칙 인식에 영향을 미칠 수 있는 변수로서 정서의 역할을 파악한 연구는 아직 미비한 실정이다. 또한 감정노동 및 감정표현규칙 인식의 변동성 개념을 적용하여 살펴본 연구도 많지 않다. 본 연구에서는 종업원의 정서 상태에 따라 감정표현규칙 인식 정도가 어떻게 달라지는지 및 감정표현규칙인식 변동성과 감정노동 변동성이 개인의 감정고갈 및 서비스전달 과정에서의 긍정정서전달에 어떻게 영향을 미치는지에 대한 메커니즘을 규명한다. 또한 여러 연구자들에 의해 제기된 개인의 정서 상태 연구 시 사용되어야 할 방법론도 적용한다. 구체적으로, 정서를 정확하게 측정하기 위해서 경험표집법(experience sampling method)을 사용하여 데이터를 수집하였다. 감정노동 종사자 100명을 대상으로 하루 3회 경험표집법 중 시간간격법을 이용하여 데이터를 수집하였다. SPSS 및 HLM을 활용하여 분석을 실시한 결과, 종업원의 정서 상태가 긍정적일 경우 감정표현규칙을 인식하는 정도가 높아지고, 부정적 정서상태일 경우에는 감정표현규칙인식의 변동성이 높아지는 것으로 나타났다. 종업원의 실시간 감정표현규칙인식은 표면연기와 내면연기에 긍정적 영향을 미치는 것으로 나타났으며, 감정표현규칙인식 변동성은 표면연기 변동성과 내면연기 변동성에 긍정적 작용을 하는 것으로 나타났다. 표면연기가 높아질수록 감정고갈이 높아졌으며, 또한 내면연기 변동성이 높을수록 감정고갈이 높아지는 것을 확인하였다. 마지막으로 표면연기는 긍정정서전달에 부(-)의 영향을, 내면연기는 긍정정서전달에 정(+)의 영향을 미치는 것으로 나타났다. 연구 결과의 시사점은 결론 부분에서 자세히 언급하고 있다. Emotional labor research has been studied mainly on the negative side of employees’ stress occurs in situations where the service workers are facing up with customers. Studies identified the role of affects as a variable that can affect emotional display rule perception regarded as the beginning of the emotion labor process are still insufficient. In addition, not so many studies examined by applying the concept of variability into emotional labor and emotional display rule perception. In this study, we investigate how emotional state can affects on the degree of display rule perception and the degree of display rule perception variability and emotional labor variabilities can affect on emotional exhaustion and positive affective delivery for individual. In addition, methodology are applied in this study for the individual emotional states research raised by many researchers. Specifically, we collected data using the experience sampling method in order to accurately measure individual ever-changing emotion. Data were collected using the interval contingent method of the subject three times a day to 100 workers currently experiencing emotional labor. The results of analysis using SPSS and HLM(Hierarchical - 77 - Linear Modeling), the higher employee’s positive emotional state the higher the degree of perceiving display rules, and the higher employee’s negative emotional state the higher display rules perception variability. Real-time display rules perception has a positive relationship with surface acting and deep acting, on the other hand display rules perception variability has a positive relationship with surface acting variability and deep acting variability. The higher the surface acting, the higher emotional exhaustion, and the higher deep acting variability, the higher emotional exhaustion. Finally, surface acting has a negative relationship with positive affective delivery, while deep acting has a positive relationship with positive affective delivery. Implications are discussed in further detail.

음성 신호를 이용한 문장독립 감정 인식 시스템

강봉석 연세대학교 대학원 2001 국내석사

본 논문에서는 다양한 입력문장에 담긴 화자의 감정을 인식할 수 있는 화자독립(speeker-independent) 문장독립(text-independent) 감정 인식 알고리듬을 제안하였다. 제안된 알고리듬은 두 단계의 패턴인식 과정을 거치는 데, 첫 번째 단계에서 음소군 인식을 하고, 두 번째 단계에서 감정 인식을 한다. 첫 번째 단계는 MFCC VQ를 이용하여 음소군을 구분하는 과정으로 구성되고, 이 과정에 의해서 문장독립 인식이 가능하게 된다. 두 번째 단계에서는 음소군 특징별 감정 특징 벡터의 분포 확률을 이용하여 최종적으로 감정 인식을 수행한다. 음소군 특징으로는 MFCC(Mel-warped Freq. Cepstral Coefficient), 델타 MFCC 등이 사용되었고, 감정 특징으로는 피치, 델타 피치, 델타 델타 피치, 에너지, 델타 에너지, 델타 델타 에너지 등이 사용되었다. 기존의 패턴 인식 알고리듬 중 감정 인식에 적용될 수 있는 알고리듬으로 MLB(Maximum-Likelihood Bayes), kNN(k-Nearest Neighbor), Ergodic HMM(Hidden Markov Model) 등이 있는데, MLB 와 kNN 의 경우 음소를 구분하지 않고 감정 특징만을 이용하기 때문에 문장독립 시스템에서 좋은 성능을 낼 수 없고, Ergodic HMM 은 음소군 특징 및 감정 특징 모두를 이용한 구성이 가능하나 인식 성능이 좋지 않다. 이러한 점을 개선하기 위하여 음소군 특징과 감정 특징을 모두 고려한 문장독립 감정 인식 시스템을 제안하였고, 제안된 알고리듬의 인식성능은 MLB, kNN, Ergodic HMM 등의 성능과 비교되었다. 본 논문에서 대상으로 한 감정은 평상, 기쁨, 슬픔, 화남이고, 각 감정에 대한 한국어 음성 DB 를 구축한 후, 구축된 DB 를 이용하여 MFCC, 피치, 에너지 등의 특징을 추출하여 인식 실험을 하였다. 그 결과 MLB 분류기의 경우 52.4%, kNN 분류기의 경우 42.5%, Ergodic HMM 분류기의 경우 52.1%의 인식률을 얻었다. 제안된 알고리듬의 경우 피치 성분으로 추출한 피치, 델타 피치, 델타 델타 피치를 이용 했을 때 72.1%, 에너지 성분으로 추출한 델타 에너지, 델타 델타 에너지를 이용했을 때 68.0%의 인식률을 얻었고, 피치와 에너지 성분 모두를 이용하여 75.2%의 인식률을 얻었다. In this thesis, a text-independent emotion recognition algorithm is proposed. The proposed algorithm is composed of two steps. In the first step, phonemic classes are classified by phonemic features. In the second step, emotions are recognized by emotional features. In the proposed algorithm, MFCC(Mel-warped Freq. Cepstral Coefficient), delta MFCC were used as phonemic features and pitch, delta pitch, delta delta pitch, energy, delta energy, delta delta energy were used as emotional features. MLB(Maximum-Likelihood Bayes), kNN(k-Nearest Neighbor) and Ergodic HMM(HMM) algorithms were compared with the proposed algorithm. The features for MLB and NN were pitch mean, pitch standard deviation, pitch max, energy mean, energy standard deviation, and energy max. Because phonemic features were only used in MLB and NN, these algorithms had their own limitation in the textindependent recognition. Though, in Erogodic HMM, both phonemic features and emotional features were used, its recognition performance was not good. For solving these problems, the proposed algorithm includes the step to classify phonemic classes. Target emotions in this thesis were happiness, sadness, anger, and neutral state. For the experiments, the speech database containing speaker’s emotions was built. Features were extracted from each speech signal and applied to the pattern recognition algorithms. MLB, kNN, and Ergodic HMM algorithms achieved recognition rates of 52.4%, 42.5%, and 52.1%, respectively, for the speaker independent and text-independent classification. The proposed algorithm achieved recognition rates of 75.2%. From the results it can be shown that the proposed algorithm has good performance in recognizing emotion using text-independent speech signal.

감정표현규칙 인식이 감정표현행동에 미치는 영향 : 감정 관리 자기효능감의 조절효과

邹明 경희대학교 대학원 2021 국내석사

현재 서비스업종에서 특히 감정노동 종사자들은 감정표현행동이 핵심 역할이고 서비스 성취를 영형을 미칠 수 있는 것으로 나타난다. 본 연구의 목적은 업무 환경에 적응해야 하는 자신의 감정표현규칙 인식과 감정을 표해야 되는 감정노동행동 어떠한 양향을 미치는지 이러한 관계에서 감정 관리 자기효능감의 조효과를 검증하는 것이다. 기존 연구들은 감정표현규칙인식과 감정표현행동이 간의 관계가 일치하지 않은다. 또한, 감정표현규칙인식과 감정표현행동이 간의 조절할 수 있는 변수가 별로 많지 않은 살펴본다. 실무 현장에서 자기효능감의 중요하는 역할을 의식적으로써 이에 관한 연구가 많아지고 있다. 본 논문에서 감정노동을 수행하는 과정 중에서 업무가 관련된 자기효능감의 특정한 형태인 감정 관리 자기효능감을 관점으로 맞추고 사회인지이론을 바탕으로 감정표현규칙인식과 감정표현행동의 사이의 조절효과를 연구하고자 한다. SPSS 24.0을 이용해서 분석결과에 의하면 감정표현규칙인식이 감정표현행동에 겅(+)의 관계가 존재하다고 밝혔다. 감정관 리 자기효능감은 감정표현규칙인식과 감정표현행동이 간의 관계에 대하여 정(+)의 조절효과가 있는 것으로 나타났다.

스마트폰에서 퍼지추론을 활용한 컨텍스트 기반 개인화 감정인식

이성호 경희대학교 2012 국내석사

감정인식 기술은 인간 중심의 휴먼 컴퓨터 인터페이스(HCI, Human computer interface) 또는 human-to-machine interface의 핵심 요소이다. 기존의 감정인식 기술은 주로 얼굴 영상, 음성, 생체신호를 이용하여 특징을 추출하고 이를 미리 학습시킨 인식 알고리즘 모델에 적용시켜 각 감정의 범주로 분류하는 방법을 사용한다. 하지만 정확한 감정인식을 위해서는 시간에 따른 감정의 변화나 사용자의 컨텍스트를 파악하는 것이 더 중요하다. 이를 위해서는 자연어 처리나 사용자의 의도 파악 등을 채용한 컨텍스트 인식(context-awareness) 기술에 대한 연구가 더불어 수행되어야 한다. 최근 컨텍스트 기반 감정인식 연구는 스마트폰 환경에서 활발히 수행되고 있다. 스마트폰은 멀티모달 센서들이 탑재되어 사용자의 컨텍스트 관련 정보들(text, life-log)을 수집하기에 용이하기 때문이다. 그러나 기존의 연구들은 감정 모델이 단순하고, 스마트폰에서 추론할 수 있는 컨텍스트 관련 정보들을 활용하지 못하고 사용자에게 수동으로 입력시키는 비효율성이 있다. 또한 개인화 된 감정 및 상황 모델을 사용하지 않아 인식의 정확도가 떨어지는 문제를 함께 가지고 있다. 본 논문에서는 스마트폰에서 사용자의 선호도 정보와 다양한 상황(context)에 대한 인식을 통해 사용자의 감정을 인식하고 이를 통해 사용자의 감정을 모델링하는 개인화된 감정 모델링 엔진을 제안한다. 제안하는 모델링 엔진은 퍼지 추론을 사용하여 인지된 상황정보에 대한 개인의 선호도 정보를 초기 설정된 감정모델에 맵핑(mapping)함으로써 기존의 스마트폰을 활용한 감정인식보다 다양한 감정을 인식하고 사용자의 검증과정을 거쳐 시간이 지날수록 감정인식의 정확도를 향상시킨다. 인식된 감정은 사용자의 검증과정을 거쳐 개인화된 감정인식이 가능하도록 하였다. 이를 검증하기 위해 스마트폰 환경에서 제안하는 감정인식 시스템을 구현하고 애플리케이션으로 실제 사용자의 사용 테스트를 통해 그 성능을 평가하였다. A study on emotion recognition is the key component of the human centric human-computer interface(HCI). Many studies on emotion recognition have classified emotions using machine learning technique that recognizes complex patterns and make intelligent decisions based on features from facial images, speech and bio-signals and classifies emotion. However, it is more important to infer changes of user's contexts according to user's preferences over time than to recognize only emotions. In order to achieve contexts with user's emotions, context-aware technique should be studied, which adopts natural-language processing and user's preferences understanding. Recently context-aware researches have been performed in smartphone environments. Because we can collects user's various context-related information effectively using smartphone contained multi-modal sensors. But the existing studies just has classifying method for a few emotion, but also it is inefficient. Because it is not utilizing contexts can be infered from smartphone, which makes user input data manually. Moreover it can not reflect the difference depending on individual. In this paper, we propose a method of emotion recognition on smartphone that extracts emotion from using user's preferences and context-awareness and provides result of personalized emotion recognition using by user's feedback. Therefore, it is possible to recognize diverse emotion applicatively and reliably. In experiment, we implements proposed emotion recognition system in smartphone. And we assess the performance of system from user's application test.

음성과 텍스트를 이용한 멀티모달 한국어 감정 인식 연구

변유철 서강대학교 정보통신대학원 2024 국내석사

Speech Emotion Recognition (SER) is a crucial technology that enhances interactions in telemarketing and voice assistant chatbots. AI speakers, in particular, can offer diverse services with increased accuracy in speech emotion recognition during daily life conversations. The "Conversation Speech Dataset for Emotion Classification" from AI Hub comprises conversations classified into four major emotions: Angry, Happiness, Neutral, and Sadness. Given the multimodal nature of voice data, a text emotion recognition model can be developed using text data generated through Speech To Text (STT). We propose the LLaMa2 model, comparing it with the existing KoELECTRA. Additionally, a speech emotion recognition model can be created by automatically extracting features from the Mel Frequency Cepstral Coefficients (MFCC) and Mel Spectrogram of audio data, where we propose the HuBERT model, comparing it with the existing Wav2Vec2. To investigate the optimal Fusion method for combining features from both models, we experiment with Early Fusion, Late Fusion, and Hybrid Fusion. Our results show that the unimodal speech emotion recognition model HuBERT and the text emotion recognition model LLaMa2 achieved high accuracy at 0.8139 and 0.8125, respectively. Notably, the HuBERT + LLaMa2 Late Fusion method demonstrated the highest accuracy at 0.8480. In conclusion, using multimodal approaches improved accuracy by 11% compared to unimodal models. 음성 감정 인식(SER)은 텔레마케팅이나 음성 비서 챗봇과 같은 환경에서 더 풍부한 상호작용을 가능케 하는 필수 기술 요소이다. 특히 AI 스피커에서는 일상 대화에서 음성 감정 인식의 정확도가 높아지면 다양한 서비스를 제공할 수 있다. 이에 따라 우리는 일상 생활 대화를 기반으로 음성 감정 인식(SER) 성능을 향상시키기 위한 연구를 진행하고자 한다. AI 허브에서 제공하는 "감정 분류를 위한 대화 음성 데이터셋"은 주요 감정인 분노(Angry), 행복(Happiness), 보통(Neutral), 슬픔(Sadness)을 포함한 총 4가지 감정으로 구분된 일상 대화로 이루어져 있다. 음성 데이터는 텍스트 데이터와 오디오 데이터의 멀티모달 성격을 가지고 있기 때문에 STT(Speech To Text)를 통해 생성된 텍스트 데이터를 활용하여 텍스트 감정 인식 모델을 구축할 수 있다. 이에 따라 KoELECTRA 대신 LLaMa2 모델을 제안합니다. 또한, 오디오 데이터의 MFCC와 Mel Spectrogram에서 피처를 자동 추출하여 음성 감정 인식 모델을 개발할 수 있으며, 이를 위해 Wav2Vec2 대신 HuBERT 모델을 제안한다. 두 모델의 피처를 결합하는 시점에 따라 Early Fusion, Late Fusion, Hybrid Fusion의 세 가지 Fusion 방식을 실험하여 어떤 방식이 우수한 성능을 보이는지 실험하였다. 본 논문에서는 유니모달로 사용된 음성 감정 인식 모델인 HuBERT와 텍스트 감정 인식 모델인 LLaMa2가 각각 0.8139, 0.8125의 높은 정확도를 보였다. 특히, 멀티모달 HuBERT + LLaMa2 Late Fusion 방식이 0.8480의 가장 높은 정확도를 달성했다. 마지막으로, 멀티모달 접근을 통해 유니모달 대비 11%의 성능 향상을 확인하였으며, 한국어 감정 인식 성능을 향상시키는 방안을 제안하고 검증하였다.

음성 특징 및 청크를 이용한 딥러닝 기반 음성 감정인식 성능 향상을 위한 연구 : 딥러닝을 이용한 음성 감정인식 연구

신현삼 한신대학교 대학원 2024 국내박사

음성 특징 및 청크를 이용한 딥러닝 기반 음성 감정인식 성능 향상을 위한 연구 한신대학교 일반대학원 정 보 통 신 학 과 신 현 삼 지도교수 : 홍 성 찬 기존의 음성 감정인식과 관련된 연구에서는 단일 음성 특징으로 감정인 식 성능을 분석하는 사례가 많았다. 단일 특징만을 사용하여 실험했을 때 성능의 한계가 발생할 수 있어 정확도를 개선할 필요가 있다. 또한 현재까 지의 연구는 주로 영어에 중점을 두고 있어 한국어 데이터 세트에 대한 실 험이 많지 않았다. 한국어는 감정 표현이 다양하고 풍부하므로 심층적인 실 험과 관찰이 필요하다. 언어마다 고유한 특성과 감정 표현이 있으므로 여러 언어를 실험, 비교하는 것도 중요한 연구과제이다. 따라서 다중 언어 실험 을 통해서 보다 범용적인 모델을 개발할 필요가 있다. 필요성과 더불어 모 델의 정확도를 높이기 위한 다양한 딥러닝 모델로 실험, 비교하는 과정이 필요하다. 본 논문에서는 두 종류로 음성 감정인식 실험 방식을 분류하고 4개의 실 험 모델을 제시하였다. 정의된 실험 방식으로 첫 번째는 다수의 음성 특징 을 추출, 분석하여 접근하는 방법이고, 두 번째는 음성 청크 방식으로 분할 하는 전처리 방식으로 감정인식에 접근하는 방법이다. 실험 모델로는 특수 필터 기반의 인식방식, End-to-end 기반의 인식방식, 청크 기반의 투표방 식, 청크 기반의 시계열 방식, 4가지 모델을 제안하였고, 각각의 실험을 DNN, RNN, LSTM, GRU 딥러닝을 이용하여 성능을 실험하였다. 데이터 세트는 한국어(AI-HUB)와 영어 데이터 세트(IEMOCAP)를 이용하여 성능을 실험하였 다. 결과적으로 모든 실험 내용을 딥러닝 모델을 기준으로 언어별로 비교한 결과는 한국어 데이터 세트에서는 LSTM 모델이 87.49%로 가장 높았고, 영어 데이터에서는 GRU 모델이 77.97%로 가장 높았다. 이 결과로 음성 감정인식 분야에서는 LSTM과 GRU 모델이 적절하다는 것을 알 수 있다. 제안한 실험 모델들을 동일 실험과 기준으로 비교한 결과, 한국어와 영어 데이터 세트, 모두에서 청크 기반의 투표방식 모델이 가장 우수한 성능을 보였다. 둘 다 GRU 모델에서 가장 높은 성능을 나타냈는데, 한국어와 영어 데이터에서 각 각 89.70%와 89.53%의 높은 정확도를 달성하였다. 이 결과는 다른 언어들에 서 공통적인 성능을 내는 모델을 확인한 의미 있는 결과로 볼 수 있다. 또 한 본 실험을 통해서 음성 특징을 유의미한 데이터로 정의하는 것과 음성에 시계열 개념을 도입해서 소리를 분할 하는 방법이 효율적으로 작동함을 증 명하였다. 본 논문은 음성 데이터의 기본 속성을 이용하여 감정을 인식하는 방법을 제안했으며, 이를 통해 더욱 정교하고 의미 있는 특성 추출 및 음성의 효과 적인 분할을 통해 감정인식의 성능을 향상할 수 있음을 보여주었다. 또한 제안했던 방법론은 음성 감정인식 분야에서 더 나은 결과를 얻기 위한 확장 된 연구 방향을 제시할 수 있을 것으로 기대된다. 키워드 : 음성 감정인식, 음성 특징, 딥러닝, RNN, LSTM, GRU, 청크

제품디자인에 대한 중국인의 감성인식 연구 : 중국에서 사용 되는 휴대폰의 감성인식을 중심으로

양양 건국대학교 대학원 2009 국내석사

포스트모더니즘 시대에 들어서면서 사람들의 소비의식의 증가와 함께 제품의 기능성뿐만이 아닌 정서적인 측면도 중요하게 되었다. 이러한 변화와 함께 조형과 감성의 요소를 중시하는 디자인 트렌드가 형성되었다. 이런 트렌드에서 인간의 삶의 질을 향상 시키고 아름답게 만들려는 노력을 읽을 수 있다. 그리고 이러한 노력은 디자인의 감성 연구를 이끌어가고 있다. 제품이 가지고 있는 감성이란 제품 자체로 인식하는 감성만 지칭하는 것은 아니다. 사용자가 제품을 직접 사용하면서 얻을 수 있는 감성도 포함되는 것이다. 그러므로 사용자의 각도에서 제품에 대한 감성 인식 연구를 하는 것은 아주 중요한 과제이다. 중국 산업디자인의 발전은 80년대부터 시작되었다. 이는 서양의 여러 나라와 비교해보았을 때 엄청난 시간의 차이가 있음을 보여준다. 하지만 중국은 자신만의 독특한 문화적 특성을 배경으로 가진 디자인 문화가 존재한다. 방대하고도 깊은 문화의 의미, 경지를 추구하는 문화적 표현, 심신을 다스리는 문화의 역할. 이 세 가지가 중국 디자인의 문화특성의 원천인 것이다. 국제세계에 명성을 떨쳤던 중국 명대시기의 가구디자인과 원림디자인은 중국 디자인의 상징적인 작품이기도 하면서, 또한 중국 문화와 해외문화사이의 교류의 모범이기도 하다. 하지만 나날이 새로워지는 과학기술의 발전 의해 전 지구는 점점 하나가 되어가고 있으며, 외래문화의 유입으로 중국인의 사상도 빠른 속도로 변해가고 있다. 본 논문에서는 중국 현대의 산업디자인이 예전의 중국 전통 문화처럼 중국인에게 자부심을 느끼게 할 수 있는지, 현대의 중국인이 제품에 대해 어떤 감정 인식을 가지고 있는지, 산업의 발전에 따라 쉽게 접하게 된 해외 디자인 제품과 중국 디자인의 제품에 대한 중국인의 감성 인식이 서로 어떻게 다른지에 대해 연구해 보고자 한다. 본 논문에서 주로 연구하고자 하는 내용은 우선 감성에 대한 개념과 특성, 역사 그리고 감성의 연구방법으로 감성에 대해 인식을 하는 것이다. 그리고 사람들이 제품에 대해 인식할 때 우선 느끼고 주의하고 기억하고 생각한 후 감정을 느끼게 되는 이러한 일련의 순서가 있다는 사실을 설명하고, 제품 자체에서 볼 때 감성의 표현은 제품의 조형, 색채, 재질, 장식 등의 다양한 요소로 이루어진다는 것을 제시하려고 한다. 이어서 중국의 독특한 전통감정 디자인에 관한 내용을 설명하고 중국 전통디자인의 감성요소를 찾은 후, 중국 전통의 감정화 디자인 사상은 자신에 대한 반성과 관물취상, 천인합일 등과 같은 디자인 사상에 표현되어 있음을 제시한다. 마지막으로 휴대폰을 대상으로 삼아서, 먼저 중국 휴대폰 현황에 대해 소개하고 국내외의 대표적인 브랜드의 휴대폰에 관한 감성 인식 리서치를 해서 중국인의 감성 특성을 연구함과 동시에 중국인의 감성 특정에 맞는 제품디자인의 방향을 제시하고자 한다. Into the post-industrial society, with the people to strengthen consumer awareness and the pursuit of the spirit of the level of demand, a kind of attention given to aesthetics and emotional factors in the design of the trend. This design reflects the trend in the information age under the background of human life re-beautification efforts also led to the design of the study of emotion. The products are emotional, perceptual knowledge does not only mean completely from the product , but to face the public and using of goods produced by the feelings and experiences, from the user's point of view to study the design of perceptual knowledge is the key to the design subject, the user's perceptual knowledge of the main users of the product is reflected in the feelings of understanding. Chinese development of industrial design from the beginning of 1980, compared to the West has a large gap, however, extensive and profound Chinese culture, the pursuit of artistic conception, self-cultivation, which China has become a source of design culture. Chinese Ming Dynasty furniture and garden design class design, to have become a symbol of China. Chinese culture is also an example of cultural exchanges with the outside, but with the ever-changing technology, the World has become a small village, with the influx of foreign culture, Chinese people ‘s thinking is as quickly as changing. The industrial design of today's China is also the same as before,wether to give Chinese people proud of ,the modern Chinese people how have a kind of perceptual knowledge products, with the industrial development of China's product design and overseas product design , the Chinese people for their emotional Where is the understanding of differences? On this major study, first of all emotion from the definition of identity, history and the emotional sensitivity of the research methods for understanding.The public's awareness of the emotional process of the product from the feeling of attention, memory, thinking and feelings of these steps to get from the product , is the emotional expression of the product from design, color, texture, decoration of factors. Followed by China on specific design of the traditional emotional content to find out the traditional Chinese design sensibility, pointed out that the feelings of Chinese traditional design, outstanding performance of the province, such as check-concept, design, and other ideological harmony between human and nature. Finally, targeting on mobile phones, the current situation of China's mobile phone, select foreign and domestic brands on behalf of these brand products perceptual survey to study the perceptual characteristics of the Chinese people, and through investigation that is suitable for human perceptual characteristics of Chinese products Design direction.

박물관 관람객 감정이해를 위한 멀티모달 감정인식 시스템 연구

권도형 한국전통문화대학교 문화유산전문대학원 2020 국내석사

The role of the museum gradually expanded over time as well as functions they performed also diversified and specialized. The modern museum has established itself as a symbolic existence that maintains the identity of the country and the community, and it contributes to the mutual development of the community by providing cultural and social education to the public. As the ICT technology, which is the center of the 4th industrial revolution has recently developed, the paradigm of education and exhibition experience programs provided by museums has changed. The museum exhibition and education service, which was provided based on existing artifacts, is changing based on digital contents and digital media to provide new experiences and opportunities for visitors. These technological and environmental change will have a great influence on the operation of the museum and the establishment of visitor-oriented programs. Accordingly, there is a trend that emphasizes the need for visitor research, which is a key material for establishing a museum operation plan and evaluating and developing programs. Therefore, in this study, we are developed a system that automatically recognizes the emotions of visitors experiencing museum digital content based on facial expressions and physical behavior. The purpose of the study is to automatically recognize the emotions felt by the visitors and to determine whether an effective interaction between the program produced in the form of digital content and the visitors has been achieved. we want to contribute providing imformation about visitor satisfaction and contents evaluation through obtain information about whether the museum's digital content has effectively delivered meaningful and interesting content to visitors, and whether the visitor satisfies the expectations and desires of the content. As a method of study, we conducted multimodal emotion recognition based on facial expressions and body gesture to consider the museum environment and to complement the limitations of existing deep learning-based emotion recognition technology. After VGG16 network transfer learning we obtained each emotion recognition result value by facial expression and body gesture, and the results were fused through five score-level fusion technique to understand the feelings of visitors. For the experiment, we constructed multimodal emotion recognition dataset consiting of 118,353 facial expression images for each emotion type and 130,446 body gesture images. The results of this study are as follows. In Experiment 1, which evaluates the classification performance of deep learning, we was obtained 99.82% of accuracy as a result of product rule-based fusion, which is about 3.48% improve than when emotion is only recognized on the face. In Experiment 2, which evaluates the generalization ability of deep learning, we was obtained 77.04% of accuracy as a result of product rule-based fusion, which is about 32.57% improve than when emotion is only recognized on the body gesture. Through this study, it was confirmed that it is possible to grasp the emotions of the visitors with higher accuracy by integrating the result values of two or more feature information and performing emotion recognition rather than performing emotion recognition based on one feature information. This study overcomes the limitations of the previous passive visitor research, and conducted a video-based visitor research using deep learning to be suitable for application to the museum environment. By automatically grasping the emotions of visitors using digital content in museums through the multi-modal emotional recognition system, the museum can obtain data to identify the satisfaction level of visitors, an important information of user modeling. In addition, the multimodal emotional recognition system proposed in this study can be used as a criterion for evaluating the sustainability and educational effects of content by measuring the interest level of digital content experienced by visitors. Through this, the museum will provide exhibition and educational contents suitable for the various needs and purposes of visitors to the museum. 이 논문은 박물관 디지털 콘텐츠를 체험하는 관람객의 감정을 얼굴 표정과 신체적 행동을 기반으로 자동 인식하는 시스템 개발 연구를 진행하였다. 최근 4차 산업혁명의 중심인 ICT기술이 발전함에 따라 박물관에서 제공하는 교육과 전시체험 프로그램의 패러다임도 변화하게 되었다. 기존의 유물을 대상으로 제공하던 박물관 전시·교육서비스는 디지털 콘텐츠와 디지털 매체를 기반으로 변화함으로써 관람객에게 새로운 경험과 체험의 기회를 제공하고 있다. 이러한 변화는 박물관 운영과 프로그램 수립에 많은 영향을 끼치게 됨에 따라 박물관 운영 계획 수립과 프로그램의 개발 및 평가에서 중요한 기초 자료가 되는 관람객 연구의 중요성이 강조되고 있는 추세이다. 이 연구의 목적은 관람객이 느끼는 감정을 자동 인식하여, 디지털 콘텐츠 형태로 제작된 프로그램과 관람객 사이의 효과적인 상호작용이 이루어졌는지를 파악하는 것이다. 박물관의 디지털 콘텐츠는 제작 목적에 맞는 의미 있고 흥미로운 내용을 관람객에게 효과적으로 전달했는지, 관람객은 해당 콘텐츠로부터 기대와 욕구를 충족하고 만족감을 느꼈는지에 대한 정보를 취득하여 콘텐츠 평가 및 관람객 만족도를 유추하는 정보 제공에 기여하고자 한다. 연구의 방법은 박물관 환경을 고려하고 기존 딥러닝 기반 감정인식 기술의 한계점을 보완하기 위해, 얼굴 표정과 신체적 행동을 기반으로 하는 멀티모달 감정인식을 진행한다. VGG16 Network를 Transfer learning하여 얼굴 표정과 신체적 행동에서 각각의 감정인식 결과 값을 취득한 뒤 다섯 가지의 score-level fusion 기법을 통해 결과 값을 융합하여 관람객이 느끼는 감정을 최종적으로 결정한다. 실험을 위해 감정 종류별 얼굴 표정 이미지 118,353장과 신체 제스처 이미지 130,446장으로 구성된 멀티모달 감정인식 데이터셋을 구축했다. 본 연구의 결과는 다음과 같다. 딥러닝의 분류 성능을 평가하는 실험 1에서 product rule기반 융합 결과 정확도 99.82%를 취득하여 얼굴을 대상으로만 감정인식을 진행할 경우보다 약 3.48% 정확도가 향상됨을 확인했다. 딥러닝의 일반화 능력을 평가하는 실험 2에서는 product rule기반 융합 결과 77.04%의 정확도를 취득하여 신체 제스처 단독으로 감정인식을 진행하는 경우보다 감정인식 정확도가 약 32.57% 향상된 것을 확인했다. 본 연구를 통해 하나의 특징정보를 기반으로 감정인식을 진행하는 것보다 두 개 이상의 특징 정보 결과 값을 융합하여 감정인식을 진행하는 것이 더 높은 정확도로 관람객의 감정을 파악할 수 있는 것을 확인하였다. 또한 수동적인 관람객 연구의 한계점을 극복하고, 박물관 환경에 적용하기 적합하도록 딥러닝을 활용한 영상기반 방식의 관람객 연구의 효용성을 확인했다. 이처럼 박물관의 디지털 콘텐츠를 이용하는 관람객의 감정을 멀티모달 감정인식 시스템을 통해 자동으로 파악함으로써, 박물관은 유저모델링(User modeling)의 중요한 정보인 관람객의 만족도를 파악하는 데이터를 획득할 수 있다. 또한 본 연구에서 제안한 멀티모달 감정인식 시스템은 관람객이 체험하는 디지털 콘텐츠의 흥미도를 측정하여, 콘텐츠의 평가에 기여함으로써 콘텐츠의 지속여부 및 교육적 효과 등을 평가하는 기준으로 활용이 가능하다. 이를 통해 박물관 관람객들의 다양한 요구와 목적에 적합한 전시·교육 콘텐츠를 제공하는 바탕이 될 것이다.

주의력결핍 과잉행동장애 아동의 얼굴 감정인식능력과 사회기능 장애의 연관성 : Association of Facial Emotion Recognition with Social Dysfunction in Children with Attention-Deficit Hyperactivity Disorder

박재홍 동아대학교 대학원 2011 국내박사

1. 목적 주의력결핍 과잉행동장애(Attention-Deficit Hyperactivity Disorder, ADHD)는 전반적이고 다양한 영역에서 아동의 사회기능 장애를 유발한다. 적절한 사회적 상호작용을 위해서는 다른 사람의 감정 상태를 이해하는 능력이 필수적이지만, ADHD 아동은 자신의 행동으로 인해 상대방이 불쾌해하거나 화가 나는 등의 감정을 제대로 이해하지 못하기 때문에 사회적 관계에 어려움을 초래할 수 있다. 선행연구에서 ADHD 아동은 감정인식 능력이 떨어진다는 보고가 있지만, ADHD 증상과의 관련성을 배제하지 못하였고, 사회기능과의 관련성은 아직 확립되지 않았다. 본 연구는 얼굴표정 인식과제를 통해 ADHD 아동의 감정인식 능력을 정상 대조군과 비교하고, ADHD 아동의 주의력과 충동성이 감정인식 능력에 미치는 영향을 평가하였다. 아울러 감정인식 능력과 사회기능의 관련성을 조사하였다. 2. 방법 31명의 ADHD 아동과 22명의 정상 대조군을 대상으로 펜실베이니아 얼굴표정 인식과제를 사용하여 감정인식 능력의 차이를 비교하였다. ADHD 아동의 주의력과 충동성은 ADHD 평정척도와 주의력 장애 진단 시스템을 사용하여 측정하였고, 사회기능은 아동 행동평가척도의 사회성 척도와 공격적 행동 척도를 사용하여 평가하였다. 3. 결과 감정인식 과제에서 ADHD 아동은 정상 대조군에 비해 분노와 공포 감정을 정확하게 인지하는 능력이 떨어졌다. ADHD 아동의 감정인식 능력은 이들의 주의력이나 충동성 정도와는 관련이 없었다. ADHD 아동의 사회기능 저하를 설명하는 요인은 공포 감정 인식 능력과 충동성이었다. 4. 결론 본 연구의 결과는 ADHD 아동이 얼굴 표정에 드러나는 감정을 이해하는 데 어려움이 있으며 이러한 어려움은 ADHD의 부주의 및 충동성과는 관련이 없는 또 다른 병태생리임을 제시한다. 또한 ADHD 아동의 충동성이 사회기능 장애와 관련이 있지만 감정 인식의 오류도 이에 기여하므로 사회기능 장애의 평가에 감정 인식 능력에 대한 고려가 필요하다. 1. Objectives Children with Attention-Deficit Hyperactivity Disorder (ADHD) exhibit significant impairments in their social function. Yet, the underlying causes of their social dysfunction have not been established. Poor ability of emotion recognition may be one of explanation of social dysfunction in ADHD. This study examined facial emotion recognition of children with ADHD and their correlation between inattention/impulsivity and social dysfunction. 2. Methods The participants consisted of 53 children between the age 7 and 12 (31 ADHD, 22 control group). All subjects had one session of the Penn Emotion Recognition Test (Penn ERT) to evaluate abilities of facial emotion recognition. To examine inattention / impulsivity of ADHD group, ADHD diagnostic system (ADS) and Korean version of ADHD Rating Scale (K-ARS) were used. Social function of ADHD group was assessed by Korean version of Child Behavioral Check List (K-CBCL). 3. Results Group comparisons revealed that compared to normal control subjects, ADHD subjects have impaired recognition on two types of facial emotion (anger, fear). There was no significant correlation between inattention/impulsivity and facial emotion recognition. Linear regression analysis demonstrated that both faulty emotion recognition and impulsivity contributed to impaired social function in ADHD subjects. 4. Conclusion The results of this study have implication for the understanding the nature of emotion recognition in ADHD. The present study suggests that children with ADHD have poor ability of facial emotion recognition and faulty facial emotion recognition have negative effect on social function of these children.

대화 문맥의 연관성을 적용한 멀티 레이블 감정인식 모델

임명진 조선대학교 대학원 2022 국내박사

최근 COVID-19(Coronavirus Disease 2019)로 인하여 비대면 서비스가 급격하게 확산되었다. 이로 인해 사용자들 간에 메신저나 SNS(Social Networking Service)로 소통하는 경우가 증가한다. 이때 발생하는 대량의 데이터를 활용하여 사용자 정보나 의견을 분석하고 감정을 인식하는 연구가 활발하게 진행되고 있다. 사용자들이 자유자재로 작성하는 SNS등 대화 텍스트는 정해진 형식이 없는 비정형의 특징이 있다. 이러한 특징으로 AI(Artificial Intelligence)를 활용한 분석이 어렵고 감정인식 기법의 성능 저하를 가져온다. 따라서 비정형 대화 텍스트의 특징에 적합한 처리 방법이 필요하다. 비정형 대화 텍스트 중 한국어 감정인식은 대부분 감정 키워드나 어휘를 분석하여 단일 감정을 인식하고 있다. 그러나 하나의 문장에는 여러 감정이 복합적으로 존재하기 때문에 멀티 레이블 감정인식에 관한 연구가 필요하다. 또한 대화는 화자 간에 대화문을 주고받으며 진행되기 때문에 다른 사람의 말에 의해 자신의 감정이 바뀌기도 하고, 한번 발생한 감정이 일정 시간 지속되기도 한다. 그리고 감정은 어휘를 통해 드러내기도 하지만 대화 내용을 통해 간접적으로 나타나기도 한다. 따라서 대화 문맥 속에서 감정을 유발하는 다양한 요소들과 이전 문장들을 효과적으로 반영해야 한다. 따라서 본 논문에서는 더 정확한 감정인식을 위해 비정형 대화 텍스트의 특징을 분석하고 처리한다. 그리고 대화의 의미를 이해하고 내재한 감정과 복합적인 감정을 인식하는 멀티 레이블 감정인식 모델(MLER)을 구현한다. 대화문을 특성에 맞게 분류하고 MLER 모델을 대화문에 적용하여 대화 문맥 연관성을 도출하고 이를 적용한다. 제안한 기법의 유용성 검증 방법으로 비정형 대화 텍스트 처리 방법, 멀티 레이블 감정인식(MLER) 모델, 그리고 대화 문맥의 연관성을 적용한 MLER 모델을 실험 및 평가한다. 그 결과 비정형 대화 텍스트를 처리하고 감정 클래스의 균형을 맞췄을 때 성능이 향상되었다. 또한 KoBERT 문장 임베딩을 사용하고 Attention 모델을 사용했을 때 Accuracy가 78.4%로 가장 좋은 성능을 보였다. 또한 멀티 레이블 성능을 평가한 결과 제안한 MLER 모델의 Micro-F1이 74.8%로 성능이 가장 좋았다. 마지막으로 제안한 모델에 대화 문맥 연관성을 적용한 결과 감정 유사도가 더 높아진 것을 확인하였다. 따라서 제안한 대화 문맥 연관성을 적용한 멀티 레이블 감정인식 모델을 활용하면 대화 감정인식의 정확도와 성능을 향상하는데 기여할 수 있다. Recently, due to COVID-19 (Coronavirus Disease 2019), non-face-to-face services have rapidly spread. As a result, the number of users communicating through messengers or SNS (Social Networking Service) increases. Research on analyzing user information or opinions and recognizing emotions using a large amount of data generated at this time is being actively conducted. Conversation texts such as SNS, which users freely write, have unstructured features without a structured format. Due to these characteristics, analysis using AI (Artificial Intelligence) is difficult and the performance of emotion recognition techniques is degraded. Therefore, a processing method suitable for the characteristics of the unstructured conversation text is required. Among unstructured conversation texts, most Korean emotion recognition recognizes a single emotion by analyzing emotion keywords or vocabulary. However, a study on multi-label emotion recognition is needed because multiple emotions exist in a complex way in one sentence. In addition, since the conversation proceeds by exchanging the conversation between the speakers, one's emotions may change depending on the words of others, and the emotions once generated may last for a certain period of time. And emotions are not only revealed through vocabulary, but also indirectly through conversation content. Therefore, it is necessary to effectively reflect the various factors that induce emotions and the previous sentences in the conversation context. Therefore, in this paper, we analyze and process the characteristics of unstructured conversation text for more accurate emotion recognition. And implement a multi-label emotion recognition (MLER) model that understands the meaning of conversation and recognizes inherent and complex emotions. Conversation sentences are classified according to their characteristics, and the MLER model is applied to the conversation to derive the conversation context correlation and apply it. As a method to verify the usefulness of the proposed technique, we experiment and evaluate the unstructured conversation text processing method, the multi-label emotion recognition (MLER) model, and the MLER model that applies the correlation of the conversation context. As a result, performance improved when processing unstructured conversation text and balancing emotion classes. Also, when using KoBERT sentence embedding and Attention model, Accuracy showed the best performance with 78.4%. In addition, as a result of evaluating multi-label performance, Micro-F1 of the proposed MLER model had the best performance at 74.8%. Finally, as a result of applying the conversation context correlation to the proposed model, it was confirmed that the emotion similarity was higher. Therefore, using the proposed multi-label emotion recognition model to which conversation context correlation is applied can contribute to improving the accuracy and performance of conversation emotion recognition.