기계학습 기반의 한국어 단문 감성분류 기법에 관한 연구

정영희 高麗大學校 2017 국내박사

오피니언 마이닝 분야 중 감성분석은 텍스트에 포함된 내용이 주관적인지 객관적인지 판별하고 작성자의 주관이 드러난 내용에 대해 감성의 극성을 분석하여 긍정(positive), 부정(negative), 중립(neutral) 중 하나로 분석하는 연구 분야이다. 초기 감성분석 연구는 대부분 웹사이트와 소셜 미디어 서비스에 나타난 의견들을 자동으로 분석하여 ‘긍정/부정’ 또는 ‘좋다/싫다’의 분석 결과를 제공하였다면, 최근 연구에서는 데이터로부터 단순한 긍/부정이 아닌 기쁨, 슬픔, 기대, 공포 등 소비자의 다양한 감정을 인식하는 감정분석에 대한 연구가 시도되고 있다. 단순한 긍정, 부정의 감성분석은 “핸드폰 액정 사이즈가 작아서 손에 쏙 들어오니 글을 입력하기가 편하다”, “핸드폰 액정 사이즈가 작아서 앙증맞고 귀엽다”와 같은 문장에서 긍정 이외의 정보를 추출하기는 어렵다. 그러나 보다 세분화된 감정분석에서는 위의 문장에서 ‘편하다’, ‘귀엽다’ 등과 같은 보다 고차원의 감정 추출이 가능하며, 이는 보다 정확한 정보 추출 및 이러한 의견을 분석하여 상품의 품질을 높이는데 기여할 수 있을 것이다. 본 연구에서 ‘긍정/부정’ 또는 ‘좋다/싫다’와 같이 극성 분류가 아닌, 텍스트 데이터로부터 세분화된 감정을 분류 하는데 목적이 있다. 따라서 본 연구에서는 긍/,부정의 극성 분류를 감성분석이라 정의하고, 세분화된 다양한 감정을 분류하는 것을 감정분석으로 정의하였고, 한국어 기반 텍스트 데이터에서 세분화된 감정분류를 위한 표층적 자질 집합과 의미적 자질 집합을 설계하고, 감정분류의 정확도를 높이고자 하였다. 단순한 긍정, 부정이 아닌 ‘기쁨’, ‘편안’, ‘슬픔’, ‘불안’ 등과 같은 다양한 감정에 대해 인식하는 분류체계는 적용하는 응용 시스템에 따라 감점 범주의 종류가 제각각인 경우가 많다. 특히 국내의 경우, 감정에 대한 극성 분류 연구가 대부분이었으며, 여러 감정으로 분류한 연구는 아직 미비한 상태이다. 국외 감정에 대한 대표적인 분류체계는 플러칙(Plutchik)의 8 개의 분류체계(기쁨, 신뢰, 두려움, 놀람, 슬품, 혐오, 화남, 기대)이다. 플러칙은 인간의 기본 감정을 8개로 구분하였으며, 우리가 일반적으로 경험하는 대부분의 감정들은 이 여덟 가지 감정들이 서로 혼합하여 나타난다고 주장하였다. 기분상태검사(profIle of mood States, POMS)의 6개 분류체계(tension, depression, anger, vigor, fatigue, confusion)도 자주 사용되는 감정 범주이다. 그러나 이와 같은 감정 분류체계는 영어로 작성되어 있기 때문에 그 의미에 맞게 한국어로 번역해서 접근해야 하는 한계점이 존재한다. 본 연구에서는 이러한 문제점을 해결하기 위해 한국어 감정분류를 위해 한국어 감정어휘 목록을 통해 한국어 감정범주 25개를 선별하였다. 한국인들의 실정에 맞는 434개의 한국어 감정어휘 목록 중 친숙성 평가기준을 근거로 상위 25개의 감정단어를 선별하여 사용하고, 이를 토대로 학습 말뭉치를 구축하였다. 감정분류를 위한 접근방식은 최근 연구에서도 자주 사용되는 기계학습 기법을 사용하였다. 25개의 세분화된 감정들에 대해 지도학습을 수행하기 위해서는 충분한 학습 말뭉치가 필요하다. 그러나 한국어 감정범주에 대한 학습 말뭉치의 부재는 세분화된 감정분류를 어렵게 하고 있으며, 공개된 한국어 감정 말뭉치는 긍정, 부정에 대한 극성 정보만 담고 있는 한계점이 있었다. 따라서 본 연구에서는 다양한 감정분류를 위해 25개 감정범주에 대한 학습 말뭉치를 구축하였고, 표층적 자질과 의미적 자질을 설계하였다. 표층적 자질은 텍스트 데이터에서 감정분류를 위한 즉각적이고 일차원적인 근거를 제공한다. 그러나 텍스트 데이터가 내포하고 있는 의미를 담아내기에는 한계가 있다. 기존 연구에서는 이러한 의미를 표현하기 위해 다양한 자질들을 조합하거나 새로운 자질을 개발하여 학습에 사용하기도 하였다. 그러나 자연어 처리 분야에서, 단어를 ‘의미’ 벡터 공간으로 임베딩하는 기법들이 소개되면서 감정분류 분야에서도 이러한 기법들을 사용하여 자질을 자동으로 학습하는 접근법이 시도되고 있다. ‘의미’는 단어 뿐만을 대상으로 하지 않고 구, 문장, 문서 등 자연어처리 과정에서 발생하는 모든 처리 단위가 대상이 된다. 대량의 데이터에서 단어나 문장을 의미 벡터 공간으로 임베딩하여 주변 단어와 문장과의 문맥 정보를 활용하여 학습모델을 만들고, 기계학습 알고리즘을 통해 감정을 분류한다. 따라서 본 연구에서는 표면적 자질 뿐만 아니라 워드임베딩 기법을 활용한 doc2vec, skip-thought vector와 같은 의미적 자질을 사용하였으며, 표면적 자질과의 성능을 비교 분석하였다. 감정분류에 대한 또 다른 문제로 학습에 사용되는 어휘 자질의 과도한 사용으로 인해 데이터 부족 문제를 유발한 다는 것이다. 예를 들면, “나 정말 화가나(화남)”, “진짜 재밌다(재미)” 등에 대해서는 학습 말뭉치에 나타난 고빈도 감정 어휘를 사용하였기 때문에 잘 동작하지만, 학습 말뭉치에 나타나지 않은 “드디어 성공했어(기쁨)” 등의 표현에 대해서는 적절한 감정을 결정할 수 없게 된다. 본 연구에서는 25개의 세분화된 감정범주를 사용하기 때문에 이처럼 특정 감정범주를 위한 데이터 부족 문제가 발생한다. 감정범주의 개수가 많아질수록 해당 감정의 데이터를 수집하기는 점점 어려질 것이다. 따라서 본 연구에서는 데이터 오버샘플링 기법을 통해 이 문제를 해결하여 학습 데이터 부족 문제를 해결하고자 하였다. 본 연구는 한국어 문장에서 25개의 다양한 감정범주로 감정을 분류한 그 자체로도 의미가 있지만 다음과 같은 이유에서 더욱 중요하다. 첫째, 본 연구는 한국어로 작성된 텍스트 데이터를 분석하여 세분화된 25개의 감정범주를 분류하였고 높은 정확도를 제공한다. 세분화된 25개의 감정범주는 한국인 실정에 맞는 감정범주로 정의하였고, 다양한 감정범주를 분류하였다. 둘째, 최신 기술인 워드 임베딩 학습 기법을 사용하여 의미적 자질을 설계하고, 이를 한국어 감정분류에 적용하였다. 워드 임베딩 학습 기법은 학습 속도가 매우 빠르며, 표면적 자질을 사용한 학습결과와 비슷한 성능을 제공한다. 셋째, 감정분류를 위해 사용된 표면적 자질과 의미적 자질에 성능평가를 통해 각각의 자질에 대한 성능을 비교 분석하였으며, 이는 감정분류에 있어서 표면적 자질과 의미적 자질에 대한 실증적 실험결과를 제공하고 이를 통해 한국어 감정분류에 있어서 앞으로 연구방향을 설정함에 있어 기초자료로 사용될 수 있다. 넷째, 본 연구에서는 25개의 감정을 분류하기 위한 학습 말뭉치를 전문가를 통해 직접 구축하였고, 감정분석 연구와 실무에 활용이 가능한 자원을 공유한다는 차별성을 가진다.

트윗 감정 분류를 위한 다양한 기계학습 자질에 대한 비교 연구

홍초희 강원대학교 2013 국내석사

With the smart phone propagation, the number of using social network services(SNS) is increasing in many people. Users can upload their voices through the short messages. Because these messages include social problem and specific merchandise’s evaluation, these are used to many kinds of areas like marketing, advertisement and campaign and so on. Therefore, there are many studies for analyzing to classify these messages. Most of these studies are applied directly the way which is originally used commonly to analyze for social network data. However these studies are not enough to fulfill the expectation because they don’t consider things such as SNS data structure, emoticons, slang and newly-coined words. In this thesis, we perform experiments on various features(emoticon polarity, retweet polarity, author polarity, and replacement words) which affect Twitter of social network service sentiment classification model. In the experiments with a sentiment classification model based on a support vector machine, we found that the emoticon polarity features and the author polarity features can contribute to improve the performance of a twitter sentiment classification model. Then, we found that the retweet polarity features and the replacement words features do not affect the performance of a twitter sentiment classification model contrary to our expectations. 최근 스마트 폰 보급과 함께 소셜 네트워크 서비스(Social Network Service) 사용이 증가하고 있다. 사용자는 짧은 메시지를 통하여 자신의 소식을 실시간으로 게시한다. 이 메시지는 사회 현상, 특정 상품에 대한 감정을 감고 있기 때문에 기업 마케팅, 광고, 캠페인 등 다양한 분야에 활용되고 있다. 따라서 이를 분석하기 위한 감정 분류 연구가 활발하다. 이러한 연구의 대부분은 일반 문서에 대한 기존의 감정 분류 방법을 소셜 네트워크 데이터 감정 분류에 그대로 적용하고 있다. 그러나 이러한 연구들은 소셜 네트워크 데이터의 구조, 이모티콘, 철자 오류 그리고 신조어와 같은 특징을 고려하지 않아 좋은 성능을 보이지 못하고 있다. 본 논문에서는 소셜 네트워크 서비스 중 트위터(Twitter) 데이터에 대한 감정 분류 성능 향상을 위하여 다양한 자질을(이모티콘 극성, 리트윗 극성, 사용자 극성, 대체 어휘) 적용하여 트위터 감정 분류 성능의 영향을 확인하였다. 기계 학습기 SVM(Support Vector Machine) 기반의 감정 분류 실험으로 이모티콘 극성 자질과 사용자 극성 자질이 트윗 감정 분류 모델의 성능 향상에 기여 하는 것을 알 수 있었다. 이와 비교하여 리트윗 극성과 대체 어휘 자질을 트윗 감정 분류 모델에 큰 영향이 없는 것을 알 수 있었다.

인터넷 감정기호를 이용한 말뭉치사전 자동구축 및 감정분류

장경애 연세대학교 공학대학원 2014 국내석사

인터넷과 모바일 디바이스 보급의 발전으로 인터넷을 통한 상품 구매는 일반적인 일이 되었다. 네티즌은 인터넷을 통해서 상품을 구매하고 상품에 대한 감정을 긍정 혹은 부정으로 상품평에 표현한다. 상품평에 대한 분석은 잠재적 소비자뿐만 아니라 기업의 의사결정에 중요한 자료가 된다. 그러나 지속적으로 늘어나는 대량의 다양한 상품평 및 리뷰를 수작업으로 분석하기는 어렵다. 따라서 인터넷의 대량 리뷰에서 의미 있는 정보를 분석하여 의견을 자동화하여 도출하는 오피니언 마이닝 기술의 중요성이 증대되고 있다.기존의 연구는 대부분이 영어를 기반으로 진행되었고 아직 한글에 대한 상품평 분석은 활발히 이루어 지지 않고 있다. 또한 한글은 영어와 달라 꾸미는 말과 어미가 복잡한 특성을 갖고 있다. 그리고 기존의 연구는 통계적 기법, 사전 기법, 기계학습 기법 등을 사용하여 연구되었으나 인터넷 언어의 특성을 감안하지는 못하였다.네티즌이 인터넷 쇼핑몰이나 SNS 공간에서 사용되는 언어는 정제된 한글이 아니라 네티즌간 소통을 위한 인터넷 언어를 사용한다. 인터넷 언어는 평면적인 글에 입체적인 말을 표현하기 위해서 이모티콘 혹은 한글초성, 특수기호로 감정을 표현한다. 따라서 오피니언 마이닝의 분석은 인터넷 언어의 특성을 분석해야 한다. 본 연구에서는 감정이 포함된 인터넷 언어의 특성을 분석하여 감정분석의 정확률을 높이는 감정분류 방법을 제안한다. 본 연구에서는 상품평의 감정을 분류하는 3단계 방법을 제안한다. 1단계는 인터넷 감정언어를 기반으로 상품평의 제한된 극성분류 단계이고 2단계는 감정기호가 미 포함된 상품평을 분석하기 위하여 1단계에서 분류된 긍정문장과 부정문장에서 긍정단어와 부정단어를 추출하여 긍정/부정 사전을 구축한다. 3단계에서는 감정기호사전과 긍정/부정 단어사전을 기반으로 감정을 분류하였다. 이를 통해 데이터에 독립적인 인터넷 감정기호를 이용해서 자동으로 긍정 및 부정 상품평을 분류할 수 있었고 높은 정확률, 재현율, Coverage 결과를 통해서 제안 알고리즘의 유효성을 확인할 수 있었다.

Microblog 텍스트의 한국어 감성분석 연구

이철성 高麗大學校 大學院 2012 국내석사

지금까지 국내에서는 우리말을 이용하여 긍부정을 판단하는 감성분석연구(sentiment analysis)가 주를 이뤘고, 여러 감정으로 분류하는 감정분석연구(emotion analysis)는 진행되지 않았다. 이에 본 연구에서는 한글 문서를 기반으로 기계학습 모델을 적용하여 7개의 감정으로 분류하고 그 결과를 영화평에 적용하여 영화 장르별 감정특성을 분석하였다. 감정분류에 사용되는 감정 클래스(class)는 심리학에서 감정평가 방법으로 사용되는 POMS(Profile of Mood States)로부터 ‘분노’, ‘혼란’, ‘우울’, ‘피로감’, ‘친근감’, ‘긴장감’, ‘생동감’ 총 7개의 감정을 추출하였다. 또한 감정 클래스 이 외에 54개의 감정형태소를 POMS로부터 추출하였고, 이를 확장하여 감정이 붙여진 감정형태소 322개를 확보하였다. 또한 서술어에 감정형태소가 쓰이고, 하나의 감정만을 나타내는 한글 트윗(tweet) 1만 7천여 개를 기계학습 모델의 학습데이터로 사용하였다. 본 연구에서는 베이즈(Bayes) 확률모델과 SVM(Support Vector Machine) 2개의 기계학습 모델을 테스트데이터에 적용한 결과, ‘다항 네이브 베이즈(Multinomial Naive Bayes) 모델’에서 가장 높은 정확도를 보였다. 이는 모든 품사를 자질(feature)로 사용하고, 본 논문에서 제안한 자질 개수 제한 기준인 최소점유율(MOR, Minimum Occupancy Ratio)이 0.6%일 때, 비학습모델의 정확도 20.4%보다 2.5배 높은 51.9%의 정확도를 보였다. 가장 높은 정확도를 보인 ‘다항 네이브 베이즈 모델’을 ‘네이버 40자 영화평’에 적용하여 영화 100편에 해당하는 55만여 개에 달하는 영화평의 감정을 분류하였고, 그 결과를 요인분석(factor analysis)하였다. 그 결과, ‘생동감’과 ‘우울’이 상반되는 감정임을 알 수 있었다. 또한 영화평에 나타난 ‘친근감’은 영화의 평점에 긍정적인 영향을 미치고, ‘분노’, ‘혼란’, ‘피로감’은 부정적인 영향을 미치는 것으로 나타났다. 반면에 ‘생동감’과 ‘우울’은 영화의 평점에 영향을 미치지 않은 것으로 나타났다. 영화 장르별 분석 결과로 단일감정을 특성으로 하는 4개의 장르 즉, 공포-‘긴장감’, 코미디-‘생동감’, 멜로/애정/로맨스-‘친근감’, 범죄-‘혼란’이 감정특성으로 나타났다. 이와 같은 결과로 트위터로부터 수집한 데이터를 이용하여 ‘네이버 40자 영화평’에 적용한 이번 연구는 데이터의 성격을 넘어 본 연구에서 제안한 방법이 실제 응용분야에서의 적용가능성(availability)을 보여준다.

유교적 칠정(七情)개념에 기반한 감정분류와 표상 이미지 연구

이혜란 부산대학교 대학원 2022 국내석사

이 연구에서는 감정을 이미지로 표현하면서 감정에 대한 내면의 정의를 내리고 그 과정에서 내면을 관찰하는 것이 주요 목표이다. 삶에서 많은 감정적 경험을 통하여 우리는 성장한다. 내안의 감정적 경험은 오로지 나의 것으로 나의 개성과 특성을 만든다. 많은 감정의 경험으로 ‘나’라는 정체성이 만들어 진다. 또한 감정은 우리 삶에서 중요한 기능과 역할이 있다. 생존의 기능, 언어의 기능, 지표의 기능이 그것이다. 그런 감정은 모든 사람에게 공통되는 보편적 기본감정이 있다. 연구에서는 동양의 유교적 칠정을 사람의 기본감정으로 설정하여 각 감정을 분석하여 이미지로 표현한다. 그 과정에서 추상적 관념의 감정을 내면의 정의를 내리고 구체화하면서 나의 내면을 들여다보는 계기로 만들려고 한다. 스피노자의 자기원인으로 설명하면 나의 본질은 내가 인식가능한 방식으로 내안에 있으며 여러 감정의 형태로 나타난다. 그렇기 때문에 감정을 통하여 나의 본질을 탐구할 수 있는 근거가 된다. 나의 감정의 방향성을 통하여 나의 욕망을 이해하고 삶의 목적과 존재 이유를 알아가려고 한다.

얼굴표정 자동인식 기술을 이용한 자폐스펙트럼 장애자를 위한 표정훈련 시스템의 설계

김민경 서울미디어대학원대학교 2023 국내석사

최근 인간과 컴퓨터 상호작용(Human-Computer Interaction) 분야에서 사용자의 감성을 인식하고 이에 대하여 맞춤형 서비스를 제공하는 감성 컴퓨팅 (Affective Computing)0]] 대한 관심이 높아지고 있다. 사용자의 감성을 분석하는 대표적인 방법들로 사용자의 음성 특성에 따라 7-8 가지의 감정의 카테고리 로 분류하는 연구들과 사용자의 얼굴영상을 기반으로 표정에 따라 감정을 분류 하는 방법들이 연구되어 왔다. 또한, 이러한 감정분류 기술을 이용한 교육, 홍보, 게임 등 다양한 분야의 응용 프로그램이 제시되어 왔다. 본 논문에서는 얼굴표정 인식 기술이 필요한 응용 분야로 자폐 스펙트럼 장애의 얼굴표정 훈련 분야를 선택하고, 얼굴표정인식 기술을 이용한 <자폐스펙트럼 장애자를 위한 얼굴표정 훈련시스템〉을 설계하였다. 자폐스펙트럼 장애를 가지고 있는 사람들은 얼굴표정을 통해 대화 상대자의 감정상태를 인식하고, 본인의 감정을 얼굴표정을 통해 표현하는 훈련이 필요한 상황으로 자동화 훈련 시스템을 통하여 반복적인 훈련과 훈련 기록이 요구된다. 자폐 스펙트럼 장애자의 얼굴표정 훈련시스템으로 제시되었던 기존 시스템들은 대부분 제시되 는 표정의 사진을 선택하거나 표정을 따라하도록 하고 점수를 부여하는 형식으로서 교육의 집중을 높일 수 있는 흥미요소가 부족하다. 본 논문에서는 얼굴표정 훈련 시스템의 사용 시 교육의 흥미를 높이기 위하 여,<반려동물 케어 게임〉과 결합된 <얼굴표정 훈련 시스템〉을 설계하였다. 제안 시스템의 구체적인 설계를 수행하기 전에, 본 논문에서는 실시간 카메라 영상을 입력으로 얼굴표정을 통한 감정분류를 수행할 수 있는 딥러닝 네트워크를 구현하였다. 감정분류를 수행하는 서로 다른 특성의 딥러닝 네트워크를 구현하고, 동일한 학습 영상 데이터와 테스트 영상 데이터를 통하여 감정분류의 정확도를 비교하였다. 또한, 실시간 카메라 영상을 이용하여 감정을 분류하는 것에 대한 실행 가능성을 확인하기 위하여 실시간 카메라 영상으로부터 영상 전처리 과정을 통하여 구현한 표정분류 딥러닝 네트워크의 수행 결과를 확인하였다. 제안하는 <얼굴표정 훈련 시스템〉에서는 제시된 표정과 단어를 제공하고 실시간으로 사용자의 얼굴표정의 정확도를 측정하여 일치 불일치를 분류하여 웹 기반의 기능성 게임의 내부 모듈로 사용함으로써 애완동물을 키우기 위해 코인 (coin)을 획득하고 아이템(item)을 구매하여 코인을 소진하는 프로세스를 사용 하여 자발적인 참여를 유도하도록 놀이치료를 접목시켰다. 본 논문에서는 카메라 영상을 기반으로 감정분류를 수행하는 딥러닝 네트워크를 구현하여 그 성능을 평가하였으며, 이러한 네트워크를 기반하여 게임요소 와 결합된 자폐스펙트럼 장애를 위한 얼굴표정훈련 시스템을 제시하였다.

문맥을 고려한 한국어 극성 기반 감정 분류 방법

최경훈 가톨릭대학교 대학원 2013 국내석사

본 논문에서는 이중 주어를 가진 문장에서 오피니언 마이닝의 중요 요소인 감정의 평가 요소와 감정 특징간의 결합을 수행할 수 있는 방법을 제안한다. 오피니언 마이닝의 감정 평가 요소는 도메인에 따라서 이루어지며, 서술어에서 발견되는 감정 특징들이 수식해야하는 부분이다. 만일 이 부분에 대한 고려가 수반되지 않으면 감정 특징들이 어떤 요소에 관한 감정인지 명확하지 못하게 되는 문제가 생긴다. 단문장 내에서의 오피니언 마이닝에서는 이러한 요소와 감정 특징이 올바르게 짝지어지지 않아도 분류 성능에 크게 영향을 미치지 않지만, 이중 주어 현상이 나타나는 문장에 대해서는 반드시 이에 대한 고려가 필요하다. 하지만 기존의 극성 기반 분류 기법에서는 이러한 결합에 대해 고려하지 못하기 때문에 문장의 문맥을 반영하지 못하는 문제점이 있다. 따라서 본 논문에서는 한국어의 교착어 특징에서 착안하여 이를 해결하는 방법을 제안한다. 이중 주어 현상이 발생한 문장 내에서 한국어의 교착어적 특성을 결정짓는 주요 요소인 접속사, 어미, 조사를 기반으로 문장을 분리해내어 입력 문장의 주어가 되는 감정 평가 요소와 서술어가 되는 감정 특징이 올바르게 짝지어지도록 한다. 또한 감정 특징이 될 수 있는 어구 중 출현 빈도가 높은 명사들을 선정한 후 상관도에 따라 계층 구조화하여 구성함으로써 감정 평가 요소간의 우선 순위를 매긴다. 이런 방법들을 통해 오피니언 마이닝에서 Veiw Point의 굴절 현상을 해결하는 방법을 제안한다. This thesis presents how to combine Sentiment Entity with Sentiment Features, which are key factors in Opinion Mining. In Opinion Mining, Sentiment Entity, which must be decorated by Sentiment Features found in predicates, is carried out on each Domain. If there is no consideration for thispart, problems that Sentiment Features can be uncertain will arise. In the case of a simple sentence in Opinion Mining, these problems cannot have an influence on classification efficiency. However, it is important to consider this part in sentences that cause dual subjects phenomenon. Since thereis no consideration of this part in existing Polarity Sentiment Classification, the context cannot be reflected. Accordingly, there are solutions conceived by grammatical features in Korean to the problems in this thesis. First of all, sentences generating dual subjects phenomenon are separated by a conjunction, the ending of a word and a postposition, which are the principal factors determining grammatical features in Korean. Also, Sentiment Entity, which is subject in input sentences, and Sentiment Features, which is a predicate, are paired off. Nouns that can be Sentiment Features among phrases are chosen by frequency of appearance and how their hierarchy are composed. Also, it determine the ranking. Through these ways, there are suggestions about how to solve refraction in View Point of Opinion mining.

Recurrent - Convolutional Neural Network를 이용한 한국어 구어체 문장의 감정 분류

홍성준 경북대학교 대학원 2017 국내석사

Text Emotion classification is an essential component in many NLP applications. Therefore, many researchers are attention and proposed various type of models that can classification emotions using sentences. In the previous research, sentence emotion classifiers were performed mainly by using the written language. In this paper, however, emotion classification of Korean spoken sentence. Usual documents use a literary style sentences but the spoken language which use different words or grammar. also spoken sentence can't use expression of emotion like emoticon or special character. Therefore, we use a R-CNN model that classifies emotions in Korean spoken sentences to effectively classify emotions in the spoken language. We also constructed Korean Spoken Sentence Emotion Classification Corpus for model’s learning. In order to confirm that the R-CNN model is suitable for emotion classification about Korean spoken sentence. This results show that the R-CNN model is suitable for Korean spoken sentense.

韓·日 慣用句의 對照硏究 : 身體語彙에 따른 感情分類를 中心으로

김태희 인천대학교 교육대학원 2008 국내석사

음성과 텍스트를 이용한 멀티모달 한국어 감정 인식 연구

변유철 서강대학교 정보통신대학원 2024 국내석사

Speech Emotion Recognition (SER) is a crucial technology that enhances interactions in telemarketing and voice assistant chatbots. AI speakers, in particular, can offer diverse services with increased accuracy in speech emotion recognition during daily life conversations. The "Conversation Speech Dataset for Emotion Classification" from AI Hub comprises conversations classified into four major emotions: Angry, Happiness, Neutral, and Sadness. Given the multimodal nature of voice data, a text emotion recognition model can be developed using text data generated through Speech To Text (STT). We propose the LLaMa2 model, comparing it with the existing KoELECTRA. Additionally, a speech emotion recognition model can be created by automatically extracting features from the Mel Frequency Cepstral Coefficients (MFCC) and Mel Spectrogram of audio data, where we propose the HuBERT model, comparing it with the existing Wav2Vec2. To investigate the optimal Fusion method for combining features from both models, we experiment with Early Fusion, Late Fusion, and Hybrid Fusion. Our results show that the unimodal speech emotion recognition model HuBERT and the text emotion recognition model LLaMa2 achieved high accuracy at 0.8139 and 0.8125, respectively. Notably, the HuBERT + LLaMa2 Late Fusion method demonstrated the highest accuracy at 0.8480. In conclusion, using multimodal approaches improved accuracy by 11% compared to unimodal models. 음성 감정 인식(SER)은 텔레마케팅이나 음성 비서 챗봇과 같은 환경에서 더 풍부한 상호작용을 가능케 하는 필수 기술 요소이다. 특히 AI 스피커에서는 일상 대화에서 음성 감정 인식의 정확도가 높아지면 다양한 서비스를 제공할 수 있다. 이에 따라 우리는 일상 생활 대화를 기반으로 음성 감정 인식(SER) 성능을 향상시키기 위한 연구를 진행하고자 한다. AI 허브에서 제공하는 "감정 분류를 위한 대화 음성 데이터셋"은 주요 감정인 분노(Angry), 행복(Happiness), 보통(Neutral), 슬픔(Sadness)을 포함한 총 4가지 감정으로 구분된 일상 대화로 이루어져 있다. 음성 데이터는 텍스트 데이터와 오디오 데이터의 멀티모달 성격을 가지고 있기 때문에 STT(Speech To Text)를 통해 생성된 텍스트 데이터를 활용하여 텍스트 감정 인식 모델을 구축할 수 있다. 이에 따라 KoELECTRA 대신 LLaMa2 모델을 제안합니다. 또한, 오디오 데이터의 MFCC와 Mel Spectrogram에서 피처를 자동 추출하여 음성 감정 인식 모델을 개발할 수 있으며, 이를 위해 Wav2Vec2 대신 HuBERT 모델을 제안한다. 두 모델의 피처를 결합하는 시점에 따라 Early Fusion, Late Fusion, Hybrid Fusion의 세 가지 Fusion 방식을 실험하여 어떤 방식이 우수한 성능을 보이는지 실험하였다. 본 논문에서는 유니모달로 사용된 음성 감정 인식 모델인 HuBERT와 텍스트 감정 인식 모델인 LLaMa2가 각각 0.8139, 0.8125의 높은 정확도를 보였다. 특히, 멀티모달 HuBERT + LLaMa2 Late Fusion 방식이 0.8480의 가장 높은 정확도를 달성했다. 마지막으로, 멀티모달 접근을 통해 유니모달 대비 11%의 성능 향상을 확인하였으며, 한국어 감정 인식 성능을 향상시키는 방안을 제안하고 검증하였다.