텍스트 및 영상의 멀티모달분석을 이용한 트위터 사용자의 감성 흐름 모니터링 기술

국문 초록 (Abstract)

본 논문은 개인 사용자의 트윗을 분석하여 사용자의 감정 흐름을 모니터링할 수 있는 새로운 방법을 제안한다. 본 논문에서는 사용자의 감성 흐름을 정확하게 예측하기 위해서 기존의 텍스트 위주의 시스템과 달리 본 연구에서는 사용자가 쓴 텍스트와 영상 등으로부터 감성을 인식하는 멀티 모달 분석 기법이 개발된다. 제안된 방법에서는 먼저 어휘분석 및 문맥을 이용한 텍스트분석기와 학습기반의 영상감성인식기를 이용하여 텍스트 및 영상 트윗에 숨겨진 개별 감성을 추출한다. 이후 이들은 규칙기반 통합 방법에 의해 날짜별로 통합되고, 마지막으로 개인의 감성흐름을 보다 직관적으로 관측할 수 있도록 감성흐름그래프로 시각화한다. 제안된 방법의 효용성을 평가하기 위해 두 단계의 실험이 수행되었다. 먼저 4만여 개의 트윗으로부터 제안된 방법의 정확도 평가 실험이 수행되고, 최신 트윗 분석 기술과 비교 분석되었다. 두 번째 실험에서는 40명의 우울증을 가진 사용자와 일반사용자를 구분할 수 있는지에 대한 실험이 수행된 결과, 제안된 기술이 실제 사용자의 감성흐름을 모니터하는데 효율적임을 증명하였다.

다국어 초록 (Multilingual Abstract)

In this paper, we propose a novel method for monitoring mood trend of Twitter users by analyzing their daily tweets for a long period. Then, to more accurately understand their tweets, we analyze all types of content in tweets, i.e., texts and emoticons, and images, thus develop a multimodal sentiment analysis method. In the proposed method, two single-modal analyses first are performed to extract the users’ moods hidden in texts and images: a lexicon-based and learning-based text classifier and a learning-based image classifier. Thereafter, the extracted moods from the respective analyses are combined into a tweet mood and aggregated a daily mood. As a result, the proposed method generates a user daily mood flow graph, which allows us for monitoring the mood trend of users more intuitively. For evaluation, we perform two sets of experiment. First, we collect the data sets of 40,447 data. We evaluate our method via comparing the state-of-the-art techniques. In our experiments, we demonstrate that the proposed multimodal analysis method outperforms other baselines and our own methods using text-based tweets or images only. Furthermore, to evaluate the potential of the proposed method in monitoring users’ mood trend, we tested the proposed method with 40 depressive users and 40 normal users. It proves that the proposed method can be effectively used in finding depressed users.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 관련연구
• 3. 제안된 시스템의 개요
• 4. 문장의 어휘와 문맥 기반의 텍스트 분석
• 4.1 개별 문장으로 부터의 특징 추출
• 4.2 이모티콘 분석
• 4.3 감성 분류
• 5. 이미지 기반 감성 분석
• 5.1 특징 추출
• 5.2 감성 인식
• 6. 통합 (Aggregation)
• 7. 실험 결과
• 7.1 멀티모달 감성 분석의 정확도 평가
• 7.2 사용자 감성 흐름 모니터링 결과 분석
• 8. 결론
• REFERENCES

참고문헌 (Reference)

1 "Wikipedia"

2 C. Xu, "Visual sentiment prediction with deep convolutional neural networks"

3 H. Lin, "User-level psychological stress detection from social media using deep neural network" 507-516, 2014

4 Y. Yang, "User interest and social influence based emotion prediction for individuals" 785-788, 2013

5 A. Mogadala, "Twitter user behavior understanding with mood transition prediction" 31-34, 2012

6 A. Go, "Twitter sentiment analysis"

7 J. Bollen, "Twitter mood predicts the stock market" 2 : 1-8, 2010

8 Y. R. Tausczik, "The psychological meaning of words : LIWC and computerized text analysis methods" 29 : 24-54, 2010

9 H. Sueki, "The association of suicide-related Twitter use with suicidal behaviour : A cross-sectional study of young internet users in Japan" 170 : 155-160, 2015

10 E. S. Dan-Glauser, "The Geneva affective picture database(GAPED) : a new 730-picture database focusing on valence and normative significance" 43 : 468-477, 2011

11 L. S. Radloff L S, "The CES-D scale a self-report depression scale for research in the general population" 1 : 385-401, 1977

12 C.K. Chung, "Social Conition and Communication" Psychology Press 25-42, 2014

13 "Sentistrength"

14 M. Thelwall, "Sentiment strength detection in short informal text" 61 : 2544-2558, 2010

15 D. Borth, "Sentibank : large-scale ontology and classifiers for detecting sentiment and emotions in visual content" 459-460, 2013

16 Q. You, "Robust image sentiment analysis using progressively trained and domain transferred deep networks" 381-388, 2015

17 S. Tsugawa, "Recognizing depression from Twitter activity" 3187-3196, 2015

18 S. Tsugawa, "Recognizing depression from Twitter activity" 3187-3196, 2015

19 M. De Chounhury, "Predicting postpartum changes in emotion and behavior via social media" 3267-3276, 2013

20 M. De Choudhury, "Predicting depression via social media" 1-10, 2013

21 "Photo. Net"

22 G. E. Simon, "Outcomes of recognized and unrecognized depression in an international primary care study" 21 : 97-105, 1999

23 J. Yuan, "Multimedia Data Mining and Analytics" Springer International Publishing 31-59, 2015

24 A. Hogenboom, "Exploiting emoticons in sentiment analysis" 703-710, 2013

25 M. Marcus, "Depression : A global public health concern" WHO 6-8, 2012

26 S. M. Mohammad, "Crowdsourcing a word–emotion association lexicon" 29 : 436-465, 2013

27 G. Katz, "ConSent : Context-based sentiment analysis" 84 : 162-178, 2015

28 L. Zhang, "Combining Lexicon-based and Learning-based Methods for Twitter Sentiment Analysis" HP 2011

29 J. Jia, "Can we understand van Gogh's mood? : Learning to infer affects from images in social networks" 857-860, 2012

30 Z. Rihmer, "Can better recognition and treatment of depression reduce suicide rates? A brief review" 16 : 406-409, 2001

31 S. Kobayashi, "COLOR IMAGE SCALE" Kodansha 1991

32 S. Zhao, "Affective image retrieval via multi-graph learning" 1025-1028, 2014

33 S. Park, "Activities on Facebook reveal the depressive state of users" 15 : 2013