RISS 검색 - 국내학술지논문 상세보기

다국어 초록 (Multilingual Abstract)

Various smart devices have enabled users to conveniently access diverse multimedia contents, such as videos, images, and music, anywhere and anytime. Meanwhile, as the volume of contents has become increased explosively, effective methods for providing appropriate contents to users have been required and many works have been done to that purpose. In particular, for the contents such as music and images, emotional information has been used popularly in search or recommendation because such emotional information is known to increase user satisfaction.
Moreover, in the exhibition and entertainment field, music and image are presented at the same time to increase the immersion and satisfaction of users. Therefore, relevance calculation of music and images has became an important issue. In this paper, we propose a method to extract the mood and theme of music and images and provides contents to users based on their mood and theme similarity. More specifically, for image mood recognition, we extract the objects in the image and their color features. In order to recognize the music mood, we use the mood characteristic that people defined by listening and lyric characteristic. The mood features of music and image are converted into AV(Arousal-Valence) values, mapped onto the AV plane, and the distance on the plane is defined as the mood similarity of the contents. On the other hand, in order to grasp the theme of music and image, we have constructed a theme ontology based on the objects in image and music lyrics. Finally, we show the performance of our proposed scheme that matches music and image based on mood and theme of contents through experiments.

번역하기

국문 초록 (Abstract)

스마트 디바이스의 발전과 보급으로 사용자들은 언제 어디서나 동영상이나 이미지, 음악과 같은 다양한멀티미디어 콘텐츠를 편리하게 접근할 수 있게 되었다. 한편, 콘텐츠의 양이 폭발적으로 증가함에 따라 사용자에게 적절한 콘텐츠를 효과적으로 제공하는 방법들이 요구되었고 이를 위한 다양한 연구들이 진행되었다. 특히, 음악이나 이미지와 같은 콘텐츠의 경우, 그들이 가지는 감성적인 정보가 사용자의 콘텐츠에 대한 만족도를 높이고 있어 검색이나 추천 분야에서 유용하게 사용되고 있다. 더욱이 전시장이나 엔터테인먼트 분야의 경우 음악과 이미지를 동시에 제공하여 콘텐츠에 대한 사용자 몰입도와 만족도를 향상시키고자 하였으며, 이를 위한 음악과 이미지의 연관성 계산이 중요한 이슈가 되었다. 본 논문에서는 음악과 이미지가 가지는 무드와 주제를 추출하고 이를 기반으로 유사한 콘텐츠를 효과적으로 사용자에게 제공하는 기법을 제안한다. 구체적으로, 이미지 무드 인식을 위해서는 이미지에 포함되어 있는 사물들과 그들의 색상 특징을 추출하고, 음악 무드 인식을 위해서는 음악에서 사람들이 듣고 정의한 무드 특징과 음악의 가사 특징을 이용한다. 추출한 음악과 이미지의 무드 특징들을 AV(Arousal-Valence) 값으로 변환하고 AV 모델 위에 맵핑하고, 모델 상에서의 거리를 계산하여 무드 유사도로 사용하였다. 한편, 음악과 이미지의 주제를 파악하기 위해서 이미지나 음악 가사에서 언급된 사물들을 바탕으로 주제 온톨로지를 구성하였다. 마지막으로 콘텐츠의 무드와 주제를 기반으로 음악과 이미지를 매칭하는 실험을 통하여 제안하는 기법의 성능을 보인다.

번역하기

스마트 디바이스의 발전과 보급으로 사용자들은 언제 어디서나 동영상이나 이미지, 음악과 같은 다양한멀티미디어 콘텐츠를 편리하게 접근할 수 있게 되었다. 한편, 콘텐츠의 양이 폭발적...

참고문헌 (Reference)

1 "https://cloud.google.com/vision/"

2 "http://www.nltk.org"

3 J. Lıbeks, "You can judge an artist by an album cover : Using images for music annotation" 18 (18): 30-37, 2011

4 Hutto CJ, "Vader: A parsimonious rule-based model for sentiment analysis of social media text" 2014

5 J. Chao, "Tunesensor: A semantic-driven music recommendation service for digital photo albums" 2011

6 M. Saenz, "The sound of change : Visually-induced auditory synesthesia" 18 : 650-651, 2008

7 J. Osborne, "The mapping of thoughts, emotions, sensations, and images as responses to music" 5 : 133-136, 1981

8 A. Quittner, "The facilitative effects of music on visual imagery : A multiple measures approach" 7 : 105-119, 1983

9 Thayer RE, "The biopsychology of mood and arousal" Oxford University Press 1990

10 Wang J-C, "The acousticvisual emotion Guassians model for automatic generation of music video" 1379-1380, 2012