영상 콘텐츠의 오디오 분석을 통한 메타데이터 자동 생성 방법 = Method of Automatically Generating Metadata through Audio Analysis of Video Content

국문 초록 (Abstract)

영상 콘텐츠를 사용자에게 추천하기 위해서는 메타데이터가 필수적인 요소로 자리 잡고 있다. 하지만 이러한 메타데이터는 영상 콘텐츠 제공자에 의해 수동적으로 생성되고 있다. 본 논문에서는 기존 수동으로 직접 메타데이터를 입력하는 방식에서 자동으로 메타데이터를 생성하는 방법을 연구하였다. 기존 연구에서 감정 태그를 추출하는 방법에 추가로 영화 오디오를 통한 장르와 제작국가에 대한 메타데이터 자동 생성 방법에 대해 연구를 진행하였다. 전이학습 모델인 ResNet34 인공 신경망 모델을 이용하여 오디오의 스펙트로그램으로부터 장르를 추출하고, 영화 속 화자의 음성을 음성인식을 통해 언어를 감지하였다. 이를 통해 메타데이터를 생성 인공지능을 통해 자동 생성 가능성을 확인할 수 있었다.

다국어 초록 (Multilingual Abstract)

A meatadata has become an essential element in order to recommend video content to users. However, it is passively generated by video content providers. In the paper, a method for automatically generating metadata was studied in the existing manual metadata input method. In addition to the method of extracting emotion tags in the previous study, a study was conducted on a method for automatically generating metadata for genre and country of production through movie audio. The genre was extracted from the audio spectrogram using the ResNet34 artificial neural network model, a transfer learning model, and the language of the speaker in the movie was detected through speech recognition. Through this, it was possible to confirm the possibility of automatically generating metadata through artificial intelligence.

참고문헌 (Reference)

1 노은솔, "전이학습 기반 CNN을 통한 풀림 방지 코팅 볼트 이진 분류에 관한 연구" 한국산학기술학회 22 (22): 651-658, 2021

2 전은주, "음성인식 기반으로 단어 및 문장 구간의 자동 삭제를 위한 웹 기반 수업 영상 편집 프로그램 개발" 한국컴퓨터교육학회 24 (24): 45-56, 2021

3 김재영, "온톨로지 기반 영화 메타데이터간연관성을 활용한 영화 추천 기법" 한국지능정보시스템학회 19 (19): 25-44, 2013

4 배승주, "영화 콘텐츠 큐레이션과 메타데이터 표준 연구의 동향 분석 -예술경영 관점으로-" 한국융합학회 11 (11): 163-171, 2020

5 K. W. Song, "Introduction to recent recommendation system research and future works" 39 (39): 16-23, 2021

6 K. He, "Deep residual learning for image recognition" 770-778, 2016

7 M. H. Yoon, "A research of optimized metadata extraction and classification of in audio" 147-149, 2021