비디오의 오디오 정보 요약 기법에 관한 연구

김현희 한국정보관리학회 2009 정보관리학회지 Vol.26 No.3

The study proposed the algorithm for automatically summarizing the audio information from a video and then conducted an experiment for the evaluation of the audio extraction that was constructed based on the proposed algorithm. The research results showed that first, the recall and precision rates of the proposed method for audio summarization were higher than those of the mechanical method by which audio extraction was constructed based on the sentence location. Second, the proposed method outperformed the mechanical method in summary making tasks, although in the gist recognition task(multiple choice), there is no statistically difference between the proposed and mechanical methods. In addition, the study conducted the participants' satisfaction survey regarding the use of audio extraction for video browsing and also discussed the practical implications of the proposed method in Internet and digital library environments. 본 연구는 비디오의 오디오 정보를 추출하여 자동으로 요약하는 알고리즘을 설계하고, 제안된 알고리즘에 의해서 구성한 오디오 요약의 품질을 평가하여 효율적인 비디오 요약의 구현 방안을 제안하였다. 구체적인 연구 결과를 살펴보면 다음과 같다. 먼저, 제안 오디오 요약의 품질이 위치 기반 오디오 요약의 품질 보다 내재적 평가에서 더 우수하게 나타났다. 이용자 평가(외재적 평가)의 요약문 정확도에서는 제안 요약문이 위치 기반 요약문 보다 더 우수한 것으로 나타났지만, 항목 선택에서는 이 두 요약문간의 성능 차이는 없는 것으로 나타났다. 이외에 비디오 브라우징을 위한 오디오 요약에 대한 이용자 만족도를 조사하였다. 끝으로 이러한 조사 결과를 기초로 하여 제안된 오디오 요약 기법을 인터넷이나 디지털 도서관에 활용하는 방안들을 제시하였다.

비디오 의미 파악을 위한 멀티미디어 요약의 비동시적 오디오와 이미지 정보간의 상호 작용 효과 연구

김현희 한국문헌정보학회 2011 한국문헌정보학회지 Vol.45 No.2

The study examines the interactive effect of spoken words and imagery not synchronized in audio/image surrogates for video gisting. To do that, we conducted an experiment with 64 participants, under the assumption that participants would better understand the content of videos when viewing audio/image surrogates rather than audio or image surrogates. The results of the experiment showed that overall audio/image surrogates were better than audio or image surrogates for video gisting, although the unsynchronized multimedia surrogates made it difficult for some participants to pay attention to both audio and image when the content they present is very different. 본 연구는 오디오 및 이미지 정보가 비동시적으로 결합된 오디오/이미지 요약이 오디오 요약 또는 이미지 요약만 사용했을 때 보다 어떤 상호 작용 효과를 가지고 있는지 살펴보았다. 이를 위해서 오디오/이미지 요약, 오디오 요약 및 이미지 요약을 비디오의 의미 추출에 있어서의 정확도 즉, 요약문 및 항목 선택의 정확도와 이용자들의 이 세 가지 요약에 대한 관점을 비교, 분석하였다. 분석 결과, 요약문 정확도에서는 비디오 유형에 관계없이 상호 작용 효과를 확인하였으나 항목 선택의 정확도에서는 상호 작용 효과가 입증되지 못했다. 끝으로 이용자들은 오디오/이미지 요약에 대해 오디오와 이미지 정보를 병행하여 시청함으로서 비디오 내용에 대한 이해를 빠르게 하지만 때로는 이 두 정보간의 비동시성으로 인하여 비디오 의미 파악을 방해하는 경우도 생겨난다고 기술하였다.

Creation of Soccer Video Highlight Using The Structural Features of Caption

허문행,신성윤,이양원,류근호,Huh, Moon-Haeng,Shin, Seong-Yoon,Lee, Yang-Weon,Ryu, Keun-Ho Korea Information Processing Society 2003 정보처리학회논문지D Vol.10 No.4

디지털 비디오는 대용량의 저장 공간을 필요로 하는 시간적으로 매우 긴 데이터이다. 따라서 사용자들은 대용량의 긴 비디오를 시청하기 전에 사전에 제작된 요약된 비디오를 시청하고 싶어 한다. 특히, 스포츠 비디오 분야에서는 하이라이트 비디오를 시청하고자 한다. 결과적으로 하이라이트 비디오는 사용자들이 비디오를 시청하고자 할 경우 그 비디오가 시청할 가치가 있는지를 결정하는데 사용된다. 본 논문에서는 자막의 구조적 특징을 이용하여 축구 비디오 하이라이트를 생성하는 방법을 제시한다. 자막의 구조적 특징은 자막이 갖는 시간적 특징과 공간적 특징으로서 이러한 구조적 특징을 이용하여 자막 프레임 구간과 자막 키 프레임을 추출한다. 그리고 하이라이트 비디오는 자막 키 프레임들에 대한 장면 재설정과 논리적 색인화 및 하이라이트 생성 규칙을 이용하여 생성한다. 마지막으로, 브라우저를 통한 사용자의 항목 선택에 의하여 하이라이트 비디오와 비디오 세그먼트에 대한 검색과 브라우징을 수행할 수 있다. A digital video is usually very long temporally. requiring large storage capacity. Therefore, users want to watch pre-summarized video before they watch a large long video. Especially in the field of sports video, they want to watch a highlight video. Consequently, highlight video is used that the viewers decide whether it is valuable for them to watch the video or not. This paper proposes how to create soccer video highlight using the structural features of the caption such as temporal and spatial features. Caption frame intervals and caption key frames are extracted by using those structural features. And then, highlight video is created by using scene relocation, logical indexing and highlight creation rule. Finally. retrieval and browsing of highlight and video segment is performed by selection of item on browser.

중요도 기반 퍼지 원 클래스 서포트 벡터 머신을 이용한 비디오 요약 기술

김기주 ( Kijoo Kim ),최영식 ( Youngsik Choi ) 한국인터넷정보학회 2011 인터넷정보학회논문지 Vol.12 No.5

본 논문에서는 비디오 요약을 시각적으로 특징이 있고 주관적으로 중요한 비디오 세그먼트 집합을 구하는 새로운 요약방식을 기술한다. 시각적으로 특징이 있는 데이터 포인트를 찾기 위해 novelty detection으로 잘 알려져 있는 OC-SVM(One-Class Support Vector Machine)을 사용할 수 있다. 그러나 OC-SVM의 처리과정에 비디오 세그먼트에 대한 사용자의 주관적인 중요도를 반영하기는 어렵다. OC-SVM의 처리과정에 사용자의 주관적 중요성을 반영하기 위해서, 본 논문에서는 OC-SVM의 퍼지 버전을 유도한다. IFOC-SVM(Importance-based Fuzzy One-Class Support Vector Machine)은 비디오 세그먼트의 중요도에 따라 각 데이터 포인트에 가중치를 부여하고 데이터 분포의 서포트를 측정한다. 이때, 구해진 서포트 벡터는 비디오 세그먼트의 중요도와 시각적 특징 관점에서 비디오의 내용을 축약하여 표현한다. 제안된 알고리즘의 성능을 증명하기 위하여 가상의 데이터들과 다양한 종류의 비디오들을 가지고 실험하였다. 실험 결과는 제안하는 방법의 성능이 다른 비디오요약의 성능보다 우수함을 보여주었다. In this paper, we address a video summarization task as generating both visually salient and semantically important video segments. In order to find salient data points, one can use the OC-SVM (One-class Support Vector Machine), which is well known for novelty detection problems. It is, however, hard to incorporate into the OC-SVM process the importance measure of data points, which is crucial for video summarization. In order to integrate the importance of each point in the OC-SVM process, we propose a fuzzy version of OC-SVM. The Importance-based Fuzzy OC-SVM weights data points according to the importance measure of the video segments and then estimates the support of a distribution of the weighted feature vectors. The estimated support vectors form the descriptive segments that best delineate the underlying video content in terms of the importance and salience of video segments. We demonstrate the performance of our algorithm on several synthesized data sets and different types of videos in order to show the efficacy of the proposed algorithm. Experimental results showed that our approach outperformed the well known traditional method.

육하원칙 정보에 기반한 홈비디오 키프레임 추출

장철훈(Cheolhun Jang),조성현(Sunghyun Cho),이승용(Seungyong Lee) 한국컴퓨터그래픽스학회 2013 컴퓨터그래픽스학회논문지 Vol.19 No.2

본 논문에서는 육하원칙 정보를 기반으로 홈비디오에서 키프레임을 추출하는 방법을 제시한다. 키프레임 추출 방법이란 비디오에서 중요하다고 생각되는 특정 프레임만을 선출하여 비디오를 요약하는 방법이다. 홈비디오의 경우 그 주제가 다양하여 특별한 가정을 통한 정보 추출이 어렵고, 주로 인물이 비디오의 중심이 되기 때문에 인물의 행동을 중심으로 요약을 수행하여야 한다. 본 논문에서는 인물의 얼굴, 인물의 행동, 전체 배경 정보를 분석하여 인물 중심의 보편적인 요약 기준인 육하원칙의 주요 정보를 추출한다. 추가적으로 비디오의 매 프레임의 블러 크기를 측정하여 이용함으로써 프레임별로 얼마나 많은 정보를 포함하고 있는지 측정하고, 가장 많은 정보를 포함한 프레임을 키프레임으로 선출한다. 사용자 실험을 통해 사용자가 홈비디오에서 여러 개의 키프레임을 선택할 경우, 기존의 방법보다 사용자의 선택과 유사함을 확인할 수 있다. We propose a novel method to extract keyframes from home videos based on the 5W and 1H information. Keyframe extraction is a kind of video summarization which selects only specific frames containing important information of a video. As a home video may have content with a variety of topics, we cannot make specific assumptions for information extraction. In addition, to summarize a home video we must analyze human behaviors, because people are important subjects in home videos. In this paper, we extract 5W and 1H information by analyzing human faces, human behaviors, and the global information of background. Experimental results demonstrate that our technique extract more similar keyframes to human selections than previous methods.

사용자의 요구를 반영하는 동영상 요약 알고리즘

정진국,홍승욱,낭종호,하명환,정병희,김경수 한국정보과학회 2003 정보과학회논문지 : 소프트웨어 및 응용 Vol.30 No.7

자동으로 동영상을 요약하는 알고리즘은 다양한 방향으로 진행되어 왔다. 하지만 이러한 알고리즘들은 한가지 저금수준 내용정보만을 이용하여 동영상을 요약하였기 때문에 요약하는 사용자의 주관을 반영할 수 없다는 단점이 있다. 즉, 동영상 요약이라는 것은 내용에 대한 전반적인 이해에 바탕을 두고 중요한 샷을 선택하는 것이라고 정의할 수 있는데 이 경우에 중요한 샷이라고 결정하는 것은 요약자의 주관에 따라 달라질 수 있기 때문에 사용자의 주관을 반영한 수 없다는 것은 큰 단점으로 대두될 수 있다. 본 논문에서는 사용자의 요구를 반영하는 동영상 요약 알고리즘을 제시한다. 알고리즘에서는 일반적으로 많이 사용하는 동영상 요약에 대한 목적함수와 이들에 대한 가중치를 이용한다. 본 논문에서는 동영상 요약을 목적함수를 극대화 시킬 수 있는 샷들의 집합으로 정의하는데 이 경우 문제점으로 제시될 수 있는 것이 계산량이 많다는 것이다. 즉, n개의 샷을 가진 동영상에 대하여 2$^n$번의 계산량이 필요하기 때문에 전체 알고리즘의 수행 시간이 많아지는 것이다. 본 논문에서는 이러한 문제점을 해결하기 위하여 빠른 시간에 근사 샷들의 집합을 구할 수 있는 Simulated Annealing 알고리즘을 이용하였다. 실험 결과에 의하면 본 논문의 알고리즘은 요약자의 주관을 반영시킬 수 있고, Simulated Annealing 을 이용하여 빠른 시간에 원하는 요약을 할 수 있음을 확인하였다. 본 논문의 알고리즘은 동영상을 대상으로 하는 디지털 비디오 라이브러리와 같은 응용 분야에 이용할 수 있을 것이다. Video abstraction is a process to pick up some important shots on a video, while the important shots might vary on the persons subjectivity. Previous works on video abstraction use only one low level feature to choose an important shot. This thesis proposes an abstraction scheme that selects a set of shots which simultaneously satisfies the desired features(or objective functions) of a good abstraction. Since the complexity of the computation to find a set of shots which maximizes the sum of object function values is $0({2^n})$, the proposed .scheme uses a simulated annealing based searching method to find the suboptimal value within a short period of time. Upon the experimental results on various videos, we could argue that the proposed abstraction scheme could produce a reasonable video abstraction. The proposed abstraction scheme used to build a digital video library.

시선추적-뇌파 기반의 비디오 요약 생성 방안 연구

김현희,김용호 한국문헌정보학회 2022 한국문헌정보학회지 Vol.56 No.1

This study developed and evaluated audio-visual (AV) semantics-based video summarization methods using eye tracking and electroencephalography (EEG) data. For this study, twenty-seven university students participated in eye tracking and EEG experiments. The evaluation results showed that the average recall rate (0.73) of using both EEG and pupil diameter data for the construction of a video summary was higher than that (0.50) of using EEG data or that (0.68) of using pupil diameter data. In addition, this study reported that the reasons why the average recall (0.57) of the AV semantics-based personalized video summaries was lower than that (0.69) of the AV semantics-based generic video summaries. The differences and characteristics between the AV semantics-based video summarization methods and the text semantics-based video summarization methods were compared and analyzed. 본 연구는 시선 및 뇌파 정보를 이용하여 오디오-비주얼(audio-visual, AV) 시맨틱스 기반의 동영상 요약 방법들을 개발하고 평가해 보았다. 이를 위해서 27명의 대학생들을 대상으로 시선추적과 뇌파 실험을 수행하였다. 평가 결과, 뇌파와 동공크기 데이터를 함께 사용한 방법의 평균 재현율(0.73)이 뇌파 또는 동공크기 데이터만을 사용한 방법의 평균 재현율(뇌파: 0.50, 동공크기: 0.68)보다 높게 나타났다. 또한 AV 시맨틱스 기반의 개인화된 동영상 요약의 평균 재현율(0.57)이 AV 시맨틱스 기반의 일반적인 동영상 요약의 평균 재현율(0.69)보다 낮게 나타난 원인들을 분석하였다. 끝으로, AV 시맨틱스 기반 동영상 요약 방법과 텍스트 시맨틱스 기반 동영상 요약 방법 간의 차이 및 특성도 비교분석해 보았다.

실시간 상황 인식을 위한 센서 운용 모드 기반 항공 영상 요약 기법

이준표(Jun-Pyo Lee) 한국컴퓨터정보학회 2015 韓國컴퓨터情報學會論文誌 Vol.20 No.6

항공 영상 요약은 무인항공기를 통해 획득된 전체 영상의 내용을 제한된 시간 내에 효과적으로 브라우징 함으로써 감시 정찰 지역에 대한 상황 인식을 가능하게 하는 기술이다. 항공 영상의 정확한 요약을 수행하기 위해 본 논문에서는 센서 운용 모드를 집중감시, 전역감시 그리고 구역감시모드로 구분하고 해당 센서 운용 모드의 특성을 고려하여 항공 영상 요약을 수행한다. 특히 집중감시 모드에서의 영상 요약은 화면 내 움직임이 있는 관심 객체의 지속적인 추적을 기반으로 수행되며 이를 위해 본 논문에서는 지역 움직임 벡터(partitioning motion vector)와 해당 벡터가 발생한 영역에서의 시공간적 중요도 지도(spatiotemporal saliency map)를 활용한 움직임 반응 추적 기법을 제안한다. 제안하는 알고리즘의 효율성과 적합성을 확인하기 위해 실 항공 영상을 대상으로 실험을 수행하였다. 도출된 실험 결과를 통해 제안하는 방법은 전체 항공 영상에서의 영상 요약을 위해 센서 운용 모드에 따라 정확한 대표 프레임을 검출하였으며 이에 따라 대용량의 무인항공기 획득 영상이 효과적으로 요약될 수 있음을 확인하였다. An Aerial video summarization is not only the key to effective browsing video within a limited time, but also an embedded cue to efficiently congregative situation awareness acquired by unmanned aerial vehicle. Different with previous works, we utilize sensor operation mode of unmanned aerial vehicle, which is global, local, and focused surveillance mode in order for accurately summarizing the aerial video considering flight and surveillance/reconnaissance environments. In focused mode, we propose the moving-react tracking method which utilizes the partitioning motion vector and spatiotemporal saliency map to detect and track the interest moving object continuously. In our simulation result, the key frames are correctly detected for aerial video summarization according to the sensor operation mode of aerial vehicle and finally, we verify the efficiency of video summarization using the proposed mothed.

필드와 모션벡터의 특징정보를 이용한 스포츠 뉴스 비디오의 장르 분류

송미영,장상현,조형제,Song, Mi-Young,Jang, Sang-Hyun,Cho, Hyung-Je 한국정보처리학회 2007 정보처리학회논문지B Vol.14 No.2

비디오와 브라우징, 검색, 조작을 위해서 비디오 내용을 기술하는 색인이 요구된다. 지금까지 색인의 구성은 대부분 비디오 내용에 제한된 키워드를 수작업으로 할당하는 전문가에 의해 수행되었는데 이는 비용과 시간을 소비하는 사업이므로 비디오 내용을 자동으로 분류하는 것이 필요하다. 이 연구는 축구, 골프, 야구, 농구, 배구 등 5종의 스포츠 뉴스 비디오의 분석과 요약을 위해서 자동적이고 효율적인 방법을 제안한다. 우선, 스포츠 뉴스 비디오를 앵커 장면과 스포츠 기사 장면으로 분류한다. 장면 분류는 앵커 장면의 영상 전처리와 색상 특정을 기반으로 한다. 그리고 필드의 우세색상과 모션 방향을 특징으로 이용하여 스포츠 장면을 5개의 장르로 분류한다. 241개의 스포츠 뉴스 장면에 대한 실험에서 75%의 정확도를 얻었다. 따라서 제안된 기법은 향후 개별 스포츠 뉴스와 스포츠 하이라이트를 위한 뉴스 비디오를 검색하는데 이용될 수 있을 것이다. For browsing, searching, and manipulating video documents, an indexing technique to describe video contents is required. Until now, the indexing process is mostly carried out by specialists who manually assign a few keywords to the video contents and thereby this work becomes an expensive and time consuming task. Therefore, automatic classification of video content is necessary. We propose a fully automatic and computationally efficient method for analysis and summarization of spots news video for 5 spots news video such as soccer, golf, baseball, basketball and volleyball. First of all, spots news videos are classified as anchor-person Shots, and the other shots are classified as news reports shots. Shot classification is based on image preprocessing and color features of the anchor-person shots. We then use the dominant color of the field and motion features for analysis of sports shots, Finally, sports shots are classified into five genre type. We achieved an overall average classification accuracy of 75% on sports news videos with 241 scenes. Therefore, the proposed method can be further used to search news video for individual sports news and sports highlights.

CCTV 동영상 이벤트 태깅을 위한 HTML 5 웹 브라우저 기반 메타데이터 저작도구 개발

강민지,강민영,낭종호 한국정보과학회 2020 정보과학회 컴퓨팅의 실제 논문지 Vol.26 No.10

Recently, surveillance cameras are distributed for various purposes such as for crime prevention and traffic safety, and as a result, the volume of video data generated through CCTV is increasing exponentially. In order to use this CCTV video data as the training data of deep learning that is trained to detect various events automatically, the meta-data describing the time stamp and class label of event should be attached to CCTV video data. However, attaching these meta-data to CCTV video manually is a very time-consuming tasks, so that an easy-to-use meta-data tagging tool is required to generate the meta-data for CCTV video events efficiently. This paper proposes a meta-data tagging tool running on HTML5-enabled Web browser that provides a video summary of the desired section of the CCTV video so that authors can quickly find the section of CCTV video where the event is occurred, and effectively generate the metadata of the CCTV video by modifying the meta-data that are automatically generated by some analysis modules [1,2] that may have errors. 최근 범죄예방, 교통안전 등의 다양한 목적으로 감시 카메라가 보급되고 있으며, 그에 따라 CCTV를 통해 생성되는 비디오 데이터의 양이 기하급수적으로 증가하고 있다. 이 CCTV 비디오 데이터를 다양한 이벤트를 자동으로 감지하도록 훈련된 딥러닝 모델의 학습 데이터로 활용하기 위해서 이벤트 타임 스탬프와 클래스 레이블을 기술한 메타데이터를 CCTV 비디오 데이터에 첨부해야 한다. 그러나, 이러한 메타데이터를 수동으로 CCTV 영상에 첨부하는 것은 많은 시간 비용이 요구되기 때문에, 사용하기 쉽고 효율적으로 메타데이터를 생성할 수 있는 저작도구가 필요하다. 본 논문은 사용자가 이벤트가 발생한 구간을 신속하게 찾을 수 있도록 CCTV 비디오의 원하는 구간의 비디오 요약을 제공하며, 그리고 오류의 여지가 있는 모듈[1,2]을 통해 자동으로 생성되는 메타데이터를 수정하여 CCTV 비디오의 메타데이터를 효과적으로 생성하는 HTML5 웹 브라우저 기반의 메타데이터 저작도구를 제안한다.