MPEG 시스템 스트림상에서 오디오 정보를 이용한 장면 경계 검출 방법 = A Scene Boundary Detection Scheme using Audio Information in MPEG System Stream

국문 초록 (Abstract)

본 논문에서는 일반적인 영화를 인코딩한 MPEG 형식의 비디오 데이타에 대해 장면과 장면 사이의 경계점에서 나타나는 여러 오디오 특성을 이용하는 새로운 장면 경계 검출 방법을 제안하고 실험을 통해서 그 유용성을 보인다. 일반적인 영상에서 장면 경계 지점에서는 영상의 내용이 크게 바뀜에 따라 오디오 정보도 같이 변화한다는 특성이 있으며, 본 논문에서는 이러한 장면경계에서의 오디오 정보 변화를 각각 급진변화(Radical Change), 점진변화(Gradual Change), 미세변화(Micro Change)로 분류하였으며, 각 변화의 특성을 분석하고 이를 검출하는 알고리즘을 제안하였다. 급진변화는 장면과 장면의 경계점에서 오디오가 음량의 급격한 증감이 발생하고 음색 또한 급격히 달라지는 형태를 취하고 있으며, 점진변화는 긴 시간에 걸쳐서 음량 및 음색이 달라지는 형태를, 미세변화는 음량의 변화없이 일부 음색과 주파수 분포가 달라지는 특성을 가지고 있다. 본 논문에서는 이러한 특성을 토대로 시간축을 따라 진행하는 윈도우를 설정하여 이 윈도우 내에서의 오디오 변화를 추적함으로써 위의 세 가지 형태의 장면 경계를 추출하는 방법을 제안한다. 다양한 영화를 통한 실험에서 실제 샘플로 사용된 영화들에서 가장 많은 부분을 차지하는 급진변화에 대하여 본 논문에서 제안한 방법이 높은 검출율을 얻을 수 있음을 알 수 있었다. 본 논문에서 제안한 오디오 정보를 이용한 장면 경계 검출 방법은 비디오 정보를 이용한 장면 경계 검출과 같이 병행하여 사용함으로써 MPEG 형식의 영상정보에 대한 데이타 베이스 구축에 유용하게 사용될수 있을 것이다.

다국어 초록 (Multilingual Abstract)

This paper proposes a new scene boundary detection scheme for the MPEG System stream using MPEG Audio information and proves its usefulness by extensive experiments. A scene boundary has a characteristic that the audio as well as video information are changed rapidly. This paper first classifies this scene boundary into three cases ; Radical, Gradual, Micro Changes, with respect to the audio changes. The Radical change has a large-scale changing of decibel value and pitch value at a scene boundary, the Gradual change shows the long-time transition of decibel and pitch values from max to min or vice versa, and the Micro change displays a some change of pitch or frequency distribution without decibel changes. Upon this analysis, a new scene change detection algorithm detecting these three cases is proposed in which a progressive window with a time line is used to trace the changes in the audio information. Some experiments with various movies show that proposed algorithm could produce a high detection ratio for Radical change that is the most popular scene change in the movies, while producing a moderate detection ratio for Gradual and Micro changes. The proposed scene boundary detection scheme could be used to build a database for visual information like MPEG System stream.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 오디오 정보의 인덱싱에 관한 기존의 연구
• 3. 장면 경계에서의 오디오 변화 특성 분석
• 4. 장면 경계검출 알고리즘
• 5. 실험 및 결과분석
• 6. 결론 및 앞으로의 연구방향
• 참고문헌
• 저자소개