다중 비디오 동기화를 위한 효율적인 알고리즘 = Efficient Algorithm to synchronize the multiple videos

국문 초록 (Abstract)

다중 비디오 동기화 기술은 다중 비디오의 활용을 위한 중요한 전처리 기술이다. 다 시점 영상의 기하학적 특성을 이용한 영상처리를 위해서나, 여러 사람들이 다른 시점에서 촬영한 비디오를 이용한 방송 또는 편집에서 필수적이다. 특히, 영상 및 음성 신호를 이용하는 신호 처리기반 동기화 기술은 비전문 장비로 촬영한 영상에도 활용할 수 있어 활용도가 높다. 신호 처리 기반 동기화 기술의 활용도가 높아질수록 기술의 복잡도 측면의 개선도 필요성도 높아지고 있다.
본 논문은 다중 비디오 동기화 기술의 복잡도를 감소하는 알고리즘을 제안한다. 이를 위해, 일반적인 신호 처리기반 비디오 동기화 기술의 특성을 분석하고 기존 기술에서 발생하는 복잡도 문제를 제기한다. 기존의 알고리즘에서는 기준 비디오 신호에 대해 참조 비디오 신호를 교차 이동시키며 중첩되는 영역의 신호들 간의 상관관계를 계산하여 두 비디오 신호를 매칭한다. 이 과정에서 발생할 수 있는 모든 교차 이동에 대해 일일이 계산을 수행하기 때문에 높은 복잡도가 발생한다. 이러한 계산은 비디오 신호의 길이와 비디오의 수에 따라 비선형적으로 증가하는 시간 복잡도를 가진다.
본 논문에서는 상관관계를 계산하여 두 비디오 신호를 매칭할 때, 교차이동의 보폭과 탐색 범위를 조정하여 시간 복잡도를 줄이는 방법을 제안한다. 그리고 제안하는 알고리즘을 spectral flatness 기반의 다중 비디오 동기화 시스템에 적용하여 성능을 확인한다. 제안 방법의 효과를 확인하기위해, 제안 방법을 이용하여 다중 비디오의 동기화를 수행했을 시간 복잡도와 평균 프레임 에러로 정확도를 측정하여 그래프로 보인다. 또한, 제안 방법을 적용한 다중 비디오를 이용해 가상 시점 영상을 합성하여 성능 안정성을 확인한다. 결과적으로 제안하는 알고리즘은 성능의 저하가 거의 없이 기존에 비선형적으로 증가하던 비디오 신호의 매칭 단계를 비디오 신호의 길이에 따라 시간 복잡도가 선형적으로 증가하도록 개선했다.

목차 (Table of Contents)

• 제1장 서론 1
• 제1절 다중 비디오 동기화 기술의 필요성 및 응용 분야 1
• 제2절 다중 비디오 동기화 기술의 개념 2
• 제3절 본 논문에서 제안하려는 기술의 요약 및 의미 5
• 제2장 기존의 다중 비디오 동기화 기술 6
• 제1절 다중 비디오 동기화 기술의 일반적인 절차 6
• 제2절 Spectral Flatness를 이용한 오디오 특징값 추출 기법 8
• 제3절 Fingerprint를 이용한 오디오 특징값 추출 기법 11
• 제4절 특징값 기반 다중 비디오 매칭 기법 12
• 제5절 기존 연구들의 분석 및 장단점 비교 13
• 제3장 제안하는 다중 비디오 동기화 기술 14
• 제1절 다중 비디오 동기화 기술의 복잡도 분석 14
• 제2절 제안하는 동기화 알고리즘의 절차(flowchart) 16
• 제3절 제안하는 빠른 동기화 알고리즘 24
• 제4절 제안하는 알고리즘과 기존 알고리즘들의 복잡도 비교 27
• 제4장 실험 결과 및 분석 28
• 제1절 실험에 사용된 데이터 세트 28
• 제2절 다중 비디오 동기화 기술의 복잡도 분석 30
• 제3절 제안 기술 기반 6DoF 컨텐츠 제작 34
• 제5장 결론 39
• 참고문헌 40