가중치 시공간 정보를 이용한 적응적 De-interlacing 기법 = An Adaptive De-interlacing Method using Weighted Spatial-Temporal Domain Information

국문 초록 (Abstract)

영상 보간(image interpolation)이란 적은 영상 정보의 상관관계 및 개연성을 이용하여 부족한 영상 데이터를 생성하는 기술이다. 예를 들면, 낮은 프레임 수의 영상을 두 프레임 간의 상관성을 고려하여 중간 영상 프레임을 만들어 내는 FRC(frame rate conversion) 기술, 그리고 낮은 해상도의 영상을 높은 해상도로의 변환을 하기 위한 기술, 그리고 격행주사(interlaced scan) 방식의 필드(field) 구조를 프레임 구조로 보간하는 De-interlacing 기법 등이 있다.
이런 영상 보간 방법 중 본 논문에서는 격행주사 방식의 영상 조건에 가중치를 부여한 시-공간 정보를 이용한 효율적인 De-interlacing 알고리듬을 제안한다. 제안된 알고리듬은 먼저 화면내 보간 방법인 WELA(weighted edge based line average)를 기반으로 2개 이상의 필드 정보를 이용한 MC(motion conpensation) 기반의 간 보간 방법인 WELA-ST(spatio-temporal domain information)으로 확장한 하이브리드(hybrid) De-interlacing 방법이다. 또한 보간시 영상의 특성 고려면서 에지 부분의 특색을 손실 없이 보간하기 위해 본 논문은 해당 픽셀에 대한 영상 보간시 각 에지 방향에 따라 가중치를 부여하여 각 방향의 후보값의 가중치 평균을 구하여 영상 보간에 사용하였다.
제안된 알고리듬을 다수의 실험 영상(test sequence)에서 검증한 결과, 기존의 알고리듬에 비해 높은 PSNR을 보일 뿐만 아니라 주관적 화질에서도 우수한 결과를 보였다. 또한 제안된 구조는 하드웨어(hardware) 구현에 있어 복잡도를 낮출 수 있는 형태를 가지고 있음을 확인할 수 있다.

다국어 초록 (Multilingual Abstract)

Image interpolation is the skill of obtaining high quality data from low quality data with correlation. For example, the image interpolation is utilized in FRC (Frame Rate Conversion) that puts a new motion compensated frame data between 2 original frame data, the skill of obtaining high resolution images from low resolution images, and De-interlacing.
In this thesis, De-interlacing algorithm using weighted spatio-temporal domain information in interlaced scanning is proposed among those interpolation categories. This proposal is composed of 2 methods : NO-MC using a field data and MC using three field data to interpolate.
WELA (Weighted Edge Based Line Average) algorithm using NO-MC method proposes interpolation method by weighted average with three directions in a temporal space. WELA_ST (Weighted Edge Based Line Average Spatio-Temporal Domain Information) algorithm using MC is extended to temporal domain from WELA. WELA_ST proposes interpolation by weighted average with 3 directions in a temporal space and 3 directions added from previous and next field.
Extensive simulations with video sequences show the efficiency of the proposed algorithm over the conventional method in terms of objective numerical value (PSNR), subjective image quality, and processing time.

목차 (Table of Contents)

• 제 1 장 서론 = 1
• 제 2 장 TV 신호의 주사 방식 = 4
• 2.1 순차주사와 격행주사 = 4
• 제 3 장 기존의 De-interlacing 기법 = 9
• 3.1 No-MC(Motion Compensation) 방법 = 9
• 3.1.1 공간 필터를 이용한 De-interlacing 기법 = 9
• 3.1.1.1 Nearest Neighbor = 10
• 3.1.1.2 선형 보간 = 11
• 3.1.1.3 FIR 필터 보간 = 11
• 3.1.1.4 Cubic Spline 보간 = 12
• 3.1.2 에지 기반의 De-interlacing 기법 = 14
• 3.1.2.1 ELA(Edge based line average) 기법 = 14
• 3.1.2.2 E-ELA(Efficient Edge Based Line Average) 기법 = 16
• 3.1.2.3 DOI(The Direction Oriented Interpolation algorithm) 기법 = 18
• 3.2 MC(Motion Compensation) 방법 = 19
• 3.2.1 전통적인 MC(Motion Compensation) 방법 = 19
• 3.2.2 STELA(Spatio-temporal Edge-based Median filtering For Deinterlacing) 방법 = 21
• 제 4 장 제안된 De-interlacing 기법 = 23
• 4.1 제안된 Spatial Domain Deinterlacing 기법 = 23
• 4.2 제안된 Spatio-Temporal Domain Deinterlacing 기법 = 26
• 제 5 장 실험 결과 및 고찰 = 30
• 5.1 제안된 방법들의 실험 및 평가 방법 = 30
• 5.2 실험 결과 = 31
• 5.2.1 Akiyo 영상 실험 결과 및 분석 = 31
• 5.2.2 News 영상 실험 결과 및 분석 = 34
• 5.2.3 Flower 영상 실험 결과 및 분석 = 37
• 5.2.4 Mobile 영상 실험 결과 및 분석 = 39
• 5.2.5 Stefan 영상 실험 결과 및 분석 = 41
• 5.2.6 Table Tennis 영상 실험 결과 및 분석 = 43
• 제 6 장 결론 = 45
• 제 7 장 참고문헌 47
• Abstract 49