비보정(un-calibrated) 영상으로부터 중간영상 생성을 위한 뷰 몰핑 = View Morphing for Generation of In-between Scenes from Un-calibrated Images

다국어 초록 (Multilingual Abstract)

Image morphing to generate 2D transitions between images may be difficult even to express simple 3D transformations. In addition, previous view morphing method requires control points for postwarping, and is much affected by self-occlusion. This paper presents a new morphing algorithm that can generate automatically in-between scenes from un-calibrated images. Our algorithm rectifies input images based on the fundamental matrix, which is followed by linear interpolation with bilinear disparity map. In final, we generate in-between views by inverse mapping of homography between the rectified images. The proposed method may be applied to photographs and drawings, because neither knowledge of 3D shape nor camera calibration, which is complex process generally, is required. The generated in-between views can be used in various application areas such as simulation system of virtual environment and image communication.

국문 초록 (Abstract)

영상들 간의 2차원 변환을 표현하는 영상 몰핑(morphing)기술은 대상 물체의 위치나 카메라 시점 변화를 반영하지 않기 때문에 부자연스러운 왜곡현상이 발생한다. 또한 기존의 뷰(view) 몰핑 방법은 사후 워핑(postwarping)을 위한 제어점이 필요하고 영상 내 가려짐 등에 대한 제약이 존재한다. 본 논문에서는 비보정(un-calibrated)된 카메라로부터 취득된 두 영상을 이용하여 임의 중간(in-between) 시점에서의 영상을 자동으로 생성하는 새로운 몰핑 알고리즘이 제안된다. 제안된 방법은 두 영상의 기본행렬(fundamental matrix)을 구하여 영상을 교정(rectification)한 다음, 양방향 시차맵(disparity map)을 이용해 선형 보간(linear interpolation)한다. 그리고 대상 영상과 교정된 영상간의 변환행렬(homography)을 역투영(inverse projection)하여 중간영상들을 생성하였다. 제안된 방법은 카메라의 복잡한 보정(calibration) 과정과 대상 장면에 대한 3차원 정보가 필요 없기 때문에 사진이나 그림 등에 효과적으로 적용될 수 있다. 다양한 영상에 대한 실험결과로부터 제안된 방법의 성능을 확인하였으며, 생성된 중간영상은 가상 시스템의 시뮬레이션 환경 및 영상통신 등의 분야에 활용될 수 있다.

참고문헌 (Reference)

1 "양방향 시차 몰핑을 이용한 중간 시점 영상 보간" 35 (35): 215-223, 2002

2 "constructing virtual worlds from real scenes" 4 : 34-47, 1997.

3 "View morphing," 1996.

4 "View interpolation for image synthesis" 279-288, 1993.

5 "View generation for three-dimensional scenes from video sequences IEEE Transactions on Image Processing" 6 : 584-598, 1997.

6 "Stereo vision for view synthesis" 852-858, 1996.

7 "Quicktime VR An image-based approach to virtual environment navigation" 29-38, 1995.

8 "Post- rendering 3D warping" 7-16, 1997.

9 "Open Source Computer Vision Library Referece Manual"

10 "Interpolating view and scene motion by dynamic view morphing Proc. IEEE Conference on Computer Vision and Pattern Recognition" 125-131, 1999.

11 "In defense of the eight-point algorithm IEEE Transactions on Pattern Analysis and Machine Intelligence" 19 : 580-593, 1997.

12 "Disparity-based view morphing - a new techniques for image-based rendering" 1998.

13 "Dense disparity estimation with a divide-and-conquer disparity space image technique IEEE Transactions on Multimedia" 1 : pp.18-291999.

14 "Computing rectifying homographies for stereo vision" 125-131, 1999.

15 "A method for the synthesis of intermediate views in image-based rendering using image rectification Proc. of the Canadian Conference on Electrical & Computer Engineering" 991-994, 2002.

16 "2nd European Conference on Computer Vision" 179-186, 1994.