잔차 신경망과 팽창 합성곱 신경망을 이용한 라이트 필드 각 초해상도 기법 = Light Field Angular Super-Resolution Algorithm Using Dilated Convolutional Neural Network with Residual Network

다국어 초록 (Multilingual Abstract)

Light field image captured by a microlens array-based camera has many limitations in practical use due to its low spatial resolution and angular resolution. High spatial resolution images can be easily acquired with a single image super-resolution technique that has been studied a lot recently. But there is a problem in that high angular resolution images are distorted in the process of using disparity information inherent among images, and thus it is difficult to obtain a high-quality angular resolution image. In this paper, we propose light field angular super-resolution that extracts an initial feature map using an dilated convolutional neural network in order to effectively extract the view difference information inherent among images and generates target image using a residual neural network. The proposed network showed superior performance in PSNR and subjective image quality compared to existing angular super-resolution networks.

국문 초록 (Abstract)

마이크로렌즈 어레이 기반의 카메라로 촬영된 라이트필드 영상은 낮은 공간해상도 및 각해상도로 인하여 실제 사용하기에는 많은 제약이 따른다. 고해상도의 공간해상도 영상은 최근 많이 연구되고 있는 단일 영상 초해상도 기법으로 쉽게 얻을 수 있으나 고해상도의 각해상도 영상은 영상사이에 내재된 시점차 정보를 이용하는 과정에서 왜곡이 발생하여 좋은 품질의 각해상도 영상을 얻기 힘든 문제가 있다. 본 논문에서는 영상 사이에 내재된 시점차 정보를 효과적으로 추출하기 위해서 팽창 합성곱 신경망을 이용하여 초기 특징맵을 추출하고 잔차 신경망으로 새로운 시점 영상을 생성하는 라이트 필드 각 초해상도 영상 기법을 제안한다. 제안하는 네트워크는 기존의 각 초해상도 네트워크와 비교하여 PSNR 및 주관적 화질 비교에서 우수한 성능을 보였다.

참고문헌 (Reference)

1 H. Schilling, "Trust your model: Light field depth estimation with inline occlusion handling" 4530-4538, 2018

2 J. Žbontar, "Stereo matching by training a convolutional neural network to compare image patches" 17 (17): 2287-2318, 2016

3 Williem, "Robust light field depth estimation for noisy scene with occlusion" 4396-4404, 2016

4 A. Vianello, "Robust hough transform based 3D reconstruction from circular light fields" 7327-7335, 2018

5 M. Řeřábek, "New Light Field Image Dataset" 2016

6 F. Yu, "Multi-Scale Context Aggregation by Dilated Convolutions" 2016

7 Y. Yoon, "Light-Field Image Super-Resolution Using Convolutional Neural Network" 24 (24): 848-852, 2017

8 M. Levoy, "Light field rendering" 31-42, 1996

9 N. K. Kalantari, "Learning-based view synthesis for light field cameras" 35 (35): 1-193, 2016

10 O. Johannsen, "Layered scene reconstruction from multiple light field camera views" 3-18, 2016

11 A. Krizhevsky, "Imagenet classification with deep convolutional neural networks" 1097-1105, 2012

12 C. Dong, "Image Super-Resolution Using Deep Convolutional Networks" 38 (38): 295-307, 2016

13 B. Lim, "Enhanced Deep Residual Networks for Single Image Super-Resolution" 136-144, 2017

14 M. Haris, "Deep BackProjection Networks for Super-Resolution" 1664-1673, 2018

15 J. Yu, "A Light-Field Journey to Virtual Reality" 24 (24): 104-112, 2017