RDB 및 웨이블릿 예측 네트워크 기반 단일 영상을 위한 심층 학습기반 초해상도 기법 = Deep Learning-based SISR (Single Image Super Resolution) Method using RDB (Residual Dense Block) and Wavelet Prediction Network

국문 초록 (Abstract)

단일 영상 초해상도 (Single Image Super-Resolution – SISR)기법은 카메라로 획득된 저해상도 영상에 필터 기반의 연산을 적용하여 좋은 화질의 고해상도 영상을 복원하는 과정이다. 최근에 심층 합성곱 신경망 학습의 발전에 따라 단일 영상 초해상도에 적용되는 심층 학습 기법들은 좋은 성과를 보여 주고 있다. 그 대표적인 방법으로 영상의 특징 맵 기반 웨이블릿 계수 학습을 통해 고해상도 영상을 복원하는 WaveletSRNet이 있다. 하지만 복잡한 알고리즘으로 인해 계산량이 증대되어 처리 속도가 늦고 특징 추출할 때 특징 맵을 효율적으로 활용하지 못 한다는 단점을 가지고 있다. 이를 개선하기 위해 본 논문에서는 단일 영상 초해상도 RDB-WaveletSRNet 기법을 제안한다. 제안된 기법은 잔여밀집블록(Residual Dense Block)을 사용하여 저해상도의 특징 맵을 효과적으로 추출하여 초해상도의 성능을 향상시키고 적절한 성장률을 설정하여 복잡한 계산량 문제까지 해결하였다. 또한 웨이블릿 패킷 분해를 사용하여 확대율에 맞게 웨이블릿 계수를 획득하므로 높은 확대율의 단일 영상 초해상도를 얻게 하였다. 다양한 영상에 대한 실험을 통하여, 제안하는 기법이 기존 기법보다 수행시간이 빠르며 영상 품질도 우수함을 입증하였다. 제안하는 방법은 기존 방법보다 화질은 PSNR 0.1813dB만큼 우수하며 속도는 1.17배 빠른 것을 실험을 통해 확인하였다.

참고문헌 (Reference)

1 S. Mallat, "Wavelets for a vision" Institute of Electrical and Electronics Engineers (IEEE) 84 (84): 604-614, 1996

2 H. Huang, "Wavelet-SRNet: A Wavelet-Based CNN for Multi-Scale Face Super Resolution" 2017

3 H. Chang, "Super-resolution through neighbor embedding" 2004

4 Y. Matsuo, "Super-resolution for 2K/8K television using wavelet-based image registration" 2017

5 J. Bruna, "Super-Resolution with Deep Convolutional Sufficient Statistics" 2016

6 Chao Ren, "Single Image Super-Resolution via Adaptive High-Dimensional Non-Local Total Variation and Adaptive Geometric Feature" Institute of Electrical and Electronics Engineers (IEEE) 1-1, 2016

7 Kaibing Zhang, "Single Image Super-Resolution With Non-Local Means and Steering Kernel Regression" Institute of Electrical and Electronics Engineers (IEEE) 21 (21): 4544-4556, 2012

8 Yaniv Romano, "Single Image Interpolation Via Adaptive Nonlocal Sparsity-Based Modeling" Institute of Electrical and Electronics Engineers (IEEE) 23 (23): 3085-3098, 2014

9 Y. Zhang, "Residual dense network for image super-resolution" 2018

10 W. Zhang, "RankSRGAN: Generative Adversarial Networks with Ranker for Image Super-Resolution" 2019

11 Vardan Papyan, "Multi-Scale Patch-Based Image Restoration" Institute of Electrical and Electronics Engineers (IEEE) 25 (25): 249-261, 2016

12 C. Dong, "Learning a Deep Convolu- tional Network for Image Super-Resolution" 2014

13 S. Hitawala, "Image Super-Resolution Using VDSR-ResNeXt and SRCGAN" 2018

14 T. Tong, "Image Super-Resolution Using Dense Skip Connections" 2017

15 Xiangjun Zhang, "Image Interpolation by Adaptive 2-D Autoregressive Modeling and Soft-Decision Estimation" Institute of Electrical and Electronics Engineers (IEEE) 17 (17): 887-896, 2008

16 G. Huang, "Densely Connected Convolutional Networks" 2017

17 K. He, "Deep Residual Learning for Image Recognition" 2015

18 Z. Liu, "Deep Learning Face Attributes in the Wild" 2015

19 Wei Ye, "Convolutional Edge Diffusion for Fast Contrast-guided Image Interpolation" Institute of Electrical and Electronics Engineers (IEEE) 23 (23): 1260-1264, 2016

20 C. Ji, "An edge directed interpolation algorithm based on regularization" 36 (36): 293-297, 2014

21 S. G. Mallat, "A theory for multiresolution signal decomposition: the wavelet representation" 1989

22 X. Gao, "A hybrid wavelet convolution network with sparse-coding for image super-resolution" 2016