Residual 특징을 이용한 U-Net기반의 이미지 복원 = Image Restoration based on U-Net with Residual feature

국문 초록 (Abstract)

이미지 블러(Image blur)는 이미지 촬영에 있어서 객체의 움직임과 카메라 흔들림, 장면 깊이 변화에 의해 발생하기 때문에 컴퓨터 비전 문제로 분류된다. 과거의 연구에서는 이미지 블러 현상이 부분적으로 균일하거나 선형적이라는 가정 하에 수학적 접근으로 이를 분석해왔다. 하지만 이러한 접근은 모션 블러(motion blur)와 같은 비선형적인 블러 현상이 발생되는 일반적인 동적 장면에서 이미지 복원 정확도가 떨어진다는 문제점을 가지고 있다. 이러한 문제점을 극복하기 위해 최근 지역적으로 비균일하고 비선형적인 블러 현상을 구현한 Gopro 데이터셋을 활용하여 U-Net 기반의 심층신경망에 대한 연구가 활발히 이루어지고 있다.
본 논문에서 제안된 신경망 RFU-Net(Residual feature U-Net)의 구조는 U-Net 신경망을 기반으로 Residual 특징 추출 모듈을 U-Net신경망에 연결하여 Residual 특징을 활용한 효과적인 학습을 유도했다. RFU-Net의 합성곱 블록은 기존 U-Net과 달리 최신 이미지 분류 연구에서 효과적으로 알려진 ResNeXt의 그룹 합성곱과 Swish 활성화함수, Instance 정규화를 활용하여 변형하였다. RFU-Net은 U-Net기반 모델인 DeepDeblurNet, DeblurGAN-V2와 비교해 신경망의 매개변수와 FLOPS를 감소시켜 모델 학습 속도를 개선했고 U-Net 기반의 Residual 특징 추출 모듈을 신경망에 연결하여 성능을 향상시켰다.
제안된 이미지 복원 기법의 성능 평가를 위해 신호 대 잡음비(PSNR : Peak Signal to Noise Ratio)와 구조적 유사도(SSIM : Structural Similarity Index Map)를 평가 지표로 선택했다. DeepDeblurNet과 비교해 1.03 dB 높은 PSNR 값을 나타내었고 DeblurGAN-V2와 비교해 0.56dB 높은 PSNR 값을 실험 결과를 통해 검증하였다. 또한 절제 연구를 통해 Residual 특징 활용유무를 통한 U-Net이 학습에 효과적이라는 실험적 결과를 얻었다.

다국어 초록 (Multilingual Abstract)

Image blur is classified as a computer vision problem because it is caused by object movement, camera shake, and scene depth change in image capture. In the past research, the image blur phenomenon has been analyzed using a mathematical approach under the assumption that it is partially uniform or linear. However, this approach has a problem in that image restoration accuracy is lowered in a general dynamic scene in which non-linear blur such as motion blur occurs. In order to overcome this problem, research on deep neural networks based on U-Net is being actively conducted using the Gopro dataset that implements regionally non-uniform and non-linear blur.
The structure of the neural network RFU-Net (Residual feature U-Net) proposed in this paper is based on the U-Net neural network and connects the residual feature extraction module to the U-Net neural network to induce effective learning using the residual features. Unlike the existing U-Net, the convolution block of RFU-Net was transformed using ResNeXt's group convolution, Swish activation function, and instance normalization, which are effectively known in the latest image classification research. Compared to U-Net-based models DeepDeblurNet and DeblurGAN-V2, RFU-Net improved the model learning speed by reducing the parameters and FLOPS of the neural network, and improved the performance by connecting the U-Net-based Residual feature extraction module to the neural network. .
To evaluate the performance of the proposed image restoration technique, the Peak Signal to Noise Ratio (PSNR) and Structural Similarity Index Map (SSIM) were selected as evaluation indicators. Compared to DeepDeblurNet, it showed a PSNR value that was 1.03 dB higher, and compared to DeblurGAN-V2, a PSNR value that was 0.56 dB higher was verified through the experimental results. In addition, through the resection study, experimental results were obtained that U-Net is effective for learning through the use of residual features.

목차 (Table of Contents)

• 제 1장 서 론 1
• 1.1 연구의 필요성 1
• 1.2 연구의 목적 2
• 1.3 논문의 구성 3
• 제 2장 이론적 배경 4
• 2.1 U-Net 4
• 2.2 DeepDeblurNet 5
• 2.3 DeblurGAN-V2 8
• 2.4 가우시안 블러 10
• 2.5 Gopro 데이터셋 10
• 제 3장 RFU-Net 알고리즘 11
• 3.1 개 요 11
• 3.2 RFU-Net 알고리즘 11
• 3.2.1 그룹 합성곱 층(Group Convolutional Layer) 11
• 3.2.2 RFU-Net 알고리즘의 Residual 특징 추출 모듈 구조 12
• 3.2.3 RFU-Net 알고리즘의 구조 14
• 제 4장 실험 결과 및 분석 16
• 4.1 실험 환경 16
• 4.2 객관적 화질 평가 17
• 4.2.1 최대 신호 대 잡음비(Peak Signal-to-noise Ratio: PSNR) 17
• 4.2.2 구조적 유사도(Structural Similarity Index Map: SSIM) 18
• 4.3 주관적 화질 평가 22
• 4.3.1 Gopro Large 데이터 셋에 대한 블러 제거 결과 22
• 4.3.2 Gopro Large 데이터 셋에 대한 가우시안 블러 제거 결과 29
• 4.4 절제 연구 33
• 4.4.1 Residual 추출기의 여부와 U-Net 개선 여부에 따른 연구 33
• 4.5 알고리즘 매개변수 및 FLOPS 비교 37
• 제 5장 결 론 38
• 참고문헌 39
• ABSTRACT 42
• 감사의 글 44