단노출 플래시 스마트폰 영상에서 저속 동조 영상 생성

국문 초록 (Abstract)

저속 동조는 촬영자가 장노출과 카메라 플래시를 동시에 이용해서 전경과 배경을 밝게 하는 촬영 기법이다. 단노출 플래시 촬영과 플래시 없는 장노출 촬영과는 달리 저속 동조는 어두운 환경에서의 밝은 전경과 배경을 보장한다. 하지만 스마트폰으로 저속 동조 촬영은 어려운데, 이는 스마트폰 카메라의 플래시는 약한 지속 광이고 노출 시간이 길어지면 플래시를 켜지 못하기 때문이다. 본 연구에서는 단노출 플래시 영상에서 저속 동조 영상을 만드는 딥러닝 방법을 제안한다. 본 연구에서는 공간상에서 가변적인 영상 밝기 개선을 위해 가중치 맵을 적용한 네트워크를 제안한다. 본 연구에서는 지도 학습을 위한 스마트폰 단노출 플래시 영상과 저속 동조 영상 데이터 세트도 제안한다. RAW 영상의 선형성을 이용해 단노출 플래시 영상과 플래시 없는 장노출 영상으로부터 저속 동조 영상을 생성해서 데이터 세트를 구축한다. 실험을 통해 본 연구의 방법이 저속 동조 영상을 효과적으로 생성하는 것을 볼 수 있다.

다국어 초록 (Multilingual Abstract)

Slow sync is a photography technique where a user takes an image with long exposure and a camera flash to enlighten the foreground and background. Unlike short exposure with flash and long exposure without flash, slow sync guarantees the bright foreground and background in the dim environment. However, taking a slow sync image with a smartphone is difficult because the smartphone camera has continuous and weak flash and can not turn on flash if the exposure time is long. This paper proposes a deep learning method that input is a short exposure flash image and output is a slow sync image. We present a deep learning network with a weight map for spatially varying enlightenment. We also propose a dataset that consists of smartphone short exposure flash images and slow sync images for supervised learning. We utilize the linearity of a RAW image to synthesize a slow sync image from short exposure flash and long exposure no-flash images. Experimental results show that our method trained with our dataset synthesizes slow sync images effectively.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 관련 연구
• 3. 스마트폰 저속 동조 데이터 세트
• 4. 저속 동조 생성 네트워크
• 5. 실험 결과 및 분석
• 6. 결론 및 한계점
• References

참고문헌 (Reference)

1 C. Guo, "Zero-reference deep curve estimation for low-light image enhancement" 2020

2 R. Wang, "Underexposed photo enhancement using deep illumination estimation" 2019

3 O. Ronneberger, "U-net: Convolutional networks for biomedical image segmentation" 2015

4 H. Lee, "Structure-texture decomposition of images with interval gradient" 2017

5 A. Mittal, "Making a “completely blind” image quality analyzer" 2012

6 W. Ren, "Low-light image enhancement via a deep hybrid network" 2019

7 X. Guo, "Lime: Low-light image enhancement via illumination map estimation" IEEE Transactions on image processing 2016

8 E. H. Land, "Lightness and retinex theory" Josa 1971

9 "Libraw"

10 I. J. Goodfellow, "Generative adversarial networks"

11 Y. Jiang, "Enlightengan: Deep light enhancement without paired supervision" 2021

12 C. Wei, "Deep retinex decomposition for low-light enhancement" 2018

13 C. Tomasi, "Bilateral filtering for gray and color images" 1998

14 D. P. Kingma, "Adam: A method for stochastic optimization"

15 X. Fu, "A weighted variational model for simultaneous reflectance and illumination estimation" 2016

16 Y. Aksoy, "A dataset of flash and ambient illumination pairs from the crowd" 2018