다중 노출 복수 영상에서 장면의 다이내믹 레인지 추정을 통한 HDR 영상 획득

박대근(Dae-Geun Park),박기현(Kee-Hyon Park),하영호(Yeong-Ho Ha) 대한전자공학회 2008 電子工學會論文誌-SP (Signal processing) Vol.45 No.2

일반적으로 HDR 영상을 얻기 위해서는 장면의 다이내믹 레인지를 충분히 포함하는 노출이 다른 많은 영상이 필요하고, 그 영상을 한 영상으로 합성한다. 본 논문에서는 적은 수의 영상으로 HDR 영상을 얻을 수 있는 효율적인 방법을 제안하였다. 먼저 노출이 다른 두 장의 영상을 사용해 장면의 다이내믹 레인지를 추정하였다. 이 두 영상은 장면의 다이내믹 레인지의 상한점과 하한점을 포함한다. 장면에 상관없이 노출 시간의 변화에 따라 상한점을 포함하는 영상의 최대 그레이레벨과 하한점을 포함하는 영상의 최소 그레이레벨이 일정한 경향이 나타나는 것을 확인하였다. 이런 경향을 모델링하여, 장면의 다이내믹 레인지를 추정하였다. 추정한 장면의 다이내믹 레인지는 HDR 영상 획득을 위한 노출 시간을 찾는 데에 사용된다. 카메라의 다이내믹 레인지 세 개로 카메라가 만들 수 있는 전체 다이내믹 레인지를 포함할 수 있기 때문에, 영상 세 장만으로 HDR 영상을 얻을 수 있었다. HDR 영상의 오차를 평가하기 위해 가상의 카메라 영상을 사용하는 실험을 하였다. 실험을 통해 제안한 방법으로 얻은 HDR 영상의 오차가 10장 이상의 영상을 사용하여 얻은 HDR 영상의 오차가 큰 차이가 없음을 확인하였다. Generally, to acquire an HDR image, many images that cover the entire dynamic range of the scene with different exposure times are required, then these images are fused into one HDR image. This paper proposes an efficient method for the HDR image acquisition with small number of images. First, we estimated scenic dynamic range using two images with different exposure times. These two images contain the upper and lower limit of the scenic dynamic range. Independently of the scene, according to varied exposure times, similar characteristics for both the maximum gray levels in images that include the upper limit and the minimum gray levels in images that include the lower limit are identified. After modeling these characteristics, the scenic dynamic range is estimated using the modeling results. This estimated scenic dynamic range is then used to select the proper exposure times for the acquisition of an HDR image. We selected only three proper exposure times because entire dynamic range of the cameras could be covered by three dynamic range of the cameras with different exposure times. To evaluate the error of the HDR image, experiments using virtual digital camera images were carried out. For several test images, the error of the HDR image using proposed method was comparable to that of the HDR image which utilize more than ten images for the HDR image acquisition.

범용디지털카메라를이용한 HDR파노라마환경 맵제작 시스템개발

박은혜,황규현,박상훈 (사)한국컴퓨터그래픽스학회 2012 컴퓨터그래픽스학회논문지 Vol.18 No.2

High dynamic range (HDR) images represent a far wider numerical range of exposures than common digital images. Thus it can accurately store intensity levels of light found in the specific scenes generated by light sources in the real world. Although a kind of professional HDR cameras which support fast accurate capturing has been developed, high costs prevent from employing those in general working environments. The common method to produce a HDR image with lower cost is to take a set of photos of the target scene with a range of exposures by general purpose cameras, and then to transform them into a HDR image by commercial softwares. However, the method needs complicate and accurate camera calibration processes. Furthermore, creating HDR environment maps which are used to produce high quality imaging contents includes delicate time-consuming manual processes. In this paper, we present an automatic HDR panorama environment map generating system which was constructed to make the complicated jobs of taking pictures easier. And we show that our system can be effectively applicable to photo-realistic compositing tasks which combine 3D graphic models with a 2D background scene using image-based lighting techniques. HDR (high dynamic range) 영상은 일반적인 디지털 영상보다 훨씬 더 넓은 수치 범위로 빛의 노출을 저장한다. 따라서실세계에 존재하는 광원들에 의해 표현되는 특정 장면에 내재된 빛의 세기를 매우 정확하게 저장할 수 있다. 이러한HDR 영상을 빠르고 정확하게 촬영할 수 있는 전문가용 HDR 카메라가 개발되었으나 높은 가격으로 인해 아직까지 일반적인작업환경에서이용하기에는어려움이있다.낮은비용으로HDR영상을생성하는일반적인방법은범용디지털카메라를 이용해 동일한 장면을 서로 다른 노출로 반복 촬영하고 상용 소프트웨어에서 이들을 입력받아 하나의 HDR 영상으로 변환하는 것이다. 하지만 이러한 방법은 복잡하고 정확한 카메라 보정을 필요로 하는 작업이다. 더욱이 이방법을 이용해 고급 영상 콘텐츠 제작을 위한 HDR 환경 맵을 생성하는 경우 더 섬세한 수작업과 시간 투자를 필요로한다. 본 논문에서는 이러한 촬영 작업을 자동화 하기위해 개발된 HDR 파노라마 환경 맵 제작 시스템에 대해 자세히설명한다.그리고영상기반라이팅기법을적용하여3D그래픽모델을2D배경영상에삽입하는사실적합성작업에서본시스템이효과적으로이용될수있음을 실제 사례를통해보인다.

다중 노출 영상을 이용한 HDR 영상 복원 방법

조호진(Hojin Cho),이승용(Seungyong Lee) 한국정보과학회 2014 정보과학회논문지 : 소프트웨어 및 응용 Vol.41 No.1

본 논문에서는 부호화된 전자 셔터로부터 획득한 한 장의 다중 노출 영상을 이용한 HDR 이미징 방법을 제안한다. 기존 HDR 이미징 방법들은 정적인 장면을 대상으로 하기 때문에 영상 획득 시 피사체 움직임 및 손떨림 등의 모션을 처리하기 어려웠다. 또한, 노출 마스크와 같은 특수한 H/W를 이용하는 방법들은 구현/비용 문제로 실용성이 떨어진다. 제안된 방법에서는 개별 노출을 갖는 영상들을 분리하지 않기 때문에 계단 현상이 없고 세부사항을 보존할 수 있다. HDR 이미징 결과는 부호화된 전자 셔터가 장착된 프로토타입 카메라로 촬영된 실제 영상들을 이용하였으며, 본 논문의 방법이 기존 방법들에 비해 우수한 품질을 갖는다는 것을 보여준다. We propose a novel HDR imaging method using a coded electronic shutter that allows capturing spatially varying exposures simultaneously in a single image. Previous HDR imaging approaches have difficulties in capturing moving objects and handling camera shakes, since they assume the target scenes to be static. Special imaging devices such as exposure-filtering masks could reduce motion artifacts, but manufacturing costs have limited their practicality. Using the proposed framework, we extend the dynamic range of an input image without extracting the subimages for different exposures while preventing jaggy artifacts and preserving fine details. Experimental results on real images captured using a prototype camera equipped with a coded electronic shutter show that our method can generate higher quality HDR images than previous approaches.

밝기 비트맵과 색도 일관성을 이용한 무 잔상 High Dynamic Range 영상 생성

위엔시(Xi Yuan),하호건(Ho-Gun Ha),이철희(Cheol-Hee Lee),하영호(Yeong-Ho Ha) 대한전자공학회 2015 전자공학회논문지 Vol.52 No.1

HDR(high dynamic range) 영상 생성은 실세계의 고명암비 영상을 재현하는 방법이다. Exposure fusion은 여러 HDR 영상 생성방법 중 한 가지로 true-HDR 영상을 생성하지 않고, 바로 pseudo-HDR 영상을 생성하는 방법이다. 그러나 노출이 다른 여러 입력영상들 중에서 이동하는 물체가 존재하면 잔상 효과가 발생하여 pseudo-HDR 영상의 화질 열화를 가져온다. 이러한 단점을 해결하기 위해 본 논문에서는 시간 영역에서 일치성 평가를 통한 무 잔상 exposure fusion을 제안하였다. 먼저 다중 역치 및 밝기를 이용한 비트맵과 색도 일관성 맵을 이용하여 각 입력 영상들간의 일치성을 평가하였고, 이를 시간 영역 가중치 맵으로 나타내었다. 그리고 기존 exposure fusion에서의 공간 영역 가중치 맵과 결합하여 최종 가중치 맵을 생성하였다. 마지막으로 각각 입력 영상에 최종 가중치 맵을 적용한 후, 합성하여 잔상이 제거된 pseudo-HDR 영상을 생성하였다. 실험을 통해 제안된 방법의 pseudo-HDR이 기존의 방법보다 잔상이 더 많이 제거되어 화질이 개선됨을 확인하였고, 객관적인 평가 방법인 기준 영상 대비 오차도 더 적게 나타남을 확인하였다. HDR(High dynamic range) imaging is a technique to represent a dynamic range of real world. Exposure fusion is a method to obtain a pseudo-HDR image and it directly fuses multi-exposure images instead of generating the true-HDR image. However, it results ghost artifacts while fusing the multi-exposure images with moving objects. To solve this drawback, temporal consistency assessment is proposed to remove moving objects. Firstly, multi-level threshold bitmap and brightness bitmap are proposed. In addition, hue-angle constancy map between multi-exposure images is proposed for compensating a bitmap. Then, two bitmaps are combined as a temporal weight map. Spatial domain image quality assessment is used to generate a spatial weight map. Finally, two weight maps are applied at each multi-exposure image and combined to get the pseudo-HDR image. In experiments, the proposed method reduces ghost artifacts more than previous methods. The quantitative ghost-free evaluation of the proposed method is also less than others.

HDR 영상에서 가색상 시각화 알고리즘 분석

이용환,김영섭 한국반도체디스플레이기술학회 2017 반도체디스플레이기술학회지 Vol.16 No.3

High dynamic range (HDR) imaging offers a radically approach of representing colors in digital images. Instead of using the range of colors produced by given devices, HDR imaging method manipulates and stores all colors and brightness levels visible to the human eye. To faithfully represent, store and then reproduce all these effects, the original scene must be stored and treated using high fidelity HDR techniques. Then, tone mapping is required to accommodate HDR image to low dynamic range (LDR) devices, and tone mapping operation of HDR image for realistic display is commonly researched. However, color visualization for analyzing scene luminance in HDR imaging has less attention from researches. This paper presents and implements a method for reproduction and visualization of the false color in HDR images. We produce a color visualization framework with several mapping functions, and evaluate their effectiveness by using RMAE and SNR with commonly used HDR image data. Experiment reveals that the sigmodal mapping function shows better performance in the false color visualization, compared to other methods.

A Sharpness Enhancement Using the CSF for HDR Image Rendering

Dae-Hyeon Kim,Tae-Wuk Bae,Sung-Hak Lee,Young-Choon Kim,Kyu-Ik Sohng 대한전자공학회 2009 ITC-CSCC :International Technical Conference on Ci Vol.2009 No.7

The dynamic range of real-world scenes is broad in the natural world. The high-dynamic-range (HDR) image has pixel values that represent the whole range of real-world scenes. For the reproduction of HDR image, the images having the various exposure times are fused to one HDR image. Many HDR images were rendered by iCAM06 technique, the representative rendering algorithms. Because of the discrete feature of the iCAM06’s fast-bilateral filter, the iCAM06 algorithm may reduce the sharpness of HDR image. This caused that the fast bilateral filter is using a piecewise-linear approximation in the intensity domain and appropriate sub-sampling. In this paper, we proposed a sharpness enhancement technique using the contrast sensitivity function (CSF) for HDR image rendering. Experimental results show that the iCAM06 rendering using CSF has better sharpness property than the default iCAM06 in the human visual system.

수퍼픽셀 기반의 HDR 이미지 관심 영역 추출 기법

서심온(Simon Suh),옥승렬(Seung-Ryeol Ohk),김영진(Young-Jin Kim) Korean Institute of Information Scientists and Eng 2020 정보과학회논문지 Vol.47 No.9

Because of the difference in the number of bits per channel between high dynamic range (HDR) and low dynamic range (LDR) images, a tone mapping process is required to represent an HDR image on an LDR display. In this case, by using the difference between the image ROI and the non-ROI, the efficiency of the tone-mapping may be increased. The itti model is a representative method of extracting a region of interest by focusing colors, shapes, and movements of an image. Unlike the itti model, this paper extracts the region of interest using superpixels based on the characteristics of the object. The k-means clustering is performed using the features of the superpixel-based image regions of interest as a seed point, and finally the object-oriented region of interest is extracted from the HDR image. In the proposed technique, the precision and NSS are 10.7% and 28.14% lower than those from the itti model on average, but the recall, SIM, and CC increased by 44.44%, 19.53%, and 7.43%, respectively.

다중스케일 서라운드 스위칭 맵을 이용한 다중 노출 영상 융합

고영호(Young-Ho Go),이승환(Seung-Hwan Lee),이성학(Sung-Hak Lee) 한국정보기술학회 2024 한국정보기술학회논문지 Vol.22 No.5

HDR(High Dynamic Range)영상 합성은 다양한 휘도 범위의 영상들을 합성을 통해 동적 범위를 확장하여 디스플레이 상에서 사람의 눈으로 관측한 장면을 재현하기 위한 방법이다. HDR 영상을 획득하기 위해서는 전문가용 카메라 장비를 사용해야하는 제한점이 있다. 이러한 촬영 한계를 극복하기 위해서 다양한 노출의 LDR(Low Dynamic Range) 영상을 이용한 HDR 영상 합성이 연구되고 있다. 본 논문은 Retinex 알고리즘을 기반으로하여 고노출, 저노출 두 영상에서 다중 스케일의 디테일 영상을 생성한다. 생성된 다중 영상에 다중 스케일 서라운드 스위칭 맵(Multiscale-surround switching map)을 적용하여 각 스케일에서 선택적으로 세부 정보를 가져온다. 제안된 방법은 각 영상의 스케일 별로 우수한 세부 정보 영역을 SMap으로 선택하여 합성을 진행하였고 기존방법과 비교해 영상의 노이즈와 헤일로 현상을 감소시키고 선명도의 증가 및 색 밸런스를 개선하였다. High Dynamic Range(HDR) image synthesis is a method of expanding the dynamic range by synthesizing images with various luminance ranges to reproduce scenes observed by the human eye on displays. There is a limitation that professional camera equipment must be used to obtain HDR images. To overcome these shooting limitations, research is being conducted on HDR image synthesis using various exposures of Low Dynamic Range(LDR) images. This paper generates multi-scale detail images from high-exposure and low-exposure images using the Retinex algorithm. The proposed method selectively retrieves detailed information from each scale using the Multiscale-surround Switching Map. The proposed method synthesizes excellent detail information areas for each scale of the image using SMap and compared to existing methods, it reduces noise and halo effect in the image, increases sharpness, and improves color balance.

HVS-Aware Single-Shot HDR Imaging Using Deep Convolutional Neural Network

비엔 지아 안,이철,Vien, An Gia,Lee, Chul The Korean Institute of Broadcast and Media Engine 2018 방송공학회논문지 Vol.23 No.3

본 논문은 딥 컨볼루션 뉴럴 네트워크(CNN)를 이용하여 행 별로 서로 다른 노출로 촬영된 단일 영상을 HDR 영상으로 변환하는 기법을 제안한다. 제안하는 알고리즘은 먼저 입력 영상에서 저조도 또는 포화로 인해 발생하는 정보 손실 영역을 CNN을 이용하여 복원하여 휘도맵을 생성한다. 또한, CNN 학습 과정에서 인간의 시각 인지 특성을 고려할 수 있는 손실 함수를 제안한다. 마지막으로 복원된 휘도맵에 디모자이킹 필터를 적용하여 최종 HDR 영상을 획득한다. 컴퓨터 모의실험을 통해 제안하는 알고리즘이 기존의 기법에 비해서 높은 품질의 HDR 영상을 취득하는 것을 확인한다. We propose a single-shot high dynamic range (HDR) imaging algorithm using a deep convolutional neural network (CNN) for row-wise varying exposures in a single image. The proposed algorithm restores missing information resulting from under- and/or over-exposed pixels in an input image and reconstructs the raw radiance map. The main contribution of this work is the development of a loss function for the CNN employing the human visual system (HVS) properties. Then, the HDR image is obtained by applying a demosaicing algorithm. Experimental results demonstrate that the proposed algorithm provides higher-quality HDR images than conventional algorithms.

영상기반 조명을 이용한 고화질 애니메이션 제작

박혜정,박은혜,윤성민,윤성의,정영일,황규현,김정호,박상훈 동국대학교 영상문화콘텐츠연구원 2008 영상문화콘텐츠연구 Vol.0 No.-

3D 컴퓨터 그래픽스 분야의 사실적인 렌더링 기법의 발전으로 실사 영상과 그래픽 모델의 합성과 관련된 기술들이 다양한 응용 분야에서 활용되고 있다. HDR로 촬영된 실사 영상에 저장된 라이팅 정보를 3D 그래픽 모델의 렌더링 과정에서 라이팅으로 이용하여 자연스러운 합성 영상을 제작하는 영상기반 라이팅 기법이 개발되어 활용되고 있다. 본 논문에서는 고가의 HDR 전용 카메라 없이도 범용 LDR 디지털 카메라를 이용하여 HDRI 영상을 생성할 수 있는 기능을 제공하는 자동 HDRI 제작 시스템에 대해 설명하고, 이 시스템을 이용해 고화질의 애니메이션 콘텐츠를 효과적으로 제작할 수 있음을 보인다. Recent technological innovations of photo-realistic rendering make it possible for composition methods of photos and graphics models to be applicable to a variety of applications. Image-based lighting, which renders 3D graphics models using real world lighting information stored in photo images with high dynamic range, has been widely used to create photo-realistic compositing image. In this paper, we present an automatic HDR image capturing system based on general purpose LDR(Low Dynamic Range) digital cameras without using very expensive HDR cameras, also show high quality animation contents can be effectively produced by using our system.