Transformer 기반의 HDR 영상 복원 알고리즘을 통한 효과적인 Ghost Artifact 제거

박예인,강석주 한국방송∙미디어공학회 2024 방송공학회논문지 Vol.29 No.3

High dynamic range (HDR) imaging의 주요 문제는 다중 노출의 low dynamic range (LDR) 이미지들을 병합할 때 발생하는 ghostartifact를 제거하는 것이다. 주어진 다중 노출 이미지들 간의 움직임이 심한 영역에서는 필요한 정보가 로컬 영역에 존재하지 않기 때문에 local 특징 추출에 특화된 convolutional neural network (CNN) 기반 방법으로는 ghost artifact가 불가피하다. 이 문제를 해결하기 위해 우리는 local connectivity 특성을 지닌 CNN과 global dependency 획득이 가능한 transformer를 결합시킨 새로운 HDR 이미지 복원 네트워크를 제안한다. 제안 방법은 CNN을 통해 다중 노출의 LDR 이미지들에서 고차원의 feature들을 추출하고, 추출된feature들을 중간 노출 LDR 기준으로 낮은 노출 LDR과는 Low-transformer에, 높은 노출 LDR과는 High-transformer에 입력시켜global 정보를 캡처한다. 본 논문의 실험 결과를 통해 제안 방법이 기존 방법들과 비교하여 우수한 성능을 보임을 입증한다. The primary issue in high dynamic range (HDR) imaging is the removal of ghost artifacts that occur when mergingmulti-exposure low dynamic range (LDR) images. In areas with significant motion between the given multi-exposure images,necessary information is not present in the local region, making ghost artifacts inevitable for convolutional neural network(CNN)-based methods specialized in local feature extraction. To address this issue, we propose a novel HDR image reconstructionnetwork that combines CNNs with transformers capable of acquiring global dependency while retaining local connectivitycharacteristics. Our method extracts high-dimensional features from multi-exposure LDR images using CNNs and then feeds thesefeatures into Low-transformers for low-exposure LDR images and High-transformers for high-exposure LDR images, based on amedium exposure LDR image, to capture global information. Through experiments presented in this paper, we demonstrate thesuperior performance of the proposed method compared to the existing methods.

Modified iCAM06 기법을 이용한 HDR 영상의 tone compression 개선과 평가

장재훈,이성학,송규익 한국멀티미디어학회 2009 멀티미디어학회논문지 Vol.12 No.8

High-dynamic-range (HDR) rendering technology changes the range from the broad dynamic range (up to 9 log units) of a luminance, in a real-world scene, to the 8-bit dynamic range which is the common output of a display’s dynamic range. One of the techniques, iCAM06 has a superior capacity for making HDR images. iCAM06 is capable of making color appearance predictions of HDR images based on CIECAM02 and incorporating spatial process models in the human visual system (HVS) for contrast enhancement. However there are several problems in the iCAM06, including obscure user controllable factors to be decided. These factors have a serious effect on the output image but users get into difficulty in that they can’t find an adequate solution on how to adjust. So a suggested model gives a quantitative formulation for user controllable factors of iCAM06 to find suitable values which corresponds with different viewing conditions, and improves subjective visuality of displayed images for varying illuminations. HDR(high dynamic range) 렌더링 기술은 다이내믹 레인지가 9 log unit이 넘는 휘도 범위의 일반 장면을 눈으로 보는 장면의 느낌과 최대한 유사하게 일반적인 영상매체에 출력이 가능하도록 8 bit 해상도의 다이내믹 레인지로 변환하는 기술이다. 최근 가장 우수한 성능을 보이는 iCAM06 알고리듬은 iCAM (Image Appearance Modeling)과 CIECAM02를 토대로 만들어 졌으며, 기존 iCAM 모델에서는 제대로 고려하지 못한 공간 필터링 (spatial filtering) 처리와 여러 시각현상을 고려하여 설계하였다. 그러나 iCAM06 모델은 상당히 뛰어난 성능을 가지고 있음에도 불구하고, 몇 가지 문제점을 가지고 있는데, 그 중의 하나가 사용자 설정 변수들이다. iCAM06에서 필요한 입력 변수들은 렌더링 영상에 큰 영향을 끼치지만, 실험적인 최적 치로 결정되는 모호한 변수들이다. 본 논문에서는 iCAM06 모델에서 사용되는 사용자 설정 입력 변수들에 대해 다양한 시조건이 고려된 최적의 값을 제공할 수 있도록 정량화된 수식을 제공하고, 또한 개선된 모델을 통하여 향상된 톤 압축의 가시성 결과를 다양한 조건에서의 HDR 영상으로 확인하였다.

DIGITAL ZONE SYSTEM을 기반으로 한 High Dynamic Range에 관한 연구- Adobe Photoshop을 중심으로-

윤찬희 커뮤니케이션디자인학회(구 시각디자인학회) 2020 커뮤니케이션 디자인학연구 Vol.73 No.-

존 시스템은 1970년대에 허트 트리필드(hurt Driffiedld)의 특성 곡선과 감광도 측정에 대한 이론이 수립 되면서 사진 재료에 대한 제반 사항으로 발전할 수 있었으며, 1939년 안셀 아담스(Ansl Adams)와 프래드 아처(Fred Archer)에 의해 발표 되었으며 체계화 되었다. 존 시스템은 촬영과 현상과정에서 증감을 통하여 농도 조절을 하여 체계적이고 기술적인 결과물을 얻기 위한 방법이었다. 디지털 시대로 넘어오면서 은염 필름의 형태는 디지털 이미지 센서인 CMOS1)로 대체 되었고 암실은 디지털암실(Adobe Photoshop등)로 변화 되기에 이르렀다. 이에 따른 기술의 변화에 있어서 디지털 이미지의 변형 과정은 다양하게 발전 하였으며 그 중에서도 HDR2)의 기술은 많은 발전을 이루어 왔으며 일반적인 실생활에서 적용되기 시작했다. (TV, 핸드폰의 HDR촬영, 디지털카메라의 하이라이트 톤 우선의 HDR 촬영법) 이에 본 논문의 연구 방법은 RAW(디지털 카메라의 센서로부터 가공이나 압축없이 데이터를 저장하는 파일 형식)이미지로 촬영된 파일을 노출 조정없이 적정 이미지(JPG)로 디지털 컨버팅한다. 그 후 동일한 RAW 파일을 다시 한번 적정 노출을 포함한 증감 현상을 통하여 다수의 노출 변화가 적용된 JPG로 컨버팅 후 파일들을 “HDR IMAGE MAPPING SOFTWARE”를 통하여 HDR이 적용된 단일 JPG 이미지로 생성한다. 노출 조정없이 만들어진 단일의 JPG와 HDR이 적용된 JPG를 “PHOTOSHOP” RGB 값으로 변환된 디지털 존 스케일로 표현한다. 이때 두 파일의 JPG의 디지털 존 스케일을 수치화하여 비교하고, 각각 존의 영역의 변화가 있는지 확인한다. JPG와 HDR이 적용된 JPG의 수치를 보면 존 “0” 의 영역은 존 ‘Ⅰ’로 이동되어 쉐도우는 없어지고 존 ‘Ⅶ’까지 존 스케일이 수치가 증가하는 것을 알 수 있다. 이는 HDR이 적용되면 쉐도우 쪽의 노출이 증가하고 하이라이트부분은 변화가 없다는 것을 의미한다. 하지만 중간 영역의 존스 케일의 경우 쉐도우와 하이라이트 부분으로 좀 더 분포되어 풍부한 계조를 만들어 내는 것을 알 수 있다. 이는 HDR의 경우 단일 JPG보다 쉐도우 부분의 밝기가 밝아지는 것을 알 수 있지만 단순히 노출을 올렸을 경우의 단일 JPG 존 스케일의 쉐도우와 하이라이트를 기준으로 중간 계조가 급격하게 변형되지 않는 결과를 얻었다. 본 연구를 통해 앞으로 HDR 이미지 변형에 참고가 되었으면 한다. The ZONE SYSTEM was able to develop into a full range of photographic materials in the 1970s when the theory of characteristic curves and photometric measurements of Hurt Triffiedld was established, and was published and organized by Ansl Adams and Fred Archer in 1939. The zone system was a method for obtaining systematic and technical results by adjusting the concentration through increase and decrease in the filming and status process. Moving on to the digital age, the form of silver film is the CMOS( Complementary Metal Oxide Semiconductor), a digital image sensor. It was replaced by a and darkroom was transformed into a digital darkroom (such as Adobe Photoshop) The transformation of digital images has evolved in a variety of ways, especially HDR High Dynamic Range's technology has made many advances and has begun to be applied in general real life. (TV, cell phone HDR shooting, digital camera highlight tone-first HDR filming method) Thus, the research method of this paper is to digitally convert RAW (a file format that stores data without processing or compression from sensors in digital cameras) images into appropriate images (JPG) without adjusting exposure. The same RAW file is then converted once again to JPG with multiple exposure changes through a multiplication or decrease with proper exposure, and the files are generated as a single HDR JPG image through "HDR IMAGE MAAPPING SOFTWARE". A single JPG made without exposure adjustment and a JPG with HDR are represented on a digital zone scale converted to a "PHOTOSHOP" RGB value. At this time, digitize and compare the digital zone scale of JPG of the two files, and check if there is a change in zone of each file. JPG and HDR show that the zone of ZONE "0" is moved to ZONE "I," eliminating Shadow and increasing the ZONE scale to ZONE "VII." This means that when HDR is applied, exposure to the shadow increases and the highlights remain unchanged. However, in the case of the mid-area Jones Cale, it can be seen that it is more distributed in the shadow and highlight sections, creating a rich genealogy. This shows that HDR has a brighter shadow area than a single JPG, but the results show that the middle gene does not change drastically based on the shadow and highlights of a single JPG zone scale when simply exposed. We hope this study will serve as a reference for future HDR image variations.

하이 다이나믹 레인지 영상을 위한 고충실도 컬러 재현 기술

김민혁 에스케이텔레콤 (주) 2015 Telecommunications Review Vol.25 No.5

카메라 혹은 디스플레이와 같은 영상 장비의 계조 범위는 하드웨어적인 요소에 의해 결정된다. 이러한 카메라의 제한된 계조 범위는 하이 다이나믹 레인지 영상기법(high-dynamic-range (HDR) imaging)을 사용하여 확장될 수 있다. 하지만, HDR 영상 데이터를 일반 디스플레이에 재현하는 HDR 톤 매핑 기술은 휘도(luminance) 압축에 제한이 있기 때문에 색채 재현에 있어 정색성을 유지하기 어렵다. 또한 기존의 HDR 영상 기법은 기존의 색채 지각 모델(color appearance model) 이나 색채 재현(color reproduction) 기술과의 호환성이 없어서, HDR 영상처리 기법을 이용한 고충실도 색채 재현에 적용하기에는 큰 기술적인 한계가 존재했다. 본 논문은 이러한 문제점들을 극복하고 HDR 영상 기법의 장점인 계조폭의 확장과 HDR 영상 데이터 원본의 정색성을 최대한 확보하는 고충실도 HDR 색 재현 알고리즘과 관련된 기술들을 소개하고자 한다.

노출이 다른 다수의 입력 영상을 사용한 초해상도 영상 복원

이태형(Tae-Hyoung Lee),하호건(Ho-Gun Ha),이철희(Cheol-Hee Lee),하영호(Yeong-Ho Ha) 대한전자공학회 2012 電子工學會論文誌-SP (Signal processing) Vol.49 No.1

초해상도 영상복원은 동일한 노출을 가진 다수의 저해상도 영상을 사용하며, 각 영상들 간의 부화소 이동량을 통해 높은 해상도를 가지는 영상을 복원하는 방법이다. 최근에는 노출이 다른 다수의 입력 영상들을 사용하여 해상도와 동적범위 모두를 향상시키는 방법들이 제시되고 있다. 기존의 방법들은 장면의 휘도 변환을 위한 카메라 응답곡선과 톤 맵핑 방법을 필수적으로 요구한다. 이러한 과정에서 CRC 곡선은 추가적인 영상 획득을 요구하며, 과정 또한 복잡하다. 특히 톤 맵핑은 방법에 따라 결과 영상의 화질을 일정하게 나타내지 못하는 장점이 있다. 따라서 본 연구에서는 가중치 맵을 사용한 고해상도 동적 범위확장 영상 재현 방법을 제시한다. 제안된 방법에서 먼저 각 입력 영상에서 인간 시각에 가장 잘 보이는 영역을 가중치 맵(weight map)이라 정의하고, 가중치 맵이 적용된 입력 영상을 초해상도 복원방법에 적용함으로써, 해상도와 동적 범위가 모두 확장된 결과 영상을 획득한다. 이 방법은 카메라 응답곡선과 톤 맵핑을 사용하지 않음으로 일정한 화질을 획득한다. 또한 제안된 방법은 입력 영상의 구성에 따라 결과 영상의 화질이 다르게 나타남으로, 수수의 불규칙한 입력에도 유사한 결과를 획득하기 위한 밝기 보상 요소를 제안한다. Recent research efforts have focused on combining high dynamic range imaging with super-resolution reconstruction to enhance both the intensity range and resolution of images. The processes developed to date start with a set of multiple-exposure input images with low dynamic range (LDR) and low resolution (LR), and require several procedural steps: conversion from LDR to HDR, SR reconstruction, and tone mapping. Input images captured with irregular exposure steps have an impact on the quality of the output images from this process. In this paper, we present a simplified framework to replace the separate procedures of previous methods that is also robust to different sets of input images. The proposed method first calculates weight maps to determine the best visible parts of the input images. The weight maps are then applied directly to SR reconstruction, and the best visible parts for the dark and highlighted areas of each input image are preserved without LDR-to-HDR conversion, resulting in high dynamic range. A new luminance control factor (LCF) is used during SR reconstruction to adjust the luminance of input images captured during irregular exposure steps and ensure acceptable luminance of the resulting output images. Experimental results show that the proposed method produces SR images of HDR quality with luminance compensation.

비간축 웨이브릿 변환과 레티넥스 기법을 이용한 HDR 업스케일링 알고리즘

한규필(Kyu-Phil Han) 한국멀티미디어학회 2022 멀티미디어학회논문지 Vol.25 No.10

Lately, over 4K high definition and high dynamic range (HDR) display devices are popularized, various interpolation and HDR methods have been researched to expand the size and the dynamic range. Since most of the legacy low resolution (LR) images require both an interpolation and a HDR tone mapping methods, the two processes should be subsequently applied. Therefore, the proposed algorithm presents a HDR up-scaling algorithm using undecimated wavelet transform and Retinex method, which transfers a LR image of low dynamic range (LDR) into the high resolution (HR) with HDR. The proposed algorithm consists of an up-scaling scheme increasing the image size and a tone mapping scheme expanding the dynamic range. The up-scaling scheme uses the undecimated version of the simplest Haar wavelet analysis for the 8-directional interpolation and the change region is extracted during the analysis. This region information is utilized in controlling the surround functions’ size of the proposed tone mapping using MSRCR, to enhance the pixels of around the edges that are dominant feature of the subjective image quality. As the results, the proposed algorithm can apply an up-scaling and tone mapping processes in accordance with the type of pixel.

A Review On High-Dynamic-Range Imaging With Its Technique

Gaurav Tiwari,Pushpi Rani 보안공학연구지원센터 2015 International Journal of Signal Processing, Image Vol.8 No.9

We presented a survey on High-dynamic-range imaging (HDRI or HDR) is a set of methods used in the imagingand photography to reproduce a superior dynamic range of luminosity than regular digital imaging or photographic methods can do. HDR images can denote a superior range of the luminance levels than can be attained using the extra 'classical' techniques. Images such as those holding many actual-world scenes, from same bright and direct sunlight to dangerous shade or very faint nebulae. It is the often succeeded in catching and then joining numerous dissimilar exposures of the similar subject matter. A Non-HDR cameras take a photograph with some limited amount of exposure range, as finally resulting in the damage of the detail in bright or dark parts. In this paper, we are studying about HDR image, generating of HDR image and also study about image fusion and methods of image fusioning.

CAM-based HDR image reproduction using CA–TC decoupled JCh decomposition

Kwon, Hyuk-Ju,Lee, Sung-Hak Elsevier 2019 SIGNAL PROCESSING-IMAGE COMMUNICATION - Vol.70 No.-

<P><B>Abstract</B></P> <P>High dynamic range (HDR) imaging has been developed for acquiring scene with a high dynamic range. Tone-mapping operators are used to reproduce the dynamic range of HDR content on a low dynamic range (LDR) devices. iCAM06 is a tone-mapping algorithm based on the color appearance model. iCAM06 contains chromatic adaptation and tone compression; however, the chrominance component of the chromatic adaptation is not preserved after tone compression. This paper describes a novel decoupled processing for the chromatic adaptation and tone compression to preserve the chrominance component and reduce the color distortion of iCAM06. Further, a color appearance model is used to separate and combine the chrominance and luminance components of the decoupled processes. The rendered results confirm that the proposed algorithm is superior to the conventional algorithm.</P> <P><B>Highlights</B></P> <P> <UL> <LI> This method enhances the HDR image quality using tone-color uncoupled processing. </LI> <LI> Color-uncoupled tone processing reduces the overall color distortion of tone mapping. </LI> <LI> Image appearance mapping is conducted through preserved chrominance and hue. </LI> </UL> </P>

높은 동적영역을 갖기 위한 정전용량형 센서의 최적화

강대실 ( Dae Sil Kang ),김무진 ( Moo Jin Kim ),문원규 ( Won Kyu Moon ) 한국센서학회 2010 센서학회지 Vol.19 No.2

The capacitive sensor has a simple structure, compact size and low cost, but a small dynamic range. The small range is caused by use of gap variation. If the sensor takes area variation type with one plate moving horizontally, it can have a large measurable range. While the area variation has relatively low sensitivity, some studies have found methods to improve the sensitivity. Even though the methods are effective, parameters of the results are limited and 2 dimensional. This study provides more practical and 3 dimensional analysis and suggests relations between parameters. Using the results, the optimized design parameters of a high dynamic range capacitive sensor can be found.

항공용 적외선 카메라의 표적정보 획득 성능향상 기법

양현진(Hyun-Jin Yang) 한국컴퓨터정보학회 2017 韓國컴퓨터情報學會論文誌 Vol.22 No.7

In this paper, we propose three compensation methods to solve problems in high-resolution airborne infrared camera and to improve long-range target information acquisition performance. First, image motion and temporal noise reduction technique which is caused by atmospheric turbulence. Second, thermal blurring image correction technique by imperfect performance of NUC(Non Uniformity Correction) or raising the internal temperature of the camera. Finally, DRC(Dynamic Range Compression) and flicker removing technique of 14bits HDR(High Dynamic Range) infrared image. Through this study, we designed techniques to improve the acquisition performance of long-range target information of high-resolution airborne infrared camera, and compared and analyzed the performance improvement result with implemented images.