Study about depth location in multi-layer 3D display

백호길 경희대학교 대학원 2014 국내석사

In this paper, we analyze expressed depth location of images in multi-layer 3D display. For this, we explain our active type and passive type of lamina 3D display and try various experiments on the expression of depth by using the two types of lamina 3D display. Based on the actual experimental conditions, the expressed depth of images is also calculated and simulated by mathematically complicated formulas. To verify the validity of our simulation, we compare the experimental results and simulation results. Through simulation and actual experiment, the feasibility of similarity is confirmed. As a result, our mathematically complicated formulas and simulation are expected to help for image analysis in multi-layer 3D displays. 본 논문은 멀티레이어 타입의 3차원 디스플레이에서 나타나는 영상의 깊이 표현에 대하여 분석을 하였다. 이를 위해, 멀티레이어 타입의 볼륨메트릭 3차원 디스플레이의 일종인 패시브 타입과 액티브 타입의 라미나 디스플레이들에 대하여 설명하고 두 종류의 라미나 디스플레이를 이용하여 영상의 깊이 표현에 대한 실험을 하였다. 실험 조건들을 바탕으로 수식적으로 영상의 깊이 표현에 대해 계산하고 시뮬레이션을 하였다. 실험의 결과와 시뮬레이션의 결과를 비교하여 분석을 하였다. 비교 분석 결과, 실제 실험과의 유사성을 통하여 시뮬레이션의 타당성을 확인하였다. 본 논문에서 제안된 시뮬레이션은 멀티레이어 타입의 3차원 디스플레이에서의 깊이 표현에 대한 분석이 가능하다는 것을 실제와 유사하게 나타나는 것을 확인하였다. 또한, 이를 이러한 시뮬레이션을 이용할 경우 다른 종류의 멀티레이어 3차원 디스플레이에서의 영상의 깊이 표현 분석에도 사용할 수 있음을 제안하고, 그에 대한 분석방법 및 결과를 작성하였다.

Study on image enhancement of depth-fused type multilayered 3D display system

백호길 경희대학교 대학원 2021 국내박사

투사형 디스플레이에 기반한 깊이융합형 다층 3차원 디스플레이 시스템의 구현과 함께 영상 개선을 위한 방법들이 제안됩니다. 연구의 주요 목표는 눈의 초점 신호를 만족시킬 수 있는 3차원 영상을 구현하는 것이며, 다층 3차원 디스플레이와 깊이융합 디스플레이에서 발생할 수 있는 문제점들을 해결하고 3차원 영상을 개선하기 위한 다양한 방법들이 제시되며 논의됩니다. 기존의 3차원 입체 디스플레이는 양안 시차만 사용하여 단일 고정 영상 평면에 한 쌍의 스테레오 영상을 표시하므로 수정체의 초점 조절 능력 및 망막에서 보이는 상의 흐림 정도와 같은 초점 신호들을 잘못 자극합니다. 결과적으로 잘못된 초점 신호는 사람에게 시각적 피로를 유발하며 일상생활에서의 사용을 제한합니다. 따라서 초점 신호를 만족시킬 수 있는 몇 가지 3차원 디스플레이 방법들이 고안되었습니다. 다층 3차원 디스플레이는 그중 하나이며, 여러 부분 영상들을 깊이 방향으로 배치하여 3차원 영상을 구현합니다. 다만, 다층 3차원 디스플레이에서 표시할 수 있는 깊이 단계는 시스템의 화면 층수로 제한됩니다. 즉, 화면 층 사이에 해당하는 깊이를 표현할 수 없어서 같은 부피 내에서 많은 깊이 단계를 제공하기 위해 화면의 층수를 늘려야 하는 단점이 있습니다. 깊이융합 디스플레이는 두 개의 부분 영상들을 깊이 방향으로 배치하고 두 부분 영상이 망막에서 잘 겹쳐서 하나의 영상으로 나타날 때 밝기 비율에 따라 깊이를 다르게 느끼는 깊이융합 효과로 3차원 영상을 구현합니다. 따라서 깊이융합 디스플레이는 이상적인 깊이융합 조건 아래에서는 화면의 층수보다 더 많은 깊이 단계를 표현할 수 있지만 두 개의 부분 영상들이 잘 겹쳐야 하는 깊이융합 조건으로 인해 깊이 범위와 시야각이 반비례하는 단점이 있습니다. 이 논문에서는 다층 3차원 디스플레이와 깊이융합 디스플레이 시스템을 결합하여 각 시스템의 단점을 해결하고 장점을 극대화합니다. 제안되는 시스템은 광량 변조 (intensity modulation) 또는 편광 변조 (polarization modulation)의 두 가지 독립적인 방법으로 깊이 정보를 변환하여 제공하고, 재구성하는 방식에 따라 화면과 비화면 형태로 구분됩니다. 초점 신호를 만족시키기 위해 각 깊이에 따른 부분 영상으로 구성된 다층 영상을 구현하고, 깊이융합 효과를 적용하여 다층 영상 평면의 부분 영상이 망막에서 중첩될 때 부분 영상들의 밝기 합으로 연속적인 깊이를 표현합니다. 연속적인 깊이를 제공하기 위해 부분 영상들의 밝기에는 적절하게 가중치가 부여됩니다. 깊이융합 효과가 적용된 다층 3차원 영상은 자연스러운 3차원 영상을 제공할 수 있지만, 부분 영상은 망막에서 일치해야 하며, 부분 영상이 잘 일치하지 않으면 단일 3차원 영상의 연속적인 부피가 아닌 별도의 부분 영상이 관찰됩니다. 이 깊이융합 조건은 구현하는 시스템의 관찰 특성을 극도로 제한합니다. 같은 부피 내에서 영상 평면의 수를 늘리면 재구성된 3차원 영상의 시야각이 향상될 수 있지만 요구되는 시스템의 복잡성도 증가합니다. 또한 다중 산란으로 인해 해상도 저하가 발생할 수 있으며, 시야각은 부분 영상들의 가장자리에서 발생하는 이음새와 균열과 같은 형태의 결함에 의해 제한될 수 있습니다. 따라서 영상 개선 및 관찰 특성을 향상하기 위한 비교적 간단한 몇 가지 광학적 접근 방법들이 제안되었으며, 각 접근 방식들은 주제별로 구분되었습니다. 광량 변조 방법은 디지털 마이크로 거울 장치 (digital micro-mirror device)를 사용하여 깊이 정보에 따라 원본 영상의 각 픽셀의 반사 시간을 제어하여 부분 영상을 표시합니다. 따라서 사용하는 디지털 마이크로 거울 장치의 성능에 따라 비디오 프레임 저하 또는 원본 비디오 소스와의 간섭이 발생할 수 있습니다. 또한, 편광 특성이 있는 부분은 필요하지 않으며, 부분 영상의 밝기를 픽셀 단위로보다 정밀하게 제어할 수 있는 대신, 각 계층의 경계에 해당하는 이음새와 균열과 같은 형태의 결함들이 나타날 수 있습니다. 따라서 이러한 문제를 해결하기 위해 구멍 채우기 기법을 적용한 하위 깊이 지도 생성 연산을 제안합니다. 편광 변조 방법은 액정 공간 광 변조기 (liquid-crystal spatial light modulator)를 사용하며 깊이 정보를 원본 영상의 각 픽셀의 편광 상태로 부호화하여 전송합니다. 따라서 깊이 정보의 편광 부호화 과정에서 공간 해상도나 비디오 프레임의 저하가 발생하지 않습니다. 깊이 정보가 편광 부호화된 영상은 주어진 편광 상태에 따라 설계된 위치에서 부분 영상으로 선택적 출력이 되어야 하므로 시스템의 복호화 부분에는 편광 특성을 갖는 구성 요소가 요구되며 화면의 여러 층에서 발생할 수 있는 다중 산란 문제를 해결하기 위해, 시간이 지남에 따라 공간에 차례대로 위치하며 잔상 효과로 부피를 제공하는 바퀴 화면 형태 시스템과 복굴절 렌즈 세트를 이용한 비화면 형태 시스템을 제안합니다. 이 논문의 각 주제에서는 제안한 방법의 이론적 배경을 설명하고 실험을 통해 아이디어의 타당성을 보여줍니다. 또한, 몇 가지 문제에 대한 간략한 논의 후 결론을 내립니다. In this dissertation, several optical approaches for implementing multilayered three-dimensional (3D) displays by applying a depth-fused (DF) technique based on a projection display are proposed. The main goal is to realize 3D images that can satisfy the focal cues of the eye, and various methods are presented to resolve artifacts, discontinuous depths, and multi-scattering in multilayered 3D displays. The viewing angle under DF conditions is also discussed. Conventional stereoscopic 3D displays show a pair of stereo images on a single fixed image plane using only binocular parallax, thus they incorrectly stimulate focal cues, such as accommodation and retinal blur. Incorrect focal cues cause visual fatigue, hindering the use of conventional stereoscopic 3D displays in everyday life. Therefore, several 3D display methods have been devised to satisfy the focal cues correctly. The multilayered 3D display is one of them, and it implements a 3D image by arranging several partial images in the direction of the depth. However, in the multilayered 3D display, the depth level that can be displayed is limited to the number of layers in the system. Thus, the number of layers should be increased to provide several depth steps within the same volume, as the corresponding depth between layers cannot be expressed. The DF display arranges two partial images in the depth direction and realizes a 3D image with a DF effect that senses different depths depending on the brightness ratio of the two partial images when the two partial images adequately overlap in the eyeball and appear as one image. Thus, the DF display can express more depth levels than the number of layers under the ideal DF condition. However, the depth range and viewing angle are inversely proportional to each other due to the DF condition that two partial images must exhibit adequate overlap and limit the viewing angle. In this dissertation, the multilayered 3D and DF display systems are combined to solve their corresponding shortcomings and maximize their advantages. To satisfy focal cues, the proposed system implements multilayered images composed of several partial images according to each depth and applies the DF technique to represent the continuous depth as the summation of intensities of partial images when the partial images in multiple image planes overlap on the retina. The intensities are appropriately weighted to add up to represent the continuous depth. The multilayered 3D images with the DF effect can provide natural 3D images, but unless partial images must exhibit good overlap on the retina, separate partial images are observed rather than continuous volumes of single 3D images. This DF condition greatly limits the viewing characteristics of the system. Increasing the number of image planes within the same volume can improve increasing the viewing angle of the reconstructed 3D image, but it also increases the required complexity of the system. In addition, resolution degradation may occur due to multiple scattering, and the viewing angle may be limited by artifacts such as occlusion and disocclusion regions. Implementation of the system is mainly carried out by two independent methods: the intensity modulation (IM) and the polarization modulation (PM) methods. Relatively simple methods are suggested to solve artifacts, discontinuous depths, and multi-scattering problems depending on the implementation methods. The IM uses a digital micro-mirror device (DMD) to control the reflection timing of each pixel of the original image according to the depth information to display partial images. Therefore, depending on the performance of the DMD used, video frame degradation or interference with the original video source may occur. In addition, instead of being able to control the intensity of the partial image more precisely on a pixel-by-pixel basis, occlusion and disocclusion regions may appear in the form of seams and cracks that are an artificial effect between the boundary regions of each layer. To solve this problem, a sub-depth map generation algorithm applying the hole-filling technique is proposed. In contrast to the IM, the PM uses a liquid-crystal spatial light modulator (LC-SLM). The depth information is encoded and transmitted in the polarization state of each pixel in the red-green-blue (RGB) image such that there is no degradation of spatial resolution or video frames in the depth encoding process. As the polarization-encoded image must be selectively output as partial images at a position designed according to a given polarization state, a component having polarization characteristics is required in the decoding part of the system. Moreover, to solve the multiple scattering problem that can occur in several layers of the screen, a wheel screen type system sequentially located in space over time with the afterimage effect and a set of birefringent lenses to implement a screen-free type system is proposed. Each chapter of this dissertation explains the theoretical background of the proposed method and shows the validity of the idea through experiments. Conclusions are provided after a brief discussion of some issues.