깊이맵의 상세도와 주피사체의 깊이 변화에 따른 3D 이미지의 입체효과

이원재 ( Won Jae Lee ),최유주 ( Yoo Joo Choi ),이주환 ( Ju Hwan Lee ) 한국감성과학회 2013 감성과학 Vol.16 No.1

본 연구에서는 피사체의 깊이와 깊이 표현의 상세레벨(detail level)을 각기 다르게 조정한 깊이맵을 이용하여 2D-to-3D 입체변환을 수행하고, 변환된 입체 이미지를 기반으로 시청자 평가 실험을 진행하여 피사체의 절대적 깊이 변화와 배경간의 깊이 차이에 따라 깊이맵의 상세레벨이 깊이감, 볼륨감, 불편감에 미치는 효과를 분석하였다. 주객체의 깊이는 3 레벨로 조정하였고, 또한, 주객체와 배경과의 상대적 깊이 차이도 하나의 독립변인으로 분석하기 위하여 3 레벨로 조정하였다. 깊이맵의 깊이 표현의 상세레벨을 다시 3레벨로 나누어, 이들 조건을 만족하는 18개의 깊이맵을 정의하고 이를 기반으로 실험을 위한 입체영상을 생성하였다. 18개의 입체영상을 실험 참가자에게 보여 주고 설문을 통하여 각 영상별로 실험자들이 느끼는 주관적 입체감, 볼륨감, 불편감을 조사하였다. 그 결과 주 피사체의 절대적 위치와 피사체-배경간의 상대적 거리차이가 달라짐에 따라 깊이맵의 상세도가 깊이감, 볼륨감, 불편감에 미치는 영향력이 달라지는 결과를 얻었다. 단색 깊이맵의 경우는 주객체의 절대적 깊이위치에 상관없이 전반적으로 볼륨감을 크게 훼손하고, 스크린의 안쪽에 객체가 위치하는 경우, 다른 상세레벨의 깊이맵에 비해 깊이감도 크게 저하시키는 효과를 보이기 때문에 주객체의 절대적 위치와 상관없이 사용을 피하는 것이 바람직 한 것으로 분석되었다. 또한, 세밀한 깊이맵과 간략한 깊이맵을 적용하였을 때 실험자가 입체감을 크게 다르게 느끼지 못하는 것으로 나타남에 따라 입체변환시 모든 장면에 너무 과도하게 상세한 깊이맵을 구성할 필요가 없는 것으로 분석되었다. In this paper, we analyze the effect of the depth perception, volume perception and visual discomfort according to the change of the quality of the depth image and the depth of the major object. For the analysis, a 2D image was converted to eighteen 3D images using depth images generated based on the different depth position of a major object and background, which were represented in three detail levels. The subjective test was carried out using eighteen 3D images so that the degrees of the depth perception, volume perception and visual discomfort recognized by the subjects were investigated according to the change in the depth position of the major object and the quality of depth map. The absolute depth position of a major object and the relative depth difference between background and the major object were adjusted in three levels, respectively. The details of the depth map was also represented in three levels. Experimental results showed that the quality of the depth image differently affected the depth perception, volume perception and visual discomfort according to the absolute and relative depth position of the major object. In the case of the cardboard depth image, it severely damaged the volume perception regardless of the depth position of the major object. Especially, the depth perception was also more severely deteriorated by the cardboard depth image as the major object was located inside the screen than outside the screen. Furthermore, the subjects did not felt the difference of the depth perception, volume perception and visual comport from the 3D images generated by the detail depth map and by the rough depth map. As a result, it was analyzed that the excessively detail depth map was not necessary for enhancement of the stereoscopic perception in the 2D-to-3D conversion.

스마트미디어를 위한 입체 영상의 깊이맵 화질 향상 및 업샘플링 기술

정재일,호요성,Jung, Jae-Il,Ho, Yo-Sung 한국스마트미디어학회 2012 스마트미디어저널 Vol.1 No.3

스마트미디어가 보편화되면서 고화질의 3차원 영상과 깊이맵에 대한 필요성이 대두되고 있지만, 현재 기술로는 완벽한 깊이맵을 직접 획득하는 것이 불가능하다. 스테레오 정합으로 획득된 깊이맵은 모호한 텍스처를 갖는 영역에서 낮은 정확도를 가지며, 깊이 카메라를 통해 직접 깊이맵을 획득한 경우에는 센서 잡음이나 낮은 해상도 등의 문제가 발생하게 된다. 본 논문에서는 이미 획득된 깊이맵의 화질을 향상시키거나 고해상도로 변환하는 기술 동향을 살펴본다. 초기에 개발된 깊이맵만을 이용한 기술부터 대응되는 색상 영상 정보를 함께 이용한 기술을 소개하고, 최근 활발히 연구되고 있는 복합형 카메라를 이용하여 깊이맵 화질을 향상시키는 기술을 자세히 살펴본다. As the smart media becomes more popular, the demand for high-quality 3D images and depth maps is increasing. However, performance of the current technologies to acquire depth maps is not sufficient. The depth maps from stereo matching methods have low accuracy in homogeneous regions. The depth maps from depth cameras are noisy and have low-resolution due to technical limitations. In this paper, we introduce the state-of-the-art algorithms for depth map enhancement and up-sampling from conventional methods using only depth maps to the latest algorithms referring to both depth maps and their corresponding color images. We also present depth map enhancement algorithms for hybrid camera systems in detail.

깊이 카메라를 이용한 고해상도 변위 정보 획득 방법

강윤석,호요성 에스케이텔레콤 (주) 2011 Telecommunications Review Vol.21 No.4

본 논문에서는 Time-of-Flight(TOF) 원리를 이용한 저해상도 깊이 카메라를 이용하여 장면의 변위 정보를 획득하는 방법을 소개한다. 깊이 카메라는 적외선 센서를 통해 카메라로부터 물체까지의 거리를 측정하여 영상으로 출력하기 때문에 장면의 깊이 정보를 실시간으로 획득할 수 있는 장점이 있다. 하지만 획득되는 깊이 정보가 물체의 표면상태에 민감하며 영상에 잡음과 왜곡이 나타나는 문제를 가지고 있다. 또한 출력 영상의 해상도가 너무 작아 3차원 응용에 직접 이용하기가 어렵다. 따라서 깊이 카메라에서 촬영된 깊이 영상의 품질을 개선하고 해상도를 증가시키는 작업이 필요하다. 제안하는 방법은 깊이 카메라에서 획득한 깊이 정보를 이용하여 함께 사용되는 양안식 카메라에서 촬영된 색상 영상의 변위(disparity) 맵을 생성한다. 이를 위하여 깊이 카메라에서 촬영된 영상에 존재하는 렌즈 왜곡과잡음을 제거하고 색상 영상의 위치로 각 화소의 깊이 정보를 3차원 투영(warping)한다. 색상 영상은 영역 분할된 후각 영역으로 투영되어 온 깊이 카메라의 깊이 정보를 이용하여 변위 정보를 생성한다. 실험결과에서 보듯이 변위 맵과인접 시점으로 복원된 영상을 통하여 제안하는 방법이 효과적으로 장면의 변위 정보를 생성함을 알 수 있다.

자율주행을 위한 이중초점 스테레오 카메라 시스템을 이용한 깊이 영상 생성 방법

이은경(Eun-Kyung Lee) 한국전자통신학회 2021 한국전자통신학회 논문지 Vol.16 No.6

본 논문에서는 이중시점 스테레오 이미지와 그에 상응하는 깊이맵을 생성하기 위해 서로 다른 초점거리를 가지고 있는 두 카메라를 결합한 이중시점 스테레오 카메라 시스템을 제안한다. 제안한 이중초점 스테레오 카메라 시스템을 이용해 깊이맵을 생성하기 위해서는 먼저 서로 다른 초점을 가진 두 카메라에 대한 카메라 정보를 추출하기 위한 카메라 보정(Camera Calibration)을 수행한다. 카메라 파라미터를 이용해 깊이맵 생성을 위한 공통 이미지 평면을 생성하고 스테레오 이미지 정렬화(Image Rectification)를 수행한다. 마지막으로 정렬화된 스테레오 이미지를 이용하여 깊이맵을 생성하였다. 본 논문에서는 깊이맵을 생성하기 위해서 SGM(Semi-global Matching) 알고리즘을 사용하였다. 제안한 이중초점 스테레오 카메라 시스템은 서로 다른 초점 카메라들이 수행해야 하는 기능을 수행함과 동시에 두 카메라를 이용한 스테레오 정합(Stereo Matching)을 통해서 현재 주행 중인 환경에서의 차량, 보행자, 장애물과의 거리 정보까지 생성할 수 있어서 보다 안전한 자율주행 차량 설계를 가능하게 하였다. In this paper, we present a bifocal stereo camera system combining two cameras with different focal length cameras to generate stereoscopic image and their corresponding depth map. In order to obtain the depth data using the bifocal stereo camera system, we perform camera calibration to extract internal and external camera parameters for each camera. We calculate a common image plane and perform a image rectification for generating the depth map using camera parameters of bifocal stereo camera. Finally we use a SGM(Semi-global matching) algorithm to generate the depth map in this paper. The proposed bifocal stereo camera system can performs not only their own functions but also generates distance information about vehicles, pedestrians, and obstacles in the current driving environment. This made it possible to design safer autonomous vehicles.

샘플링된 깊이 추정 특징 맵을 이용한 의미론적 분할

임현정,임종우 한국정보과학회 2023 정보과학회 컴퓨팅의 실제 논문지 Vol.29 No.3

본 논문은 전방향의 어안 이미지 데이터셋을 사용하여 깊이 추정 네트워크와 의미론적 분할 네트워크를 같이 훈련하는 다중 태스크 학습 네트워크를 고안했다. 깊이 추정 네트워크로부터 나오는 특징 맵을 샘플링한 후 멀티 스케일로 구성하여 의미론적 분할 네트워크에 넘겨준다. 이로 인해 기존의 의미론적 분할에 사용되는 네트워크보다 훨씬 가벼운 구조를 구성하며 다른 의미론적 분할 네트워크와 비슷한 성능을 내고 있다. 또한 깊이 추정 태스크에서 의미론적 정보를 함께 학습함으로써 잘못된 깊이가 복원되고 노이즈가 사라지는 결과를 보여주었다. 따라서 깊이 추정과 의미론적 분할을 동시에 학습함으로써 서로 추출할 수 없는 정보들에 대해 공유하며 상호 보완적인 역할을 해주어, 효율적인 다중 태스크 학습 결과를 보여주었다. 추가적으로 전방향 어안 이미지 데이터셋에 대해서도 다중 태스크 학습이 가능함을 보여주었다.

3차원 형상 복원을 위한 수학적 모폴로지 기반의 초점 측도 기법

( Muhammad Tariq Mahmood ),최영규 ( Young Kyu Choi ) 한국정보처리학회 2017 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.6 No.1

Shape from focus (SFF) 기법은 카메라 렌즈를 다양한 초점 거리로 놓고 촬영한 영상을 이용해 물체의 3차원 정보를 추출하는 방법이다. 이 논문에서는 미소 객체(microscopic object)의 3차원 깊이 정보를 추출하기 위해 수학적 모폴로지의 기울기 연산자를 이용하는 새로운 SFF 방법을 제안한다. 전통적으로 SFF 기법에서는 초점의 품질을 측정하기 위해 하나의 초점 측도(focus measure)를 사용한다. 그러나 미소 객체의 복잡한 형태와 텍스쳐 특성에 따라 하나의 초점 측도만을 사용하는 것은 충분하지가 않은데, 본 논문에서는 향상된 초점 측도를 위해 다수의 형태소(multi-structuring elements)를 사용하는 모폴로지 연산자를 사용하는 방법을 제안한다. 최종적으로 모든 초점 측도 결과를 통합하여 최적의 깊이 맵을 계산하게 된다. 실험을 통해 제안된 알고리즘이 기존의 방법들에 비해 3차원 형상 복원 측면에서 더 정밀한 깊이 맵을 제공하는 것을 알 수 있었다. Shape from focus (SFF) is a technique used to reconstruct 3D shape of objects from a sequence of images obtained at different focus settings of the lens. In this paper, a new shape from focus method for 3D reconstruction of microscopic objects is described, which is based on gradient operator in Mathematical Morphology. Conventionally, in SFF methods, a single focus measure is used for measuring the focus quality. Due to the complex shape and texture of microscopic objects, single measure based operators are not sufficient, so we propose morphological operators with multi-structuring elements for computing the focus values. Finally, an optimal focus measure is obtained by combining the response of all focus measures. The experimental results showed that the proposed algorithm has provided more accurate depth maps than the existing methods in terms of three-dimensional shape recovery.

AdelaiDepth 를 사용한 2D 디지털 사진 기반의 인터랙티브 사진 웹 프로토타입

신동우(Dongwoo Shin),최용순(Yongsoon Choi) 한국HCI학회 2022 한국HCI학회 학술대회 Vol.2022 No.2

웹에서의 사진 매체는 사용자에게 유용한 정보를 제공하고 웹의 특징을 보여주는 역할을 한다. 이러한 사진 매체를 활용함에 있어, 사진 매체는 사용자와의 상호작용이 이뤄지지 않는 것이 문제점으로 인식이 되었으며, 이를 개선하는 것이 본 연구의 목적이다. 이에 본 연구에서는 사용자와의 인터랙션이 강화된 인터랙티브 사진을 디자인함에 있어, 메타데이터가 포함되어 있지 않은 2D 디지털 사진을 이용하고자 한다. 이를 기반으로 시차 및 초점거리를 포함한 데이터 구성을 위해 ‘사전 훈련된 신경망’(Pretrained network)을 통해 ‘깊이맵’(Depth map)을 구성하는 단계를 거쳐, 최종적으로 웹에서 병합된 인터랙티브 사진에서의 입체감과 깊이감을 사용자가 직접 조정할 수 있는 인터랙션 구성을 통해 실제 웹에서 사용자가 사진 콘텐츠를 경험함에 있어, 입체감의 변화와 깊이감의 변화를 경험할 수 있는 형태의 ‘인터랙티브 사진’(Interactive photo) 프로토타입을 제작하고자 한다.

깊이맵 기반의 인터랙티브 사진을 이용한 긍정적인 인상 형성과 사용 경험에 대한 비교 연구

신동우(Dongwoo Shin),최용순(Yongsoon Choi) 한국디지털콘텐츠학회 2022 한국디지털콘텐츠학회논문지 Vol.23 No.5

The current photo medium is able to generate realistic Generated photos based on AI. With these Generated photos, it is possible to design a face in the form of liking, intimacy, and trust according to the users personal preference (.e.g. gender, age, race). In addition, we have reached a point where we have provided an interactive photo experience on the web by implementing animations such as movements and facial expressions through the method using Deepfake. Therefore, in this study, a depth map is generated through depth estimation using ML (Machine Learning) based on a 2D digital photo (original) composed of female and male figures, and the x, y of the users mouse pointer is merged by merging them on the web. We designed a depth map-based interactive photo that allows you to experience changes in three-dimensional effect and sense of depth by directly adjusting it based on the axial direction and moving speed. Through this, a web page to which ‘depth map-based interactive photo’ is applied was composed of web prototype A. In addition, a web page to which 2D digital photos are applied was constructed in the form of web prototype B, and it was compared, tested, and analyzed. According to the experimental results of 45 participants, it was possible to experience Favorability and Rapport as a positive impression. Also, it was investigated that there was a statistically significant difference in use efficiency and attractiveness as positive use experience.

Guided Filter를 이용한 GA-Net Stereo Matching 개선

신용빈,허원석,장하준,임유나,이동해,이정진 한국차세대컴퓨팅학회 2020 한국차세대컴퓨팅학회 논문지 Vol.16 No.1

두 대의 카메라의 양안 시차를 이용해 깊이를 판별하는 stereo matching 분야에서는 최근에 개발되어 가장 효율적 인 알고리즘인 GA-Net이 존재한다. 본 논문에서는 Guided filter라는 경계 처리 알고리즘을 이용해 GA-Net에서 얻어낸 결과를 개선하는 방법을 제안한다. GA-Net에서 얻어낸 결과와 원본 스테레오 이미지를 Guided filter로 합성해 세밀한 경계를 이전보다 정확하게 처리할 수 있는 방법을 제시한다. 실험 결과 GA-Net에서 얻어진 결과는 Guided filter를 사용하여 평균 오차가 16.3% 감소하였다. 또한, Guided filter에서 사용자가 설정해야 하는 파 라미터를 변화하면서 결과를 측정해 파라미터의 변화에 대한 결과 이미지의 경향성을 분석하였다. In the field of stereo matching, the depth is determined by the disparities between two cameras and GA-Net shows the most accurate performance. In this paper, we improve the depth results from GA-Net using guided filtering as an edge enhancement technique. Depth results from GA-Net and original stereo images are merged to produce more detailed depth images. Experimental results showed that the average error of the depth acquired by guided filter was decreased by 16.3%. We analyzed the depth results by controlling user-defined parameters in guided filtering.

움직임 객체 기반의 하이브리드 깊이 맵 다운샘플링 기법

김태우(Tae-Woo Kim),김정훈(Jung Hun Kim),박명우(Myung Woo Park),신지태(Jitae Shin) 한국통신학회 2012 韓國通信學會論文誌 Vol.37 No.11C