GPGPU를 이용한 고속 영상 합성 기법

신홍창(Hong-Ghang Shin),박한훈(Hanhoon Park),박종일(Jong-Il Park) 한국방송·미디어공학회 2008 방송공학회논문지 Vol.13 No.6

In this paper, we develop a fast view synthesis method that generates multiple intermediate views in real-time for the 3D display system when the camera geometry and depth map of reference views are given in advance. The proposed method achieves faster view synthesis than previous approaches in GPU by processing in parallel the entire computations required for the view synthesis. Specifically, we use CUDA™ (by NVIDIA) to control GPU device. For increasing the processing speed, we adapted all the processes for the view synthesis to single instruction multiple data (SIMD) structure that is a main feature of CUD A, maximized the use of the high-speed memories on GPU device, and optimized the implementation. As a result, we could synthesize 9 intermediate view images with the size of 720 by 480 pixels within 0.128 second.

영상 보간을 위한 유도 영상 필터링 기반의 변이 보정 기법의 성능 비교

신홍창(Hong-Chang Shin),이광순(Gwang-Soon Lee),허남호(Namho Hur) 한국방송·미디어공학회 2015 한국방송공학회 학술발표대회 논문집 Vol.2015 No.7

본 논문에서는 영상 보간의 결과 측면에서 깊이를 보정하는 방법 중 하나인 유도 영상 필터링 기법을 비교한다. 실험을 위해 초기 깊이 영상을 두 종류의 유도 영상 필터링 기법으로 개선을 하였다. 초기 깊이 영상과, 각각의 필터링 기법에 의해 개선된 변이 영상을 이용하여 영상 보간을 하였고, 그 결과를 비교하였다. 결과로서 한 시점 영상의 텍스처 정보만을 이용하여 변이를 개선하는 유도 영상 필터링 기법으로 변이 영상을 개선하게 되는 경우에 육안으로는 구분이 갈 정도로 변이가 개선이 되지만, 영상 보간의 측면에서 보았을 때는 크게 차이가 없거나 오히려 품질이 저하되는 경우를 확인할 수 있었다.

이머시브 비디오 테스트 모델에서의 프루닝 기법의 개선

신홍창(Shin, Hong-Chang),윤준영(Yun, Junyoung),이광순(Lee, Gwangsoon),음호민(Eum, Homin),서정일(Seo, Jungil) 한국방송·미디어공학회 2020 한국방송공학회 학술발표대회 논문집 Vol.2020 No.7

FPGA/GPU 기반 다시점 영상 생성 시스템

신홍창(Hong-Chang Shin),엄기문(Gi-Mun Um),김찬(Chan Kim),정원식(Won-Sik Cheong),허남호(Namho Hur) 한국방송·미디어공학회 2012 한국방송공학회 학술발표대회 논문집 Vol.2012 No.11

본 논문에서는 스테레오 영상으로부터 무안경 3D 디스플레이를 위한 다시점 영상을 생성하는 시스템을 제안한다. 제안한 시스템에서는 먼저 비디오 캡쳐 카드를 통해 입력되는 스테레오 영상으로부터 FPGA 상에서 구현된 Trellis 동적 프로그래밍 기법에 의해 좌우 변이 영상을 실시간으로 추출한다. 이 변이 영상을 기반으로 좌우 영상 사이에서 중간 시점 영상을 생성한다. 이렇게 추출된 좌우 변이 영상과 좌우 스테레오 영상은 각각 USB 3.0 과 PCI-express 인터페이스를 통해 GPU 로 전송되고, GPU 에서는 이들 데이터를 사용하여 변이 기반 영상 합성 방법을 통해 다시점 영상을 생성한다. 생성된 다시점 영상은 다시점 3 차원 디스플레이 규격에 맞게 재배치되어 재생된다.

FPGA와 GPU를 이용한 스테레오/다시점 변환 시스템

신홍창(Hong-Chang Shin),이진환(Jinwhan Lee),이광순(Gwangsoon Lee),허남호(Namho Hur) 한국방송·미디어공학회 2014 방송공학회논문지 Vol.19 No.5

In this paper, we introduce a real-time stereo-to-multiview conversion system using FPGA and GPU. The system is based on two different devices so that it consists of two major blocks. The first block is a disparity estimation block that is implemented on FPGA. In this block, each disparity map of stereoscopic video is estimated by DP(dynamic programming)-based stereo matching. And then the estimated disparity maps are refined by post-processing. The refined disparity map is transferred to the GPU device through USB 3.0 and PCI-express interfaces. Stereoscopic video is also transferred to the GPU device. These data are used to render arbitrary number of virtual views in next block. In the second block, disparity-based view interpolation is performed to generate virtual multi-view video. As a final step, all generated views have to be re-arranged into a single image at full resolution for presenting on the target autostereoscopic 3D display. All these steps of the second block are performed in parallel on the GPU device.

이머시브미디어를 3DoF+ 비디오 부호화 표준 동향

이광순,정준영,신홍창,서정일,Lee, G.S.,Jeong, J.Y.,Shin, H.C.,Seo, J.I. 한국전자통신연구원 2019 전자통신동향분석 Vol.34 No.6

As a primitive immersive video technology, a three degrees of freedom (3DoF) $360^{\circ}$ video can currently render viewport images that are dependent on the rotational movements of the viewer. However, rendering a flat $360^{\circ}$ video, that is supporting head rotations only, may generate visual discomfort especially when objects close to the viewer are rendered. 3DoF+ enables head movements for a seated person adding horizontal, vertical, and depth translations. The 3DoF+ $360^{\circ}$ video is positioned between 3DoF and six degrees of freedom, which can realize the motion parallax with relatively simple virtual reality software in head-mounted displays. This article introduces the standardization trends for the 3DoF+ video in the MPEG-I visual group.

국내외 3DTV 방송 서비스 현황

엄기문,이진환,신홍창,윤국진,정원식,Um, G.M.,Lee, J.H.,Shin, H.C.,Yun, K.J.,Cheong, W.S. 한국전자통신연구원 2011 전자통신동향분석 Vol.26 No.6

3D 영화 아바타에 의해 활성화되기 시작한 3D 콘텐츠 서비스는 영화, 게임, 방송 서비스 등 다양한 분야로 그 범위를 넓혀가고 있다. 특히 3D 방송 서비스는 post-HD 서비스의 선두 주자로서 국내는 물론 유럽, 일본, 미국 등 전 세계적으로 다양한 방식과 형태의 3DTV 실험방송 및 상용 서비스가 활발히 진행되고 있다. 본 고에서는 전 세계적으로 현재까지 이뤄지고 있는 국내외 3DTV 방송 서비스 현황에 대해 알아보기로 한다.

순차적 이중 전방 사상의 병렬 처리를 통한 다중 시점 고속 영상 합성

최지윤,유세운,신홍창,박종일,Choi, Ji-Youn,Ryu, Sae-Woon,Shin, Hong-Chang,Park, Jong-Il 한국통신학회 2009 韓國通信學會論文誌 Vol.34 No.11b

Glassless 3D display requires multiple images taken from different viewpoints to show a scene. The simplest way to get multi-view image is using multiple camera that as number of views are requires. To do that, synchronize between cameras or compute and transmit lots of data comes critical problem. Thus, generating such a large number of viewpoint images effectively is emerging as a key technique in 3D video technology. Image-based view synthesis is an algorithm for generating various virtual viewpoint images using a limited number of views and depth maps. In this paper, because the virtual view image can be express as a transformed image from real view with some depth condition, we propose an algorithm to compute multi-view synthesis from two reference view images and their own depth-map by stepwise duplex forward mapping. And also, because the geometrical relationship between real view and virtual view is repetitively, we apply our algorithm into OpenGL Shading Language which is a programmable Graphic Process Unit that allow parallel processing to improve computation time. We demonstrate the effectiveness of our algorithm for fast view synthesis through a variety of experiments with real data. 3차원 입체 영상을 디스플레이에 출력하려면, 여러 시점에서의 영상 정보가 필요하다. 여러 시점의 영상을 얻을 수 있는 가장 기본적인 방법은, 필요로 하는 시점의 개수와 동일 한 수의 카메라를 사용하는 것이다. 하지만 이를 위해서는 카메라간의 동기화 와 방대한 데이터 처리 및 전송 등의 현실적인 문제가 해결되어야 한다. 이러한 현실적인 문제를 해결하기 위해서 연구되고 있는 방법이 한정된 시점 영상을 이용하여 여러 중간 시점 영상을 생성하는 영상 기반의 임의 시점 합성 방법이다. 본 논문에서는 두 개의 기준 시점 영상과 각각의 깊이 정보가 주어줬음을 가정하고 주어진 정보를 바탕으로 이중의 순차적인 전방 사상을 통하여 목표로 하는 여러 다중 시점의 영상을 동시에 합성하는 방법을 제시한다. 제안된 방법은 좌우 기준 시점 영상의 평행 이동으로 가상 시점 영상을 생성 할 수 있으며, 평행 이동은 시점의 거리에 비례한 행렬간의 관계로 나타난다. 따라서 이중의 순차적인 전방 사상이라 함은 좌우 시점에서 가상 시점 거리에 따른 관계식을 통한 순차적인 양안 시점의 평행 이동을 의미한다. 이 때 전방 사상을 통해 생성되는 가상 시점 영상과 기준 시점 영상간의 기하관계가 시점간 거리에 비례하여 반복적이므로 이를 GPU 프로그래밍을 통해 병렬 처리를 통해 고속화 하는데 초점을 맞추었다.

실시간 재생을 위한 TMIV 디코더의 GPU 구현

이상호(Sangho Lee),신홍창(Hongchang Shin),이광순(Gwangsoon Lee),서정일(Jeongil Seo) 한국방송·미디어공학회 2022 한국방송공학회 학술발표대회 논문집 Vol.2022 No.6

TMIV 레퍼런스 모델에는 VWS(View Weighting Synthesizer), AS(Additive Synthesizer), MPIS(Multiplane Image Synthesizer)의 세 가지 방식의 렌더러 구현이 제시되어 있는데 본 논문에서는 VWS 에 포커스를 맞추어 GPU 로 구현하여 디코딩 성능을 개선한 결과를 소개하고자 한다. AS, MPIS 등에 대해서는 GPU 에 의한 구현이 아직 진행 중이며 본 구현이 적용된 TMIV 레퍼런스 모델의 버전은 8.0.1 이어서 최신 버전인 11 또는 12 에 바로 적용하기에는 다소 거리가 있겠으나, 본 구현에서 적용된 세부 구현 기술과 서브 모듈 등은 충분한 재활용성을 가지고 있어 다른 방식의 렌더러나 상위 버전의 고속화 구현에도 적용이 가능할 것이다. TMIV 8.0.1 의 디코더에서 1920x4640 크기를 가지는 두 개의 아틀라스를 기준으로 프레임 렌더링의 경우 싱글 프레임 당 약 4 초에서 평균 25ms 이하 로 실행 시간이 단축되어 약 150 배 이상의 성능 향상을 획득하였으며 렌더링 파이프라인의 추가 등에 의해 통상적으로 실시간이라고 여기는 30fps 의 속도로 재생이 가능한 성능에 도달한 결과를 소개하였다.

GPU를 이용한 고속 영상 합성 기법의 성능

김재한(Jaehan Kim),신홍창(Shin Hong-Chang),정원식(Won-Sik Cheong),방건(Gun Bang) 한국방송·미디어공학회 2011 한국방송공학회 학술발표대회 논문집 Vol.2011 No.7

본 논문에서는 3차원 디스플레이 시스템에서 다수의 중간 시점 영상을 실시간으로 생성할 수 있도록 GPU 기반의 고속 영상 합성기법을 제안하였으며 그에 대한 성능을 알아본다. 카메라의 기하 정보 및 참조 영상들의 깊이 정보를 이용하여 중간 시점 영상을 생성하였으며, 영상 합성 방법을 GPU에서 병렬 처리함으로써 고속화할 수 있었다. GPU를 효율적으로 다루기 위해 NVIDIA사의 CUDA(Compute Unified Device Architecture)TM를 이용하였다. 제안한 기법은 CUDA의 SIMD(Single Instruction MUltiple Data) 구조를 사용하여 중간 영상 합성을 처리할 수 있도록 설계하였다. 본 논문은 고속 영상 합성에 중점을 두었고, 제안한 고속화 기법의 결과를 분석함으로써 다시점 3차원 디스플레이 시스템의 적용 가능성을 알아본다.