깊이 영상 카메라로부터 획득된 3D 영상의 품질 향상 방법 = A method of improving the quality of 3D images acquired from RGB-depth camera

국문 초록 (Abstract)

일반적으로, 컴퓨터 비전, 로보틱스, 증강현실 분야에서 3차원 공간 및 3차원 객체 검출 및 인식기술의 중요성이 대두되고 있다. 특히, 마이크로소프트사의 키넥트(Microsoft Kinect) 방식을 사용하는 영상 센서를 통하여 RGB 영상과 깊이 영상을 실시간 획득하는 것이 가능해짐으로 인하여 객체 검출, 추적 및 인식 연구에 많은 변화를 가져오고 있다. 본 논문에서는 다시점 카메라 시스템 상에서의 깊이 기반(RGB-Depth) 카메라를 통해 획득된 영상을 처리하여 3D 복원 영상의 품질을 향상하는 방법을 제안한다. 본 논문에서는 컬러 영상으로부터 획득한 마스크 적용을 통해 객체 바깥쪽 잡음을 제거하는 방법과 객체 안쪽의 픽셀 간 깊이 정보 차이를 구하는 필터링 연산을 결합하여 적용하는 방법을 제시하였다. 각 실험 결과를 통해 제시한 방법이 효과적으로 잡음을 제거하여 3D 복원 영상의 품질을 향상할 수 있음을 확인하였다.

다국어 초록 (Multilingual Abstract)

In general, in the fields of computer vision, robotics, and augmented reality, the importance of 3D space and 3D object detection and recognition technology has emerged. In particular, since it is possible to acquire RGB images and depth images in real time through an image sensor using Microsoft Kinect method, many changes have been made to object detection, tracking and recognition studies. In this paper, we propose a method to improve the quality of 3D reconstructed images by processing images acquired through a depth-based (RGB-Depth) camera on a multi-view camera system. In this paper, a method of removing noise outside an object by applying a mask acquired from a color image and a method of applying a combined filtering operation to obtain the difference in depth information between pixels inside the object is proposed. Through each experiment result, it was confirmed that the proposed method can effectively remove noise and improve the quality of 3D reconstructed image.

참고문헌 (Reference)

1 K. Guo, "The Relightables : Volumetric Performance Capture of Humans with Realistic Relighting" 38 (38): 1-19, 2019

2 "Photogrammetry"

3 "Open Source Computer Vision. Detection of ChArUco Corners"

4 "Open Source Computer Vision, Calibration with ArUco and ChArUco"

5 M. Dou, "Motion2fusion : real-time volumetric performance capture" 35 (35): 1-16, 2016

6 R. Schäfer, "Interactive Steaming of Panoramas and VR Worlds" 126 (126): 35-42, 2017

7 K. Kim, "Holographic augmented reality based on three-dimensional volumetric imaging for a photorealistic scene" 28 : 35972-35985, 2020

8 M. Dou, "Fusion4D : real-time performance capture of challenging scenes" 36 (36): 1-13, 2017

9 G. H. An, "Charuco board-based omnidirectional camera calibration method" 7 (7): 421-, 2018

10 G. An, "Charuco Board-Based Omnidirectional Camera Calibration Method" 7 (7): 421-436, 2018

11 P. Rathnayaka, "Calibration of a Different Field-of-view Stereo Camera System using an Embedded Checker-board Pattern" 294-300, 2017

12 S. Ruder, "An overview of gradient descent optimization algorithms"

13 Z. Zhan, "A Method of Hierarchical Image Retrieval for Real-Time Photogrammetry Based on Multiple Features" 8 : 21524-21533, 2020