포인트 클라우드 기반의 볼류메트릭 비디오 플레이어 설계 및 구현 = Design and Implementation of a Point Cloud-Based Volumetric Video Player

다국어 초록 (Multilingual Abstract)

Volumetric video represented as a point cloud provides a high degree of freedom and immersion since it enables the user to consume the video according to the desired point of view. The volumetric video consists of one or more dynamic objects, which can be expressed as 3D geometric data such as point clouds. Since the dynamic point cloud object is composed of several static objects with temporal correlation, the volumetric video has a large volume compared to the conventional video. Therefore, research on compression and transmission of point cloud data to provide the volumetric video service is being actively conducted. However, compared to the research on volumetric video compression and transmission, the discussion on the volumetric video player has been relatively considered insignificant. Conventional applications for rendering point-cloud primarily support rendering static objects. In this paper, we implemented a volumetric video player for rendering dynamic objects and measured the consumption time of each module to specify the module causing the delay. Based on the experiment results, we confirm that there is a realistic limitation to consuming volumetric video, and then discuss future research to improve the limitations.

국문 초록 (Abstract)

포인트 클라우드로 표현되는 3차원의 볼류메트릭 비디오는 사용자가 원하는 시점에 따라 자유롭게 소비할 수있기 때문에 높은 자유도와 몰입감을 제공한다. 볼류메트릭 비디오는 한 개 이상의 동적 객체로 구성되며, 동적객체는 포인트 클라우드와 같은 3차원 기하구조 데이터로 표현할 수 있다. 동적 객체는 여러 개의 정적 객체가시간적 연관성을 가지고 구성되어 있으므로 볼류메트릭 비디오는 종래의 2차원 평면 영상에 비하여 방대한 용량을 가진다. 이를 사용자에게 제공하기 위해서 볼류메트릭 비디오를 구성하는 포인트 클라우드 데이터의 압축 및전송에 대한 연구가 활발히 진행 중이다. 하지만 볼류메트릭 비디오 압축 및 전송 기술 연구에 비하여 볼류메트릭비디오 플레이어에 대한 논의는 상대적으로 미비한 상황이다. 기존의 포인트 클라우드의 출력을 지원하는 프로그램은 주로 정적 객체의 출력을 지원하는 뷰어의 성격이 강하기 때문에 동적 객체를 재생하는 기능이 제한적이다.
따라서 본 논문에서는 동적 객체를 재생할 수 있는 플레이어를 구현하고, 나아가 실험을 통해 각 모듈의 소비 시간을 측정하여 사용자의 안정적인 볼류메트릭 비디오 소비를 저해하는 모듈을 특정한다. 실험 결과를 바탕으로 안정적인 볼류메트릭 비디오 소비를 위한 기술의 현실적인 한계를 확인하고, 이를 개선하기 위한 향후 연구 방향에대하여 논의한다.

참고문헌 (Reference)

1 Y. H. Seo, "Volumetric photorealistic 4D video technology" 26 (26): 56-66, 2021

2 J. van der Hooft, "Towards 6DoF HTTP adaptive streaming through point cloud compression" 2405-2413, 2019

3 Z. Xu, "Probabilistic viewport adaptive streaming for 360-degree videos" 1-5, 2018

4 S. Pacheco-Gutierrez, "Point cloud compression and transmission for remote handling applications" 16 (16): 14-23, 2021

5 Q. -Y. Zhou, "Open3D : A modern library for 3D data processing" 2018

6 S. Gül, "Low-latency cloud-based volumetric video streaming using head motion prediction" 27-33, 2020

7 "ISO/IEC DIS 23090-9, Coded representation of immersive media —Part 9: Geometry-based point cloud compression"

8 "ISO/IEC 23090-5:2021, Coded representation of immersive media —Part 5: Visual volumetric video-based coding (V3C) and video-based point cloud compression (V-PCC)"

9 S. Schwarz, "Emerging MPEG standards for point cloud compression" 9 (9): 133-148, 2018

10 M. Hosseini, "Dynamic adaptive point cloud streaming" 25-30, 2018

11 Google, "Draco: 3D Data Compression"

12 S. Gül, "Cloud renderingbased volumetric video streaming system for mixed reality services" 357-360, 2020

13 D. Graziosi, "An overview of ongoing point cloud compression standardization activities : Video-based(V-PCC)and geometry-based(G-PCC)" 9 (9): 1-17, 2020

14 M. Hosseini, "Adaptive 360 VR video streaming : Divide and conquer" 107-110, 2016

15 M. Krivokuća, "8i voxelized surface light field (8iVSLF) dataset"

16 R. B. Rusu, "3D is here: Point cloud library (PCL)" 2011