딥러닝과 구체의 형태 변형 방법을 이용한 단일이미지에서의 3D Mesh 재구축 기법

김정윤,이승호 한국전기전자학회 2022 전기전자학회논문지 Vol.26 No.2

In this paper, we propose a 3D mesh reconstruction method from a single image using deep learning and asphere shape transformation method. The proposed method has the following originality that is different from theexisting method. First, the position of the vertex of the sphere is modified to be very similar to the 3D point cloudof an object through a deep learning network, unlike the existing method of building edges or faces by connectingnearby points. Because 3D point cloud is used, less memory is required and faster operation is possible becauseonly addition operation is performed between offset value at the vertices of the sphere. Second, the 3D mesh isreconstructed by covering the surface information of the sphere on the modified vertices. Even when the distancebetween the points of the 3D point cloud created by correcting the position of the vertices of the sphere is notconstant, it already has the face information of the sphere called face information of the sphere, which indicateswhether the points are connected or not, thereby preventing simplification or loss of expression. can do. In orderto evaluate the objective reliability of the proposed method, the experiment was conducted in the same way as inthe comparative papers using the ShapeNet dataset, which is an open standard dataset. As a result, the IoU valueof the method proposed in this paper was 0.581, and the chamfer distance value was It was calculated as 0.212. The higher the IoU value and the lower the chamfer distance value, the better the results. Therefore, the efficiencyof the 3D mesh reconstruction was demonstrated compared to the methods published in other papers. 본 논문에서는 딥러닝과 구체의 형태 변형 방법을 이용한 단일 이미지에서의 3D mesh 재구축 기법을 제안한다. 제안한 기법은기존의 방식과 다른 다음과 같은 독창성이 있다. 첫 번째, 기존의 근처의 가까운 점들을 연결하여 모서리 또는 면을 구축하는 방식과 다르게 딥러닝 네트워크을 통하여 구체의 꼭짓점의 위치를 사물의 3D 포인트 클라우드와 매우 유사하게 수정한다. 3D 포인트클라우드를 이용하므로 메모리가 적게 필요하며 구체의 꼭짓점에 오프셋 값 사이에 덧셈 연산만을 수행하기 때문에 더 빠른 연산이가능하다. 두 번째, 수정한 꼭짓점에 구체의 면 정보를 씌워 3D mesh를 재구축한다. 구체의 꼭짓점의 위치를 수정하여 생성한 3D포인트 클라우드의 점들의 간격이 일정하지 않을 때에도 이미 점들 사이의 연결 여부를 나타내는 구체의 면 정보라는 3D mesh의면 정보를 가지고 있어 표현의 단순화나 결손을 방지할 수 있다. 제안하는 기법의 객관적인 신뢰성을 평가하기 위해 공개된 표준데이터셋인 ShapeNet 데이터셋을 이용하여 비교 논문들과 같은 방법으로 실험한 결과, 본 논문에서 제안하는 기법의 IoU 값이0.581로, chamfer distance 값은 0.212로 산출되었다. IoU 값은 수치가 높을수록, chamfer distance 값은 수치가 낮을수록 우수한 결과를 나타내므로 다른 논문에서 발표한 기법들보다 3D mesh 재구축의 결과에서 성능의 효율성이 입증되었다.

3차원 프린터의 출력 볼륨보다 큰 물체를 출력하기 위한 인터랙티브 3차원 메쉬 편집 시스템

추창우,김갑기,박창준,최진성 한국멀티미디어학회 2016 멀티미디어학회논문지 Vol.19 No.8

3차원 프린터의 출력 볼륨보다 큰 Recently, as the public interests about the 3D printing technology are increased, various kinds of 3D printers are being released. But, they are limited to use because they cannot fabricate an object which is larger than the printer’s printing volume. To relieve this problem, we propose an interactive 3D mesh editing system for 3D printing the object that is larger than the printing volume. The proposed 3D editing system divides the input 3D mesh using the user’s line drawings defining cutting planes and it attaches various connectors. The output meshes are guaranteed to fabricate without post-processing. The printed parts can be assembled using the connectors. Our proposed system has an advantage that it can be used easily by non-professional 3D printer users.물체를 출력하기위한 인터랙티브 3차원 메쉬 편집 시스템 Recently, as the public interests about the 3D printing technology are increased, various kinds of 3D printers are being released. But, they are limited to use because they cannot fabricate an object which is larger than the printer’s printing volume. To relieve this problem, we propose an interactive 3D mesh editing system for 3D printing the object that is larger than the printing volume. The proposed 3D editing system divides the input 3D mesh using the user’s line drawings defining cutting planes and it attaches various connectors. The output meshes are guaranteed to fabricate without post-processing. The printed parts can be assembled using the connectors. Our proposed system has an advantage that it can be used easily by non-professional 3D printer users.

3D Mesh Transformation Preprocessing System in the Real Space for Augmented Reality Services

윤영석,황상원,이도균,이상윤,서재원,정성욱 한국통신학회 2021 ICT Express Vol.7 No.1

We propose a preprocessing system that transforms the real world into 3D mesh virtual world to provide augmented reality (AR) services. The proposed system uses a monocular RGB camera to obtain sequential images to generate real space. First, we create 3D real-world space composed of point clouds using sequential color images. And then, we segment the objects in each color image and assign an identification number for each object. Also, we execute ‘3D point labeling’, which assigns identification numbers from 2D segmented object to 3D point cloud through a simple projection manner with several parameters. This process could collect 3D point cloud with same the label by as an object. Finally, only the 3D point clouds that have the same identification number by as an object are used to generate 3D mesh. This paper confirmed that 3D mesh could be created using the only general monocular camera without the help of special 3D sensors.

다수의 카메라를 활용한 고해상도 3차원 객체 복원 시스템

황성수(Sung Soo Hwang),유지성(Jisung Yoo),김희동(Hee-Dong Kim),김수정(Sujung Kim),팽경현(Kyunghyun Paeng),김성대(Seong Dae Kim) 대한전자공학회 2013 전자공학회논문지 Vol.50 No.10

3D 스캐너 모바일 앱을 활용한 메타휴먼 아바타 제작 기법 연구

이랑구 한국디지털콘텐츠학회 2023 한국디지털콘텐츠학회논문지 Vol.24 No.2

This study is a study on a production technique that can produce a digital human, that is, a more advanced form of meta-human avatar that resembles oneself. First, through previous studies, we reviewed 3D scanner mobile apps, avatars, digital humans, and meta-humans, and based on this, we conducted a test study on face photographing and mesh quality to generate 3D face meshes. In addition, meta-humans were generated in the unreal game engine, and motion was implemented on the face of the meta-humans by tracking the face of the researcher in real time. Finally, we created a body and added motion to complete the final meta-human avatar. Through the process and results of this study, we propose a relatively simple and easy way to create a metahuman avatar through a free mobile 3D scanner app, rather than the existing photogrammetry production method that was only done with expensive 3D scanner equipment. And it is expected that it will serve as a basis for production and development that can be used in related industries and as metaverse avatars. 본 연구는 디지털 휴먼 즉, 좀 더 진보된 형태의 자신을 닮은 메타휴먼 아바타를 제작할 수 있는 제작 기법에 관한 연구이다. 먼저, 선행연구를 통해 3D 스캐너 모바일 앱과 아바타, 디지털 휴먼과 메타휴먼에 관하여 검토하고, 이를 기반으로 3D 얼굴 메시 생성을 위한 얼굴 촬영과 메시 품질에 관한 테스트 연구를 진행하였다. 그리고 언리얼 게임엔진에서 메타휴먼을 생성하고, 연구자의 얼굴을 실시간 트래킹하여 메타휴먼의 얼굴에 모션을 구현하였다. 마지막으로 보디를 생성하고 모션을 추가하여 최종 메타휴먼 아바타를 완성하였다. 본 연구의 과정 및 결과를 통해 고가의 3D 스캐너 장비 등을 통해서만 이루어졌던 기존의 포토그래메트리 제작 방식이 아닌, 무료 모바일 3D 스캐너 앱을 통해 비교적 간단하고 손쉽게 메타휴먼 아바타를 제작할 수 있는 기법을 제안하는 바이며, 관련 산업과 메타버스 아바타로 활용할 수 있는 제작 및 개발 분야에 기초 자료가 될 것으로 기대한다.

다수의 카메라를 활용한 고해상도 3차원 객체 복원 시스템

황성수,유지성,김희동,김수정,팽경현,김성대 대한전자공학회 2013 전자공학회논문지 Vol.50 No.11

본 논문에서는 다수의 카메라들을 이용하여 3차원 공간상에 있는 물체에 대한 다중 시점 영상들을 획득하고, 그 영상들로 부터 해당 3차원 물체에 대한 기하학적인 형상 및 질감 정보를 추정하여, 그 물체에 대한 고해상도 3차원 콘텐츠를 효율적으로 제작하는 새로운 시스템을 제안한다. 지금까지 다양한 다중 시점 영상 기반 3차원 객체 복원 시스템들이 제안되었지만 다중 시점 기반 3차원 객체 복원이 많은 메모리와 계산량을 필요로 하기 때문에 고해상도의 3차원 콘텐츠를 얻는 데에는 어려움이 있었다. 3차원 복원에 필요한 계산량 및 메모리량을 줄이기 위해 제안 시스템은 객체의 다중 시점을 촬영한 영상 내에서 객체가 존재할 수 있는 영역을 사전에 설정하여 객체 윤곽선 추출 과정을 빠르게 수행한다. 그리고 체인코드를 활용하여 실루엣 영상을 표현하고 3차원-2차원 투영 및 역투영 관계를 1차원 호모그래피를 통해 표현하여 객체의 비주얼 헐을 빠르게 계산한다. 복원된 3차원 객체의 기하정보는 3차원 선분 기반의 표현 기법인 DoCube를 활용하여 적은 데이터양으로 표현하였으며, 3차원 메시 생성 및 텍스쳐 맵핑을 수행하여 최종적인 3차원 객체를 생성한다. 실험 결과 제안 시스템이 800x800x800 해상도의 3차원 객체 복원을 프레임 당 2.2초에 수행하는 것을 확인하였다. This paper presents a new system which produces high resolution 3D contents by capturing multiview images of an object using multiple cameras, and estimating geometric and texture information of the object from the captured images. Even though a variety of multiview image-based 3D reconstruction systems have been proposed, it was difficult to generate high resolution 3D contents because multiview image-based 3D reconstruction requires a large amount of memory and computation. In order to reduce computational complexity and memory size for 3D reconstruction, the proposed system predetermines the regions in input images where an object can exist to extract object boundaries fast. And for fast computation of a visual hull, the system represents silhouettes and 3D-2D projection/back-projection relations by chain codes and 1D homographies, respectively. The geometric data of the reconstructed object is compactly represented by a 3D segment-based data format which is called DoCube, and the 3D object is finally reconstructed after 3D mesh generation and texture mapping are performed. Experimental results show that the proposed system produces 3D object contents of 800x800x800 resolution with a rate of 2.2 seconds per frame.

Java언어를 이용한 MPEG-4기반 3차원 플레이어의 구현에 관한 연구

박영경,김용호,정종진,김중규,안상우,최진수,김진웅,안치득,Park Young-Kyung,Kim Yong-Ho,Jung Jong-Jin,Kim Joong-Kyu,Ahn Sang-Woo,Choi Jin-Soo,Kim Jin-Woong,Ahn Chie-Teuk 한국통신학회 2004 韓國通信學會論文誌 Vol.29 No.1B

MPEG-4 3D mesh coding(3DMC)은 높은 압축률을 가지므로 3차원 정보를 저장, 전송하는 데 요구되는 큰 대역폭의 문제를 해결할 수 있다. 그리고 방송이나 인터넷을 통한 3차원 정보 서비스의 실현을 위해서는 3차원 정보와 함께 정보를 출력할 수 있는 플레이어를 동시에 전송하는 것이 요구된다. 따라서 본 논문에서는 java언어를 이용하여 MPEG-4 기반의 3차원 플레이어를 구현하였다. 다른 언어와 차별화 된 java의 특징인 scalability, universality는 015나 플랫폼 성격이 다를지라도 플레이어가 동작할 수 있도록 해준다. 플레이어는 MPEG-4 3D mesh decoder의 기능을 가지며 rendering을 위해 java 3D API를 이용하였다. 또한 이동, 회전 등 콘텐츠의 조작을 위한 사용자 인터페이스를 제공하며, 서버로부터 콘텐츠 파일을 전송 받는 네트워크 기능이 구현되었다. 플레이어를 이용하여 MPEG-4 3DMC에 의해 생성된 다양한 콘텐츠를 출력하고 성능을 테스트하였다. With MPEG-4 3D mesh coding(3DMC), the problem of the need of a wide bandwidth can be solved to store and transmit 3D information because of its high compression rate. And to realize the 3D information service with broadcasting or internet, one needs to transmit not only the 3D contents but also the 3D player. Therefore, in this paper we implement a 3D player based on MPEG-4 using a java language. A well-known java language employed in this paper provides the player with a wider range of applications, for example, when the O/S or the platform are different, due to its properties of scalability and universality. The implemented player which has functions (translation, rotation, etc) that can manipulate contents decodes the 3D contents and displays them. In addition, the player has a network function that receives a 3D content from the server. This paper explains the architecture and characteristics of the player and shows its simulation results.

능동형 센서의 깊이 정보를 이용한 3D 객체 생성

김상진,유지상,이승현,Kim, Sang-Jin,Yoo, Ji-Sang,Lee, Seung-Hyun 한국컴퓨터산업학회 2006 컴퓨터産業敎育學會論文誌 Vol.7 No.5

본 논문에서는 능동형 센서를 이용하여 실사 객체에 대한 깊이 정보 및 칼라 정보를 획득하고 획득된 데이터를 이용하여 3D 객체를 생성하였다. 길이 정보를 획득하는 방법은 능동형 센서 모듈을 내장한 $Zcam^{TM}$ 카메라를 이용하였다. <중략>세 번째, 세부 파라미터를 조절하여 깊이 정보의 왜곡을 보정하고 보정된 깊이 정보를 이용하여 3D 메쉬 모델을 생성한 후, 서로 인접한 외곽 점들을 연결하여 완전한 객체 메쉬 모델을 만든다. 최종적으로, 완성된 객체 메쉬 모델에 칼라 영상 데이터의 칼라 값을 적용해 매핑 처리를 수행함으로써 3D 객체를 생성하였다. 실험을 통해 능동형 센서가 장착된 카메라로 획득한 데이터만으로 3D 객체를 생성할 수 있다는 가능성을 제시하였으며, 3차원 전용 스캐너를 이용한 것보다 데이터 획득이 간편하고 용이함을 알 수 있었다. In this paper, 3D objects is created from the real scene that is used by an active sensor, which gets depth and RGB information. To get the depth information, this paper uses the $Zcam^{TM}$ camera which has built-in an active sensor module. <중략> Thirdly, calibrate the detailed parameters and create 3D mesh model from the depth information, then connect the neighborhood points for the perfect 3D mesh model. Finally, the value of color image data is applied to the mesh model, then carries out mapping processing to create 3D object. Experimentally, it has shown that creating 3D objects using the data from the camera with active sensors is possible. Also, this method is easier and more useful than the using 3D range scanner.

STL 형식의 3D 메쉬 모델을 OBJ 형식으로 변환하는 시스템 개발

여창모(Changmo Yeo),박찬석(Chanseok Park),문두환(Duhwan Mun) 한국기계가공학회 2018 한국기계가공학회지 Vol.17 No.3

The 3D mesh model is used in various fields, such as virtual reality, shape-based searching, 3D simulation, reverse engineering, 3D printing, and laser scanning. There are various formats for the 3D mesh model, but STL and OBJ are the most typical. Since application systems support different 3D mesh formats, developing technology for converting 3D mesh models from one format into another is necessary to ensure data interoperability among systems. In this paper, we propose a method to convert a 3D mesh model in STL format into the OBJ format. We performed the basic design of the conversion system and developed a prototype, then verified the proposed method by experimentally converting an STL file into an OBJ file for test cases using this prototype.

RGB-D 영상으로 복원한 점 집합을 위한 고화질 텍스쳐 추출

서웅,박상욱,임인성 (사)한국컴퓨터그래픽스학회 2018 컴퓨터그래픽스학회논문지 Vol.24 No.3

When triangular meshes are generated from the point clouds in global space reconstructed through camera pose estimation against captured RGB-D streams, the quality of the resulting meshes improves as more triangles are hired. However, for 3D reconstructed models beyond some size threshold, they become to suffer from the ugly-looking artefacts due to the insufficient precision of RGB-D sensors as well as significant burdens in memory requirement and rendering cost. In this paper, for the generation of 3D models appropriate for real-time applications, we propose an effective technique that extracts high-quality textures for moderate-sized meshes from the captured colors associated with the reconstructed point sets. In particular, we show that via a simple method based on the mapping between the 3D global space resulting from the camera pose estimation and the 2D texture space, textures can be generated effectively for the 3D models reconstructed from captured RGB-D image streams. RGB-D 카메라 촬영 영상에 대한 카메라 포즈 추정을 통하여 복원한 3차원 전역 공간의 점 집합으로부터 삼각형 메쉬를 생성할 때, 일반적으로 메쉬의 크기가 커질수록 3차원 모델의 품질 또한 향상된다. 하지만 어떤 한계를 넘어서 삼각형 메쉬의 해상도를 높일 경우, 메모리 요구량의 과도한 증가나 실시간 렌더링 성능저하 문제뿐만 아니라 RGB-D 센서의 정밀도 한계로 인한 접 집합 데이터의 노이즈에 민감해지는 문제가 발생한다. 본 논문에서는 실시간 응용에 적합한 3차원 모델 생성을 위하여 비교적 적은 크기의 삼각형 메쉬에 대하여 3차원 점 집합의 촬영 색상으로부터 고화질의 텍스쳐를 생성하는 기법을 제안한다. 특히 카메라 포즈 추정을 통하여 생성한 3차원 점 집합 공간과 2차원 텍스쳐 공간 간의 매핑 관계를 활용한 간단한 방법을 통하여 RGB-D 카메라 촬영 영상으로부터 복원한 3차원 모델에 대하여 효과적으로 텍스쳐를 생성할 수 있음을 보인다.