Object Detection by Matching Data Representation of LiDAR and Camera = LiDAR와 Camera의 데이터 표현 일치를 통한 객체 검출에 관한 연구

다국어 초록 (Multilingual Abstract)

This study proposes a method of achieving object detection and classification performance stability of the recognition system of autonomous vehicles through a DNN, deep learning, and sensor fusion. The recognition system in autonomous driving consists of environment RADAR, Camera, LiDAR, and an ultrasonic sensor. Sensor fusion can overcome the limitations of the sensors while reducing uncertainty.
Fusion between the same types of sensors is generally used to secure data by expanding the measurement area of the sensor. Convergence between the same types is possible because the characteristics of the data are the same. Sensor fusion between different types requires the fusion of data of different characteristics to determine the connection point between them. For a camera and LiDAR, the three-dimensional data of LiDAR are fused to the two-dimensional camera data. Because sensor data are of different dimensions, ambiguity and errors in the fusion results are generated. Research is required to solve this problem of fusion that occurs due to dimension reduction in the fusion between different types of sensors.
This study constructed a system with an independent late fusion method with sensor detection results to solve the above-mentioned problem. A method of object fusion through dimension matching using semantic segmentation information of a camera and LiDAR was developed. The camera system consists of two networks. A network for estimating depth was used for Pseudo-LiDAR. This study used the stereo method. Pseudo-LiDAR was implemented using the estimated depth and extrinsic parameters, which can be determined through the correlation of LiDAR with respect to a camera. Object classification of a camera can be distinguished into object detection and semantic segmentation. In this study, objects were classified using DeepLabV3+, which is a semantic segmentation network. Three-dimensional object detection and classification information are provided through the two networks. A system based on LiDAR uses a single network for object detection and classification. A DeepLabV3+ network from a previous study was modified to be appropriate for LiDAR data to be used in this study. The system provides object detection and classification data for LiDAR data. From the inference results of semantic segmentation of LiDAR and depth from images obtained using a camera, instance segmentation was inferred to access instances of objects for which a method to demarcate objects’boundaries is proposed. The sensor fusion method uses a late fusion method that fuses independent results of each system. The sensors are fused by comparing the area of the detected object through a Bird's Eye view representation.
This paper proposes a method of integrating data collected from sensors with different dimensions, and the system was verified using the KITTI dataset, which is an open dataset.

국문 초록 (Abstract)

본 논문에서는 DNN, Deep Learning과 센서 융합을 통한 자율주행 자동차의 인지 시스템의 객체 검출 및 분류 성능 안정성 확보를 위한 방법을 제안한다. 자율주행에서 인지 시스템은 Radio RADAR, Camera, LiDAR, UltraSonic 같은 환경인지 센서로 구성된다. 센서 융합은 각 센서들의 한계를 극복하고 센서의 불확실성을 줄일 수 있다.
센서의 융합은 동종 간의 융합과 이종 간의 융합으로 볼 수 있다. 동종간의 센서 융합은 일반적으로 센서의 측정 영역을 확대하여 데이터를 확보하기 위해 사용된다. 같은 종류간의 융합은 데이터의 특성이 같음으로 직관적인 융합이 가능하다. 다른 종류간의 센서 융합은 다른 특성의 데이터의 융합으로 센서간의 연결점을 찾아야 한다. 일반적인 다른 종류간의 센서 융합은 좌표계 통일을 통해 데이터를 융합한다. Camera와 LiDAR의 경우 LiDAR의 3차원의 데이터를 2차원의 Camera 데이터로 차원을 낮추어 융합한다. 차원이 다른 센서 데이터로 인해 융합 결과에 대한 모호성과 오차를 발생시킨다. 다른 종류간의 센서 융합에서 차원의 축소로 발생하는 융합의 문제점을 해결하기 위한 연구가 필요로 하다.
본 논문의 시스템은 위 언급한 문제점을 해결하기 위해서 센서의 검출 결과가 독립적인 Late Fusion 방법으로 시스템을 구성하고 Camera와 LiDAR의 Semantic Segmentation 정보를 사용한 차원 일치를 통한 객체 융합 방법을 제안한다.
논문은 세부적으로 Camera를 통한 Pseudo LiDAR 와 객체 검출 및 분류 시스템 , LiDAR를 통한 객체 검출 및 분류 시스템, 데이터 융합시스템으로 구성되어 있다.
Camera를 이용한 시스템의 경우 두 개의 Network로 구성되어 있다. Pseudo LiDAR를 위해 Depth를 추종하는 Network를 이용하였다. 논문에서는 Stereo 방식을 사용하였다. 추종한 Depth와 Extrinsic Parameters를 이용하여 Pseudo LiDAR를 구현하였다. Extrinsic Parameters는 Camera를 기준으로 LiDAR의 상관관계를 통해 알 수 있다. Camera의 객체 분류는 Object Detection과 Semantic Segmentation으로 나눌 수 있다. 논문에서는 Semantic Segmentation Network인 DeepLabV3+를 사용하여 객체를 분류하였다. 두 Network를 통해 3차원의 객체 검출 및 분류 정보를 시스템에 제공한다. LiDAR를 이용한 시스템의 경우 단일 Network를 이용한 객체를 검출 및 분류를 진행한다. 사용된 Network는 이전 연구인 DeepLabV3+를 LiDAR 데이터에 맞춰 수정한 Network를 사용하였다. 시스템은 LiDAR 데이터의 객체 검출 및 분류 데이터를 시스템에 제공한다.
센서를 융합하는 방법은 각 시스템의 독립적인 결과를 융합하는 Late Fusion 방식을 사용한다. Bird’s Eye view 표현을 통해 검출된 객체의 영역을 비교하여 센서를 융합한다.
높은 수준의 환경이해를 위해 LiDAR와 Camera의 Depth 정보와 Semantic Segmentation 정보를 활용하여 객체의 경계를 구별하고 Instance Segmentation을 추론하는 방법을 제안하였다.
본 논문에서는 차원이 다른 센서를 같은 차원에서 데이터를 융합하는 방법을 제안하고 OpenDataSet인 KittiDataSet을 이용하여 시스템을 검증한다.

목차 (Table of Contents)

• I. Introduction 1
• 1.1 Background 1
• 1.2 Related Studies 8
• 1.2.1 Monocular and Stereo Depth Estimation 8
• 1.2.2 Invading the Area of Other Types of Sensors 10
• 1.2.3 Sensor Fusion Object Detection 12
• 1.3 Research Purpose 14
• II. Theoretical Approach 17
• 2.1 Pseudo-LiDAR 17
• 2.1.1 Depth Estimation 19
• 2.1.2 HITNet: Hierarchical Iterative Tile Refinement Network for Real-time Stereo Matching 21
• 2.1.3 Pseudo-LiDAR Generation 23
• 2.2 Image Semantic Segmentation 27
• 2.2.1 DeepLabV3+ 31
• 2.3 LiDAR Semantic Segmantation 36
• 2.3.1 LiDAR Point Cloud Representation 38
• 2.3.2 KUL LiDAR Semantic Segmentation Network 42
• 2.3.3 LiDAR Semantic Segmentation Post Processing 46
• 2.4 Instance Segmentation 49
• 2.4.1 Significant Gradient 50
• 2.4.2 Neighbor Connectivity 51
• 2.4.3 Non Maximum Suppression(NMS) 52
• 2.5 Network Acceleration 55
• 2.5.1 TensorRT Library 55
• 2.6 Fusion of Camera and LiDAR Sensors 58
• 2.6.1 BEV Projection 63
• 2.6.2 L-shape Fitting 64
• 2.6.3 ROI Matching 65
• III. Experiments and Results 67
• 3.1 Experiments on the KITTI Dataset 67
• 3.1.1 Test Environments 67
• 3.1.2 Camera Object Detection 69
• 3.1.3 LiDAR Object Detection 77
• 3.1.4 Instance Segmentation 82
• 3.1.5 Network Acceleration 85
• 3.1.6 Camera and LiDAR Sensor Fusion 87
• 3.2 Experiments on KUL Dataset 95
• 3.2.1 Test Environments 95
• 3.2.1 Experimental Results 100
• IV. Conclusions 108

참고문헌 (Reference)

1 국토교통부, "자동차관리법", 법제처국가법령정보센터, 2020