(An) integrated deep learning framework for robust and real-time taillight detection

다국어 초록 (Multilingual Abstract)

In this paper, we present a deep learning model for high-accuracy, high-speed detection of vehicle taillights in traffic. The model consists of three major modules: the lane detector, the car detector, and the taillight detector. Unlike most previously proposed algorithms where hand-coded schemes are used, we have adopted a data-driven approach. Both the pipelined approach and data-driven approach are necessary since we need to deal with both false positives and detection misses without complex hand-crafted logic. Two different implementations are introduced in this paper. In the first implementation, while lane detection was performed using hand-crafted algorithm, we used the ResNet-RRC as the deep neural network for car and taillight detection. In the second implementation, the PINet was used for lane detection, and the YOLOv7 was used for car and taillight detection. The robustness of our model was verified using datasets from Sungkyunkwan University (SKKU) as well as the Karlsruhe Institute of Technology and Toyota Technological Institute (KITTI). Our model works well even in hostile conditions. It achieves detection rates as high as 100% in testing with the SKKU dataset. When using the KITTI 2D Object dataset, the model achieves a taillight detection rate of 96%. The model achieves 100% taillight detection rate on a certain, small subset of the KITTI Tracking dataset. The system achieves real-time speeds not only on large-scale computers but also on embedded machines such as NVIDIA® Jetson™ Orin.

국문 초록 (Abstract)

본 논문에서는 교통 상황에서 차량 미등을 고정밀, 고속으로 감지하기 위한 딥러닝 모델을 제시한다. 이 모델은 차선 인식기(lane detector), 차량 인식기(car detector), 그리고 미등 인식기(taillight detector)의 세 가지 주요 모듈(module)로 구성된다. 손으로 코딩한 체계가 사용되는 이전에 제안된 대부분의 알고리즘과 달리, 오인식 및 인식 실패 사례에 대해 복잡한 손 코딩 논리 없이도 예방할 필요가 있기 때문에, 세 모듈에 걸친 파이프라인 접근 방식 및 데이터 기반 접근 방식을 채택하였다. 본 논문에서는 두 가지 방식으로 구현된 모델이 제안된다. 첫 번째 구현에서는 손으로 코딩된 차선 인식기를 사용한 다음 RRC(Recurrent Rolling Convolution) 아키텍처와 차량 경계 감지를 위한 추적 메커니즘을 사용하고, 그 후 동일한 RRC 아키텍처를 사용하여 감지된 차량의 미등 영역을 추출한다. 두 번째 구현에서는 차선 인식기로 PINet(Point Instance Network)를 사용하고, 차량 및 미등 인식기로 YOLOv7을 사용한다. 이 모델의 견고성은 우리 연구팀에서 직접 촬영한 데이터셋(dataset)과 칼스루에 공과대학 및 도요타 공과대학 (KITTI)에서 수집한 데이터셋으로 검증되었고, 적대적인 조건에서도 잘 작동한다. 우리 데이터셋을 사용한 실험에서 최대 100%의 인식률을 달성하였고, KITTI 2D Object 데이터셋을 사용한 실험에서 96%의 인식률을 달성하였다. 해당 모델은 KITTI Tracking 데이터셋의 서브셋(subset)에서 100% 미등 인식률을 달성한다.

목차 (Table of Contents)

• I. Introduction 1
• II. Related Work 9
• III. The ResNet-RRC and YOLOv7 Architectures 15
• IV. The Taillight Detection Pipeline 18
• A. Overview of the Pipeline 18
• B. The Lane Detection Module 21
• C. The Car Detection Module 30
• D. The Taillight Detection Module 37
• V. Neural Network Quantization Using TensorRT 41
• VI. Experimental Results 42
• A. Experiment Outline 42
• B. Experimental Settings 45
• C. Results of the Lane and Car Module Experiments 49
• D. Results of the Taillight Module Experiment on SKKU Dataset 56
• E. Results of the Taillight Module Experiment on KITTI 2D Dataset 72
• F. Results of the Taillight Module Experiment on KITTI Tracking Dataset 78
• G. Results of the Taillight Pipeline TensorRT Experiment 84
• VII. Conclusions and Future Work 91
• References 93
• Korean Abstract 98