픽셀 비닝(Pixel-Binning)과 파이프라이닝(Pipelining) 구조를 이용한 ORB 특징점 추출 FPGA 구현 = FPGA implementation of ORB feature point extraction using pixel-binning and pipelining structures

국문 초록 (Abstract)

동시적 위치추정 및 지도작성(Simultaneous Localization and Mapping, SLAM) 기술을 통해 무인 이동체는 주변 환경정보를 분석하고 장애물을 피하거나 경로를 정할 수 있다. 정확도를 높이기 위하여 다양한 센서를 접목하기도 하지만 저가 소형 무인 이동체의 SLAM 기능 구현을 위해서는 카메라만을 사용하는 Visual-SLAM이 많이 연구되고 있다. Visual-SLAM의 기능을 수행하기 위해서는 영상에서 특징점을 추출하여 프레임 간의 매칭을 수행한다. 본 논문에서는 연산량이 적고 상대적으로 빠른 ORB 특징점 추출 알고리즘 가속화 방법을 제시하고 FPGA로 구현한다.
영상에서 특징점을 추출하기 위해서는 카메라에서 촬영되는 프레임의 속도와 상태가 중요하다. 영상의 품질과 카메라는 직접적인 연관이 있지만, 소형 무인 이동체는 무게와 전력에 제한이 있으므로 구조가 단순하며 촬영 화소 수가 낮은 카메라를 사용하는 경우가 많다. 또한, 무인 이동체에서는 특징점 추출 과정에서의 연산량을 줄이기 위해 적은 양의 데이터를 사용하려고 시도하지만, 필요한 데이터만 추출하는 과정 또한 시간이 오래 걸린다.
본 논문에서는, 기존 ORB 특징점 추출 과정 중 디모자이크(demosaic), 다운 샘플링(down sampling), 회색조(grayscale) 변환 과정을 단순화하여 빠르게 처리할 수 있도록 하는 논리적 픽셀 비닝 방법을 제안한다. 제안하는 논리적 픽셀 비닝은 전처리 과정 가속화뿐만 아니라 노이즈 억제 효과가 있어 잡음이 많은 이미지에서도 유효 특징점 추출 성능이 뛰어나다. 실험을 통하여 기존 방식에 비해 논리적 픽셀 비닝의 속도와 특징점 추출 성능이 우수함을 확인하였다. 또한, FPGA를 이용하여 가우시안 블러(Gaussian blur)와 FAST 연산을 병렬화 하고, Bayer 패턴의 픽셀 데이터를 통한 회색조 변환, 픽셀 비닝, ORB 특징점 추출 과정을 파이프라이닝으로 구현하여 속도를 더욱 향상시켰다.