Hardware implementation of an optimized HSV algorithm

국문 초록 (Abstract)

자율주행의 연구가 증가함에 따라 자율주행의 검출 능력이 향상되어 안전성이 높아지고 있다. 검출 능력은 자율주행에서 가장 중요한 요소이며 날씨와 상관없이 수행되어야한다. 하지만 안개와 같은 날씨 속에서 검출하는 것은 어렵다. 그래서 안개제거 알고리즘을 통해 가시성을 향상 시켜 검출 능력이 저하되지 않도록 한다. 안개제거 알고리즘은 가시성을 향상시키는 장점을 갖고 있지만 과도한 안개 검출은 이미지에 대한 조도를 저하시켜 고유의 색상을 반영하지 못하는 단점을 갖고 있다. 자율주행은 검출해야할 영역이 많이 존재한다. 예를 들면 차선, 앞차의 정지등, 신호가 있다. 자율주행은 촬영된 영상에 대해 불필요한 대기광, 안개입자 등을 고려해 영상의 가시성을 조절해야 한다. 따라서 안개제거 알고리즘을 통해 얻은 영상은 조도를 조절하고 불필요한 요소들은 RGB 색상 값의 범위와 채도를 조절한다. 이때 해당 범위에 존재하는 값은 HSV 원통형 색 좌표계를 사용하면 효과적으로 추출할 수 있다.
HSV에서 H는 색상(Hue)을 의미하며 원통 윗면의 각도에 따라 Red, Green, Blue의 색상과 혼합된 색상 값이 존재한다. S는 채도(Saturation)를 의미하고 원의 반지름 길이에 해당되며 각 색상의 옅고 짙은 정도를 나타낸다. 마지막으로 V는 명도(Value)로써 원기둥 높이에 해당하며 높이가 낮을 경우 검은색, 높을 경우 고유 R, G, B색 또는 흰색을 나타낸다. 본 논문에서 색상(Hue), 채도(Saturation), 명도(Value)에 각각의 가중치를 적용해 안개제거 알고리즘에 대한 문제점을 해결하고 4K 고해상도 영상에서도 대응이 가능한 HSV 색 보정 하드웨어의 구현을 목표로 한다.
제안하는 하드웨어는 Verilog-HDL(Hardware Description Language)를 이용하여 설계하였고, Mentor Graphics사의 ModelSim을 이용하여 기능에 대해 검증하였다. 또한, Xilinx사의 xc7z045-2ffg900을 목표 보드로 FPGA를 구현하였고, 사용된 Slice Register와 Slice LUTs는 각각 0.59%와 1.42%의 하드웨어 자원을 점유하였다. 목표 보드의 최대 동작 주파수는 286.533MHz이고 최소 주기는 3.490ns로써 4K 영상에서 안정적인 동작이 가능한 것을 확인하였다.

다국어 초록 (Multilingual Abstract)

As research on autonomous driving increases, the ability to detect autonomous driving has improved, and safety has increased. Detection ability is the most important factor in autonomous driving and needs to be performed regardless of the weather. However, it is difficult to detect in foggy weather. Therefore, the fog removal algorithm is used to improve the visibility so that the detection ability does not decrease. While fog removal algorithms have the advantage of improving visibility, excessive fog detection has the disadvantage of reducing the illuminance of the image and not reflecting its own colors. Autonomous driving has many areas to be detected. For example, there is a traffic light such as a lane or a stop of a preceding car. In the autonomous driving, the display of the image must be controlled in consideration of unnecessary standby light, fog particles, and the like for the captured image. Therefore, the image obtained using the fog removal algorithm adjusts the illuminance, and the unnecessary elements adjust the range and saturation of the RGB color values. At this time, values ​​existing within the range can be effectively extracted by using the HSV cylindrical color coordinate system.
H of HSV means Hue, and there is a mixed color value with the colors of Red, Green, and Blue according to the angle of the upper surface of the cylinder. S means Saturation, which corresponds to the length of the radius of the circle, and indicates the shallow and deep degree of each color. Lastly, V corresponds to the height of the cylinder as Value. If the height is low, it indicates black, and if it is high, it indicates the color or white of the original R, G, B. In this paper, we apply the respective weights to Hue, Saturation, and Value to solve the problem of the fog removal algorithm, and aim to implement HSV color correction and hardware that can handle even 4K resolution video.
The provided hardware was designed using Verilog-HDL (Hardware Description Language), and its functions were verified using Mentor Graphics' ModelSim. The FPGA implementation was aimed at Xilinx's xc7z045-2ffg900, and the Slice Registers and Slice LUTs used occupied 0.59% and 1.42% of hardware resources, respectively. The maximum operating frequency of the target board was 286.533MHz, and the minimum cycle was 3.490ns, confirming that stable operation with 4K video was possible.

목차 (Table of Contents)

• Ⅰ.Introduction 1
• Ⅱ.Background Theory 4
• 1.Defog Algorithm 5
• 2.RGB to HSV 5
• 3.HSV Parameters 8
• 4.HSV to RGB 10
• 5.Modified HSV Algorithm for Hardware 12
• 6.Implementation of Software 15
• 7.Modified Algorithm Results 21
• Ⅲ.Hardware Architecture 31
• 1.Overall Hardware Structure 31
• A.Block Diagram of HSV 31
• B.I/O Ports of HSV 32
• 2.RTL Design Description 32
• A.RGB to HSV 33
• B.HSV to RGB 36
• Ⅳ.Results 40
• 1.ModelSim Simulation 40
• 2.Synthetic Result 42
• Ⅴ.CONCLUSION 44
• REFERENCES 45
• Korean Abstract 48
• 감사의 글 50