영상 내 차량의 위치 및 촬영 각도에 강인한 차량 번호판 인식 시스템

홍성은,황성수,김성대,Hong, Sungeun,Hwang, Sungsoo,Kim, Seongdae 대한전자공학회 2012 전자공학회논문지 Vol.50 No.8

최근 지능형 교통 시스템을 다양한 상황 및 환경에 적용하려는 시도가 증가함에 따라, 다수의 지능형 교통 시스템에서 사용되고 있는 차량 번호판 인식 과정이 입력영상 내 차량의 위치 및 촬영 각도와 관계없이 정확하게 이루어질 필요성이 있다. 본 논문에서는 현행 번호판의 규격정보를 활용하여 오검출된 번호판 후보 영역의 제거 및 번호판 내 글자추출을 수행하고, 한글 특성을 고려한 글자인식을 수행하는 차량 번호판 인식 시스템을 제안한다. 제안하는 시스템은 입력영상에서 검출한 번호판 후보 영역들에 대해서 기울기 보정을 수행한 후, 후보 영역 내 글자로 판명되는 객체의 위치 및 형태 정보를 번호판 규격정보와 비교 검증하는 과정을 거쳐 오검출된 번호판 영역을 제거한다. 또한 글자추출 단계에서는 영역 내 밝기 변화를 고려한 이진화를 수행한 뒤, 번호판 규격정보 및 번호판 영역의 종횡비, 배경색, 투영정보 등을 종합적으로 활용하여 번호판 영역 내 글자를 정확하게 추출한다. 그리고 번호판 영역 내 글자들 중 오인식률이 높은 한글의 인식에 있어서, 형태적 유사성으로 그룹을 나눈 뒤, 주요 특징점들을 토대로 계층을 좁혀 나가는 super-class 개념을 적용하여 한글 인식을 수행한다. 성능 검증을 위해 다양한 배경에서 촬영된 영상에 대해서 실험을 수행한 결과 제안하는 번호판 인식 시스템이 영상 내 차량의 위치 및 촬영 각도의 변화에 강인한 것을 확인할 수 있었다. Recently, various attempts have been made to apply Intelligent Transportation System under various environments and conditions. Consequently, an accurate license plate recognition regardless of vehicle location and viewing angle is required. In this paper, we propose a novel license plate recognition system which exploits a) the format of license plates to remove false candidates of license plates and to extract characters in license plates and b) the characteristics of Hangul for accurate character recognition. In order to eliminate false candidates of license plates, the proposed method first aligns the candidates of license plates horizontally, and compares the position and the shape of objects in each candidate with the prior information of license plates provided by Korean Ministry of Construction & Transportation. The prior information such as aspect ratio, background color, projection image is also used to extract characters in license plates accurately applying an improved local binarization considering luminance variation of license plates. In case of recognizing Hangul in license plates, they are initially grouped according to their shape similarity. Then a super-class method, a hierarchical analysis based on key feature points is applied to recognize Hangul accurately. The proposed method was verified with high recognition rate regardless of background image, which eventually proves that the proposed LPR system has high performance regardless of the vehicle location or viewing angle.

영상 내 차량의 위치 및 촬영 각도에 강인한 차량 번호판 인식 시스템

홍성은(Sungeun Hong),황성수(Sungsoo Hwang),김성대(Seongdae Kim) 대한전자공학회 2012 전자공학회논문지 Vol.49 No.12

최근 지능형 교통 시스템을 다양한 상황 및 환경에 적용하려는 시도가 증가함에 따라, 다수의 지능형 교통 시스템에서 사용되고 있는 차량 번호판 인식 과정이 입력영상 내 차량의 위치 및 촬영 각도와 관계없이 정확하게 이루어질 필요성이 있다. 본 논문에서는 현행 번호판의 규격정보를 활용하여 오검출된 번호판 후보 영역의 제거 및 번호판 내 글자추출을 수행하고, 한글 특성을 고려한 글자인식을 수행하는 차량 번호판 인식 시스템을 제안한다. 제안하는 시스템은 입력영상에서 검출한 번호판 후보 영역들에 대해서 기울기 보정을 수행한 후, 후보 영역 내 글자로 판명되는 객체의 위치 및 형태 정보를 번호판 규격정보와 비교 검증하는 과정을 거쳐 오검출된 번호판 영역을 제거한다. 또한 글자추출 단계에서는 영역 내 밝기 변화를 고려한 이진화를 수행한 뒤, 번호판 규격정보 및 번호판 영역의 종횡비, 배경색, 투영정보 등을 종합적으로 활용하여 번호판 영역 내 글자를 정확하게 추출한다. 그리고 번호판 영역 내 글자들 중 오인식률이 높은 한글의 인식에 있어서, 형태적 유사성으로 그룹을 나눈 뒤, 주요 특징점들을 토대로 계층을 좁혀 나가는 super-class 개념을 적용하여 한글 인식을 수행한다. 성능 검증을 위해 다양한 배경에서 촬영된 영상에 대해서 실험을 수행한 결과 제안하는 번호판 인식 시스템이 영상 내 차량의 위치 및 촬영 각도의 변화에 강인한 것을 확인할 수 있었다. Recently, various attempts have been made to apply Intelligent Transportation System under various environments and conditions. Consequently, an accurate license plate recognition regardless of vehicle location and viewing angle is required. In this paper, we propose a novel license plate recognition system which exploits a) the format of license plates to remove false candidates of license plates and to extract characters in license plates and b) the characteristics of Hangul for accurate character recognition. In order to eliminate false candidates of license plates, the proposed method first aligns the candidates of license plates horizontally, and compares the position and the shape of objects in each candidate with the prior information of license plates provided by Korean Ministry of Construction & Transportation. The prior information such as aspect ratio, background color, projection image is also used to extract characters in license plates accurately applying an improved local binarization considering luminance variation of license plates. In case of recognizing Hangul in license plates, they are initially grouped according to their shape similarity. Then a super-class method, a hierarchical analysis based on key feature points is applied to recognize Hangul accurately. The proposed method was verified with high recognition rate regardless of background image, which eventually proves that the proposed LPR system has high performance regardless of the vehicle location or viewing angle.

임베디드 시스템에서 효율적인 차량 번호판 인식 시스템

류정원,이재흥 국제차세대융합기술학회 2021 차세대융합기술학회논문지 Vol.5 No.1

딥러닝의 발전과 함께 영상 기반의 많은 분야에서 개선된 연구들이 제안되고 있다. 차량 번호판 인식 방 법에도 딥러닝을 적용하여 높은 성능을 보이고 있지만 대부분이 매우 많은 연산량을 필요로 하여 자원이 제한되 는 임베디드 시스템 같은 환경에서의 동작이 어려운 문제가 있다. 이러한 문제를 해결하기 위해 본 논문에서는 임 베디드 시스템에서도 높은 성능을 보여주는 차량 번호판 인식 시스템을 제안한다. 제안하는 차량 번호판 인식 시 스템은 경량 백본과 최적화된 검출 네트워크를 결합한 차량 번호판과 번호를 검출하는 2개의 검출기와 번호를 인 식하는 분류 네트워크로 구성된다. 검증 데이터셋에 대한 실험에서 제안된 차량 번호판 인식 시스템은 98%의 높 은 정확도로 Nvidia RTX 2070 GPU에서 58FPS, Nvidia Jetson Nano에서 11FPS의 속도를 달성한다. With the development of deep learning, improved studies have been proposed in many fields based on images. Although deep learning is applied to the vehicle license plate recognition method, it shows high performance, but most of them require a very large amount of computation, so there is a problem that it is difficult to operate in an environment such as an embedded system where resources are limited. To solve this problem, this paper proposes a vehicle license plate recognition system that shows high performance even in an embedded system. The proposed vehicle license plate recognition system is composed of a vehicle license plate combining a lightweight backbone and an optimized detection network, two detectors for detecting the number, and a classification network for recognizing the number. The vehicle license plate recognition system proposed in the experiment on the validation dataset achieves a speed of 58 FPS on the Nvidia RTX 2070 GPU and 11 FPS on the Nvidia Jetson Nano with a high accuracy of 98%.

저 조도 영상에서의 말레이시아 차량 번호판 인식

김진호(Jin-Ho Kim) 한국콘텐츠학회 2013 한국콘텐츠학회논문지 Vol.13 No.10

말레이시아 차량 번호판에는 플라스틱으로 제작된 영문 및 숫자들이 엠보싱 형태로 부착되어있으며 수평 수직방향 문자들 사이 간격이 조밀하게 배치된 경우가 많다. 따라서 조도가 낮은 차량 영상에서는 번호판 문자 획 정보 추출이 어려워질 수 있다. 본 논문에서는 저 조도에서 촬영된 말레이시아 차량 영상에서 번호판을 인식하는 알고리즘을 제안하였다. 저 조도에서 촬영된 차량 영상에서도 문자 획 연결 요소를 정확하게 추출하기 위해 DoG 필터링 기반 문자 획 생성 기법을 도입하였다. 문자 획 연결요소 해석을 통한 번호판 후보 영역을 추정한 다음 문자 영역을 분할하고 인식을 하였다. 쿠알라룸푸르 도로상에서 조명이 부착되지 않은 IR 카메라를 사용하여 주야로 촬영한 6,046장의 차량 영상을 대상으로 번호판 인식 실험을 수행하였다. 제안된 알고리즘을 이용하여 실험해 본 결과 번호판 인식 성능이 961%로 나타났다. In the Malaysian license plates, alphabets and numerals which are made by plastic, are adhered to a frame as embossing style and occasionally characters in horizontal, vertical directions are aligned with narrow space. So the extraction of character stroke information can be hard in the vehicle images of low illumination intensity. In this paper, Malaysian license plate recognition algorithm for low illumination intensity image is proposed. DoG filtering based character stroke generation method is introduced to derive exact connected components of strokes in the vehicle image of low illumination intensity. After localization of plate by connected component analysis, characters are segmented and recognized. Algorithm is experimented for the 6,046 vehicle images captured in Kuala Lumpur by IR camera without using any special light during day and night. The experimental results show that recognition accuracy of plates is 96.1%.

에지기반 세그먼트 영상 생성에 의한 차량 번호판 인식 시스템

김진호(Jin-Ho Kim),노덕수(Duck-Soo Noh) 한국콘텐츠학회 2012 한국콘텐츠학회논문지 Vol.12 No.3

스마트시티 프로젝트의 일환으로 실시간 차량 번호판 인식에 관한 연구들이 활발하게 진행되고 있다. 도로상에 설치된 CCTV에서 트리거 신호 없이 주행하는 차량 영상을 획득할 경우에는 번호판의 기하학적 왜곡이나 화질의 저하가 발생하여 번호판 인식이 어려워 질 수 있다. 본 논문에서는 트리거 신호를 이용하지 않은 상태에서 입력되어 기하학적 왜곡이나 화질의 저하가 발생된 차량 영상에도 강한 에지기반 문자 세그먼트 영상생성 기법의 차량 번호판 인식시스템을 제안하였다. 제안한 실시간 차량 번호판 인식 알고리즘을 도로상에 설치된 CCTV에 구현하고 일주일 동안 번호판 인식 실험을 수행해 본 결과 1일 평균 1,535대의 통과 차량에 대해서 97.5%의 번호판 검출률을 얻을 수 있었으며 검출된 번호판에 기록된 문자들의 99.3%를 인식할 수 있었다. The research of vehicle license plate recognition has been widely studied for the smart city project. The license plate recognition can be hard due to the geometric distortion and the image quality degradation in case of capturing the driving car image at CCTV without trigger signal on the road. In this paper, the high performance vehicle license plate recognition system using edge-based segment image is introduced which is robust in the geometric distortion and the image quality degradation according to non-trigger signal. The experimental results of the proposed real time license plate recognition algorithm which is implemented at the CCTV on the road show that the plate detection rate was 97.5% and the overall character recognition rate of the detected plates was 99.3% in a day average 1,535 vehicles for a week operation.

인공지능 학습용 차량번호 생성 프로그램 개발

이근상,백종학,조기성 한국지적정보학회 2023 한국지적정보학회지 Vol.25 No.2

UFor artificial intelligence-based license plate recognition, learning data is essential. However, in Korea, it is difficult to collect license plate data for learning due to the ‘Personal Information Protection Act’. In this study, a license plate generation program for AI learning was developed to solve this problem. The developed program includes an object generation unit, a virtual license plate generation unit, and a license plate generation unit for learning. And through this, it was possible to generate a large number of license plates for learning in a form very similar to license plates acquired in the actual field. In addition, a CNN algorithm-based license plate recognition system was developed, and the accuracy of vehicle license plates collected in the field was verified based on the learning data generated through the license plate generation program for learning. As a result of the accuracy evaluation, it was confirmed that the numbers of 496 vehicles, which correspond to about 99.2% of a total of 500 vehicles, matched. Therefore, it was found that the license plate generation program developed in this study can generate the learning data necessary for AI-based license plate recognition very effectively. 인공지능 기반의 차량번호 인식을 위해서는 필수적으로 학습용 데이터가 필요하다. 그러나 국내에서는 ‘개인정보보호법’으로 인해 학습용 차량 번호판 데이터 확보가 어려운 실정이다. 본 연구에서는 이러한 문제를 해결하기 위해 인공지능 학습용 차량번호판 생성 프로그램을 개발하였다. 개발된 프로그램은 객체 생성부, 가상번호판 생성부, 학습용 번호판 생성부로 포함하고 있으며, 이를 통해 실제 현장에서 취득된 번호판과 매우 유사한 형태의 학습용 번호판을 대량으로 생성할 수 있었다. 또한 합성곱 신경망 알고리즘 기반의 차량번호 인식 시스템을 개발하였으며, 학습용 차량번호판 생성 프로그램을 통해 생성한 학습 데이터를 기반으로 실제 현장에서 수집한 차량 번호판에 대한 정확도를 검증하였다. 평가 결과, 총 500대 차량 중 약 99.2%에 해당되는 496대 차량의 번호가 일치함을 확인할 수 있었다. 따라서 본 연구에서 개발한 번호판 생성 프로그램은 인공지능 기반의 차량번호 인식에 필요한 학습용 데이터를 매우 효과적으로 생성해 줄 수 있음을 알 수 있었다.

명암도 변화값과 기하학적 패턴벡터를 이용한 차량번호판 인식

이응주,석영수,Lee, Eung-Ju,Seok, Yeong-Su 한국정보처리학회 2002 정보처리학회논문지B Vol.9 No.3

본 논문에서는 명암도 변화값과 기하학적 패턴벡터를 이용하여 실시간으로 차량번호판을 추출하고 인식하는 알고리즘을 제안하였다. 일반적으로 차량영상에서는 번호판 영역에서 문자와 배경이 뚜렷하게 구별되고, 일정한 명암도 변화를 가지면서 번호판 이외의 다른 영역보다 밀집도가 높은 특성이 있다. 따라서 본 논문에서는 이러한 성질을 이용하여 먼저 명암도 변화값을 사용하여 번호판을 추출하도록 하였으며 영상 입력과정에서 외부 환경에 따라 차량영상이 어둡거나 밝게 입력될 경우에도 동일한 추출 성능을 얻기 위하여 밝기 보정 과정을 수행하였다. 또한 추출된 번호판 영역으로부터 입력 문자의 크기, 이동 및 회전에 무관한 특성 추출을 위해 번호판 영역에서 잡음 제거와 세선화를 적용하여 전처리후 제안한 기하학적 패턴벡터를 이용하여 차량번호를 인식하도록 하였다. 제안한 방법들을 적용한 결과 기존의 원형 패턴벡터 보다 계산 속도가 빠르며, 차량번호판의 크기와 잡음에 무관하며, 불규칙한 조명 상태에서도 정확한 차량 번호를 인식할 수 있었다. In this paper, we propose the react-time car license plate recognition algorithm using intensity variation and geometric pattern vector. Generally, difference of car license plate region between character and background is more noticeable than other regions. And also, car license plate region usually shows high density values as well as constant intensity variations. Based on these characteristics, we first extract car license plate region using intensity variations. Secondly, lightness compensation process is performed on the considerably dark and brightness input images to acquire constant extraction efficiency. In the proposed recognition step, we first pre-process noise reduction and thinning steps. And also, we use geometric pattern vector to extract features which independent on the size, translation, and rotation of input values. In the experimental results, the proposed method shows better computation times than conventional circular pattern vector and better extraction results regardless of irregular environment lighting conditions as well as noise, size, and location of plate.

신중한 분류기와 학습 예제 가중치 조정을 이용한 차량번호판인식시스템의 인식성능 향상 방안

백남철(Baik Nam Cheol),이상협(Lee Sang Hyup),류광렬(Ryu Kwang Ryul) 대한토목학회 2006 대한토목학회논문집 D Vol.26 No.4D

차량번호판인식시스템은 무인 카메라 등의 영상장치를 통하여 입력된 차량 이미지로부터, 차량번호판 정보를 읽어내는 시스템이다. 이러한 차량번호판인식시스템의 응용 시스템 중 과속차량 단속과 같은 일부 응용 시스템은 번호판의 글자나 숫자를 다른 글자나 숫자로 잘못 인식할 경우 심각한 문제를 발생시킬 수 있다. 이러한 문제를 피하기 위해 우리는 인식 결과에 대한 신뢰도가 낮은 경우 인식을 포기 또는 위임하는 ‘신중한 분류기(Cautious Classifier)’를 이용하여 인식시스템을 구성하였다. 또한 학습 예제의 가중치를 조정하는 방법을 사용하여 이러한 신중한 분류기의 성능을 향상시켰다. Vehicle License Plate Recognition System reads information from vehicles license plate using image detection devices. Of many applications provided by Vehicle License Plate Recognition System, some, such as speed enforcing system, can be problematic when the system incorrectly scans letters or numbers from a vehicle's license plate. Using Cautious Classifier avoids such problems by discarding the scanned information when the confidence level is doubted to be low. This study develops the License Plate Recognition System using Cautious Classifier and investigates effectiveness of applying the Weighted Instance Method to improve the performance of Cautious Classifier.

경찰의 와스(WASS)를 활용한 차량수배의 법적 문제

손재영 한국경찰연구학회 2023 한국경찰연구 Vol.22 No.2

This article examines the legal issues raised by the Wanted Automobile Scanning System (WASS). The license plate number and vehicle photo corresponds to personal information that can identify the driver. Automatically recognizing the license plate number of a vehicle passing through a place where CCTV and automatic license plate reader are installed to check whether it is wanted violates the constitutionally guaranteed right to self-determination of personal information. In this case, regardless of whether there is a number that matches the information entered in the wanted vehicle database (DB), the basic rights of everyone whose vehicle number is automatically recognized, compared, and searched are violated. Using police's WASS can be permitted only for the investigation of crimes specifically stipulated by law or for the protection of important legal interests, and cannot be implemented without specific charges or risks. Since there is no explicit provision allowing WASS in the current law, if the legislature prepares an explicit provision regarding this, it is necessary to prepare a legal basis that satisfies the principle of clarity, excessive prohibition and due process. 본 논문에서는 경찰의 수배차량검색시스템(Wanted Automobile Scanning System), 일명 와스(WASS)를 활용한 경찰의 차량수배가 갖는 법적 문제를 고찰하였다. 차량번호와 차량이미지는 운전자를 식별할 수 있게 하는 개인정보에 해당한다. 경찰이 수배차량과의 일치여부를 확인하기 위하여 차량방범용 CCTV와 차량번호자동판독기가 설치된 장소를 지나는 차량의 번호를 자동으로 인식하는 것은 헌법상 보장된 개인정보자기결정권을 침해한다. 이 경우에는 수배차량 데이터베이스(DB)에 입력되어 있는 정보와 일치하는 번호가 있는지 여부와 관계없이 자신의 차량번호가 자동으로 인식되고 비교·검색되는 모든 사람의 기본권이 침해된다. 와스(WASS)를 활용한 경찰의 차량수배는 법률에 특별히 규정된 범죄의 수사나 사람의 생명, 신체, 자유, 성적 자기결정과 같은 중요한 법익의 보호를 위해서만 허용될 수 있으며, 구체적 혐의나 위험 없이는 시행될 수 없다. 현행법에는 경찰의 와스(WASS)를 활용한 차량수배를 허용하는 명문의 규정이 존재하지 않는바, 입법자가 이에 관한 명문의 규정을 마련하는 경우에는 명확성원칙과 과잉금지원칙 및 적법절차원칙을 충족하는 법률상의 수권근거를 마련하는 것이 필요하다.

자동차 번호판 인식 및 스마트폰을 활용한 객체지향 설계 기반의 효율적인 차량 관리 시스템

정세훈,권용욱,심춘보,Jung, Se-Hoon,Kwon, Young-Wook,Sim, Chun-Bo 한국전자통신학회 2012 한국전자통신학회 논문지 Vol.7 No.5

In this paper, we propose an efficient car management system based on object-oriented modeling using car number recognition and smart phone. The proposed system perceives car number of repair vehicle after recognizing the licence plate using an IP camera in real time. And then, existing repair history information of the recognized car is be displayed in DID. In addition, maintenance process is shooting video while auto maintenance mechanic repairs car through IP-camera. That will be provide customer car identification and repairs history management function by sending key frames extracted from recorded video automatically. We provide user graphic interface based on web and mobile for your convenience. The module design of the proposed system apply software design modeling based on granular object-oriented considering reuse and extensibility after implementation. Car repairs center and maintenance companies can improve business efficiency, as well as the requested vehicle repair can increase customer confidence. 본 논문에서는 자동차 번호판 인식 및 스마트폰을 활용한 객체 지향 설계 기반의 효율적인 차량 관리 시스템을 제안한다. 제안하는 시스템은 수리 차량 입고 시 IP카메라를 이용하여 실시간으로 자동차 번호판을 인식하고 인식된 차량의 기존 수리 이력 정보를 DID에 출력한다. 또한 차량 정비사가 수리 차량을 정비하는 동안 IP 카메라를 통해 수리 과정을 동영상으로 촬영하며, 촬영된 동영상 중에 프레임을 추출하여 사용자의 스마트폰에 이미지를 전송함으로써 고객 차량 확인 및 수리 이력 관리 기능을 제공한다. 사용자의 편의성을 제공하기 위해 웹 및 모바일 기반의 사용자 인터페이스를 제공한다. 제안하는 시스템의 설계는 구현 후 재사용성과 확장성을 고려하여 모듈을 세분화한 객체 지향 기반의 소프트웨어 설계 모델링을 적용한다. 제안하는 시스템을 통해 차량 수리 센터 및 정비업체는 업무의 효율성을 향상시킬 수 있으며, 아울러 차량 수리를 요청한 고객의 신뢰도를 높일 수 있다.