딥러닝 결합규칙의 상호보완적 앙상블 모델을 적용한 지문 분류 성능 향상에 관한 연구 = Improvement of fingerprint classification using complementary convolutional neural network-based ensemble of deep learning combination rule

국문 초록 (Abstract)

최근 IT기술의 발달로 인공지능 등의 정보통신 기술은 치안서비스의 지능화를 가능케 했다. 경찰청에서는 이런 지능화된 정보통신 기술을 현장에 적용하기 위해 경찰데이터 및 공공데이터를 빅데이터 분석하여 범죄에 대한 다양한 정보를 지원하는 등 현장의 범죄수사 지원 및 예방을 위한 시스템을 개발해왔다. 범죄 수사 과정에서 범죄자를 가려내는 방법은 CCTV, 족흔적, 혈흔, 지문 등 다양한 증거물을 이용하고 있다. 그중에서도 지문은 개인마다 서로 다르고 평생 변하지 않기 때문에 가장 강력한 증거물로 이용되고 있다. 범죄 현장에서 발견된 지문을 대량의 지문DB에서 효과적으로 검색하기 위해서는 검색대상 지문을 문형별로 분류하여 분산저장하는 것이 필요하다. 지문을 문형별로 정확히 분류하여 관리하면 검색 오류를 줄일 수 있을 뿐 아니라 검색시간도 단축되는 등 좀 더 효율적인 검색 결과를 낼 수 있다. 그러나 이러한 지문 분류과정에서 사용되고 있는 규칙기반 알고리즘은 지문 문형과 융선의 수에 따라 세분화된 한국 지문분류체계에 맞게 분류하기에는 한계가 있다. 최근에 이러한 지문분류 분야에 딥러닝 기술을 적용하려는 연구가 진행되어 졌다. 기존 연구에서 비지도 학습인 Sparse-AE(Auto-Encoder)를 적용하거나 단일 CNN 모델을 이용하여 분류 성능을 향상시켰다. 하지만 이러한 연구는 FBI식 지문분류법을 이용하여 지문을 5개 혹은 4개의 범주로 분류하는 것이며, 이는 한국 지문분류법에 적용하기는 제한이 따르게 된다.
본 연구에서는 세분화된 지문문형 분류분야에 딥러닝 기반의 CNN 앙상블 기법을 적용하여 분류 성능을 개선하는 모델을 연구하였다. 지문이미지 학습데이터를 전처리하여 동일한 이미지로 세종류의 학습데이터를 생성하였다. 전처리과정에서 지문문형의 특징정보를 다르게 가지게 되어 각각의 장점을 활용할 수 있으며 미흡한 부분의 상호보완이 가능하다. 지문이미지의 문형을 효과적으로 학습하기 위해 VGGNet과 Densenet 기반의 세부 신경망을 구성하고 이를 앙상블하여 CNN 모델을 구성하여 성능을 평가하였다. 모델을 앙상블하는 방법으로는 각 세부신경망에서 추출된 특성맵을 결합하고 신경망을 추가하여 자동학습한 후 최종 결과를 예측하는 방법을 사용하였다. 또한 단일 이미지를 입력으로 하는 VGGNet, Densenet의 단일 모델과 세종류의 학습데이터를 각각의 서로 다른 모델의 세부신경망의 입력으로 하는 앙상블 모델을 따로 제작한 뒤, 동일한 데이터에 대해 실험한 결과와 비교하여 단일모델 혹은 같은 종류의 모델을 앙상블하는 것보다 서로 다른 모델을 딥러닝 결합규칙을 적용하여 앙상블하였을 때 더 높은 성능을 보임으로써 본 연구에서 제안하는 방법이 효과가 있음을 증명하였다. 또한 본 모델을 업무현장에 적용할 경우 기존 규칙기반 알고리즘에 비해 분류 정확도를 상당히 향상시킬 수 있을 것으로 예상된다.

다국어 초록 (Multilingual Abstract)

With the recent development of IT technology, IT technologies such as artificial intelligence made it possible to intelligentize security services. In order to apply such intelligent information and communication technology to the field, Korean National Police Agency has developed systems for supporting crime investigations in the field, including various information on crime by analyzing police data and public data. In the criminal investigation process, various evidences such as CCTV, foot marks, blood marks, and fingerprints are used to find criminals. Among them, fingerprints are used as the strongest evidence because each person’s fingerprint is different and does not change throughout life. In order to effectively search fingerprints found at crime scenes in a large scale databases, it is necessary to classify by image type and store fingerprints. The fingerprint classification of categorizing fingerprints by classes reduces not only search errors but also search time. However, the rule-based algorithm used in the fingerprint classification has limitations in classifying it according to the Korean fingerprint classification system, which is subdivided according to the fingerprint image pattern and the number of ridges. Recently, research has been conducted to apply deep learning technology to the field of fingerprint classification. In previous studies, the classification performance was improved by applying the unsupervised learning Sparse-AE (Auto-Encoder) or using a single CNN model. However, this research classifies fingerprints into 5 or 4 categories using the FBI fingerprint classification method, which is subject to limitations in application to the Korean fingerprint classification method.
In this thesis, a model that improves classification performance was studied by applying a deep learning-based CNN ensemble technique to the segmented fingerprint type classification field. By preprocessing the fingerprint learning data, three types of learning dataset were created with the same image. In the pre-processing process, the feature of the fingerprint type is different, so that each advantage can be utilized, and insufficient parts can be complemented. In order to effectively learn the pattern of the fingerprint image, neural networks based on VGGNet and Densenet were constructed, and the performance was evaluated by constructing a CNN model by ensemble them. As a method of ensemble the model, after the feature maps extracted from the neural network were combined and the neural network was added, the final result was predicted after automatic learning. In addition, A single model of VGGNet and Densenet and an ensemble model using three types of training data as inputs were separately produced, and then compared with the results of experiments on the same data. By showing a higher performance when ensembles different types of models by applying the deep learning combination rule than a single model or type of ensemble same models has been demonstrated that the method proposed in this paper is effective. In addition, if this model is applied to the workplace, it is expected that the classification accuracy can be significantly improved compared to the existing rule-based algorithm.

목차 (Table of Contents)

• 제1장 서 론 1
• 1.1 연구의 배경 1
• 1.2 연구의 내용 3
• 제2장 지문 및 CNN기반 앙상블 기법 관련 연구 6
• 2.1 지문의 특징과 분류 방법 6
• 2.2 딥러닝 11
• 2.3 앙상블 기법 17
• 2.4 선행 연구 18
• 2.5 기존 연구의 한계점 21
• 제3장 딥러닝 결합규칙을 적용한 CNN 앙상블 모델 설계 23
• 3.1 제안하는 기법의 구성 23
• 3.2 학습에 사용되는 지문 데이터 23
• 3.3 학습데이터의 전처리 24
• 3.4 딥러닝 결합규칙을 적용한 CNN 앙상블 모델 26
• 3.4.1 제안하는 모델의 설계 26
• 3.4.2 세부신경망학습 모델 구성 27
• 3.4.3 Multi-model Ensemble 결합 방법 32
• 3.5 성능평가 37
• 제4장 실험 및 결과 39
• 4.1 실험환경 39
• 4.2 하이퍼파라미터 설정 39
• 4.3 단일 CNN 모델과 앙상블 CNN 모델의 분류 성능 비교 41
• 4.3.1 단일모델 분류 성능 41
• 4.3.2 앙상블 모델의 분류 성능 46
• 4.3.3 기존 알고리즘과의 비교 49
• 제5장 결 론 50
• 참고문헌 52