딥 러닝 및 확장 포즈ASM기반 운전자 머리 및 시선 추적에 관한 연구 = Tracking of driver's head and gaze using deep learning and extended pose active shape models

국문 초록 (Abstract)

운전자의 졸음 방지와 부주의 인식은 자동차 사고를 방지할 수 있는 핵심 기술이다. 운전자 상태인식은 시선(Gaze)과 머리 포즈(Head pose) 추적기술 등이 많이 이용한다. 하지만 운전자는 머리 포즈변화가 빈번하며 극심해 기존 얼굴 모델들은 적용이 어렵다. 추가적으로 시선 추적은 눈 깜박임(Eye-blink)도 판단할 필요가 있어 정밀한 분류 성능이 필요하다. 우리는 머리 포즈 변화에 강인한 얼굴 모델들과 딥 러닝을 이용한 운전자 시선 추적 기술을 제안한다.

Active Appearance Model(AAM), Active Shape Model(ASM)과 Constrained Local Model(CLM)과 같은 통계적 얼굴 모델들은 형태가 변형 될 수 있는 객체를 모델링 할 때 매우 효과적인 생성 모델(Generative Model)이다. Point Distribution Model(PDM)을 기반으로 영상이 주어졌을 때 다양한 정렬(Fitting) 알고리즘을 사용해 모델을 변형시킨다. 최근에는 CLM의 확장 형태의 Discriminative Bayesian-ASM(DB-ASM)이 제안되어 정교한 얼굴 특징 추적과 조명변화에 강인함을 가진다. 추가로 CLM을 3D로 확장한 CLM-Z이 제안되어 머리 포즈변화에 강인함을 가졌다. .

그러나 통계적 얼굴 모델들은 입력 영상에 조명 변화, extreme한 포즈 변화 또는 자기 폐색(Self-occlusion)에 성능이 현저하게 떨어진다는 단점이 있다. CLM-Z도 일반적인 포즈 변화에는 강인하지만 extreme한 포즈 에는 성능이 떨어진다. 본 논문은 기존 통계적 얼굴 모델들의 단점을 극복하기 위해 DB-ASM과 머리 포즈 category를 이용한 확장형 얼굴 모델들을 제안한다.
첫 번째 방법은 머리 포즈 category를 인위적으로 생성하고 인공 신경망을 통해 입력된 영상의 category를 분류한다. 분류된 category로 독립 학습된 local feature tracker로 extreme한 머리 포즈 변화에 강건해지는 효과를 기대할 수 있다. 이를 위해 머리 포즈 category는 7개 기준으로 적용했으며 분류를 위한 인공 신경망은 Backpropagation Neural Network (BPNN)을 사용했다. 우리는 위와 같이 머리 포즈 category embedding 기법을 이용한 Extended Pose-ASM(EP-ASM)을 첫 번째로 제안한다.

두 번째 방법은 포즈 category를 인위적으로 나누지 않고 PCA와 K-means clustering기법으로 다양하고 정밀하게 분류하고 딥 러닝 기법으로 BPNN 대체했다. 분류를 위해 딥 러닝 알고리즘 중에 Convolutional Neural Network(CNN)을 이용했다. 이후 fitting 방법은 EP-ASM과 동일하지만 pose category의 다양성을 확보하고 정밀하게 분류할 수 있다. 이와 같이 Pose category와 CNN을 통해 category 분류하는 방법은 최초로 제안된 것이다. 기존 manifold는 느린 처리속도로 오프라인 fitting에 많이 사용되었지만 우리는 CNN을 이용해 실시간 tracking이 가능해졌다. 본 논문은 머리 포즈를 정교하게 분류할 수 있는 clustering 기법과 CNN 분류 성능을 이용한 Manifold Embedding-ASM(ME-ASM)을 추가로 제안한다.

운전자 시선 추적기술은 시선영역(Gaze zone)을 나누어 분류하는 방법을 많이 사용한다. 대부분의 시선 영역 분류는 머리 포즈 변화를 이용한 방법이 많지만 성능이 떨어진다. 이후 홍채(Iris) 추적을 머리 포즈결과와 통합기법이 제안되어 기존보다 강인한 성능을 가진다. 하지만 위의 기술들은 눈 깜박임을 정확하게 분류하지 못하고 머리 포즈변화 없이 발생하는 시선은 분류가 안 된다.

우리는 문제 해결을 위해 9개의 운전자 시선 영역을 설정하고 CNN을 이용해 분류하는 시스템을 제안한다. 제안 기법은 기존 기계학습과 인공 신경망을 이용한 분류 성능 보다 극대화된 성능을 기대할 수 있다. 또한 정밀한 분류가 가능해 머리포즈 변화 없이 발생하는 시선도 분류할 수 있다.

위와 같은 확장형 얼굴 모델들과 CNN을 이용한 시선 영역 분류 시스템은 운전자의 상태인식 기술에 적용 될 수 있다. 본 논문에서는 제안된 기술을 통합한 실시간 어플리케이션을 제작해 적용 가능성을 배가 시켰다.

목차 (Table of Contents)

• 1. 서론 1
• 1.1. 연구 배경 1
• 1.2. 관련 연구 4
• 1.2.1. 운전자 머리포즈 추정 5
• 1.2.2. 딥 러닝 및 차량용 GPU 8
• 1.2.3. 통계적 얼굴 모델 10
• 1.2.4. 운전자 시선 분류 13
• 1.3. 연구 목적 15
• 2. 얼굴 모델 17
• 2.1. Active Appearance Model(AAM) 17
• 2.1.1. AAM Point Distribution Model(PDM) 17
• 2.1.2. Appearance 19
• 2.1.3. Model instance 19
• 2.1.4. Difference of Gaussian AAM(DoG-AAM) 21
• 2.2. Active Shape Model 24
• 2.2.1. ST-ASM 24
• 2.3. Discriminative Bayesian-ASM(DB-ASM) 25
• 2.3.1. DB-ASM PDM 26
• 2.3.2. Local Feature Tracker 29
• 2.3.3. Parameter update 32
• 2.4. Extended Pose-ASM(EP-ASM) 35
• 2.4.1. Pose category 39
• 2.4.2. BackPropagation Neural Netwok(BPNN)을 이용한 Pose Category 분류 41
• 2.5. Manifold Embedding ASM(ME-ASM) 42
• 2.5.1. PCA와 K-means를 이용한 Pose Category 분류 44
• 2.5.2. Embedding Pose Category 45
• 2.5.3. Convolutional Neural Network(CNN) 47
• 2.5.4. CNN 이용한 pose category 분류 51
• 3. 운전자 운전 DB 및 얼굴 모델 성능평가 55
• 3.1. 실험실 DB 55
• 3.2. 운전자 운전 DB의 필요성 56
• 3.3. 운전자 운전 DB 58
• 3.4. 얼굴 모델 성능평가 65
• 4. 운전자 얼굴 검출 및 머리 Pose 추적 81
• 4.1. 얼굴 검출 81
• 4.2. 얼굴 추적 82
• 4.3. 통합 얼굴 추적 시스템 83
• 4.4. 운전자 머리 Pose 추적 84
• 5. 딥 러닝을 이용한 운전자 시선영역 분류 88
• 5.1. 운전자 시선영역 88
• 5.2. 딥 러닝 Library 94
• 5.3. 운전자 시선 영역 분류 결과 95
• 6. 실시간용 딥 러닝 시스템 100
• 6.1. 개발용 딥 러닝 시스템 100
• 6.2. 실시간용 딥 러닝 시스템 102
• 6.3. 통합 시스템 104
• 7. 결론 107
• 참고 문헌 109
• Abstract 124