2.5D pose invariant face recognition using stereo camera = 스테레오 카메라를 이용한 2.5D 자세 불변 안면인식

국문 초록 (Abstract)

지난 몇 년 동안 집중적으로 연구되어 성장한 정면 얼굴 인식과 비교할 때, 고정된 얼굴인식은 여전히 미해결 문제로 남아있다. 현재의 2차원 얼굴 인식 시스템은 발전하였으나, 포즈나 조명의 상황에 따라서 시스템의 성능이 감소시킨다. 특히 사영 변환이나, 자체 폐색으로 인한 포즈 변화로 얼굴 인식에 문제가 발생한다. 때문에 3차원 얼굴 인식은 얼굴 특징점을 표현 할 수 있기 때문에 2차원 얼굴 인식 문제점을 해결 할 수 있지만, 3차원 얼굴 인식 시스템은 여전히 포즈에 따른 한계점을 가지고 있다. 시스템 성능을 향상시키기 위해 서로 다른 인식 방법을 결합한 hybrid 방식을 도입하여 2차원과 3차원 방식의 보완적인 이점을 활용하고자 하였다. Hybrid 접근법은 기존 연구에서는 적게 다루어진 주제이지만, 어떤 단일의 고정된 얼굴 인식 방법보다 강력하고, 실제 포즈 변환 문제를 해결 하기 위한 경향이 있다. Multi System Camera, Range Camera, 혹은 3차원 Laser Camera 장비들은 얼굴 인식을 함에 있어서 가격이 비싸고 사용하기 어렵다. 때문에 3차원 카메라에서 획득한 3차원 데이터를 사용하여 얼굴 인식에 대한 몇 가지 3차원 얼굴 인식 방식이 보고되었다. 3차원 장비에서 데이터를 구하는 시간 보다 Stereo Camera에서 데이터를 구하는 시간이 짧게 걸리기 때문에 실제 응용할 때 큰 관심을 가지고 있다. 우리의 연구는 고정된 얼굴 인식을 위해 자동 hybrid algorithm을 제안한다. 특징점 추출은 3차원 범위 데이터에 mapping된 2차원 texture 이미지에 구현되어 해당 3차원 특징점을 인식한다. 신속하고 정확한 결과를 확신하기 위해서 2.5차원의 자체 데이터베이스를 활용하여 평가를 수행하였다. 또한 우리는 다른 고정된 얼굴 인식 알고리즘과 비교하여 더 좋은 인식률을 얻었다.

다국어 초록 (Multilingual Abstract)

Compared to frontal face recognition, which has been intensively studied and has gradually matured over the past few years, pose-invariant face recognition remains a major unsolved problem. Current 2D face recognition systems have progressed much but unfortunately in case of pose and illumination the system performances drop. They encounter problems in recognizing faces especially with large pose variations due to projective deformations and self-occlusion. Therefore, 3D face recognition was introduced to be a further evolution of 2D recognition problems across pose, because a more accurate representation of the facial features results in a higher discriminating power. Somehow, 3D face recognition systems still have some limitations across pose depending on certain circumstances. To increase system performances hybrid methods were introduced which combines different recognition approaches, aiming to make use of the complementary advantages of 2D and 3D methods. The hybrid approaches are less studied in the literature but tend to be more powerful than any single pose invariant face recognition method, and hold more promise for solving real-world pose variation problems.
A few 3D face recognition approaches have been reported on face recognition using 3D data acquired by 3D cameras. This is because a multi camera system, range cameras or 3D laser scanner devices are highly expensive and difficult to use for 3D face recognition. Compared to the 3D facial scans captured by 3D devices, 2.5D scans from stereo camera are of great interest in real world applications due to its short image capturing time.
The contribution of our work is a proposed a fully automatic hybrid algorithm for pose invariant face recognition using stereo camera. Feature point extraction is implemented on 2D texture images which are mapped on 3D range data to get corresponding 3D feature points for recognition. Evaluations are conducted for the proposed algorithm on 2.5D proprietary database to ensure fast and accurate results. We have obtained a better recognition rate in contrast to all other pose invariant face recognition methods.

목차 (Table of Contents)

• 1 INTRODUCTION 2
• 1.1 Overview of Face Recognition 2
• 1.2 Need for 3D Face Recognition 4
• 1.3 Motivation 5
• 1.4 Structure of Thesis 6
• 2 LITERATURE SURVEY 7
• 2.1 Pose Invariant Face Recognition 7
• 2.2 2D Approaches 11
• 2.3 3D Approaches 13
• 2.4 Hybrid Approaches 15
• 3 2.5D POSE INVARIANT FACE RECOGNITION USING STEREO CAMERA18
• 3.1 2.5D Pose Invariant Face Recognition Using Stereo Camera Algorithm 18
• 3.2 Mesh Preprocessing 22
• 3.3 Rotation by ICP Algorithm 24
• 3.4 Feature Extraction 29
• 3.4.1 Feature Point Extraction on 2D Images 29
• 3.4.2 Cropping by Face Detection 30
• 3.4.3 2D Feature Extraction (Cornerness Intensity) 30
• 3.4.4 Texture Mapping 32
• 3.5 Face Recognition 33
• 4 THE EXPERIMENT 35
• 4.1 Experimental Setup 35
• 4.2 Construction of Database 36
• 4.3 Experimental Results 41
• 5 CONCLUSION AND FUTURE WORK 50
• 5.1 Conclusion 50
• 5.2 Future Work 52
• REFERENCES 54