Multimodal approaches for authentication under occlusion and viewpoint variations

다국어 초록 (Multilingual Abstract)

With the advancement of artificial intelligence, biometric authentication systems have become widely used. In particular, uni-modal biometric authentication such as face recognition has become standard in various devices such as mobile phones. However, the effectiveness of uni-modal systems sometimes decreases when applied in real-world environments including occlusion and viewpoint changes. To address this limitation, this dissertation introduces multimodal approaches for authentication through three studies. The three studies focus on the following scenarios: (i) occluded faces, (ii) gait under varying viewpoints, and (iii) combined occlusion and viewpoint variation in face and gait.

The first study presents DemoID, a multimodal authentication model for occluded faces. DemoID integrates facial, vocal, and demographic attributes to identify individuals. By combining voice and demographic attributes, DemoID compensates for occluded facial features and outperforms the unimodal recognition method by improving 9.00% accuracy. This study demonstrates the importance of demographic features and multimodal approaches in improving user authentication.

The second study presents DualGait, a gait-based demographic attributes recognition model. DualGait integrates gait energy image (GEI) and 3D pose data, including 14 viewpoints, to predict the age and gender of individuals. By fusing global and local features between GEI and 3D pose, DualGait captures high and low interactions between them. DualGait achieves state-of-the-art performance compared to existing models and shows great performance from all angles.

The final study introduces the Covariate-Aware Face and Gait (CAFG) dataset, which includes various real-world covariate conditions. To construct the CAFG dataset, I recruited 20 subjects across 65 different conditions, covering variations such as face coverings, items carried, and clothing styles. This dataset is designed to reduce the gap between controlled environments and the real world for face and gait recognition. The experimental results show that the CAFG dataset has challenging factors for face and gait recognition compared to previous benchmarks.

This dissertation extends previous biometric authentication methods from unimodal approaches to multimodal approaches. The three studies within this dissertation contribute to the field of biometric authentication by improving security and reliability in real-world scenarios under occlusion and changing viewpoints.

국문 초록 (Abstract)

인공지능 기술의 발전으로 생체 인증 시스템이 다양한 분야에서 널리 사용되고 있습니다. 특히 얼굴 인식과 같은 단일 모달 기반 생체 인증 기술은 모바일 기기 등에서 표준적인 인증 방식으로 자리 잡고 있습니다. 그러나 단일 모달 시스템은 물건에 의해 가려지거나 시점에 따라서 성능이 저하되는 한계를 보이기도 합니다. 이러한 한계를 극복하기 위해 본 논문은 멀티모달 기반 인증을 위한 세 가지의 연구를 제안합니다. 각 연구는 다음의 시나리오를 중점적으로 다루고 있습니다: 1) 가려진 얼굴 인식, 2) 시점에 따른 보행인식, 3) 가려짐과 시점 변화를 고려한 얼굴과 보행인식.

첫 번째 연구에서는 마스크로 인해 가려진 얼굴을 인식하고자 멀티 모달 인증 모델인 DemoID 모델을 제안합니다. DemoID는 얼굴, 음성, 인구통계학적 속성을 통합하여 사용자를 식별합니다. 음성 데이터와 인구통계학적 속성을 결합함으로써 가려진 얼굴 특징을 보완하며, 단일 모달 인증 모델 대비 9%의 성능향상을 보였습니다. 이를 통해 인구통계학적 속성과 멀티모달 인증방식이 사용자 인증 성능 향상에 중요한 역할을 한다는 점을 입증하였습니다.

두 번째 연구에서는 시점 변화에 따른 보행 데이터를 기반으로 인구통계학적 속성을 인식하는 DualGait 모델을 제안합니다. DualGait는 14개의 시점을 포함하는 보행 에너지 이미지(GEI)와 3D 포즈 데이터를 통합하여 개인의 나이와 성별을 예측합니다. GEI와 3D 포즈 간의 전역 및 지역적 특징을 융합하여 상호작용을 효과적으로 포착하며, 기존 모델 대비 가장 좋은 성능을 기록하였습니다. 특히 14개의 시점에서도 안정적인 성능을 보였습니다.

세 번째 연구에서는 실제 환경의 다양한 공변량 조건을 포함하는 Covariate-Aware Face and Gait (CAFG) 데이터셋을 제안합니다. CAFG 데이터셋은 얼굴 가림, 소지품, 의상 스타일 등 총 65가지의 조건을 포함해 20명의 피험자를 모집하여 구축되었습니다. 이 데이터셋은 통제된 실험 환경과 실제 환경 간의 격차를 줄이는 것을 목표로 하며, 기존 벤치마크와 비교했을 때 얼굴 및 보행 인식에 있어 보다 도전적인 요인을 제공합니다.

본 논문은 기존 단일 모달 생체 인증 방식을 다중 모달 방식으로 확장함으로써, 현실적인 환경에서 가림 및 시점 변화에도 강건한 보안을 제공하는 데 기여합니다. 특히 세 가지 연구는 생체 인증 분야의 보안성과 신뢰성을 향상시키며, 실제 환경에서의 응용 가능성을 높이는 데 의의를 두고 있습니다.

목차 (Table of Contents)

• 1 Introduction 1
• 2 Multi-modal Authentication Model for Occluded Faces in a Challenging Environment 7
• 2.1 Challenges in Human Authentication for Occluded Faces 7
• 2.2 Related Work 10
• 2.3 Dataset 15
• 2.4 DemoID: Multi-modal Authentication Model 18
• 2.5 Experiments and Results 23
• 2.6 Discussion 31
• 3 Integrating Multi-View Silhouette and 3D Pose for Age and Gender Recognition 34
• 3.1 Challenges in Gait-based Age and Gender Recognition under Variations 34
• 3.2 Related Work 37
• 3.3 DualGait: Multimodal-based Age and Gender Recognition Model 39
• 3.4 Experiments and Results 48
• 3.5 Discussion 58
• 4 Multi-Modal Benchmark for Covariate-Aware Face and Gait Recognition 63
• 4.1 Challenges in Face and Gait-Based Recognition Under Different Covariate 63
• 4.2 Related Work 65
• 4.3 CAFG: Covariate-Aware Face and Gait Benchmark 68
• 4.4 Experiments and Results 72
• 4.5 Discussion 76
• 5 Conclusion 80
• 5.1 Ethical Considerations: Data Privacy 81
• References 82
• 초 록 103