Towards Robust Federated Learning for Human Activity Recognition under Heterogeneity

국문 초록 (Abstract)

인간 동작 인식 (human activity recognition) 연구는 사람의 일상 생활에서 많은 이점을 제공하는 중요한 분야이다. 모바일 기기의 사용이 증가함과 더불어, 인간 동작 인식은 모바일 기기를 사용하고 있는 수많은 클라이언트에 널리 확산되고 있다. 그러나 데이터 프라이버시 문제와 분산된 데이터 소스에서 본질적으로 존재하는 이질성 (heterogeneity) 문제 때문에 프라이버시에 민감한 대규모 분산 환경에서 인간 동작 인식을 실현하는 것은 여전히 어려운 과제이다. 연합 학습 (federated learning)은 원시 데이터를 공유하지 않고도 여러 클라이언트 간의 협력 모델 (collaborative model) 학습을 가능하게 함으로써 유망한 해결책을 제공하고 있다. 그럼에도 불구하고, 연합 학습 방법을 사용하여 인간 동작 인식을 구현하는 것은 실세계에 존재하는 통계적 이질성, 클라이언트의 참여 이질성, 그리고 데이터 품질 (잘못된 라벨)의 이질성과 같은 이질성 문제로 인하여 도전에 직면하여 있고, 이것은 인간 동작 인식의 성능에 부정적인 영향을 끼치고 있다.
본 논문에서는 세 가지 접근 방식을 통해 이러한 세 가지의 주요 문제를 해결하고자 한다. 먼저, 통계적 이질성을 완화하기 위하여 대조 학습 (contrastive learning)과 적응형 제어 변수 (adaptive control variates)를 결합한 연합 프레임워크 (federated framework)를 제안한다. 대조 학습은 학습 과정에서 더 빠른 수렴을 위하여 지역 및 전역 표현을 정렬하는 반면, 적응형 제어 변수는 학습을 안정화하기 위해 지역 업데이트 (local update)를 조절한다.
둘째로, 고객 참여의 이질성을 해결하기 위해 전문가 혼합 패러다임 (mixture-of-experts paradigm)에서와 같이 글로벌 모델과 개인화된 로컬 모델을 통합한다. 글로벌 모델은 일반화 가능한 패턴을 포착하는 반면, 로컬 모델은 사용자별 행동을 학습하는 방식이다. 예측을 위하여 두 모델의 강점을 결합하는 융합 전략 (fusion strategy)을 채택함으로써 분류 성능을 향상시킨다.
마지막으로, 잘못된 라벨이 있는 클라이언트가 참여하는 연합 학습을 수행하기 위하여 2 단계 학습 시나리오가 포함된 새로운 프레임워크를 제안한다. 첫 번째 단계는 클라이언트를 깨끗한 (clean) 클라이언트 그룹과 노이즈가 있는 (noisy) 클라이언트 그룹으로 분류한다. 두 번째 단계는 두 그룹에 대하여 별도의 학습을 실행한다. 각 라운드에서 노이즈가 있는 파티션 가중치와 함께 스케쥴된 모델 임계값을 사용하여 오류가 수정된 노이즈 라벨을 전체 연합 학습에 통합한다. 또한, 라벨의 예측 성능을 향상시키기 위하여, 특징-라벨 관계 (feature-label relation)와 함께 강인한 불변 특징 (robust invariant feature)을 학습하기 위하여 노이즈 라벨을 입력으로 활용하는 새로운 모델 구조를 제안한다. 제안한 방법의 성능을 검증하기 위하여 다양한 인간 동작 인식에 관한 벤치마크 데이터 세트에 대하여 광범위한 실험을 수행한 결과, 제안한 방법은 기존의 방법들에 비하여 우수한 성능을 보여주었다.

다국어 초록 (Multilingual Abstract)

The study of human activity recognition has numerous benefits for important fields in day-to-day activities. Along with the availability of mobile devices, the benefits of human activity recognition applications can be widespread to numerous clients. However, realizing HAR in privacy-sensitive, large-scale environments remains challenging due to data privacy concerns and the inherent heterogeneity of distributed data sources. Federated Learning (FL) provides a promising solution by enabling collaborative model training across multiple clients without sharing raw data. Nevertheless, the implementation of federated learning in HAR faces additional challenges related to real-world heterogeneity, such as statistical, participation, and data quality (noisy labels) heterogeneity that negatively impact the performance of human activity recognition.
This thesis addresses these key limitations through three approaches. First, to mitigate statistical heterogeneity, a federated framework combining contrastive learning and adaptive control variates is proposed. Contrastive learning aligns local and global representations for faster convergence, while adaptive control variates regulate local updates to stabilize training.
Second, to address client participation heterogeneity, an FL framework inspired by the mixture-of-experts paradigm integrates a global model with personalized local models. The global model captures generalizable patterns, whereas the local model learns user-specific behaviors. For predictions, a fusion strategy combines the strengths of both models, leading to improved classification performance.
Finally, a new framework with a two-stage training scenario is proposed to perform FL training with clients that carry noisy labels. The first stage identifies separating the client into clean and noisy client groups. The second stage consists of separate training for both groups. In each round, a scheduled model threshold, along with a noisy partition weight, helps to carefully integrate the corrected noisy label into the overall FL training. Additionally, a new model structure that utilizes noisy labels as input is proposed to learn robust invariant features along with the feature-label relation to enhance the prediction of the true label.
Comprehensive experiments on multiple benchmark HAR datasets validate the effectiveness of the proposed methods under various real-world constraints.

목차 (Table of Contents)

• 1 Introduction 1
• 1.1 Background 1
• 1.2 Motivation 7
• 1.3 Research goals 9
• 1.4 Scope of this thesis 9
• 1.5 Contributions 10
• 1.6 The organization of this thesis 11
• 2 Preliminary and literature review 13
• 2.1 Human Activity Recognition (HAR) 13
• 2.1.1 Vision-based HAR 13
• 2.1.2 Sensor-based HAR 14
• 2.1.3 Type of sensors for human activity recognition . 16
• 2.1.4 Pipeline of sensor-based HAR dataset creation . 18
• 2.2 Federated learning 21
• 2.2.1 Statistical heterogeneity 26
• 2.2.2 Participation heterogeneity 27
• 2.2.3 Data quality heterogeneity (noisy label) 28
• 3 Model Contrastive Learning and Adaptive Control Variates 30
• 3.1 Problem definition 30
• 3.2 Methodology 32
• 3.2.1 Model architecture 32
• 3.2.2 Local training phase 33
• 3.2.3 Local parameter update phase 34
• 3.2.4 FL algorithm 36
• 3.3 Experiments 39
• 3.3.1 Dataset 39
• 3.3.2 Experimental setup 41
• 3.3.3 Performance comparison 42
• 3.3.4 Convergence Speed Comparison 43
• 3.3.5 Handling real-world HAR skewness 45
• 3.3.6 Visualization of extracted embeddings 49
• 3.4 Discussion 49
• 4 Common and personalized model 53
• 4.1 Problem definition 53
• 4.2 Methodology 54
• 4.2.1 Common model 54
• 4.2.2 The personalized model 56
• 4.2.3 The fusion layer 56
• 4.2.4 PerCom FL algorithm 58
• 4.3 Experiments 59
• 4.3.1 Baselines 59
• 4.3.2 Implementation details 62
• 4.3.3 Comparison with other baselines 63
• 4.3.4 Communication efficiency comparison 66
• 4.3.5 T-SNE inspection 67
• 4.4 Discussion 68
• 5 Handling noisy label 71
• 5.1 Problem definition 71
• 5.2 Methodology 72
• 5.2.1 Model structure 73
• 5.2.2 Noisy client detection 79
• 5.2.3 Client training 81
• 5.2.4 Update aggregation 87
• 5.3 Experiments 88
• 5.3.1 Experiment setup 89
• 5.3.2 Experiment variation 90
• 5.3.3 Evaluation at low percentage of noisy clients (Γ = 0.4) 91
• 5.3.4 Evaluation at high percentage of noisy clients (Γ = 0.7) 93
• 5.3.5 Training convergence comparison 96
• 5.3.6 Noisy client contribution 99
• 5.3.7 Label accuracy correction 101
• 5.3.8 Computation time comparison 102
• 5.4 Discussion 105
• 6 Conclusion and Future Work 108
• 6.1 Conclusion 108
• 6.2 Future work 110