Human Action Recognition and Classification in Extreme Conditions

국문 초록 (Abstract)

최근 이미지 분류 모델은 필요한 각자의 상황에 따라 우수한 성능과 정확도를 자랑한다. 주목할 부분은 대부분의 분류 모델에서 사용하는 데이터셋은 대부분 높은 화질의 이미지 및 영상 자료이다. 하지만 군, 재난, 구조, 경계와 같이 특수한 상황에서의 Vision 데이터는 상대적으로 낮은 화질을 가지고 있다. 실제로 해상도, 밝기, 채도가 훌륭한 일반적인 데이터셋에서 80% 이상의 정확도를 보여주는 모델을 대상으로 인위적인 조정을 통해 데이터셋의 수준을 낮출 경우 20% 이하로 정확도가 크게 떨어졌음을 확인했다. 본 연구는 이러한 극단적인, 특수한 상황에서의 Human action recognition 성능을 보장하기 위한 방법을 제안한다. 먼저 기존 데이터셋의 해상도, 밝기, 채도를 인위적으로 조정하여 주어진 특수한 상황에서 획득하는 비전 데이터와 유사한 특성을 갖도록 한다. 이미지 분류 모델은 오리지널 데이터셋과 함께 해당 특성을 흡수한 데이터셋을 함께 학습함으로써 최적의 가중치를 얻고 주어진 상황에서도 성능을 보장하는 방법을 고안했다. 실제로 군 상황을 예로 들어 해상도, 밝기, 채도가 조정된 데이터셋을 함께 학습한 결과, 오리지널 데이터셋으로 학습 및 평가했을 때와 유사한 정확도로 회복하는 것을 확인했다. 이를 통해 특수한 상황에서 제한된 데이터의 부족을 보완하고, 전혀 새로운 도메인이나 사전 학습된 모델이 적합하지 않은 데이터셋에 대해서도 성능을 보장할 수 있다. 이는 군 뿐만 아니라 악천후 속의 재난 상황이나 국가 중요시설 감시, 경계 등의 여러 특수한 상황에서 유용하다.

다국어 초록 (Multilingual Abstract)

Recent advancements in image classification models have demonstrated remarkable performance and accuracy across diverse applications. These models are predominantly trained on high-quality image and video datasets, which serve as benchmarks for their capabilities. However, visual data captured in specialized scenarios, such as military operations, disaster response, or border surveillance, often suffers from lower quality due to challenging environmental conditions. Notably, our analysis revealed a significant drop in performance when the dataset quality was intentionally degraded—models that achieved over 80% accuracy on standard datasets with excellent resolution, brightness, and saturation saw their accuracy plummet to below 20% under these adjustments.
This study proposes a novel approach to ensure reliable human action recognition performance in extreme and specialized scenarios. To achieve this, we artificially adjust the resolution, brightness, and saturation of existing datasets to emulate the characteristics of visual data captured in such challenging environments. By training image classification models on both the original dataset and the modified dataset, we derive optimal weights that maintain robust performance even under these adverse conditions. Using a military scenario as a case study, we demonstrate that incorporating the adjusted datasets during training restores accuracy to levels comparable to those achieved with the original dataset under standard conditions. This approach addresses the limitations posed by insufficient data in specialized scenarios, ensuring reliable performance even when datasets deviate significantly from pre-trained model domains or when entirely new domains are introduced. The proposed method proves applicable not only to military operations but also to other extreme situations such as disaster response under adverse weather conditions, surveillance of critical national infrastructure, and border security.

목차 (Table of Contents)

• I. Introduction 1
• II. Background 4
• 2.1 Model, Mobilenet 4
• 2.2 Dataset, Human Action 5
• 2.3 Model Accuracy under Standard Conditions 7
• III. Model Accuracy in Extreme Conditions 10
• 3.1 Dataset Adjustment 10
• 3.2 Model Accuracy in Extreme Conditions 12
• IV. Proposed Training Method 14
• V. Conclusion 18
• Summary (in Korean) 1
• References 2
• – III –