영상기반 인체행위분류를 위한 전이학습 중추네트워크모델 분석 = Transfer Learning Backbone Network Model Analysis for Human Activity Classification Using Imagery

다국어 초록 (Multilingual Abstract)

Recently, research to classify human activity using imagery has been actively conducted for the purpose of crime prevention and facility safety in public places and facilities. In order to improve the performance of human activity classification, most studies have applied deep learning based-transfer learning. However, despite the increase in the number of backbone network models that are the basis of deep learning as well as the diversification of architectures, research on finding a backbone network model suitable for the purpose of operation is insufficient due to the atmosphere of using a certain model. Thus, this study applies the transfer learning into recently developed deep learning backborn network models to build an intelligent system that classifies human activity using imagery. For this, 12 types of active and high-contact human activities based on sports, not basic human behaviors, were determined and 7,200 images were collected. After 20 epochs of transfer learning were equally applied to five backbone network models, we quantitatively analyzed them to find the best backbone network model for human activity classification in terms of learning process and resultant performance. As a result, XceptionNet model demonstrated 0.99 and 0.91 in training and validation accuracy, 0.96 and 0.91 in Top 2 accuracy and average precision, 1,566 sec in train process time and 260.4MB in model memory size. It was confirmed that the performance of XceptionNet was higher than that of other models.

국문 초록 (Abstract)

최근 공공장소 및 시설에서 범죄예방 및 시설 안전을 목적으로 영상정보 기반의 인체의 행위를 분류하는 연구가 활발히 진행되고 있다. 이러한 인체 행위분류의 성능을 향상하기 위해서 대부분의 연구는 전이학습 기반의 딥러닝을 적용하고 있다. 그러나 딥러닝의 기반이 되는 중추 네트워크 모델(Backbone Network Model)의 수가 증가하고 아키텍처가 다양해짐에도 불구하고, 소수의 모델만 사용하는 분위기 때문에 운용목적에 적합한 중추 네트워크 모델을 찾는 연구는 미흡한 실정이다. 본 연구는 영상정보를 기초로 인체 행위를 분류하는 인공지능 모델을 개발하기 위해 최근에 개발된 5가지의 딥러닝 중추 네트워크 모델을 대상으로 전이학습을 적용하고 각 모델의 정확도 및 학습효율 측면에서 비교 및 분석하여 가장 효율이 높은 모델을 제안하였다. 이를 위해, 기본적인 인체 행위가 아닌 운동 종목 기반의 활동적이고 신체접촉이 높은 12가지의 인체 활동을 선정하고 관련된 7,200개의 이미지를 수집하였으며, 5가지의 중추 네트워크 모델에 총 20회의 전이학습을 균등하게 적용하고 학습 과정과 결과성능을 통해 인체 행위를 분류하는데 적합한 중추 네트워크 모델을 정량적으로 비교 및 분석하였다. 그 결과 XceptionNet 모델이 학습 및 검증 정확도에서 0.99 및 0.91로, Top 2 및 평균 정밀도에서 0.96 및 0.91로 나타났으며 학습소요시간은 1,566초, 모델용량의 크기는 260.4MB로 정확도와 학습효율 측면에서 다른 모델보다 높은 성능이 나타남을 확인할 수 있었다. 이러한 결과는 전이학습을 적용하여 인체 행위분류를 진행하는 다양한 연구 분야에 활용되기를 기대한다.

참고문헌 (Reference)

1 Chollet, F., "Xception: Deep learning with depthwise separable convolutions" 1251-1258, 2017

2 Du, H., "Transfer learning for human activities classification using micro-Doppler spectrograms" IEEE 1-3, 2018

3 Al-Stouhi, S., "Transfer learning for class imbalance problems with inadequate data" 48 (48): 201-228, 2016

4 Agarwal, N., "Smart Innovations in Communication and Computational Sciences" Springer 145-155, 2021

5 Li, H, "Multisensor data fusion for human activities classification and fall detection" IEEE 1-3, 2017

6 Howard, A. G., "Mobilenets: Efficient convolutional neural networks for mobile vision applications"

7 Krizhevsky, A., "Imagenet classification with deep convolutional neural networks" 25 : 1097-1105, 2012

8 AlZubi, H. S, "Human activity classification using a single accelerometer" IEEE 1-6, 2014

9 Pucci, L., "Human activities classification using biaxial seismic sensors" 4 (4): 1-4, 2020

10 Tan, M., "Efficientnet:Rethinking model scaling for convolutional neural networks" PMLR 6105-6114, 2019

11 He, K., "Deep residual learning for image recognition" 770-778, 2016

12 Jurj, S. L., "Deep Learning-Based Computer Vision Application with Multiple Built-In Data Science-Oriented Capabilities" Springer 47-69, 2020

13 Lu, Y., "Autonomous human activity classification from wearable multimodal sensors" 19 (19): 11403-11412, 2019