착용형 IMU 센서의 시계열 데이터를 이용한 작업자의 실시간 작업 행동 인식 시스템 = A Real-time Skeleton-Based Working Activity Recognition System for Wearable Inertial Sensor Data using Time-Series Classifier

국문 초록 (Abstract)

인간 행동 인식(Human Action Recognition, HAR)은 컴퓨터 비전 분야에서 다양한 방식으로 논의되는 중요한 문제로, 다양한 기술과 결합하여 의료, 보안 등의 분야에서 활용되어 왔다. 산업 현장에서는 HAR을 작업자의 행동을 인식하여 작업의 효율성을 향상하고 안전성을 확보하는 데 적용할 수 있다. 본 논문에서는 Minimally Random Convolutional Kernel Transform (MINIROCKET)을 활용하여 IMU 센서 데이터를 통해 취득한 전신 스켈레톤 데이터를 기반으로 실시간 작업 행동을 예측하는 모델을 제안한다. 이 모델 학습에 활용되는 전신 모션 데이터는 실제 작업 현장에서 수집하였으며 데이터 처리 및 라벨링을 거쳐 적용된다. 제안하는 모델에서는 합성곱 커널을 활용하여 이 시계열 데이터의 특징을 추출하고 선형 회귀 모델에 입력하여 실시간 분류를 수행한다. 검증 데이터를 통한 실험 결과, 우리가 제안하는 실시간 작업 행동 인식 시스템은 99.45%의 높은 정확도와 평균 9.5㎳의 높은 실시간성을 가지며 실제 작업 환경에서의 적용 가능성을 확인하였다. 이 시스템은 작업자의 행동을 실시간으로 기록하고 시각화하여 제조 환경에서의 생산성과 훈련에 긍정적인 영향을 미칠 것으로 보인다.

다국어 초록 (Multilingual Abstract)

Human Action Recognition (HAR) is an important issue discussed in various ways in the field of computer vision, and it has been applied in fields such as healthcare and security by combining it with various technologies. In industrial settings, HAR can be utilized to recognize workers' activity to improve efficiency and ensure safety in operations. In this paper, we propose a model for predicting real-time work activities based on full-body skeleton data acquired through IMU sensor data using Minimally Random Convolutional Kernel Transform (MINIROCKET). The full-body motion data used for model training is collected in actual work environments and undergoes data processing and labeling before learning. Our proposed model use convolutional kernels to extract features from this time series data, which are then input into a linear regression model for real-time classification. Based on the experimental results using validation data, our proposed system demonstrate a high accuracy of 99.45% and maintained an averate real-time performance of 9.5㎳. This confirms its applicability in real-world work environments. This system is expected to record and visualize workers' actions in real time, positively impacting productivity and training in manufacturing environments.