MediaPipe로 추출한 신체 Landmark 및 IMU를 이용한 멀티모달 인간행동인식 딥러닝 모델 연구

김예은,최재용 한국차세대컴퓨팅학회 2024 한국차세대컴퓨팅학회 논문지 Vol.20 No.3

딥러닝을 활용한 인간 행동 인식(Human Activity Recognition)에 관한 연구는 활발하게 진행되고 있다. 다양한 인공지능 기법을 활용하여 영상 속 신체의 랜드마크를 검출하여, 사람의 자세를 추정하여 인간 행동 인식을 예측한 다. 하지만 카메라 위치나 밝기 등 다양한 외란에 의해 영상 정보만을 활용한 인간 행동 인식 예측은 정확도가 낮아 지는 문제점이 있다. 따라서, 본 연구에서는 인간 행동 인식률을 높이기 위해 RGB-D 카메라 기반의 Landmark 추출과 IMU를 통합한 멀티모달 시스템을 제안한다. IMU 센서와 RGB-D 카메라를 활용하여, 각기 다른 10종류의 동작을 수집하였다. IMU 센서에서 3축 가속도 데이터를 추출하고, Mediapipe 인공지능 프레임워크를 이용하여 영상 데이터에서 프레임 단위로 신체에서 랜드마크 33개의 3축 위치 좌표 데이터를 추출하여 동작 데이터를 시계열 데이터로 통일하였다. 영상 데이터와 IMU 센서의 가속도 데이터를 하나의 시계열 데이터로 통합하고, 이 과정에서 슬라이딩 윈도우 및 선형 증강 등의 기법을 활용하여 데이터의 양을 증강하였다. 이를 본 연구에서 새롭게 제안한 1D-CNN 및 LSTM 신경망을 통해 학습을 진행하였다. 또한 동작의 특성에 따라 신경망의 학습에 사용한 랜드마 크의 개수를 제한하거나, IMU 데이터 및 랜드마크 데이터와 통합 데이터를 학습할 때 각각 분류기의 성능을 확인 하였다. 그 결과, 랜드마크와 IMU 센서 데이터를 통합한 동작 데이터를 학습시켰을 때, 분류 인공신경망에서 향상 된 분류 성능을 내는 것을 확인하였다. The rapid development of AI-based computer vision and deep learning technologies have been proven invaluable for Human Activity Recognition (HAR). However, under the various environmental conditions such as light-interference, image occlusion, the prediction performance of Human Activity Recognition can be decreased dramatically. This paper propose an RGB-D based Landmark detection with IMU sensor systems for multi-modal deep learning analysis to increase the performance of HAR. 10 different types of human motions are collected using the proposed RGB-D with IMU sensor system. The 3-axis accelerometer data are extracted from IMU sensor. And by applying AI framework, called MediaPipe, the 3-axis location data of 33 landmarks of the body extracted as the input datasets for the HAR classification. The extracted data and the motion data are unified into time series sequential data. In order to increase the training dataset for the HAR classification, the estimated pose data from MediaPipe and the acceleration data from the IMU sensor are not only integrated into the same size of the sequential data, but also sliding window and linear interpolation are used. Furthermore, 1D-CNN and LSTM neural network are implemented for the HAR classification. As a result, the proposed RGB-D with IMU sensor system has increased the classification performance for Human Activity Recognition than applying the features obtained from the camera only.

관성 측정 장치의 융합연구 형태와 방법에 관한 체계적 고찰

이혜식,박혜연 한국융합학회 2020 한국융합학회논문지 Vol.11 No.3

본 연구의 목적은 관성 측정 장치(Inertial Measurement Unit, IMU)의 융합연구 형태와 방법에 대한 연구를 체계적 문헌고찰 방법으로 분석하여 IMU의 형태와 방법에 대한 경향을 파악하고자 한다. 연구수행은 PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses)가이드라인을 이용하여 수행되었다. 3 개의 데이터베이스에서 검색된 630편 중 최종적으로 선정기준에 부합하는 23편을 선정하였다. 본 연구결과 전 세계적 으로 IMU를 사용한 다양한 연구를 진행하고 있음을 알 수 있었고, IMU의 형태는 스트랩, 전신 슈트, 벨트, 손목시계, 신발, 장갑이 있었다. 이 중, 스트랩 형태의 IMU가 11편으로 가장 많았다. IMU의 장점인 간소화와 실시간 데이터 수집, 적용의 쉬움으로 작업 활동, 보행, 관절 가동 범위 등의 측정 방법으로 사용되었다. 본 연구의 결과는 IMU의 연구를 진행하는 의료 및 재활 분야의 전문가들에게 기초 자료로 활용될 수 있으리라 기대된다. The purpose of this study is to identify trends in the type and method of Inertial Measurement Unit (IMU) by investigating studies on the type and method of convergence study of the IMU by systematic review. The study was conducted using PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) guidelines. 23 studies that meet the selection criteria were selected from 630 studies identified by three databases. As a result of this study, showed that various research using IMU was being conducted around the world, and the type of IMU was strap, full body suit, belt, wrist watch, shoes and glove. Among them, the number of strap-type IMUs was the largest at 11. The IMU's strengths were simplicity, real-time data collection and ease of application, which were used as measurement methods such as task, walking, and range of joint. The result of this study is expected to be used as basic data for experts in the medical and rehabilitation fields that conduct IMU research.

다중 코어를 이용한 센서 신호 처리 방법

박종진(Jongjin Park),조상범(Sangbeom Cho),김은원(Eunwon Kim) 항공우주시스템공학회 2018 항공우주시스템공학회 학술대회 발표집 Vol.2018 No.11

자율비행이 가능한 무인항공기는 운행 중 다양한 돌발환경에 직면하게 되며, 돌발환경에 대응하기 위하여 신뢰성 높은 센서 및 GNSS(Global Navigation Satellite System)가 필요하다. 돌발환경을 인지하기 위한 센서는 자이로 센서와 가속 센서가 있으며, 무인항공기의 위치를 인식하기 위해서 지자계, 고도계를 이용한다. 또한 무인항공기의 자율비행은 위치 인식이 중요하며 위치 인식을 위하여 GNSS를 이용한다. 자율비행용 복합항법센서의 중요 기술은 3축 MEMS 자이로 센서와 3축 MEMS 가속도계 센서, 3축 지자계, 기압계, GNSS, GPS 안테나 설계 기술과 각 센서를 처리 및 가공하는 알고리즘과 GNSS 항법 시스템, 통합항법 시스템의 소프트웨어 기술이 있다. 본 논문은 무인 항공기의 돌발환경에서도 신뢰성 높은 관성측정기 및 GNSS, 지자계 및 고도계를 통합한 신호처리방법에 관한 연구이다. 신뢰성을 높일 수 있는 신호처리방법은 동일한 센서를 2개 이상 사용하고, 2개 이상의 입력 신호는 다중 코어에서 처리하며, 다중 입력 신호에서 신뢰성 높은 신호를 판단하여 출력한다.

영상/관성 센서 기반 헬멧 추적 알고리즘 개발

김정호(Jeong-ho Kim),조겸래(Kyeum-rae Cho),이대우(Dae-woo Lee) 한국항공우주학회 2016 한국항공우주학회 학술발표회 논문집 Vol.2016 No.11

착용형 IMU 센서의 시계열 데이터를 이용한 작업자의 실시간 작업 행동 인식 시스템

김미진,박병하,이석원 한국콘텐츠학회 2024 한국콘텐츠학회논문지 Vol.24 No.6

인간 행동 인식(Human Action Recognition, HAR)은 컴퓨터 비전 분야에서 다양한 방식으로 논의되는 중요한 문제로, 다양한 기술과 결합하여 의료, 보안 등의 분야에서 활용되어 왔다. 산업 현장에서는 HAR을 작업자의 행동을 인식하여 작업의 효율성을 향상하고 안전성을 확보하는 데 적용할 수 있다. 본 논문에서는 Minimally Random Convolutional Kernel Transform (MINIROCKET)을 활용하여 IMU 센서 데이터를 통해 취득한 전신 스켈레톤 데이터를 기반으로 실시간 작업 행동을 예측하는 모델을 제안한다. 이 모델 학습에 활용되는 전신 모션 데이터는 실제 작업 현장에서 수집하였으며 데이터 처리 및 라벨링을 거쳐 적용된다. 제안하는 모델에서는 합성곱 커널을 활용하여 이 시계열 데이터의 특징을 추출하고 선형 회귀 모델에 입력하여 실시간 분류를 수행한다. 검증 데이터를 통한 실험 결과, 우리가 제안하는 실시간 작업 행동 인식 시스템은 99.45%의 높은 정확도와 평균 9.5㎳의 높은 실시간성을 가지며 실제 작업 환경에서의 적용 가능성을 확인하였다. 이 시스템은 작업자의 행동을 실시간으로 기록하고 시각화하여 제조 환경에서의 생산성과 훈련에 긍정적인 영향을 미칠 것으로 보인다. Human Action Recognition (HAR) is an important issue discussed in various ways in the field of computer vision, and it has been applied in fields such as healthcare and security by combining it with various technologies. In industrial settings, HAR can be utilized to recognize workers' activity to improve efficiency and ensure safety in operations. In this paper, we propose a model for predicting real-time work activities based on full-body skeleton data acquired through IMU sensor data using Minimally Random Convolutional Kernel Transform (MINIROCKET). The full-body motion data used for model training is collected in actual work environments and undergoes data processing and labeling before learning. Our proposed model use convolutional kernels to extract features from this time series data, which are then input into a linear regression model for real-time classification. Based on the experimental results using validation data, our proposed system demonstrate a high accuracy of 99.45% and maintained an averate real-time performance of 9.5㎳. This confirms its applicability in real-world work environments. This system is expected to record and visualize workers' actions in real time, positively impacting productivity and training in manufacturing environments.

MEMS IMU를 사용한 INS/GPS의 성능 검증

이인석,김병수,김응태,성기정 한국항공우주학회 2014 한국항공우주학회 학술발표회 논문집 Vol.2014 No.4

자세 제어용 MEMS IMU를 사용하여 구성한 INS/GPS 시스템을 한국항공우주원의 비행시험용 항공기에 탑재하여 자세추정 성능을 평가하였다. INS/GPS시스템은 ECEF좌표계를 기반으로 구성되었으며 GPS와는 약결합으로 융합되어 있고, 지자기센서와 기압고도계도 시스템과도 융합할 수 있다. 시험을 통해 오차 보정이 되지 않은 지자기센서의 융합은 INS/GPS의 자세추정 성능에 심각한 악영향을 미침을 알 수 있었다. 지자기센서의 융합이 없어도 기동에 의해 요각의 추정오차는 2deg내로 유지할 수 있었고 롤각과 피치각 오차는 모든 비행조건에서 0.17deg내로 제한됨을 알 수 있었다. An INS/GPS System is developed with MEMS IMU used for attitude control. The INS/GPS system is loosely coupled with GPS and could be fused with a magnetic compass and a baroaltimeter. The developed INS/GPS is boarded in KARI’s flight test airplane to evaluate performance. The flight test shows that a fusion with a magnetic compass without compensating hard-iron and soft-iron effects makes the attitude estimation performance worse. Maneuvers of airplane bounds the yaw angle error within 2 deg without fusion of magnetic compass. Roll and pitch angle error is bound in 0.17deg in all flight envelope.

데이터 마이닝을 이용한 피칭과 팔 동작의 분류

정인섭,이기광,최민호 대한운동학회 2017 아시아 운동학 학술지 Vol.19 No.2

[PURPOSE] The purpose of this research is to classify pitching motions using the data mining method, which aims to help injury prevention overuse. [METHODS] One healthy person participated in the experiment. Subject performed six actions like pitching including pitching by wearing a smart band with IMU sensor built in the wrist. We converted the IMU data of each of the six motion into 5 Datasets. We performed data mining using the WEKA program to find the Dataset with the highest classification probability among the five Datasets and the appropriate classification model. [RESULTS] Among the 5 Datasets, Peak value Dataset when changing to Frequency domain through FFT showed the highest classification probability of each classification model, and NaiveBayes of each classification model had appropriate advantages for classification of pitching motion. Therefore NaiveBayes has decided on an appropriate classification model to classify pitching motion. [CONCLUSIONS] The data of the acceleration sensor and the gyroscope of the six actions are best classified for conversion using FFT and the NaiveBayes classification model is an appropriate classification model for classifying each motion

여러 신체 부위의 단일 IMU를 이용한 가변 윈도우와 합성곱 신경망 기반 보행 이벤트 추정

김명섭(Myeongsub Kim),이명현(Myunghyun Lee),박수경(Sukyung Park) 대한기계학회 2020 대한기계학회 춘추학술대회 Vol.2020 No.12

Inertial sensor-based wearables attached to various upper body parts have limitations to detect the exact gait events. In this study, we used CNN models with varying window size determined by the step frequencies to detect and estimate gait events from a single IMU attached to various body parts under wide range of the walking speeds (0.7~1.6 m/s). Seventeen participants walked on the treadmill with four different walking speeds. Each IMU attached to the waist, left side of the head, and the left wrist measured the 6-axis kinematic data of each body part. Force plates and the optical motion capture system were used for the reference. The step frequencies were extracted from the spectrum amplitude of the IMU signals using FFT to determine the window size of each gait. CNN-based double support classification model and gait event estimation model detected and estimated gait events using discriminative features of the IMU signals. The double support phases were classified with F1 scores of 79~96 %, using window sizes of 0.22~0.33 s. HS and TO were estimated with MAE of 15~27 ms. These results imply that using CNN with frequency-based window size can detect the gait events from IMU sensors attached to various body parts under wide range of the walking speeds.

ConvIMage : IMU 시계열 데이터의 영상 신호 변환을 통한 CNN 기반 동작 추정 알고리즘 개발

안성현(Seong-Hyun Ahn),박주연(Ju-Yeon Park),한주훈(Joo-Hoon Han),이현(Hyun Lee) 한국정보통신학회 2024 한국정보통신학회논문지 Vol.28 No.5

자이로스코프와 카메라 센서를 통한 동작 인식 기법은 저전력 소모와 상호작용의 용의성 등의 이유로 다양한 산업 분야에 적용되고 있다. 하지만, 보정 방법에 따라 정확도가 떨어질 수 있고, 실시간 처리에 많은 연산량에 의한 지연 문제가 있다. 따라서 본 연구는 IMU 센서의 시계열 데이터를 이미지 데이터로 변환 후 CNN 알고리즘을 통해 학습하여 동작 추정을 수행하는 ConvIMage를 제안한다. ConvIMage는 IMU를 통해 수집한 시계열 데이터를 색상 채널로 변환하여 패턴 이미지를 구성하고, CNN 모델을 통해 각 동작에 대한 패턴을 학습한다. 실험을 통해 ConvIMage를 평가한 결과 동작 부위에 따라 각각 83.42%, 85.97%의 성능을 보였다. 이는 추후 동작 데이터를 활용하는 IoT 서비스 개발 등에 적용할 수 있을 것으로 기대된다. Gyroscopes and camera sensors, widely utilized for motion recognition across industries, are celebrated for their low power consumption and user-friendly interaction. Nevertheless, challenges such as accuracy fluctuations due to calibration methods and computational delays in real-time processing persist. In this innovative study, we introduce ConvIMage, a groundbreaking approach that transforms Inertial Measurement Unit (IMU) sensor time-series data into image data through Convolutional Neural Network (CNN) algorithms, enhancing motion estimation capabilities. ConvIMage ingeniously assembles pattern images by converting IMU-derived time-series data into distinctive color channels, empowering a CNN model to discern intricate movement patterns. Experimental assessments underscore ConvIMages commendable performance, showcasing accuracies ranging from 83.42% to 85.97%, contingent upon the specific type of motion. This auspicious outcome positions ConvIMage as a robust solution for future IoT service development, leveraging motion data with enhanced accuracy and real-time processing capabilities for a multitude of applications.

차량 환경에서 RTK 위치 결정을 위한 저가 관성센서 기반 GPS 반송파 불연속 측정치 검출

김연실,송준솔,박병운,기창돈 한국항공우주학회 2014 한국항공우주학회 학술발표회 논문집 Vol.2014 No.4

사이클 슬립은 RTK(Real-time Kinematics)와 같은 GPS 반송파 기반 위치 결정 알고리즘에 있어서 매우 중요한 이슈 중 하나이다. 약한 신호에서 매우 빈번히 발생하며 위치 결정 정확도를 현저히 저하시키기 때문이다. 사이클 슬립을 검출하기 위하여 많은 연구가 진행되어 왔으며 INS(Inertial Navigation System)를 이용한 방법 또한 연구되어 왔다. 본 논문은 차량환경에서 RTK 위치 결정을 위하여 저가 관성센서를 이용하여 사이클 슬립을 검출하는 알고리즘을 제시한다. GPS 수신기에서 수신된 반송파 신호와 INS 로부터 추정한 반송파 신호를 비교하여 잔여오차를 모니터링 값으로 정의하여 검사함으로써 사이클 슬립 발생 여부를 판단한다. 저가의 시스템을 구성하기 위해 MEMS 급의 관성센서를 사용하였으며 고 해상도의 사이클 슬립 검출 성능을 위해 짧은 시간 동안 정확한 상대위치 추정이 가능한 INS 의 장점을 고려한 모니터링 값을 정의하고 결과를 분석하였다. 실 차량을 이용한 실험을 통해 제시한 알고리즘의 성능을 평가하였다. Cycle-slip detection is one of the most important issue to implement a GPS carrier phase positioning system to a vehicle, because cycle-slip is very frequent to the weak carrier signal. It results in a degradation of the vehicle’s position accuracy with a wrong ambiguity resolution. Cycle slip detection algorithms have been studied and developed for several decades. To detect the cycle-slip INS (Inertial Navigation System) occasionally suggested to be integrated with GPS. This paper represents the GPS cycle slip detection algorithm by using Low-cost MEMS IMU for RTK positioning of land vehicle. The cycle slip is detected by comparing carrier phase measurement from GPS satellite with estimated range from integration navigation solution. The residual between the estimated and measured range is defined as a monitoring value. To achieve the cost-effectiveness, we use MEMS grade IMU. And to achieve the high resolution cycle slip detection performance, we define the monitoring value by considering the advantage of INS which has accurate relative positioning performance in short time duration. By conducting the land vehicle experiment, we verify the performance of proposed algorithm.