MediaPipe로 추출한 신체 Landmark 및 IMU를 이용한 멀티모달 인간행동인식 딥러닝 모델 연구

김예은,최재용 한국차세대컴퓨팅학회 2024 한국차세대컴퓨팅학회 논문지 Vol.20 No.3

딥러닝을 활용한 인간 행동 인식(Human Activity Recognition)에 관한 연구는 활발하게 진행되고 있다. 다양한 인공지능 기법을 활용하여 영상 속 신체의 랜드마크를 검출하여, 사람의 자세를 추정하여 인간 행동 인식을 예측한 다. 하지만 카메라 위치나 밝기 등 다양한 외란에 의해 영상 정보만을 활용한 인간 행동 인식 예측은 정확도가 낮아 지는 문제점이 있다. 따라서, 본 연구에서는 인간 행동 인식률을 높이기 위해 RGB-D 카메라 기반의 Landmark 추출과 IMU를 통합한 멀티모달 시스템을 제안한다. IMU 센서와 RGB-D 카메라를 활용하여, 각기 다른 10종류의 동작을 수집하였다. IMU 센서에서 3축 가속도 데이터를 추출하고, Mediapipe 인공지능 프레임워크를 이용하여 영상 데이터에서 프레임 단위로 신체에서 랜드마크 33개의 3축 위치 좌표 데이터를 추출하여 동작 데이터를 시계열 데이터로 통일하였다. 영상 데이터와 IMU 센서의 가속도 데이터를 하나의 시계열 데이터로 통합하고, 이 과정에서 슬라이딩 윈도우 및 선형 증강 등의 기법을 활용하여 데이터의 양을 증강하였다. 이를 본 연구에서 새롭게 제안한 1D-CNN 및 LSTM 신경망을 통해 학습을 진행하였다. 또한 동작의 특성에 따라 신경망의 학습에 사용한 랜드마 크의 개수를 제한하거나, IMU 데이터 및 랜드마크 데이터와 통합 데이터를 학습할 때 각각 분류기의 성능을 확인 하였다. 그 결과, 랜드마크와 IMU 센서 데이터를 통합한 동작 데이터를 학습시켰을 때, 분류 인공신경망에서 향상 된 분류 성능을 내는 것을 확인하였다. The rapid development of AI-based computer vision and deep learning technologies have been proven invaluable for Human Activity Recognition (HAR). However, under the various environmental conditions such as light-interference, image occlusion, the prediction performance of Human Activity Recognition can be decreased dramatically. This paper propose an RGB-D based Landmark detection with IMU sensor systems for multi-modal deep learning analysis to increase the performance of HAR. 10 different types of human motions are collected using the proposed RGB-D with IMU sensor system. The 3-axis accelerometer data are extracted from IMU sensor. And by applying AI framework, called MediaPipe, the 3-axis location data of 33 landmarks of the body extracted as the input datasets for the HAR classification. The extracted data and the motion data are unified into time series sequential data. In order to increase the training dataset for the HAR classification, the estimated pose data from MediaPipe and the acceleration data from the IMU sensor are not only integrated into the same size of the sequential data, but also sliding window and linear interpolation are used. Furthermore, 1D-CNN and LSTM neural network are implemented for the HAR classification. As a result, the proposed RGB-D with IMU sensor system has increased the classification performance for Human Activity Recognition than applying the features obtained from the camera only.

관성 측정 장치의 융합연구 형태와 방법에 관한 체계적 고찰

이혜식,박혜연 한국융합학회 2020 한국융합학회논문지 Vol.11 No.3

본 연구의 목적은 관성 측정 장치(Inertial Measurement Unit, IMU)의 융합연구 형태와 방법에 대한 연구를 체계적 문헌고찰 방법으로 분석하여 IMU의 형태와 방법에 대한 경향을 파악하고자 한다. 연구수행은 PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses)가이드라인을 이용하여 수행되었다. 3 개의 데이터베이스에서 검색된 630편 중 최종적으로 선정기준에 부합하는 23편을 선정하였다. 본 연구결과 전 세계적 으로 IMU를 사용한 다양한 연구를 진행하고 있음을 알 수 있었고, IMU의 형태는 스트랩, 전신 슈트, 벨트, 손목시계, 신발, 장갑이 있었다. 이 중, 스트랩 형태의 IMU가 11편으로 가장 많았다. IMU의 장점인 간소화와 실시간 데이터 수집, 적용의 쉬움으로 작업 활동, 보행, 관절 가동 범위 등의 측정 방법으로 사용되었다. 본 연구의 결과는 IMU의 연구를 진행하는 의료 및 재활 분야의 전문가들에게 기초 자료로 활용될 수 있으리라 기대된다. The purpose of this study is to identify trends in the type and method of Inertial Measurement Unit (IMU) by investigating studies on the type and method of convergence study of the IMU by systematic review. The study was conducted using PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) guidelines. 23 studies that meet the selection criteria were selected from 630 studies identified by three databases. As a result of this study, showed that various research using IMU was being conducted around the world, and the type of IMU was strap, full body suit, belt, wrist watch, shoes and glove. Among them, the number of strap-type IMUs was the largest at 11. The IMU's strengths were simplicity, real-time data collection and ease of application, which were used as measurement methods such as task, walking, and range of joint. The result of this study is expected to be used as basic data for experts in the medical and rehabilitation fields that conduct IMU research.

System in Package 기술을 이용한 IMU Sensor 설계 및 제작

박흠용(Heum-Yong Park) 한국산업기술융합학회(구. 산업기술교육훈련학회) 2025 산업기술연구논문지 (JITR) Vol.30 No.1

본 논문에서는 SiP(System in Package) 기술을 활용하여 드론, 자율자동차 등에 폭넓게 사용되는 IMU 센서를 설계 및 제작에 대해 제안하였다. 제안한 센서에서는 센서, 전원, 마이크로프로세서가 포함되어 있으며 SiP 칩 기술에 따라 설계하고 제작되었다. 설계에서는 안정적인 센서 측정을 위한 회로적인 내용과 물리적 사이즈 축소를 위한 기준이 적용되었다. 제작과정에서는 반도체 후공정의 SMT를 통해 부품을 장착하고 몰딩과 레이저 마킹과정을 거쳐 최종 완성 되었다. 제작된 센서 모듈은 목표로 설정한 전류, 면적을 모두 만족하였으며 상보필터를 통해 측정한 각도 값도 안정적인 것을 확인 하였다. In this paper, we present the design and fabrication of IMU sensors, which are widely used in drones and autonomous vehicles, using system-in-package (SiP) technology. In particular, we propose a sensor that integrates other sensors as well as power sources and microprocessors. It was designed and manufactured according to SiP chip technology. The design incorporates circuit elements for stable sensor measurement and criteria for physical size reduction. In the manufacturing process, components were mounted through the surface-mount technology during the post-semiconductor process, followed by molding and laser marking. The fabricated sensor module meets all the targeted current and area specifications, and the angle values measured using the complementary filter were confirmed to be stable.

다중 코어를 이용한 센서 신호 처리 방법

박종진(Jongjin Park),조상범(Sangbeom Cho),김은원(Eunwon Kim) 항공우주시스템공학회 2018 항공우주시스템공학회 학술대회 발표집 Vol.2018 No.11

자율비행이 가능한 무인항공기는 운행 중 다양한 돌발환경에 직면하게 되며, 돌발환경에 대응하기 위하여 신뢰성 높은 센서 및 GNSS(Global Navigation Satellite System)가 필요하다. 돌발환경을 인지하기 위한 센서는 자이로 센서와 가속 센서가 있으며, 무인항공기의 위치를 인식하기 위해서 지자계, 고도계를 이용한다. 또한 무인항공기의 자율비행은 위치 인식이 중요하며 위치 인식을 위하여 GNSS를 이용한다. 자율비행용 복합항법센서의 중요 기술은 3축 MEMS 자이로 센서와 3축 MEMS 가속도계 센서, 3축 지자계, 기압계, GNSS, GPS 안테나 설계 기술과 각 센서를 처리 및 가공하는 알고리즘과 GNSS 항법 시스템, 통합항법 시스템의 소프트웨어 기술이 있다. 본 논문은 무인 항공기의 돌발환경에서도 신뢰성 높은 관성측정기 및 GNSS, 지자계 및 고도계를 통합한 신호처리방법에 관한 연구이다. 신뢰성을 높일 수 있는 신호처리방법은 동일한 센서를 2개 이상 사용하고, 2개 이상의 입력 신호는 다중 코어에서 처리하며, 다중 입력 신호에서 신뢰성 높은 신호를 판단하여 출력한다.

영상/관성 센서 기반 헬멧 추적 알고리즘 개발

김정호(Jeong-ho Kim),조겸래(Kyeum-rae Cho),이대우(Dae-woo Lee) 한국항공우주학회 2016 한국항공우주학회 학술발표회 논문집 Vol.2016 No.11

관성센서를 활용한 럭비 세븐스 포지션별 움직임 특성 비교 분석

김재홍,이보근,김지웅 한국코칭능력개발원 2025 코칭능력개발지 Vol.27 No.6

본 연구는 럭비 세븐스 선수들의 경기 중 나타나는 관성 움직임을 측정하여 포지션에 따른 차이를 규명하는 데 있다. 연구 목적을 달성하기 위해, IMU 센서가 내장된 웨어러블 디바이스를 활용하여 10회의 경기에서 움직임 데이터를 수집하였다. 수집된 데이터는 SPSS 25.0을 이용하여 이원분산분석 (Two-Way ANOVA)을 분석하였다. 연구 결과, 첫째, 포지션에 따른 경기 결과 차이에서는 전체 움직임, 분당 움직임, 고강도 가속 움직임, 중강도 감속, 중강도 왼쪽 방향 전환, 고강도 오른쪽 방향 전환, 고강도 반복움직임에서 포지션 간차이가 나타났다. 둘째, 전반과 후반에 따른 포지션별 차이에서는 전체 움직임, 분당 움직임, 고강도 가속, 저강도 감속, 중강도 감속, 저강도와 중강도 왼쪽 방향 전환, 저강도 오른쪽 방향 전환, 고강도 반복 움직임에서 포지션 간 차이가 나타났다. 이와 같은 결과를바탕으로, 국내에서 포지션별로 과학적인 근거를 바탕으로 훈련 프로그램이 개발되어야 하며, 훈련강도와 부상예방 전략에 활용할 수있는 모델을 만드는 것이 필요하다. The purpose of this study was to investigate the differences in inertial movements that occur during matches among rugby sevens players according to their playing positions. To achieve this research objective, movement data were collected using wearable devices equipped with IMU sensors during 10 matches. The collected data were analyzed using two-way ANOVA with SPSS 25.0. The results of the study are as follows: First, regarding the differences in match outcomes according to positions, significant differences were found between positions in total movement, movement per minute, high-intensity acceleration, moderate-intensity deceleration, moderate-intensity left direction changes, high-intensity right direction changes, and high-intensity repeated movements. Second, concerning the positional differences between the first and second halves of the match, significant differences were observed in total movement, movement per minute, high-intensity acceleration, low- and moderate-intensity deceleration, low- and moderate-intensity left direction changes, low-intensity right direction changes, and high-intensity repeated movements. Based on these results, it is necessary to develop scientifically grounded training programs tailored to each position in domestic rugby. Furthermore, these findings highlight the importance of establishing training intensity models and injury prevention strategies that can be practically applied in the field.

데이터 마이닝을 이용한 피칭과 팔 동작의 분류

정인섭,이기광,최민호 대한운동학회 2017 아시아 운동학 학술지 Vol.19 No.2

[PURPOSE] The purpose of this research is to classify pitching motions using the data mining method, which aims to help injury prevention overuse. [METHODS] One healthy person participated in the experiment. Subject performed six actions like pitching including pitching by wearing a smart band with IMU sensor built in the wrist. We converted the IMU data of each of the six motion into 5 Datasets. We performed data mining using the WEKA program to find the Dataset with the highest classification probability among the five Datasets and the appropriate classification model. [RESULTS] Among the 5 Datasets, Peak value Dataset when changing to Frequency domain through FFT showed the highest classification probability of each classification model, and NaiveBayes of each classification model had appropriate advantages for classification of pitching motion. Therefore NaiveBayes has decided on an appropriate classification model to classify pitching motion. [CONCLUSIONS] The data of the acceleration sensor and the gyroscope of the six actions are best classified for conversion using FFT and the NaiveBayes classification model is an appropriate classification model for classifying each motion

MEMS IMU를 사용한 INS/GPS의 성능 검증

이인석,김병수,김응태,성기정 한국항공우주학회 2014 한국항공우주학회 학술발표회 논문집 Vol.2014 No.4

자세 제어용 MEMS IMU를 사용하여 구성한 INS/GPS 시스템을 한국항공우주원의 비행시험용 항공기에 탑재하여 자세추정 성능을 평가하였다. INS/GPS시스템은 ECEF좌표계를 기반으로 구성되었으며 GPS와는 약결합으로 융합되어 있고, 지자기센서와 기압고도계도 시스템과도 융합할 수 있다. 시험을 통해 오차 보정이 되지 않은 지자기센서의 융합은 INS/GPS의 자세추정 성능에 심각한 악영향을 미침을 알 수 있었다. 지자기센서의 융합이 없어도 기동에 의해 요각의 추정오차는 2deg내로 유지할 수 있었고 롤각과 피치각 오차는 모든 비행조건에서 0.17deg내로 제한됨을 알 수 있었다. An INS/GPS System is developed with MEMS IMU used for attitude control. The INS/GPS system is loosely coupled with GPS and could be fused with a magnetic compass and a baroaltimeter. The developed INS/GPS is boarded in KARI’s flight test airplane to evaluate performance. The flight test shows that a fusion with a magnetic compass without compensating hard-iron and soft-iron effects makes the attitude estimation performance worse. Maneuvers of airplane bounds the yaw angle error within 2 deg without fusion of magnetic compass. Roll and pitch angle error is bound in 0.17deg in all flight envelope.

착용형 IMU 센서의 시계열 데이터를 이용한 작업자의 실시간 작업 행동 인식 시스템

김미진,박병하,이석원 한국콘텐츠학회 2024 한국콘텐츠학회논문지 Vol.24 No.6

인간 행동 인식(Human Action Recognition, HAR)은 컴퓨터 비전 분야에서 다양한 방식으로 논의되는 중요한 문제로, 다양한 기술과 결합하여 의료, 보안 등의 분야에서 활용되어 왔다. 산업 현장에서는 HAR을 작업자의 행동을 인식하여 작업의 효율성을 향상하고 안전성을 확보하는 데 적용할 수 있다. 본 논문에서는 Minimally Random Convolutional Kernel Transform (MINIROCKET)을 활용하여 IMU 센서 데이터를 통해 취득한 전신 스켈레톤 데이터를 기반으로 실시간 작업 행동을 예측하는 모델을 제안한다. 이 모델 학습에 활용되는 전신 모션 데이터는 실제 작업 현장에서 수집하였으며 데이터 처리 및 라벨링을 거쳐 적용된다. 제안하는 모델에서는 합성곱 커널을 활용하여 이 시계열 데이터의 특징을 추출하고 선형 회귀 모델에 입력하여 실시간 분류를 수행한다. 검증 데이터를 통한 실험 결과, 우리가 제안하는 실시간 작업 행동 인식 시스템은 99.45%의 높은 정확도와 평균 9.5㎳의 높은 실시간성을 가지며 실제 작업 환경에서의 적용 가능성을 확인하였다. 이 시스템은 작업자의 행동을 실시간으로 기록하고 시각화하여 제조 환경에서의 생산성과 훈련에 긍정적인 영향을 미칠 것으로 보인다. Human Action Recognition (HAR) is an important issue discussed in various ways in the field of computer vision, and it has been applied in fields such as healthcare and security by combining it with various technologies. In industrial settings, HAR can be utilized to recognize workers' activity to improve efficiency and ensure safety in operations. In this paper, we propose a model for predicting real-time work activities based on full-body skeleton data acquired through IMU sensor data using Minimally Random Convolutional Kernel Transform (MINIROCKET). The full-body motion data used for model training is collected in actual work environments and undergoes data processing and labeling before learning. Our proposed model use convolutional kernels to extract features from this time series data, which are then input into a linear regression model for real-time classification. Based on the experimental results using validation data, our proposed system demonstrate a high accuracy of 99.45% and maintained an averate real-time performance of 9.5㎳. This confirms its applicability in real-world work environments. This system is expected to record and visualize workers' actions in real time, positively impacting productivity and training in manufacturing environments.

여러 신체 부위의 단일 IMU를 이용한 가변 윈도우와 합성곱 신경망 기반 보행 이벤트 추정

김명섭(Myeongsub Kim),이명현(Myunghyun Lee),박수경(Sukyung Park) 대한기계학회 2020 대한기계학회 춘추학술대회 Vol.2020 No.12

Inertial sensor-based wearables attached to various upper body parts have limitations to detect the exact gait events. In this study, we used CNN models with varying window size determined by the step frequencies to detect and estimate gait events from a single IMU attached to various body parts under wide range of the walking speeds (0.7~1.6 m/s). Seventeen participants walked on the treadmill with four different walking speeds. Each IMU attached to the waist, left side of the head, and the left wrist measured the 6-axis kinematic data of each body part. Force plates and the optical motion capture system were used for the reference. The step frequencies were extracted from the spectrum amplitude of the IMU signals using FFT to determine the window size of each gait. CNN-based double support classification model and gait event estimation model detected and estimated gait events using discriminative features of the IMU signals. The double support phases were classified with F1 scores of 79~96 %, using window sizes of 0.22~0.33 s. HS and TO were estimated with MAE of 15~27 ms. These results imply that using CNN with frequency-based window size can detect the gait events from IMU sensors attached to various body parts under wide range of the walking speeds.