품새 자동 평가 시스템 구축을 위한 합성곱 신경망 기반 태권도 단위동작 인식 방법

이진규 건국대학교 대학원 2021 국내석사

올림픽 정식 종목이자 대한민국의 국기로써 인정받고 있는 전통 무술 태권도의 경기는 크게 겨루기와 품새로 나누어진다. 전자호구와 슬로우 카메라 등의 기술 도입을 통해 정량적인 채점이 이뤄지고 있는 겨루기와는 달리 품새 경기는 정량적인 채점 기준이 없어 품새의 채점과 경기의 판정을 모두 심판의 정성적인 판단에만 의존하고 있다. 동작 인식 기술은 이러한 문제에 대한 한가지 해답이 될 수 있으나, 태권도 특유의 빠르고 복잡한 동작로 인하여 일반적인 동작 인식 기술을 태권도에 그대로 적용하는 것은 쉽지 않다. 이에 본 논문은 영상기반 태권도 동작 인식을 위한 학습용 데이터 세트를 구축하고, 이를 학습할 수 있는 키프레임 기반 합성곱 신경망 (Convolutional Neural Network) 동작 인식 알고리즘을 제안한다. 데이터 세트는 10명의 전문가가 수행하는 총 1,936개의 태권도 동작 샘플으로 구성되며, 두 가지 카메라 시점을 기준으로 촬영되었다. 키프레임에 기반한 동작 인식 모델은 다양한 입력 조건 하에서 테스트가 진행되었으며 최고 정확도 95.833%의 인식 정확도를 획득하였다. 추후의 태권도 동작 인식에 대한 연구를 위하여 다양한 학습 모델과 그에 따른 테스트 결과를 태권도의 동작 특성과 연관지어 분석하였다. Poomsae, one of the fields of Taekwondo competition has been raising issues of fairness and environmental restrictions for a long time. This problem is due to the lack of quantitative scoring criteria for Poomsae. Action recognition technology is one of the useful approaches to this problem, but it is difficult to apply the existing methodology since Taekwondo's action has differentiated features from general human action. Therefore, in this study, a normalized Taekwondo action dataset that can be used for Taekwondo action recognition was constructed. Also, a key frame-based convolutional neural network action recognition model that can train a proposed dataset. and its performance was tested. The recognition algorithm showed the highest accuracy of 95.833%, and the action characteristics of Taekwondo were analyzed through the analysis of recognition results under various conditions. The results of this study can be expected to be used in various ways in future studies on Taekwondo action recognition.

가중치가 적용된 DTW를 이용한 다중 센서 기반의 동작인식

최효림 중앙대학교 첨단영상대학원 2018 국내박사

본 논문에서는 다양한 환경에서 활용 가능한 견고한 동작인식 방법 개발을 목표로 한다. 이를 달성하고자 단일 Kinect 센서, 다중 Kinect 센서, 이종 센서 데이터를 이용한 가중 DTW 기반의 동작인식 시스템이 제안되었다. 단일 Kinect 센서 환경에서 동작인식 정확도를 높이기 위하여 입력 데이터에 정규화 방법을 적용하고 가중치를 적용한 DTW을 통해 위치와 속도 두 특징을 모두 사용하여 동작인식에 활용한 결과, 기존 방법보다 높은 동작 인식 성능을 보였지만 단일 센서의 사각지대로 인한 문제가 여전히 남아있었다. 가중치가 적용된 DTW는 다양한 구성의 데이터를 활용하기에 적합함을 단일 Kinect 센서를 이용한 동작인식 실험을 통해 확인할 수 있었기 때문에, 다중 Kinect 센서를 통해 획득한 데이터를 가중치가 적용된 DTW를 통해 융합하여 단일 센서의 사각지대 문제를 해결하고자 하였다. 다중 Kinect 센서를 통해 동작 감지 범위를 확장하고 관절 추적 상태를 이용한 가중치, 관절의 이동 거리 기반의 가중치 그리고 센서의 노이즈 특성 기반의 가중치를 통해 동작인식의 성능을 향상시켰다. 다중 Kinect 센서를 사용한 방법은 우수한 동작 인식 성능을 보였지만 설치 시 비용의 부담이 있어 다양한 상황에서 활용되기 어려운 문제점이 있다. 다중 Kinect 센서를 사용하지 않고 단일 센서의 사각지대 문제를 해결하기 위하여 설치형 센서(Kinect)와 착용형 센서(관성 센서)를 사용하는 이종 센서 데이터의 융합이 고려되었지만, 이러한 데이터 융합은 영향력 분석이 어려워 가중치 설정이 쉽지 않다. 따라서 가중치 설정 문제를 해결하고자 다양한 문제에 적용 가능한 강력한 최적화 방법인 차분 진화 방법이 이종 센서 데이터의 융합을 위한 가중치의 설정에 사용되었다. 그 결과, 차분 진화 방법을 통해 조정된 가중치를 사용한 DTW 기반의 동작인식 방법의 성능은 기존의 방법보다 높았으며, 제안하는 방법이 효과적으로 이종 센서 데이터를 융합함을 보였다. In this thesis, we aim to develop a robust gesture recognition method that can be used in various environments. To achieve this, a weighted DTW based gesture recognition systems using a single Kinect sensor, multiple Kinect sensors, and heterogeneous sensor data have been proposed. In order to improve gesture recognition performance in a single Kinect sensor environment, we applied the normalization method to the input data and applied it to the gesture recognition using both the position and the velocity through the weighted DTW. But, there was still a problem due to the blind spot of a single sensor. Since the weighted DTW is suitable for fusion of data of various configurations, it can be confirmed through the gesture recognition experiment using a single Kinect sensor. Therefore, the data obtained through the multiple Kinect sensors are fused through the weighted DTW for solving the blind spot problem. We extended the gesture detection range through multiple Kinect sensors and improved gesture recognition performance by weighting based on joint tracking status, weighting based on joint movement distance, and weighting based on sensor noise characteristics. Although the method using multiple Kinect sensors showed excellent gesture recognition performance, it has a problem that it is difficult to use in various situations due to a burden on installation cost. To solve the blind spot problem of a single sensor without using multiple Kinect sensors, fusion of heterogeneous sensor data using a mounted sensor (Kinect) and a wearable sensor (inertial) has been considered. However, weighting is difficult to determine because the convergence of heterogeneous sensor data is difficult to analyze. To solve the weighting problem, we set a weight for the convergence of heterogeneous sensor data using a differential evolution method applicable to various problems. As a result, the performance of the DTW gesture recognition system using the weighted values adjusted by the differential evolution method was higher than that of the conventional method, and the proposed method effectively converged the heterogeneous sensor data.

동작인식형(Motion-detective) 디지털웨어 (digital wear)의 상품화 가능성 탐색과 디자인 프로토타입(design prototype)의 제안

박희주 연세대학교 대학원 2002 국내석사

본 연구의 목적은 동작인식형 디지털웨어의 상품화 가능성을 탐색하고 이를 위한 디자인 프로토타입을 개발하는 것으로서, 본 연구에서는 심층면접을 통해 소비자의 잠재수요를 분석함으로써 사용자 중심의 인터페이스적 속성과 착용감 및 상품성을 갖춘 디지털웨어의 디자인 프로토타입을 제시하는데 그 목표를 두었다. 20대 소비자의 라이프 스타일과 컴퓨팅 환경에 대한 심층면접을 통해, 소비자의 잠재수요를 실증적으로 분석한 결과, 손동작 인식형 및 신체동작 인식형의 총 8 가지 애플리케이션이 도출되었으며, 이에 대한 기술적 검증과 상품성 분석을 거쳐 디지털웨어의 물리적 인터페이스 설계 및 디자인 프로토타입이 제시되었다. 그 외에 디자인 프로토타입 개발에는 인터페이스로서의 사용편의성과 의복으로서의 갖춰야 할 착용감과 기능성, 심미성, 내구성 및 심리적 안정감에 관한 소비자의 수요 등이 반영되었으며 의류제품으로서의 제작 가능성이 고려되었다. 결론에서는, 현재의 기술을 통해 구현 가능한 4 가지 디지털웨어의 디자인 프로토타입과 가까운 미래에 구현 가능할 것으로 예측되는 4 가지 디자인 프로토타입 등 총 8개의 디지털웨어를 위한 물리적 인터페이스 디자인안을 그래픽 시뮬레이션으로 제시하였다. The purpose of this research is to search for possibility of product development of the digital wear that is based on motion - detective input technology and to develop design prototypes for it. As a result of positive analysis of the latent demands of consumers which's drawn from depth interview on twenties' life style and computing environment, eight possible applications based on motion - detective input technology emerged. By technical verification and analysis of profitability of these applications, eight design prototypes for the digital wear were invented. In the process of development of the design prototypes, consumers' various demands - for conveniency of interface, wearability, aesthetics, durability and psychological comfort - and features needed to be reproduced were considered in depth. In conclusion, 4 design prototypes were suggested by graphic simulation which could be embodied through presently available digital technology, while the rest of design prototypes were expected to be embodied in near future.

동작인식매체의 광고효과에 관한 연구

황갑신 성균관대학교 2005 국내석사

The current study developed an advertising effectiveness model in order to the advertising effectiveness of movement recognition media that was firstly introduced two-way communication as a domestic outdoor media and examined the result. The total 150 survey copies were finally analyzed and the respondents were university students of Dept. of Business Administration, Sungkyunkwan University, workers living in Seoul and ordinary people who have experienced movement recognition media. As a result of analysis, it was found that in case of <Study Question 1>, users consider media and advertisement positively in terms of that movement recognition media are two-way media, not one-way, and that movement recognition media stimulate curiosity of users since they are new media. In addition, in <Study Question 2> that compared advertising characteristics of movement recognition media with other media, movement recognition media gained better score than other media in almost comparison items. In <Study Question 3> about the influence of characteristics of movement recognition media on preference for advertisement, the products advertised are carefully observed since movement recognition media are more easily noticed than other media. Therefore, it was observed that this factor also improves the brand image of products advertised. Lastly, in <Study Question 4> about the influence of users' exposure to advertisements of movement recognition media on desire to purchase, it was found that users' exposure to advertisements of movement recognition media doesn't affect active desire to purchase.

EMG 신호 기반의 실시간 하지 동작 인식을 위한 사용자 맞춤 분류 및 EMG 신호 패턴 매칭 기법

류재환 인하대학교 대학원 2017 국내박사

표면 근전도(sEMG, surface electromyogram) 신호는 신체의 움직임에 따라 근육에서 발생되는 전기적인 신호이기 때문에 사용자 의도를 인식 및 예측하는 것이 가능하고, 가장 세부적인 보행 단계 분류를 지원한다. 하지만 실시간으로 sEMG 신호를 이용하여 하지 동작을 인식하기 위해서는 다양한 문제를 해결해야한다. 대표적인 문제로는 의미 없는 특징 값의 생성, 고차원 데이터로 인한 차원의 저주 또는 오버헤드, 인식 지연, 피험자의 습관에 따라 발생하는 고유한 sEMG 신호이다. 본 논문에서는 이러한 문제를 해결하기 위하여 sEMG 신호 활성을 고려한 사용자 맞춤 분류 기법과 EMG 신호 패턴 매칭(ESPM) 알고리즘을 제안한다. 또한 제안한 방법은 피험자가 동작 훈련을 수행하지 않더라도 저성능 임베디드 환경에서 실시간으로 하지 동작과 주기 인식을 수행한다. 제안하는 사용자 맞춤 분류 기법은 세부적으로 뒷꿈치 그리고 앞꿈치 기반의 라벨링, 새로운 Top and Slope 특징 추출 알고리즘, 가중 투표 기법을 이용한 근육 그리고 특징 선택 사용자 맞춤 분류기, 그리고 선형 보간법을 이용한 실시간 하지 동작 예측기법을 이용해 하지 동작과 주기를 인식한다. ESPM 알고리즘은 새롭게 제안한 방법으로 분류기를 사용하지 않고 사용자의 참조 EMG signal과 입력되는 sEMG 신호를 실시간으로 비교하여 하지 동작과 주기를 얻는다. 이와 함께 본 논문에서는 sEMG 신호 활성도 분석 및 하지 동작 인식을 간편하게 수행하기 위하여 sEMG signal tool box(MSTB)를 개발하였고, 성능 평가 실험을 위하여 제안한 알고리즘을 이용한 임베디드 시스템을 설계 및 구축하였다. 실험결과 EMG 신호 활성을 고려한 사용자 맞춤 분류 기법 그리고 ESPM 알고리즘은 기존 방법보다 평균 하지 동작 인식 정확도는 각각 16%와 13% 우수한 성능을 보인다. 또한 모든 제안한 방법을 이용한 사용자 맞춤 분류 기법 그리고 ESPM 알고리즘의 평균 지연시간은 기존 방법보다 각각 3배 그리고 4배 더 짧았다.

NUI기반 멀티미디어 콘텐츠 제어를 위한 휴먼 동작 인식 기술

金允植 동명대학교 대학원 2012 국내석사

Human Face and Hand Gesture Recognition based on Fuzzy Neural Networks

Wenkai Xu 동명대학교 대학원 2012 국내석사

본 논문에서는 퍼지 신경회로망을 이용하여 인간의 얼굴과 손동작을 인식하는 방법을 제안하였다. 제안한 알고리즘에서는 혼합 비선형 YCbCr 칼라 모델 및 HSI 칼라을 기반으로 인간의 피부 색상을 분할 할 수 있는 새로운 방법을 제시하였다. 제안한 얼굴 인식 알고리즘에서는 다양한 조명 변화와 여러 가지 얼굴 포즈를 포함한 다중 얼굴 인식을 위 해 이산 코사인 변환 (DCT), 주성분 요소 분석(PCA) 그리고 통합된 역 전파 신경 회로망 (BPNNs)을 기반으로 하는 얼굴 인식 방법을 제안하였다. 또한 제안한 방법의 손동작 인식 부분에서는 실시간 비디오 시퀀스에서 손동작을 추적하기 위해 개선된 CamShift 알고리즘을 이용하여 인식하는 방법을 제안하였다. 본 논문에서 제시한 손동작 인식 방법은 손동작 추적 단계를 거친 후, 0~9까지 각 손동작에 대한 특징을 추출하고 제스처 인식을 위한 HMM 알고리즘에 추출된 손동작의 특징을 적용하도록 하였다. 또한 손 움직임의 방향성에 따른 관측 순서를 각 HMM의 확률 퍼지 신경망 (FNN)의 소속도로 간주하며, 퍼지 신경망 (FNN)의 퍼지 추정을 통해 0~9에 대한 손의 움직임의 특징을 분류하도록 하였다. 제안한 알고리즘의 성능 평가를 위한 실험에서, 얼굴 인식률은 평균 95%를 넘었으며, 손동작 인식의 평균 인식률은 96%의 우수한 성능을 보임을 확인할 수 있었다. 실험 결과를 통해 본 논문에서 제시한 얼굴 및 손동작 인식 시스템은 높은 인식 성능을 나타내었고 특히, 조명의 변화와 다양한 얼굴 포즈에 대해서도 안정적이고 높은 인식률을 나타냄을 알 수 있었다.

인터랙티브 아트를 위한 확장 노드가 추가 된 인공신경망 기반의 손동작 인식 방법

조혜연 중앙대학교 첨단영상대학원 2017 국내석사

오늘날 디지털 기술의 발달로 관객은 적극적으로 예술에 참여할 수 있다. 관객과 작품 간의 상호 작용이 중요한 요소인 인터랙티브 미디어 아트의 장르는 커다란 관심으로 발전하고 있다. 자연스러운 의사소통을 위한 방법 중에서 쉽고 풍부하게 의사를 표현할 방법으로, 손동작을 인식하는 기술이 있다. 손동작 인식 기술은 예술, 게임, 의료 및 스마트 홈 같은 다양한 분야에서 연구되고 있다. 실생활에서 사용되는 손동작은 다양하므로 데이터의 분포가 중첩되어 정확하고 신속하게 손동작 데이터를 분류하는 데 어려움이 있다. 따라서 본 논문에서는 인터랙티브 아트에 활용 가능한 실생활 손동작들을 분류하기 위해, 누구나 쉽게 설계할 수 있고 실시간으로 응용하기 적합한 인공신경망 알고리즘 기반의 손동작 분류 및 인식률 향상 방법을 제안한다. 제안하는 방법은 손동작 궤적 정보로만 구성된 인공신경망 입력층에 확장 노드를 추가한다. 확장 노드는 데이터의 분포에서 간단한 계산으로 추출한 특징을 가공하여 구성하였다. 실험을 통해서 제안한 방법이 기존의 손동작 궤적 정보만 입력된 인공신경망 및 DTW, SVM과 같은 다른 손동작 분류 알고리즘보다 성능이 개선 되었음을 확인했다. 끝으로 제안한 방법을 응용하여 제작된 게임을 설명하고, 향후 제작될 인터랙티브 작품 아이디어에 관해 설명한다. 새로운 인공신경망을 제안한 것은 아니지만, 복잡하지 않은 계산으로 특징을 추출해서 인공신경망 입력층에 추가함으로써 손동작 인식률이 향상된 점 긍정적인 결과이다. 인터랙티브 아트를 제작할 때 예술가들이 쉽게 작품에 적용할 수 있다는 점에서 손동작 인식 연구는 다양하게 응용될 것으로 기대된다. The advancement of digital technology has enabled the audience to actively participate in art. Interactive media art, which is a genre of art, has been developing rapidly with great interest, and one of the single most important factors in this genre is the interaction between the viewer and the artwork. While there are various communication methods involving technology, hand gesture recognition technology offers easy and rich communication. Acknowledging the advantages brought by hand gesture recognition technology it is being studied in various fields including art, game, medical, and smart home. However, due to the large number of hand gestures being used in real life and the overlapping data distributions, there is a difficulty associated with classifying data accurately and quickly. Therefore, in this paper, we propose a method to classify real life hand gestures that could be used in interactive art. This proposed method based on artificial neural network algorithm could improve the classification and recognition rate of hand gestures, and it could be easily designed and applied in real time. The proposed method is to add an extended node to the input layer of the artificial neural network composed only of hand gesture trajectory data. The extended nodes are constructed by extracting features from the distribution of hand gesture trajectory data by simple calculation. Experiments have shown that the proposed method results in better performance compared to the basic artificial neural network, which uses hand gesture trajectory data as input nodes and other hand gesture classification algorithms such as DTW and SVM. At last, we describe the game produced based on the proposed method, and explain the interactive art idea concept to be produced in the future. Although the proposed method is not a brand new hand gesture classification and recognition algorithm, it yielded an optimistic result considering the fact that the hand gesture recognition rate has been improved by merely extracting features and adding it to the input layer using simple calculations.

병원 내 환자 동작 인식 및 실내 위치 측위를 위한 모니터링 시스템의 설계 및 구현

이진우 부산대학교 대학원 2018 국내석사

노인 인구 증가와 함께 병원 내 노인 입원율이 증가하고 있지만 의료 인력의 부족으로 입원 환자 관리에 어려움을 겪고 있다. 일상 동작 모니터링 시스템은 대상의 건강관리를 위해 착용형 혹은 비착용형 센서를 이용하여 사람의 개입 없이 자동으로 일상 동작을 인식하고 기록하는 시스템이다. 이러한 기존 일상 동작 모니터링 시스템들은 개인을 대상으로 하거나 동작 인식 정확도 향상만을 위한 연구들이 대부분이다. 본 논문에서는 많은 환자가 있는 병원에 동작 모니터링 시스템을 적용하여 환자의 동작 인식 및 위치 측위를 수행하는 환자 모니터링 시스템을 설계하고 센서 모듈과 게이트웨이를 제작하여 이를 구현하였다. 가속도 센서와 자이로 센서를 활용하여 수집된 데이터를 분석하고 이를 통해 환자의 동작을 인식한다. 블루투스 비컨을 활용하여 RSSI 핑거프린트 기법으로 병원 내 환자의 위치를 파악한다. 환자로부터 습득된 센서 및 비컨 데이터는 LoRa 기술을 이용하여 서버로 전송한다. 저전력 장거리 통신이 가능하지만 전송 속도가 느린 LoRa의 단점을 고려하여 패킷을 정의하였고 실험을 통해 통신 환경을 설정하였다. 병원 건물 각 층 당 최대 36명의 환자를 동시에 모니터링 가능함을 확인하였고, 성능 평가를 통해 83%의 낙상 감지 성공률과 100%의 욕창 경고 성공률을 확인하였다. 이를 통해 제안하는 시스템의 병원에서의 활용 가능성을 확인하였다.

Kinect와 Wii Balance Board를 이용한 올바른 스쿼트 자세 가이드라인 제시에 관한 연구

오승준 상명대학교 문화기술대학원 2017 국내석사

본 연구는 Kinect와 Wii Balance Board를 이용하여 운동 수행자에게 올바른 스쿼트 자세를 제시하고자 진행되었다. 기존에 진행된 연구와는 다르게 본 연구는 사용자의 관점에서 실용성과 사용성에 기반을 두고 진행되었다. 이를 위하여 기존에 가정용 및 게임용으로 제작된 Kinect와 Wii Balance Board를 이용하여 스쿼트 자세 인식 시스템을 개발하여 연구를 진행하게 되었다. 개발한 시스템을 통하여 전문가 1명과 일반인 10명이 실험에 참여하여 스쿼트 동작 준비 자세부터 동작 수행 자세를 측정하였다. 스쿼트 동작 준비 자세에서는 Kinect로 어깨 너비와 발목 너비의 차이 데이터를 획득하고, Wii Balance Board로 신체의 압력중심점(CoP) 데이터를 획득하였다. 스쿼트 동작 수행 자세에서는 Kinect로 무릎 각도 데이터를 획득하고, Wii Balance Board로 신체의 압력중심점(CoP) 데이터를 획득하였다. 각 자세에서 획득한 데이터는 서포트 벡터 머신(SVM)을 통하여 분류되었고, 이를 통하여 Kinect와 Wii Balance Board가 각각의 자세를 분류할 수 있는 확률을 획득할 수 있었다. 이렇게 획득한 확률은 모두 89% 이상의 결과값을 나타내었으며, 기존 동작인식 시스템과 비교하였을 때 큰 차이가 나지 않는 결과를 얻어냈다. 따라서 본 연구를 통해 Kinect와 Wii Balance Board를 이용하여 운동 수행자에게 올바른 스쿼트 자세를 가이드 해 줄 수 있으며 기존 동작 인식 시스템에 비해 보다 더 간편하고 쉽게 스쿼트 동작을 분석할 수 있는 시스템임을 확인 할 수 있었다. 주요어: Kinect, Wii Balance Board, 스쿼트, SVM, 서포트 벡터 머신, 동작인식, 자세인식, 균형인식, 동작분석 This study has proceeded to provide proper squat guidelines for performer using Kinect and Wii Balance Board. Unlike previous studies, this study was based on practicality and usability in terms of users. For this purpose, this study has continued to develop a squat posture recognition system that utilizes Kinect and Wii Balance Board which have been made for home entertainment Through the developed system, an expert and 10-participant participated in the experiment and measured the movements of warm-up postures and squat postures. For warm-up postures, the Kinect collected data regarding the measurements between two feet and shoulder width, and the Wii Balance Board collected Center of Pressure(CoP) data. For squat postures, the Kinect collected data regarding knee angle measures, and the Will Balance Board collected CoP data. The data obtained from each posture has been classified by Support Vector Machine(SVM). Through this, it is possible to obtain the probability of classifying each posture from Kinect and Wii Balance Board. The probability of obtaining was above 89%, and when compared to the existing recognition system, there were not great differences. Therefore, this study is able to guide the proper squat posture to the performer using Kinect and Wii Balance Board. It can be confirmed that it is a system that able to analyze the squat posture more comfortably and easily than the existing recognition system. keyword: Kinect, Wii Balance Board, Squat, SVM, Support Vector Machine, Motion Recognition, Posture Recognition, Balance Recognition, Motion Analysis