가중치가 적용된 DTW를 이용한 다중 센서 기반의 동작인식

국문 초록 (Abstract)

본 논문에서는 다양한 환경에서 활용 가능한 견고한 동작인식 방법 개발을 목표로 한다. 이를 달성하고자 단일 Kinect 센서, 다중 Kinect 센서, 이종 센서 데이터를 이용한 가중 DTW 기반의 동작인식 시스템이 제안되었다.
단일 Kinect 센서 환경에서 동작인식 정확도를 높이기 위하여 입력 데이터에 정규화 방법을 적용하고 가중치를 적용한 DTW을 통해 위치와 속도 두 특징을 모두 사용하여 동작인식에 활용한 결과, 기존 방법보다 높은 동작 인식 성능을 보였지만 단일 센서의 사각지대로 인한 문제가 여전히 남아있었다.
가중치가 적용된 DTW는 다양한 구성의 데이터를 활용하기에 적합함을 단일 Kinect 센서를 이용한 동작인식 실험을 통해 확인할 수 있었기 때문에, 다중 Kinect 센서를 통해 획득한 데이터를 가중치가 적용된 DTW를 통해 융합하여 단일 센서의 사각지대 문제를 해결하고자 하였다.
다중 Kinect 센서를 통해 동작 감지 범위를 확장하고 관절 추적 상태를 이용한 가중치, 관절의 이동 거리 기반의 가중치 그리고 센서의 노이즈 특성 기반의 가중치를 통해 동작인식의 성능을 향상시켰다. 다중 Kinect 센서를 사용한 방법은 우수한 동작 인식 성능을 보였지만 설치 시 비용의 부담이 있어 다양한 상황에서 활용되기 어려운 문제점이 있다.
다중 Kinect 센서를 사용하지 않고 단일 센서의 사각지대 문제를 해결하기 위하여 설치형 센서(Kinect)와 착용형 센서(관성 센서)를 사용하는 이종 센서 데이터의 융합이 고려되었지만, 이러한 데이터 융합은 영향력 분석이 어려워 가중치 설정이 쉽지 않다. 따라서 가중치 설정 문제를 해결하고자 다양한 문제에 적용 가능한 강력한 최적화 방법인 차분 진화 방법이 이종 센서 데이터의 융합을 위한 가중치의 설정에 사용되었다.
그 결과, 차분 진화 방법을 통해 조정된 가중치를 사용한 DTW 기반의 동작인식 방법의 성능은 기존의 방법보다 높았으며, 제안하는 방법이 효과적으로 이종 센서 데이터를 융합함을 보였다.

다국어 초록 (Multilingual Abstract)

In this thesis, we aim to develop a robust gesture recognition method that can be used in various environments. To achieve this, a weighted DTW based gesture recognition systems using a single Kinect sensor, multiple Kinect sensors, and heterogeneous sensor data have been proposed.
In order to improve gesture recognition performance in a single Kinect sensor environment, we applied the normalization method to the input data and applied it to the gesture recognition using both the position and the velocity through the weighted DTW. But, there was still a problem due to the blind spot of a single sensor.
Since the weighted DTW is suitable for fusion of data of various configurations, it can be confirmed through the gesture recognition experiment using a single Kinect sensor. Therefore, the data obtained through the multiple Kinect sensors are fused through the weighted DTW for solving the blind spot problem.
We extended the gesture detection range through multiple Kinect sensors and improved gesture recognition performance by weighting based on joint tracking status, weighting based on joint movement distance, and weighting based on sensor noise characteristics. Although the method using multiple Kinect sensors showed excellent gesture recognition performance, it has a problem that it is difficult to use in various situations due to a burden on installation cost.
To solve the blind spot problem of a single sensor without using multiple Kinect sensors, fusion of heterogeneous sensor data using a mounted sensor (Kinect) and a wearable sensor (inertial) has been considered.
However, weighting is difficult to determine because the convergence of heterogeneous sensor data is difficult to analyze. To solve the weighting problem, we set a weight for the convergence of heterogeneous sensor data using a differential evolution method applicable to various problems.
As a result, the performance of the DTW gesture recognition system using the weighted values adjusted by the differential evolution method was higher than that of the conventional method, and the proposed method effectively converged the heterogeneous sensor data.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1.1 연구의 배경 1
• 1.2 연구의 목표와 기여 4
• 1.3 논문의 구성 6
• Ⅱ. 패턴인식 알고리즘과 동작인식 관련 센서 7
• 2.1 패턴인식 알고리즘 7
• 2.1.1 Dynamic Time Warping 7
• 2.1.2 확률 모델링 기반 동작인식 방법 10
• 2.1.3 인공 신경망 기반 동작인식 방법 11
• 2.2 동작인식 관련 센서 14
• 2.2.1 컬러 센서 기반의 동작인식 14
• 2.2.2 깊이 센서 기반의 동작인식 15
• 2.2.3 관성 센서 기반의 동작인식 20
• 2.2.4 다중 센서 기반의 동작인식 21
• Ⅲ. 가중치가 적용된 DTW를 이용한 동작인식 24
• 3.1 가중치가 적용된 DTW를 이용한 이차원 동작인식 24
• 3.2 가중치가 적용된 DTW를 이용한 다중 Kinect 기반의 동작인식 29
• 3.3 가중치가 적용된 DTW를 이용한 다중 센서 기반의 동작인식 37
• Ⅳ. 실험 결과 및 고찰 43
• 4.1 데이터베이스 43
• 4.2 성능 평가 50
• 4.2.1 가중치가 적용된 DTW를 이용한 이차원 동작인식 50
• 4.2.2 가중치가 적용된 DTW를 이용한 다중 Kinect 기반의 동작인식 55
• 4.2.3 가중치가 적용된 DTW를 이용한 다중 센서 기반의 동작인식 62
• Ⅴ. 결론 70
• 참고문헌 71
• 국문초록 81
• Abstract 83