착용형센서를 이용한 손 제스쳐 인식

국문 초록 (Abstract)

현대사회의 눈부신 발전으로 우리들은 유비쿼터스 환경에서 기기들과 어우러져 살아가고 있다. 따라서 우리는 인간과 기기들 간의 상호작용이 중요하다. 이러한 상호작용은 좀 더 인간 중심의 인터페이스로 제공이 되어야 할 것이다. 인간 중심의 인터페이스를 제공하기 위해서 본 논문에서는 스마트TV와 인터페이스 하기 위한, 15가지 손 제스처를 제안하고, 학습과 인식을 위한 가속도 센서를 이용한 착용형 인터페이스 시스템을 구축하였다. 이 시스템은 가장 사용량이 많은 손 중 엄지와 검지 두 손가락 끝에 센서를 부착하여 손의 제스쳐 인식에 대하여 연구 하였다.
제스쳐 인식을 위하여 움직임을 측정하기 위한 센서 보드를 개발 하였다. 센서로부터 입력되는 자료는 LABVIEW를 통하여 저장한 뒤 제스쳐의 학습과 인식을 위해 HMM(Hidden Markov Model; HMM)을 사용 하여 손 제스쳐 인식에 대해서 실험을 하였다.
센서를 이용하여 손 제스쳐를 인식한 학습할 데이터의 센서 자체 6개 신호만의 인식률과 자체 신호를 합성시켜 생성된 2개의 신호를 추가한 결과 인식률은 약 94.42%에서 95.61%로 약 1.2%정도 높아 졌다.
개인용 착용반지를 전제로 학습을 위한 반복 동작을 3회에서 5회로 증가시키면 인식률이 약 94.46%에서 96.71%로 향상되었다. 착용반지를 여러 사람이 공유한 경우 학습 사람 수가 증가함에 따라 인식률이 약한 감소 추세를 나타냈으나 92% 이상으로 관측되었다.
이러한 연구는 앞으로 스마트TV 같은 전자제품에 적용되어 인간 중심의 인터페이스 환경과 새로운 형태의 서비스를 제공 할 것으로 생각 된다.

다국어 초록 (Multilingual Abstract)

Nowadays our environment is rapidly changing toward a ubiquitous environment for the convenience of human life. In a ubiquitous environment, HCI(human computer interface) technology is very important for the interaction between users and devices. Researches concerned with user oriented interface have been continued for several decades to make human life more ubiquitous. A hand gesture is one of the most natural methods to express user's requests.
In this thesis, fifteen hand gestures using two fingers are proposed to interface with a smart TV. One of the gestures can be recognized after the proposed gestures have been trained. A system for the training and recognition for the gestures is suggested. In the system, two rings of sensors are weared on thumb and index fingers. A three-axis accelerometer sensor is attached on each ring and three signals are extracted from one sensor. Almost all requests for the operation of a smart TV can be described from the fifteen hand gestures with the two rings on fingers. A sensor board and a communication board is designed and constructed to extract and transfer the gesture signal data to PC. The data gathering program is implemented using LabVIEW programming tool. HMM(Hidden Markov Model) based training and recognition methods are used in the system.
Six raw signals are extracted simultaneously from the two rings. In the experiment for the six raw signals, the recognition rats for the same person reaches 94.42%. In this thesis, two synthetic signals are added to the six raw signals to form eight signals to improve the recognition rate. One synthetic signal is the average of three signals from thumb and the other is the average of three signals form index finger. In the experiment for the eight signals, the recognition rate is increased from 94.42% to 95.61%.
If the finger device is used individually, only one user's fifteen gestures are necessary to be trained. The more the training iterations of different gestures are provided, the higher the recognition rate is increased. If the number of training iteration is increased from three to five, the recognition rate is increased from 94.46% to 96.71%. Sometimes the finger device can be used by several persons. If five persons use the same finger device, the recognition rate is decreased to 92%.
This research result shows a user can interact with smart TV sufficiently by use of two fingers. Furthermore, this research result can be also applied to the devices for handicapped people's convenience in a ubiquitous environment.

목차 (Table of Contents)

• 제 1 장 서 론 1
• 제 2 장 손 제스쳐 인식을 위한 기반 기술 4
• 제 1 절 HMM 소개 4
• 제 2 절 HMM 내용 5
• 2.1 확률 평가 문제 5
• 2.2 최적 상태열을 찾는 문제 5
• 2.3 파라미터 추정의 문제 6
• 제 3 절 손 제스쳐 검출을 위한 착용형 센서의 특성 6
• 3.1 가속도 센서 6
• 제 3 장 손 제스쳐 인식 시스템 10
• 제 1 절 손 제스쳐 동작 10
• 제 2 절 HTK를 이용한 HMM 학습과 인식 15
• 제 3 절 인식률 향상을 위한 방법 16
• 제 4 절 손 제스쳐 인식을 위한 시스템 19
• 4.1 가속도 센서 보드와 마이크로프로세서 및 블루투스 보드 22
• 제 5 절 LabVIEW를 이용한 검출 정보 수집 26
• 제 4 장 실험 결과 29
• 제 1 절 지목 동작 29
• 제 2 절 집기 동작 32
• 제 3 절 잡기 동작에서 놓기 동작 34
• 제 4 절 기본 이동 동작 36
• 4.1 기본 이동 동작 (위로) 36
• 4.2 기본 이동 동작 (왼쪽으로) 38
• 제 5 절 잡기 동작에서 이동 동작 40
• 5.1 잡기 동작에서 이동 동작 (위로) 40
• 5.2 잡기 동작에서 이동 동작 (왼쪽으로) 43
• 제 6 절 HMM 학습 및 인식 45
• 6.1 6개의 신호데이터에 대한 인식률(4명) 46
• 6.2 6개의신호데이터+2개의추가신호데이터에대한인식률(4명) 47
• 6.3 1명의 학습데이터의 반복 횟수에 따른 인식률 비교(3∼5회) 48
• 6.4 1, 2, 4명의 학습데이터에 대한 인식률 비교(5회) 51
• 제 5 장 결 론 54
• 참고문헌 55