스켈레톤 추출과 보로노이 테셀레이션을 이용한 영상 기반 손동작 인식에 관한 연구 = Vision-based hand gesture recognition using skeleton extraction and voronoi tessellation

국문 초록 (Abstract)

본 논문은 NUI기반의 손 동작 인터페이스 설계를 위하여, 2차원 영상으로부터 손 영역을 분리하여 손의 특징점을 추출하고 손의 자세를 인식할 수 있는 기법을 제안함으로써, 디스플레이 되고 있는 사물과 사용자가 실시간으로 상호작용할 수 있게 하는 시스템 개발에 연구 목표를 두었다. 사용자가 자신의 손과 손가락을 특정 공간에서 움직이면 본 시스템은 자동으로 해당 동작을 인식하고 이를 해석한다.
스켈레톤 추출을 이용한 손 동작 인식 시스템에서는 카메라에서 얻어진 영상 정보로부터 피부 영역을 추출하는데 있어 조도 변화에 영향을 적게 받는 색상 모델을 만들고자 하였으며, HSI 색상 모델과 YCbCr 색상 모델에서 조도 변화에 강인한 성분인 H, Cb, Cr 성분만을 추출하여 HCbCr 색상 모델을 생성하였다. 생성된 HCbCr 색상 모델에서 얻어진 피부 영역은 다시 퍼지 색상 필터에 적용하여, 조도가 변화하는 환경에서도 안정적으로 피부 영역을 추출할 수 있는 기법을 개발하였다. 또한 손의 움직임을 분석하거나 손의 자세를 인식하기 위하여 손 영역에서 특징점을 추출하고 스켈레톤 모델을 생성하였으며, 스켈레톤 모델에서 각 특징점들이 형성하는 각도를 이용하여 손의 자세를 성공적으로 찾아낼 수 있었다.
다음으로 보로노이 테셀레이션을 이용한 손동작 인식 시스템에서는 RGB 색상모델과 HSI 색상모델을 기반으로 조도 변화에 대하여 강인한 컬러 필터링을 적용하여 피부색 영역을 추출하였다. 또한 손 인식에 대한 실시간 처리와 높은 인식률을 위하여 무게중심점과 더글라스-파커 알고리즘을 이용하여 특징점을 추출하고, 보로노이 테셀레이션 알고리즘을 이용하여 손 모델을 생성한 뒤, 이웃하는 특징점 사이의 위치 관계로부터 손의 특정 자세를 인식하였다.
최종적으로 시스템을 구축하고 직접 실험을 통해 제안된 기법의 유효성과 실용 가능성을 확인한다.

다국어 초록 (Multilingual Abstract)

In this paper, research objective is placed to develop a system which allows users to interact with displayed objects using hand gestures. Some methods which extract hand region from 2-dimensional pictures and provide the feature points of the hands, and recognize specific hand postures in real time are proposed. If the user moves the hand and fingers in a specific space in front of this system, this system automatically recognizes and interprets the gesture.
In the first proposed hand gesture recognition system based on Skeleton extraction, we tried to introduce an alternative color space model which allows to extract skin area from an original picture without affected by various illumination, and then HCbCr color space model was constructed with only H, Cb, Cr components originated from HSI and YCbCr color space models. A Fuzzy Color Fiter was applied to the extracted skin area to refine the skin region. And to analyze hand gestures or recognize hand postures, the feature points of the hand were obtained and the Skeleton model was created. The system showed successful recognition performance for several hand postures and stable tracking performance for the feature points of the hand during movement.
In the second proposed hand gesture recognition system based on Voronoi tessellation, a robust color filter using both RGB color model and HSI color model was applied to extract skin area from the original picture. After obtaining a center of hand region using the center of gravity and the feature points of the hand using Douglas-Peucker algorithm to simplify hand model for real time computing, finally a hand model was created by Voronoi tessellation algorithm. This system performed stable recognition with the position relationship between neighboring feature points and tracked the hand movement successfully.
The performance and effectiveness of the proposed system was verified with experimental systems.