실시간 손 포즈 인식을 통한 비접촉식 입력 인터페이스

나민영,김태영 한국차세대컴퓨팅학회 2015 한국차세대컴퓨팅학회 논문지 Vol.11 No.1

본 논문에서는 스마트 글래스 환경에서 키보드나 마우스를 이용하지 않고 실시간 손 포즈 인식을 통한 비접촉식 입 력 인터페이스 기술을 제안한다. 먼저 깊이 카메라 입력영상에서 깊이 값에 대한 1차 미분을 수행하여 히스토그램 분포도를 만들고 변곡점을 계산하여 왼손과 오른손의 영역을 분할한 뒤, 각 손 영역에 대하여 손 회전각과 손 중심 점을 계산한다. 그리고 손의 중심점에서 일정간격으로 원을 확장해 나가면서 손 경계 교차점의 중간 지점을 구해 손가락 관절과 끝점을 검출한다. 앞서 구한 손 정보와 이전 프레임의 손 모델간의 매칭을 수행하여 손 포즈를 인식 한 후 다음 프레임을 위하여 손 모델을 갱신한다. 또한 손의 중심으로부터 원을 확장하여 손바닥 위치를 구하여 가 상 키보드 정합을 수행하고 손 끝점과 인접픽셀의 깊이값을 비교하여 클릭을 감지한다. 본 방법은 연속된 프레임간 의 시간 일관성을 이용하여 이전 프레임의 손 모델 정보를 기반으로 실시간 손 포즈 인식이 가능하고 착용형 단말기 환경에서 물리적 장치 없이 가상키보드 입력이 가능하다. 다양한 손 포즈에 대해 인식 실험을 한 결과 평균 95% 이상의 인식률을 보였으며 가상 키보드 클릭의 경우 80% 이상의 정확도를 보였다. 또한 속도는 초당 34 프레임의 성능을 보여주어 실시간 처리가 가능함을 알 수 있었다. In this paper, we proposes a contact-less input interface in a smart glass environment through real-time recognition of hand poses without using any keyboard or mouse. First, a histogram distribution chart of depth values is created through the first-order differentials of depth values in depth camera input images, and inflection points are calculated to segment the areas of left and right hands. Then the hand rotation angle and hand center point of each hand area are calculated. After that, the centroid point of the hand boundary crossing is determined while expanding the circle at a fixed interval from the center of each hand so as to detect the hand joint points and end points. The hand information obtained before is matched with the hand model of the previous frame to recognize a hand pose and the hand model is updated for the next frame. In addition, virtual keyboard is registered by calculating the position of the palm while expanding the circle from the center of left hand and the keyboard click is detected by comparing the depth values of index fingertip to those of its adjacent pixels. This method enables hand pose recognition through the hand model of the previous frame by using the temporal consistency between continuous frames and allows the virtual keyboard input with no physical input device in the wearable environment. Recognition experiments for various hand poses showed over 95% average recognition rate and over 80% accuracy rate for virtual keyboard clicks. Furthermore, the proposed method showed the processing speed of about 34 frame per second, thus enabling real-time processing.

Time-of-Flight 카메라를 이용한 손동작 인식 알고리즘에 관한 연구

유기상,진서훈,장세정 한국자료분석학회 2017 Journal of the Korean Data Analysis Society Vol.19 No.1

Recently, inputting by natural motion through sensor is more interested in various fields than a conventional input device. Especially, since hand motions can be intuitively understood and expressed in various forms, many studies have been developed. Hand motion recognition consists of hand region detection and motion recognition. In this study, we proposed an hand motion recognition algorithm that distinguishes the thumb and the other four fingers from data which is obtained though TOF (time-of-flight) camera. To solve skin colour dependency problem during hand region detection, we used distance data from TOF camera. In order to overcome difficulty of thumb recognition when we recognize finger through circle or ellipse, the thumb and the other four fingers are distinguished. Also, to increase recognition rate of the fist, the process of discrimination using the ratio value of the empty cells is added. The proposed algorithm is applied to recognize 10 different hand motion patterns. Finally, we got 96.7% recognition rate for 10 different hand motion patterns. 최근 기존의 입력장치보다 비교적 조작이 자연스러운 동작 인식으로 센서를 통해 입력하는 방식은 다양한 분야에서 관심 받고 있다. 동작 인식 중 특히 손동작은 직관적으로 이해 가능하고 다양한 형태로 표현 가능하기 때문에 다방면으로 연구가 이루어져 왔다. 손동작 인식은 손 영역 검출과 동작 인식의 과정으로 나눌 수 있다. 본 논문에서는 TOF(time-of-flight) 카메라를 이용하여 데이터를 추출하고 엄지손가락과 나머지 네 손가락을 구분하여 손동작을 판별하는 알고리즘을 제시하였다. 손 영역 검출 과정에서 피부색에 의존하는 어려움을 해결하기 위해 TOF 카메라의 거리 데이터를 이용하였다. 또한 원 또는 타원을 통해 손가락을 인식할 때, 엄지손가락의 인식이 제한되는 어려움을 해결하기 위해 호를 이용하여 엄지손가락과 나머지 네 손가락을 구분하여 인식하였다. 아울러 주먹 손동작의 인식률을 높이기 위해 손 영역이 아닌 빈 셀의 비율값을 이용하여 판별하는 과정을 추가하였다. 위 방법을 통하여 10가지 패턴에 대해 제안하는 알고리즘을 적용해 보았다. 확인된 손동작 전체 인식률은 96.7%로 나타났다.

가이드라인을 이용한 동적 손동작 인식

김건우(Kun Woo Kim),이원주(Won Joo Lee),전창호(Chang Ho Jeon) 大韓電子工學會 2010 電子工學會論文誌-CI (Computer and Information) Vol.47 No.5

일반적으로 동적 손동작 인식을 위해서는 전처리, 손 추적, 손 모양 검출의 단계가 필요하다. 본 논문에서는 전처리와 손 모양 검출 방법을 개선함으로써 성능을 향상시킨 동적 손동작 인식 방법을 제안한다. 전처리 단계에서는 동적테이블을 이용하여 노이즈제거 성능을 높이고, YCbCr 컬러공간을 이용한 기존의 피부색 검출 방식에서 피부색의 범위를 조절할 수 있도록 하여 피부색 검출 성능을 높인다. 특히 손 모양 검출 단계에서는 가이드라인을 이용하여 동적 손동작 인식의 요소인 시작이미지 (Start Image)와 정지 이미지(Stop Image)를 검출하여 동적 손동작을 인식하기 때문에 학습예제를 사용한 손동작 인식 방법에 비해 인식 속도가 빠르다는 이점이 있다. 가이드라인이란 웹캠을 통해 입력되는 손의 모양과 비교하여 검출하기 위해 화면에 출력하는 손 모양의 라인이다. 가이드라인을 이용한 동적 손동작 인식 방법의 성능을 평가하기 위해 웹캠을 사용하여 복잡한 배경과 단순한 배경으로 구분된 9가지 동영상을 대상으로 실험하였다. 그 결과 CPU 점유율이 낮고, 메모리 사용량도 적기 때문에 시스템 부하가 높은 환경에 효과적임을 알 수 있었다. Generally, dynamic hand gesture recognition is formed through preprocessing step, hand tracking step and hand shape detection step. In this paper, we present advanced dynamic hand gesture recognizing method that improves performance in preprocessing step and hand shape detection step. In preprocessing step, we remove noise fast by using dynamic table and detect skin color exactly on complex background for controling skin color range in skin color detection method using YCbCr color space. Especially, we increase recognizing speed in hand shape detection step through detecting Start Image and Stop Image, that are elements of dynamic hand gesture recognizing, using Guideline. Guideline is edge of input hand image and hand shape for comparing. We perform various experiments with nine web-cam video clips that are separated to complex background and simple background for dynamic hand gesture recognition method in the paper. The result of experiment shows similar recognition ratio but high recognition speed, low cpu usage, low memory usage than recognition method using learning exercise.

피부색과 무게중심 프로필을 이용한 손동작 인식 알고리즘

박영민 국제문화기술진흥원 2021 The Journal of the Convergence on Culture Technolo Vol.7 No.2

The field that studies human-computer interaction is called HCI (Human-computer interaction). This field is an academic field that studies how humans and computers communicate with each other and recognize information. This study is a study on hand gesture recognition for human interaction. This study examines the problems of existing recognition methods and proposes an algorithm to improve the recognition rate. The hand region is extracted based on skin color information for the image containing the shape of the human hand, and the center of gravity profile is calculated using principal component analysis. I proposed a method to increase the recognition rate of hand gestures by comparing the obtained information with predefined shapes. We proposed a method to increase the recognition rate of hand gestures by comparing the obtained information with predefined shapes. The existing center of gravity profile has shown the result of incorrect hand gesture recognition for the deformation of the hand due to rotation, but in this study, the center of gravity profile is used and the point where the distance between the points of all contours and the center of gravity is the longest is the starting point. Thus, a robust algorithm was proposed by re-improving the center of gravity profile. No gloves or special markers attached to the sensor are used for hand gesture recognition, and a separate blue screen is not installed. For this result, find the feature vector at the nearest distance to solve the misrecognition, and obtain an appropriate threshold to distinguish between success and failure. 인간과 컴퓨터의 상호작용을 연구하는 분야를 HCI(Human-computer interaction)라고 한다. 이 분야는 인간과 컴퓨터 간에 서로 소통하면서 정보를 인식하는 방법에 대해 연구하는 학문 분야이다. 본 연구는 사람과의 상호작용을 위한 손동작 인식에 대한 연구로써 기존 인식방법의 문제점을 살펴보고 인식률을 개선하기 위한 알고리즘을 제시한다. 사람의 손 모양이 포함된 영상을 대상으로 피부색 정보를 바탕으로 손 영역을 추출하고, 주성분 분석을 이용하여 무게중심 프로필을 계산한다. 이렇게 얻은 정보를 미리 정의된 형상들과 비교하여 손동작을 인식률을 높이는 방법을 제안하였다. 기존의 무게중심 프로필은 회전으로 인한 손의 변형에 대해 잘못된 손동작 인식을 결과를 보여주었으나, 본 연구에서는 무게중심 프로필을 이용하고 모든 윤곽선의 점들과 무게중심 사이의 거리가 가장 긴 점을 시작점으로 하여 무게중심 프로필을 다시 개선함으로써 강건한 알고리즘을 제시하였다. 손동작 인식을 위하여 센서가 부착된 장갑이나 특별한 마커를 사용하지 않으며, 별도의 청색 스크린을 설치하지도 않는다. 이 결과에 대해 가장 가까운 거리의 특징벡터를 찾아 잘못된 인식을 해결하고, 적당한 경계치를 구하여 성공과 실패를 구분한다.

HMM과 MCSVM 기반 손 제스처 인터페이스 연구

고택균,윤민호,김태영 한국차세대컴퓨팅학회 2018 한국차세대컴퓨팅학회 논문지 Vol.14 No.1

최근 가상현실 기술의 발전으로 가상의 3D 객체와 자연스러운 상호작용이 가능하도록 하는 사용자 친화적인 손 제스처 인터페이스에 대한 연구가 활발히 진행되고 있다. 그러나 대부분의 연구는 단순하고 적은 종류의 손 제스처만지원되고 있는 실정이다. 본 논문은 직관적이고 보편적인 손 제스처를 유형별로 분류하고 각 제스처의 인식률을 높이기 위한 머신러닝 기반 손 제스처 인식 방법을 제안한다. 먼저 립모션을 이용해 입력된 손 정보를 전처리 과정으로 인식오류를 수정한다. 그리고 난 후 이진 결정트리를 기반으로 1차 분류를 수행한 다음 손 특징 정보를 구성한다. 입력된 제스처가 정적 제스처인 경우는 MCSVM 학습을 수행하고 동적 제스처인 경우는 HMM 학습을 수행하여 최종적으로 손 제스처를 인식한다. 본 방법의 검증을 위하여 ‘Virtual Block’ 게임을 구현하여 실험한 결과 17개의 제스처 인터페이스에 대해 평균 98.6%의 인식률을 보였다. 본 연구의 결과는 마우스나 키보드 필요 없이 게임, 교육, 의료 등 다양한 가상현실 응용 분야에서 입력 인터페이스로 활용될 수 있다. With the development of virtual reality technology, in recent years, user-friendly hand gesture interface has been more studied for natural interaction with a virtual 3D object. But most earlier studies on the hand gesture interface are using relatively simple hand gestures. In this paper, we classify intuitive and common hand gestures into certain types and present a hand gesture recognition algorithm based on the machine learning to improve the recognition ratio of each hand gesture. First of all, we use Leap Motion to get hand information and then preprocess the hand data to correct the input errors. Next, we classify the data through the binary decision tree and construct the hand feature data. Finally, the input gesture is recognized based on the MCSVM-based machine learning for static gesture and the HMM-based machine learning for dynamic gesture. Experimental results showed an average of 98.6% recognition ratio of 17 kinds of command hand gestures for interaction with a 3D object in a 'Virtual Block' game application. This hand gesture interface can be used as an input interface in various virtual reality application fields such as game, education, medical field, etc. without using mouse or keyboard device.

가상현실 응용을 위한 MCSVM 기반 손 제스처 인식 방법

고택균,김태영 한국차세대컴퓨팅학회 2017 한국차세대컴퓨팅학회 논문지 Vol.13 No.6

Recently hand gesture recognition which is one of several methods for natural user interaction is being extensively researched in the development of virtual reality technology. In this paper, we suggest a hand gesture recognition method based on the MCSVM for interaction in the virtual reality applications. First, we preprocess various hand data and classify the data through the binary decision tree. The classified data is resampled and converted to the chain-code, and then we construct the hand feature data with the histograms of the chain code. Finally, the input gesture is recognized by MCSVM-based machine learning from the feature data. Experimental results show an average of 99.2% recognition ratio of 16 kinds of command hand gestures for interaction with a 3D object. From experiment of a comparison with the mouse interface, it shows that the paper method is more intuitive and user friendly than mouse input. Therefore, this hand gesture interface can be used in various fields such as game, education, medical field, etc. 최근 가상현실 기술의 발전으로 가상공간에서 자연스러운 상호작용을 위하여 손 제스처 인식에 대한 연구가 활발히진행되고 있다. 본 논문은 가상현실 응용에서 손 제스처를 이용한 상호작용이 가능하도록 손 제스처 유형을 정의하고 MCSVM 학습을 통한 손 제스처 인식 방법을 제안한다. 먼저 전처리 과정을 거친 다양한 손 데이터를 이진 결정트리로 1차 분류를 한다. 분류 된 데이터는 리샘플링을 한 다음 체인코드를 생성하고 이에 대한 히스토그램으로 특징 데이터를 구성한다. 이를 기반으로 학습된 MCSVM을 통해 2차 분류를 수행하여 제스처를 인식한다. 실험 결과3D 오브젝트와 상호작용을 위한 16개의 명령 제스처에 대해 평균 99.2%의 인식률을 보였다. 마우스 인터페이스와 비교한 정성적 평가에서는 본 방법이 마우스 입력에 비하여 직관적이고 사용자 친화적인 상호작용이 가능함을보여 게임, 교육, 의료 등 다양한 응용 분야에서의 입력 인터페이스로 활용 될 수 있음을 알 수 있었다.

다양한 손 제스처 인식을 위한 곡률 분석 기반의 손 특징 추출 알고리즘

윤홍찬(Hong-Chan Yoon),조진수(Jin-Soo Cho) 한국컴퓨터정보학회 2015 韓國컴퓨터情報學會論文誌 Vol.20 No.5

본 논문에서는 손 제스처 인식에 필요한 특징 추출을 위하여 손가락의 개수뿐만 아니라 붙어있는 손가락 판별까지 인식할 수 있는 알고리즘을 제안한다. 제안하는 알고리즘은 컬러모델 기반의 피부색 범위 필터와 레이블링을 통하여 입력 영상에서 손 영역을 검출하고, 외곽선 및 특징점과 이들로부터 추출한 곡률 정보를 이용해 펴진 손가락의 개수 및 붙어있는 손가락 판별을 통한 특징을 추출하여 다양한 손 제스쳐를 인식한다. 실험결과 인식률과 처리 가능프레임 레이트(frame rate)는 기존 알고리즘과 유사하였지만, 추출된 특징을 가지고 정의할 수 있는 제스처의 경우의 수는 기존 알고리즘보다 약 4배 정도 많아 훨씬 더 다양한 제스처를 인식할 수 있음을 알 수 있었다. In this paper, we propose an algorithm that can recognize not only the number of stretched fingers but also determination of attached fingers for extracting features required for hand gesture recognition. The proposed algorithm detects the hand area in the input image by the skin color range filter based on a color model and labeling, and then recognizes various hand gestures by extracting the number of stretched fingers and determination of attached fingers using curvature information extracted from outlines and feature points. Experiment results show that the recognition rate and the frame rate are similar to those of the conventional algorithm, but the number of gesture cases that can be defined by the extracted characteristics is about four times higher than the conventional algorithm, so that the proposed algorithm can recognize more various gestures.

모바일 카메라 기기를 이용한 손 제스처 인터페이스

이찬수(Chan-Su Lee),천성용(Sung Yong Chun),손명규(MyoungGyu Sohn),이상헌(Sang-Heon Lee) 한국정보과학회 2010 정보과학회 컴퓨팅의 실제 논문지 Vol.16 No.5

본 논문에서는 스마트 폰, PDA와 같은 모바일 장치에 있는 카메라 기기를 이용한 손동작 제스처 인터페이스를 위한 손 움직임 추적 방법을 제안하고 이를 바탕으로 한 손 제스처 인식 시스템을 개발한다. 사용자의 손동작에 따라 카메라가 움직임으로써, 전역 optical flow가 발생하며, 이에 대한 우세한 방향 성분에 대한 움직임만 고려함으로써, 노이즈에 강인한 손움직임 추정이 가능하다. 또한 추정된 손 움직임을 바탕으로 속도 및 가속도 성분을 계산하여 동작위상을 구분하고, 동작상태를 인식하여 연속적인 제스처를 개별제스처로 구분한다. 제스처 인식을 위하여, 움직임 상태에서의 특징들을 추출하여, 동작이 끝나는 시점에서 특징들에 대한 분석을 통하여 동작을 인식한다. 추출된 특징점을 바탕으로 제스처를 인식하기 위하여 SVM(Support vector machine), k-NN(k-nearest neighborhood classifier), 베이시안 인식기를 사용했으며, 14개 제스처에 대한 인식률은 82%에 이른다. This paper presents a hand motion tracking method for hand gesture interface using a camera in mobile devices such as a smart phone and PDA. When a camera moves according to the hand gesture of the user, global optical flows are generated. Therefore, robust hand movement estimation is possible by considering dominant optical flow based on histogram analysis of the motion direction. A continuous hand gesture is segmented into unit gestures by motion state estimation using motion phase, which is determined by velocity and acceleration of the estimated hand motion. Feature vectors are extracted during movement states and hand gestures are recognized at the end state of each gesture. Support vector machine (SVM), k-nearest neighborhood classifier, and normal Bayes classifier are used for classification. SVM shows 82% recognition rate for 14 hand gestures.

스마트 디바이스 제어를 위한 비전 기반 실시간 손 포즈 및 제스처 인식 방법

나민영,유휘종,김태영 한국차세대컴퓨팅학회 2012 한국차세대컴퓨팅학회 논문지 Vol.8 No.4

본 논문에서는 스마트 디바이스 제어를 위한 비전 기반 실시간 손 포즈 및 제스처 인식 방법을 제안한다. 깊이 카메라를 통하여 얻은 입력영상에서 왼손과 오른손의 영역을 분할한 후 거리맵을 이용하여 얻은 손의 중점과 깊이 카메라에서 얻은 손의 추적점 정보를 이용하여 손의 회전각도를 구한다. 그 후 외곽선 추적, 근사화 및 컨벡스 헐 알고리즘을 수행하여 손가락 끝점을 얻어낸다. 마지막으로 손목과 각 손가락 끝점간의 각도를 여러 번 학습 시켜 은닉된 손가락이 무엇인지 어떤 포즈를 취했는지 알아낸다. 또한 제스처 인식을 위하여 은닉 마르코프 모델 기반의 유형화 기법을 통하여 모범 동작의 유형 모델을 구성하고 이를 이용하여 사용자의 동작을 인식한다. 스마트 TV를 제어하기 위하여 본 방법을 실험한 결과 고속으로 정확하게 각 손가락 끝점의 구분이 가능하여 다양한 손동작 인식 및 제어가 가능함을 보여주었다.

손 제스처 기반의 애완용 로봇 제어

박세현(Se-Hyun Park),김태의(Tae-Ui Kim),권경수(Kyung-Su Kwon) 한국산업정보학회 2008 한국산업정보학회논문지 Vol.13 No.4

본 논문에서는 애완용 로봇에 장착된 카메라로부터 획득된 연속 영상에서 사용자의 손 제스처를 인식하여 로봇을 제어하는 시스템을 제안한다. 제안된 시스템은 손 검출, 특징 추출, 제스처 인식, 로봇제어의 4단계로 구성된다. 먼저 카메라로부터 입력된 영상에서 HSI 색상공간에 정의된 피부색 모델과 연결성분 분석을 이용하여 손 영역을 검출한다. 다음은 연속 영상에서 손 영역의 모양과 움직임에 따른 특징을 추출한다. 이때 의미 있는 제스처의 구분을 위해 손의 모양을 고려한다. 그 후에 손의 움직임에 의해 양자화된 심볼들을 입력으로 하는 은닉 마르코프 모델을 이용하여 손 제스처는 인식된다. 마지막으로 인식된 제스처에 대응하는 명령에 따라 애완용 로봇이 동작하게 된다. 애완용 로봇을 제어하기 위한 명령으로 앉아, 일어서, 엎드려, 악수 등의 제스처를 정의하였다. 실험결과로 제안한 시스템을 이용하여 사용자가 제스처로 애완용 로봇을 제어 할 수 있음을 보였다. In this paper, we propose the pet robot control system using hand gesture recognition in image sequences acquired from a camera affixed to the pet robot. The proposed system consists of 4 steps; hand detection, feature extraction, gesture recognition and robot control. The hand region is first detected from the input images using the skin color model in HSI color space and connected component analysis. Next, the hand shape and motion features from the image sequences are extracted. Then we consider the hand shape for classification of meaning gestures. Thereafter the hand gesture is recognized by using HMMs (hidden markov models) which have the input as the quantized symbol sequence by the hand motion. Finally the pet robot is controlled by a order corresponding to the recognized hand gesture. We defined four commands of sit down, stand up, lie flat and shake hands for control of pet robot. And we show that user is able to control of pet robot through proposed system in the experiment.