동작 인식 기반의 하이브리드 NUI 설계 및 구현 = Materialization and plan of hybrid NUI based on motion detect.

다국어 초록 (Multilingual Abstract)

Various NUI is provided to recognize motion sensor in various environment in order to control PC using motion detection technology, yet, there is still limitation for various motion detection technology to be combined together. For more convenient interaction, development of motion recognition technology integration algorithm and constant development of technology that enables effective use of it.

This thesis proposes hybrid NUI method to control PC through hand motion recognition technology using Kinect and Leap Motion. This thesis proposes method of recognition of gesture from recognition of number of fingers and trace of hand parts and materialization of mouse and keyboard function based on the simple gesture from only information of hand.

Through library that provides data collected by using Kinect sensor from SDK and trace hand part in live, and materialized interface that controls window by applying finger number data obtained by finger trace and detection and finger movement change time using Leap Motion which can recognize more sensitive motion. With more natural and precise recognition of hand motion, it was able to materialize more convenient NUI than existing method and by expressing more various gesture, more various interface should be materialized by combining more various movement and tools, not only recognizing recognition object as hand.

목차 (Table of Contents)

• 제 1 장 서 론 1
• 1.1 연구 배경 1
• 1.2 연구 목적 및 범위 2
• 1.3 논문의 구성 3
• 제 2 장 관련 연구 4
• 2.1 접촉식 동작 인식 인터페이스 4
• 2.1.1 닌텐도 Wii remote 5
• 2.1.2 소니 Move 6
• 2.1.3 탈믹랩스 마이오(MYO) 7
• 2.2 비접촉식 동작 인식 인터페이스 9
• 2.2.1 PS Move 아이토이 카메라 10
• 2.2.2 Microsoft의 “Kinect for Windows” 11
• 2.2.3 Leap Motion 17
• 2.3 객체 검출과 추적 알고리즘 22
• 2.3.1 MEAN SHIFT 22
• 2.3.2 CAM SHIFT 23
• 2.3.3 Time Of Flight 24
• 제 3 장 하이브리드 마우스 인터페이스 설계 및 구현 26
• 3.1 제스처 기반 NUI 26
• 3.2 손 영역 추출 및 손가락 인식 방법 28
• 3.2.1 웹캠 기반의 손 영역 검출 및 손가락 인식 방법 28
• 3.2.2 Kinect 기반의 손 영역 검출 및 손가락 인식 방법 29
• 3.2.1 Leap Motion 기반의 손 영역 검출 및 손가락 인식 방법 30
• 3.3 하이브리드 NUI 구조 31
• 3.3.1 Hand Tracking 33
• 3.2.2 Leap Motion 기반의 손가락 검출 35
• 3.2.2 Leap Motion 기반의 손가락 인식 33
• 3.3 하이브리드 마우스 설계　 및 구현 36
• 제 4 장 하이브리드 키보드 인터페이스 설계　 및 구현 38
• 4.1 키보드 방식 38
• 4.2 한글 입력 키보드 40
• 4.3 동작 인식 기반의 가상 키보드 43
• 4.4 하이브리드 키보드 인터페이스 설계 및 구현 44
• 제 5 장 실험 및 성능 평가 45
• 5.1 실험환경 45
• 5.1.1 실험 방법 45
• 5.2 성능 평가 및 결과 분석 46
• 5.2.1 손 영역 검출 성능 평가 46
• 5.2.2 손가락 개수 검출 성능 평가 46
• 5.3 동작 인식 기반 어플리케이션 활용 49
• 제 6 장 결론 51
• 참고문헌 52
• Abstract 57