인간-컴퓨터 상호 작용을 위한 인간 팔의 3차원 자세 추정 - 기계요소 모델링 기법을 컴퓨터 비전에 적용

한영모,Han Young-Mo 대한전자공학회 2005 電子工學會論文誌-SC (System and control) Vol.42 No.4

인간은 의사 표현을 위해 음성언어 뿐 아니라 몸짓 언어(body languages)를 많이 사용한다 이 몸짓 언어 중 대표적인 것은, 물론 손과 팔의 사용이다. 따라서 인간 팔의 운동 해석은 인간과 기계의 상호 작용(human-computer interaction)에 있어 매우 중요하다고 할 수 있다. 이러한 견지에서 본 논문에서는 다음과 같은 방법으로 컴퓨터비전을 이용한 인간팔의 3차원 자세 추정 방법을 제안하다. 먼저 팔의 운동이 대부분 회전 관절(revolute-joint)에 의해 이루어진다는 점에 착안하여, 컴퓨터 비전 시스템을 활용한 회전 관절의 3차원 운동 해석 기법을 제안한다. 이를 위해 회전 관절의 기구학적 모델링 기법(kinematic modeling techniques)과 컴퓨터 비전의 경사 투영 모델(perspective projection model)을 결합한다. 다음으로, 회전 관절의 3차원 운동해석 기법을 컴퓨터 비전을 이용한 인간 팔의 3차원 자세 추정 문제에 웅용한다. 그 기본 발상은 회전 관절의 3차원 운동 복원 알고리즘을 인간 팔의 각 관절에 순서 데로 적용하는 것이다. 본 알고리즘은 특히 유비쿼터스 컴퓨팅(ubiquitous computing)과 가상현실(virtual reality)를 위한 인간-컴퓨터 상호작용(human-computer interaction)이라는 응용을 목표로, 고수준의 정확도를 갖는 폐쇄구조 형태(closed-form)의 해를 구하는데 주력한다. For expressing intention the human often use body languages as well as vocal languages. Of course the gestures using arms and hands are the representative ones among the body languages. Therefore it is very important to understand the human arm motion in human-computer interaction. In this respect we present here how to estimate 3D pose of human arms by using computer vision systems. For this we first focus on the idea that the human arm motion consists of mostly revolute joint motions, and then we present an algorithm for understanding 3D motion of a revolute joint using vision systems. Next we apply it to estimating 3D pose of human arms using vision systems. The fundamental idea for this algorithm extension is that we may apply the algorithm for a revolute joint to each of the revolute joints of hmm arms one after another. In designing the algorithms we focus on seeking closed-form solutions with high accuracy because we aim at applying them to human computer interaction for ubiquitous computing and virtual reality.

사실적인 컴퓨터 애니메이션 구현을 위한 증분형 영상 기반 운동 렌더링 기법

한영모,Han, Young-Mo 한국정보처리학회 2008 정보처리학회논문지B Vol.15 No.2

Image-based motion capture technology is often used in making realistic computer animation. In this paper we try to implement image-based motion rendering by fixing a camera to a PC. Existing image-based rendering algorithms have disadvantages of high computational burden or low accuracy. The former disadvantage causes too long making-time of an animation. The latter disadvantage degrades reality in making realistic animation. To compensate for those disadvantages of the existing approaches, this paper presents an image-based motion rendering algorithm with low computational load and high estimation accuracy. In the proposed approach, an incremental motion rendering algorithm with low computational load is analyzed in the respect of optimal control theory and revised so that its estimation accuracy is enhanced. If we apply this proposed approach to optic motion capture systems, we can obtain additional advantages that motion capture can be performed without any markers, and with low cost in the respect of equipments and spaces. 사실적인 컴퓨터 애니메이션 제작 시 종종 모션 캡쳐 기술이 사용된다. 모션 캡쳐 기술은 대상체의 운동을 측정해서 모델링한 운동 렌더링 결과를 그래픽스로 표현한다. 본 논문에서는 카메라를 사용해서 얻어진 2차원 영상 정보로부터 대상체의 3차원 운동을 측정하여 모델링하는 영상 기반 운동 렌더링 문제를 다룬다. 기존의 영상 기반 운동 렌더링 알고리즘은 계산량이 너무 많거나 정확도가 떨어지는 등의 단점이 있었다. 첫 번 째 단점은 장편 애니메이션 제작시 제작 시간이 너무 길어서 문제가 되고, 두 번 째 단점은 사실적인 애니메이션 구현시 사실감이 저하되는 문제를 야기 시킨다. 이와 같은 기존 방식의 단점을 보완하기 위하여 본 논문에서는 계산량이 적고 정확도가 높은 영상 기반 운동 렌더링 알고리즘을 제안한다. 본 논문에서 제안한 방식에서는 계산량이 적은 증분형 운동렌더링 알고리즘을 최적제어 이론의 시각에서 분석하여 정확도를 향상시키도록 개조한다. 본 방식을 광학식 모션 캡쳐 기술에 적용할 경우 표시자(marker)의 부착 없이도 모션 캡쳐가 가능하다는 부가적 인 장점 또한 얻을 수 있다.

능동적인 비전 시스템에서 카메라의 시선 조정: 컴퓨터 비전과 제어의 융합 테마

한영모 대한전자공학회 2004 電子工學會論文誌-SC (System and control) Vol.41 No.4

능동적인 비전 시스템의 전형적인 한 테마는 카메라의 시선 고정 문제이다. 여기서 카메라의 시선 고정이란 동적인 물체 상의 지정된 한 점이 항시 이미지의 중앙부에 놓이도록 카메라의 자세를 조정하는 것으로서, 이를 위해서는 카메라에 비친 영상정보를 분석하는 기능과 카메라의 자세를 제어하는 두 가지 기능이 결합되어야 한다. 본 논문에서는 영상분석과 자세제어가 한 개의 프레임 하에서 설계되는 카메라의 시선 고정을 위한 알고리즘을 제안한다. 이 때 제작시의 어려움을 피하고 실시간 응용을 위해서 본 알고리즘은 카메라의 calibration이나 3차원 거리 정보의 복원을 필요로 하지 않도록, 그리고 닫힌 형태(closed-form)가 되도록 설계된다. A typical theme of active vision systems is gaze-fixing of a camera. Here gaze-fixing of a camera means by steering orientation of a camera so that a given point on the object is always at the center of the image. For this we need to combine a function to analyze image data and a function to control orientation of a camera. This paper presents an algorithm for gaze-fixing of a camera where image analysis and orientation control are designed in a frame. At this time, for avoiding difficulties in implementing and aiming for real-time applications we design the algorithm to be a simple closed-form without using my information related to calibration of the camera or structure estimation.

능동적인 비전 시스템에서 카메라의 시선 조정: 컴퓨터 비전과 제어의 융합 테마

한영모 대한전자공학회 2004 電子工學會論文誌-SC (System and control) Vol.41 No.04

A typical theme of active vision systems is gaze-fixing of a camera. Here gaze-fixing of a camera means by steering orientation of a camera so that a given point on the object is always at the center of the image. For this we need to combine a function to analyze image data and a function to control orientation of a camera. This paper presents an algorithm for gaze-fixing of a camera where image analysis and orientation control are designed in a frame. At this time, for avoiding difficulties in implementing and aiming for real-time applications we design the algorithm to be a simple closed-form without using any inoformation related to calibration of the camera or structure estimation. 능동적인 비전 시스템의 전형적인 한 테마는 카메라의 시선 고정 문제이다. 여기서 카메라의 시선 고정이란 동적인 물체 상의 지정된 한 점이 항시 이미지의 중앙부에 놓이도록 카메라의 자세를 조정하는 것으로서, 이를 위해서는 카메라에 비친 영상 정보를 분석하는 기능과 카메라의 자세를 제어하는 두 가지 기능이 결합되어야 한다. 본 논문에서는 영상분석과 자세제어가 한 개의 프레임 하에서 설계되는 카메라의 시선 고정을 위한 알고리즘을 제안한다. 이 때 제작시의 어려움을 피하고 실시간 응용을 위해서 본 알고리즘은 카메라의 calibration이나 3차원 거리 정보의 복원을 필요로 하지 않도록, 그리고 닫힌 형태(closed-form)가 되도록 설계된다.

데이터베이스 축소기법을 사용한 모바일 임베디드 시스템에서의 모션 캡쳐 기반 애니메이션

한영모 한국정보처리학회 2007 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.14 No.6

The objective of this paper is to accommodate the existing motion-capture-based animation to small memories and low computing powers of mobile embedded systems. To use efficiently memories, we propose a paradigm in which a motion capture database is compressed on a PC and so-compressed motion capture database is decompressed little by little on mobile embedded systems and the decompressed data are eliminated right after used. As a compression method for this paradigm we propose an approach that compresses captured motion rendering parameters using a polynomial function fitting method. To enhance its performance we also propose an optimization method for the degree of the polynomial fitting function. Using so-obtained compression method we demonstrate motion-capture-based animation on commercial mobile embedded systems. 본 논문의 목적은 기존의 모션 캡쳐 기반 애니메이션을 모바일 임베디드 시스템의 적은 메모리와 낮은 계산력에 적합하게 개조하는데 있다. 모바일 임베디드 시스템의 메모리를 효율적으로 사용하기 위한 방안으로서, PC 상에서 모션 캡쳐 데이터베이스를 압축하고, 압축된 모션캡쳐 데이터베이스를 모바일 임베디드 시스템에서 조금씩 압축 해제하고 사용 직후 삭제하는 패러다임을 제안한다. 이러한 목적으로 사용될 모션 캡쳐 데이터베이스 압축 기법으로서, 다항식 정합법을 활용하여 캡쳐된 운동 렌더링 파라미터의 데이터베이스를 축소하는 방법을 제안한다. 그리고 성능향상을 위해서 다항식 정합 함수를 최적화하는 방안도 함께 제안한다. 이렇게 설계된 다항식 정합법에 기반한 데이터 압축 방식을 사용하여, 상용화된 모바일 임베디드 시스템에서 효율적인 모션 캡쳐 기반 애니메이션 제작을 시현한다.

데이터베이스 축소기법을 사용한 모바일 임베디드 시스템에서의 모션 캡쳐 기반 애니메이션

한영모,Han, Young-Mo 한국정보처리학회 2007 정보처리학회논문지B Vol.14 No.6

본 논문의 목적은 기존의 모션 캡쳐 기반 애니메이션을 모바일 임베디드 시스템의 적은 메모리와 낮은 계산력에 적합하게 개조하는데 있다. 모바일 임베디드 시스템의 메모리를 효율적으로 사용하기 위한 방안으로서, PC 상에서 모션 캡쳐 데이터베이스를 압축하고, 압축된 모션캡쳐 데이터베이스를 모바일 임베디드 시스템에서 조금씩 압축 해제하고 사용 직후 삭제하는 패러다임을 제안한다. 이러한 목적으로 사용될 모션 캡쳐 데이터베이스 압축 기법으로서, 다항식 정합법을 활용하여 캡쳐된 운동 랜더링 파라미터의 데이터베이스를 축소하는 방법을 제안한다. 그리고 성능향상을 위해서 다항식 정합 함수를 최적화하는 방안도 함께 제안한다. 이렇게 설계된 다항식 정합법에 기반한 데이터 압축 방식을 사용하여, 상용화된 모바일 임베디드 시스템에서 효율적인 모션 캡쳐 기반 애니메이션 제작을 시현한다. The objective of this paper is to accommodate the existing motion-capture-based animation to small memories and low computing powers of mobile embedded systems. To use efficiently memories, we propose a paradigm in which a motion capture database is compressed on a PC and so-compressed motion capture database is decompressed little by little on mobile embedded systems and the decompressed data are eliminated right after used. As a compression method for this paradigm we propose an approach that compresses captured motion rendering parameters using a polynomial function fitting method. To enhance its performance we also propose an optimization method for the degree of the polynomial fitting function. Using so-obtained compression method we demonstrate motion-capture-based animation on commercial mobile embedded systems.

손 동작 인식을 통한 인간 - 컴퓨터 인터페이스용 저가형 비주얼 모션 데이터 글러브

한영모,Han, Young-Mo 한국정보처리학회 2009 정보처리학회논문지B Vol.16 No.5

모션 데이터 글러브는 손의 움직임을 측정하여 컴퓨터에 입력하는 대표적인 인간과 컴퓨터간의 인터페이스 도구로서, 홈 오토에이션, 가상 현실, biometrics, 모션 캡쳐 등의 컴퓨터 신기술에 사용되는 필수 장비이다. 본 논문에서는 대중화를 위하여, 별도의 특수 장비 없이 사용 가능한 저가형 비주얼 모션 데이터 글러브를 개발하고자 한다. 본 방식의 특징은 기존의 모션 데이터 글러브에 사용되었던, 고가의 모션 센싱 섬유를 사용하지 않음으로써, 저가형으로 개발이 가능하다는 것이다. 따라서 제작이 용이하고 대중화에 크게 기여할 수 있다는 장점을 가진다. 본 방식에서는 모션 센싱 섬유를 사용하는 기계적인 방식대신 광학적 모션 캡쳐 기술을 개량한 비주얼 방식을 채택한다. 기존의 비주얼 방식에 비해 본 방식은 다음과 같은 장점과 독창성을 가진다. 첫째, 기존의 비주얼 방식은 가려짐 현상을 제거하고 3차원 자세 복원을 위해 많은 수의 카메라와 장비를 사용하는 데 비해, 본 방식은 모노비전 방식을 채택하여 장비가 간소하고 저가형 개발이 가능하다. 둘째, 기존의 모노비전방삭은 가려짐 현상에 취약하여 영상에서 가려진 부분은 3차원 자세 복원이 어려웠다. 하지만 본 논문은 독창적으로 설계된 막대 모양의 지시자를 사용하여, 영상에서 가려진 부분도 3차원 자세 복원이 가능하다. 셋째, 기존의 모노 비전 방식은 비선형 수치해석 형태의 영상 해석 알고리즘을 사용하는 경우가 많아서 초기화나 계산시간 면에서 불편하였다. 하지만, 본 논문에서는 독창적인 공식화 방법을 사용하여 닫힌 형태의 영상해석 알고리즘을 도출함으로써 이와 같은 불편을 개선하였다. 넷째, 기존의 닫힌 형태의 알고리즘은 공식화 과정에서 근사화 방법을 도입하는 경우가 많아서 정확도가 떨어지고 특이점에 의한 응용분야에 제한이 있었다. 하지만 본 방식은 오일러 각과 같은 국부적인 매개화나 근사화 등을 사용하는 대신 지수형태의 트위스트좌표계를 사용하는 독창적인 공식화 방법을 사용하여, 공식화 단계에서의 근사화 방법 없이 닫힌 형태의 알고리즘을 도출함으로써 이 문제들을 개선하였다. The motion data glove is a representative human-computer interaction tool that inputs human hand gestures to computers by measuring their motions. The motion data glove is essential equipment used for new computer technologiesincluding home automation, virtual reality, biometrics, motion capture. For its popular usage, this paper attempts to develop an inexpensive visual.type motion data glove that can be used without any special equipment. The proposed approach has the special feature; it can be developed as a low-cost one becauseof not using high-cost motion-sensing fibers that were used in the conventional approaches. That makes its easy production and popular use possible. This approach adopts a visual method that is obtained by improving conventional optic motion capture technology, instead of mechanical method using motion-sensing fibers. Compared to conventional visual methods, the proposed method has the following advantages and originalities Firstly, conventional visual methods use many cameras and equipments to reconstruct 3D pose with eliminating occlusions But the proposed method adopts a mono vision approachthat makes simple and low cost equipments possible. Secondly, conventional mono vision methods have difficulty in reconstructing 3D pose of occluded parts in images because they have weak points about occlusions. But the proposed approach can reconstruct occluded parts in images by using originally designed thin-bar-shaped optic indicators. Thirdly, many cases of conventional methods use nonlinear numerical computation image analysis algorithm, so they have inconvenience about their initialization and computation times. But the proposed method improves these inconveniences by using a closed-form image analysis algorithm that is obtained from original formulation. Fourthly, many cases of conventional closed-form algorithms use approximations in their formulations processes, so they have disadvantages of low accuracy and confined applications due to singularities. But the proposed method improves these disadvantages by original formulation techniques where a closed-form algorithm is derived by using exponential-form twist coordinates, instead of using approximations or local parameterizations such as Euler angels.

GF(2m)상에서의 효율적인 지수제곱 연산을 위한 VLSI Architecture 설계

한영모 대한전자공학회 2004 電子工學會論文誌-SC (System and control) Vol.41 No.06

Finite or Galois fields have been used in numerous applications such as error correcting codes, digital signal processing and cryptography. These applications often require exponetiation on which is a very computationally intensive operation. Most of the existing methods implemented the exponetiation by iterative methods using repeated multiplications, which leads to much computational load, or needed much hardware cost because of their structural complexity in implementing. In this paper, we present an effective VLSI architecture for exponentiation on . This circuit computes the exponentiation by multiplying product terms, each of which corresponds to an exponent bit. Until now use of this type algorithm has been confined to a primitive element but we generalize it to any elements in . 유한 필드, 즉 Galois 필드는 에러 정정 코드, 디지털 신호처리, 암호법(cryptography)와 같은 광범위한 응용 분야에 사용되고 있다. 이 응용들은 종종 에서 지수제곱 연산을 필요로 한다. 기존에 제안되었던 방법들은 지수제곱 연산을 반복, 순환적인 곱셈으로 구현하여 계산시간이 많이 걸리거나, 또는 구현 시 하드웨어 구조가 복잡하여 하드웨어 비용이 큰 경우가 많았다. 본 논문에서는 지수제곱 연산을 하는 효과적인 방법을 제안하고 이를 VHDL로 구현하였다. 이 회로는 지수의 각 비트에 해당하는 곱셈 항들을 계산하고 이 들을 곱함으로써 지수제곱 연산을 계산한다. 과거에는 이 알고리즘이 원시 다항식의 근의 지수제곱 연산을 계산하는 데 사용되는 것으로 국한되어 있었으나, 본 논문에서는 이 알고리즘을 의 임의의 원소의 지수제곱 연산으로 확장하였다.

$GF(2^m)$ 상에서의 효율적인 지수제곱 연산을 위한 VLSI Architecture 설계

한영모 대한전자공학회 2004 電子工學會論文誌-SC (System and control) Vol.41 No.6

유한 필드, 즉 Galois 필드는 에러 정정 코드, 디지털 신호처리, 암호법(cryptography)와 같은 광범위한 응용 분야에 사용되고 있다. 이 응용들은 종종 GF(2/sup m/)에서 지수제곱 연산을 필요로 한다. 기존에 제안되었던 방법들은 지수제곱 연산을 반복, 순환적인 곱셈으로 구현하여 계산시간이 많이 걸리거나, 또는 구현 시 하드웨어 구조가 복잡하여 하드웨어 비용이 큰 경우가 많았다. 본 논문에서는 지수제곱 연산을 하는 효과적인 방법을 제안하고 이를 VHDL로 구현하였다. 이 회로는 지수의 각 비트에 해당하는 곱셈 항들을 계산하고 이 들을 곱함으로써 지수제곱 연산을 계산한다. 과거에는 이 알고리즘이 원시 다항식의 근의 지수제곱 연산을 계산하는 데 사용되는 것으로 국한되어 있었으나, 본 논문에서는 이 알고리즘을 GF(2/sup m/)의 임의의 원소의 지수제곱 연산으로 확장하였다. Finite or Galois fields have been used in numerous applications such as error correcting codes, digital signal processing and cryptography. These applications often require exponetiation on GF(2$^{m}$ ) which is a very computationally intensive operation. Most of the existing methods implemented the exponetiation by iterative methods using repeated multiplications, which leads to much computational load, or needed much hardware cost because of their structural complexity in implementing. In this paper, we present an effective VLSI architecture for exponentiation on GF(2$^{m}$ ). This circuit computes the exponentiation by multiplying product terms, each of which corresponds to an exponent bit. Until now use of this type algorithm has been confined to a primitive element but we generalize it to any elements in GF(2$^{m}$ ).

단일 비전 기반 인체의 3차원 운동 해석

한영모,Han, Young-Mo 한국정보처리학회 2011 정보처리학회논문지B Vol.18 No.4

본 논문은인간-컴퓨터 인터페이스, 가상현실의 의학 응용, 환자의 원격 모니터링과 같은 실시간 응용 분야에 적합한 인체 운동의 시각적 해석 알고리즘 (visual analyzer algorithm)을 제안한다. 본 알고리즘을 사용할 때의 비용을 줄이기 위해서, 단수의 카메라를 사용하도록 설계한다. 그리고 제안한 알고리즘을 좀 더 편리하게 사용할 수 있도록 하기 위해서 광학적 표시자의 사용을 피한다. 제안하는 알고리즘이 실시간 사용에 편리하도록 하기 위해서, 폐쇄적 형태가 되도록 설계한다. 폐쇄적 형태의 알고리즘을 설계하기 위해서, 인체의 각 관절을 기존의 3차원 관절 모델 대신 어떤 형태의 근사화도 사용하지 않고도 2차원 관절 모델로 공식화하는 아이디어를 제안한다. 그리고 이 폐쇄적 형태의 알고리즘이 높은 정확도를 갖게 하기 위해서, 계산 알고리즘을 최적화 문제로 공식화한다. 이렇게 해서 설계된 알고리즘을 인체의 각 관절에 차례대로 적용한다. This paper proposes a low-cost visual analyzer algorithm of human body motion for real-time applications such as human-computer interfacing, virtual reality applications in medicine and telemonitoring of patients. To reduce cost of its use, we design the algorithm to use a single camera. To make the proposed system to be used more conveniently, we avoid from using optical markers. To make the proposed algorithm be convenient for real-time applications, we design it to have a closed-form with high accuracy. To design a closed-form algorithm, we propose an idea that formulates motion of a human body joint as a 2D universal joint model instead of a common 3D spherical joint model, without any kins of approximation. To make the closed-form algorithm has high accuracy, we formulates the estimation process to be an optimization problem. Thus-desined algorithm is applied to each joint of the human body one after another. Through experiments we show that human body motion capturing can be performed in an efficient and robust manner by using our algorithm.