분석적으로 미분 가능한 시스템 동역학을 이용한 온라인 동작 합성 기법

한다성,노준용,신성용 (사)한국컴퓨터그래픽스학회 2019 컴퓨터그래픽스학회논문지 Vol.25 No.3

In physics-based character animation, trajectory optimization has been widely adopted for automatic motion synthesis, through the prediction of an optimal sequence of future states of the character based on its system dynamics model. In general, the system dynamics model is neither in a closed form nor differentiable when it handles the contact dynamics between a character and the environment with rigid body collisions. Employing smoothed contact dynamics, researchers have suggested efficient trajectory optimization techniques based on numerical differentiation of the resulting system dynamics. However, the numerical derivative of the system dynamics model could be inaccurate unlike its analytical counterpart, which may affect the stability of trajectory optimization. In this paper, we propose a novel method to derive the closed-form derivative for the system dynamics by properly approximating the contact model. Based on the resulting derivatives of the system dynamics model, we also present a model predictive control (MPC)-based motion synthesis framework to robustly control the motion of a biped character according to on-line user input without any example motion data. 물리기반 캐릭터 애니메이션에서 궤적 최적화(trajectory optimization) 기법은 캐릭터 동작에 대한 시스템 동역학 모델(system dynamics model)에 기반하여 가까운 최적의 미래 상태를 예측하여 캐릭터의 동작을 자동적으로 생성하는데 널리 사용되어 왔다. 캐릭터와 환경 간의 접촉 현상을 강체 충돌로 다루는 경우 일반적으로 시스템 동역학 모델은 그 수식이 닫힌 형식(closed form)으로 유도되지 못하고 미분이 불가능하다. 따라서 최근까지 많은 연구자들이 접촉 완화(contact smoothing) 기법을 통해 시스템 동역학의 수치적 미분에 기반한 효율적인 궤적 최적화 기법을 발표해 왔다. 하지만 수치적 미분 정보는 분석적 미분과 달리 부정확하기 때문에 궤적 최적화의 안정성에 영향을 미칠 수 있다. 이 문제를 해결하기 위해 본 논문에서는 접촉 완화 모델에 대한 근사화를 통해 시스템 동역학을 분석적으로 미분하여 닫힌 형식의 도함수를 유도하고, 이를 기반으로 사용자의 온라인 입력에 따라 예제 데이터 없이 이족 캐릭터의 동작을 안정적으로 생성하는 예측 제어 기법(model predictive control (MPC))을 제안한다.

자동 타임 워핑에 기반한 온라인 궤적 최적화

한다성(Daseong Han),노준용(Junyong Noh),신성용(Joseph S. Shin) 한국컴퓨터그래픽스학회 2017 컴퓨터그래픽스학회논문지 Vol.23 No.3

본 논문에서는 물리 기반 가상환경에서 참조 동작을 추적하는 캐릭터 동작을 생성할 때 캐릭터 동작에 대한 최적화와 함께 참조 동작에 대한 타임 워핑 (time warping)을 동시 에 수행할 수 있는 새로운 온라인 궤적 최적화(trajectory optimization) 기법을 제안한다. 일반적으로 참조 동작에 대한 샘플링 시간이 균일한 간격으로 고정되어 있는 기존의 물리 기반 캐릭터 애니메이션 기법과는 달리, 본 논문에서 제안하는 방법은 캐릭터 동작의 물리적 변화와 함께 샘플링 시간의 변화를 동시에 최적화 시킴으로써 외력에 대해 더욱 효과적으로 대응할 수 있는 참조 동작에 대한최적의 타임 워핑을 찾아낸다. 이를 위해, 전신 캐릭터(full-body character)의 동역학과 함께 참조 동작에 대한 샘플링 시간의 변화를 함께 고려한 최적 제어 문제(optimal control problem)를 정형화하고 이 문제를 실행 시간에 시간 축을 따라 이동하는 고정된 크기의 시간 윈도우에 대해 반복적으로 풂으로써 캐릭터 동작과 샘플링 시간에 대한 최적 제어 정책 (optimal control policy)을 생성하는 모델예측제어 (model predictive control) 프레임워크를 제안한다. 실험을 통해, 제안된 프레임워크가 하나의 참조 동작만으로 외력에 대해 강인하게 반응하는 동작을 생성하고, 배경 음악에 따라 리드미컬한 동작을 생성하는데 효과적임을 보여준다. This paper presents a novel on-line trajectory optimization framework based on automatic time warping, which performs the time warping of a reference motion while optimizing character motion control. Unlike existing physics-based character animation methods where sampling times for a reference motion are uniform or fixed during optimization in general, our method considers the change of sampling times on top of the dynamics of character motion in the same optimization, which allows the character to effectively respond to external pushes with optimal time warping. In order to do so, we formulate an optimal control problem which takes into account both the full-body dynamics and the change of sampling time for a reference motion, and present a model predictive control framework that produces an optimal control policy for character motion and sampling time by repeatedly solving the problem for a fixed-span time window while shifting it along the time axis. Our experimental results show the robustness of our framework to external perturbations and the effectiveness on rhythmic motion synthesis in accordance with a given piece of background music.

확률적 모델예측제어를 이용한 물리기반 제어기 지도 학습 프레임워크

한다성(Daseong Han) 한국컴퓨터그래픽스학회 2021 컴퓨터그래픽스학회논문지 Vol.27 No.1

본 논문에서는 확률적 모델예측제어(model predictive control) 기법을 이용하여 예제 동작 데이터가 주어지면 물리 기반 시뮬레이션 환경에서 그 동작을 모방할 수 있는 캐릭터 동작 제어기를 빠르게 학습할 수 있는 간편한 지도 학습(supervised learning) 프레임워크를 제안한다. 제안된 프레임워크는 크게 학습 데이터 생성과 오프라인 학습의 두 컴포넌트로 구성된다. 첫번째 컴포넌트는 예제 동작 데이터가 주어지면 확률적 모델예측제어를 통해 그 동작 데이터를 추적하기 위한 최적 제어기를 캐릭터의 현재 상태로부터 시작하여 가까운 미래 상태까지의 시간 윈도우에 대해 주기적으로 업데이트하면서 그 최적 제어기를 통해 캐릭터의 동작을 확률적으로 제어한다. 이러한 주기적인 최적 제어기의 업데이트와 확률적 제어는 주어진 예제 동작 데이터를 모방하는 동안 캐릭터가 가질 수 있는 다양한 상태들을 효과적으로 탐색하게 하여 지도 학습에 유용한 학습 데이터를 수집할 수 있게 해준다. 이렇게 학습 데이터가 수집되면, 오프라인 학습 컴포넌트에서는 그 수집된 데이터를 정규화 시켜서 데이터에 내제된 크기와 단위의 차이를 조정하고 지도 학습을 통해 제어기를 위한 간단한 구조의 인공 신경망을 학습시킨다. 걷기 동작과 달리기 동작에 대한 실험은 본 논문에서 제안한 학습 프레임워크가 물리 기반 캐릭터 동작 제어기를 빠르고 효과적으로 생성할 수 있음을 보여준다. In this paper, we present a simple and fast supervised learning framework based on model predictive control so as to learn motion controllers for a physic-based character to track given example motions. The proposed framework is composed of two components: training data generation and offline learning. Given an example motion, the former component stochastically controls the character motion with an optimal controller while repeatedly updating the controller for tracking the example motion through model predictive control over a time window from the current state of the character to a near future state. The repeated update of the optimal controller and the stochastic control make it possible to effectively explore various states that the character may have while mimicking the example motion and collect useful training data for supervised learning. Once all the training data is generated, the latter component normalizes the data to remove the disparity for magnitude and units inherent in the data and trains an artificial neural network with a simple architecture for a controller. The experimental results for walking and running motions demonstrate how effectively and fast the proposed framework produces physics-based motion controllers.

근력 보조 및 체형 교정을 위한 무동력 서포터 설계에 관한 연구

박관형(K. H. Park),한다성(D. S. Han),이은호(E. H. Lee) Korean Society for Precision Engineering 2019 한국정밀공학회 학술발표대회 논문집 Vol.2019 No.10월

축구 동작 생성을 위한 물리 기반 전신 캐릭터 제어

홍석표(Seokpyo Hong),한다성(Daseong Han),조경민(Kyungmin Cho),신성용(Joseph S. Shin),노준용(Junyong Noh) 한국컴퓨터그래픽스학회 2019 한국컴퓨터그래픽스학회 학술대회 Vol.2019 No.7

다중 플레이어들의 팀워크에 기반한 동작-구동 조정 게임

김혜진,심재혁,임승찬,고영노,한다성 (사)한국컴퓨터그래픽스학회 2018 컴퓨터그래픽스학회논문지 Vol.24 No.3

In this paper, we present a motion-driven rowing simulation framework that allows multiple players to row a boat together by their harmonized movements. In the actual rowing game, it is crucial for the players to synchronize their rowing with respect to time and pose so as to accelerate the boat. Inspired by this interesting feature, we measure the motion similarity among multiple players in real time while they are doing rowing motions and use it to control the velocity of the boat in a virtual environment. We also employ game components such as catching an item which can accelerate or decelerate the boat depending on its type for a moment once it has been obtained by synchronized catching behaviors of the players. By these components, the players can be encouraged to more actively participate in the training for a good teamwork to produce harmonized rowing movements Our methods for the motion recognition for rowing and item catch require the tracking data only for the head and the both hands and are fast enough to facilitate the real-time performance. In order to enhance immersiveness of the virtual environment, we project the rowing simulation result on a wide curved screen. 본 논문은 다중의 플레이어들이 단합된 동작을 통해 노를 저어 보트를 이동시키도록 하기 위해 동작에 의해 구동되는 조정(rowing) 시뮬레이션 프레임워크를 제안한다. 실제 조정 경기에서 보트를 가속하기 위해서는 선수들이 시간과 자세에 대해 노 젓는 동작을 동기화 시키는 것이 매우 중요하다. 조정의 이러한 흥미로운 특징을 이용하여, 본 논문에서는 다중 플레이어들이 노 젓는 동작을 수행하는 동안 그들 사이의 동작 유사도를 실시간으로 측정하고 그 유사도에 기반하여 가상 환경에서 보트의 속도를 제어한다. 또한 제안된 프레임워크에 아이템 획득과 같은 게임적인 요소들을 추가하여 플레이어들의 조화된 행동에 의해 아이템을 획득한 경우 아이템 종류에 따라 배의 속도가 증가하거나 감소하도록 한다. 이러한 게임적인 요소들은 플레이어들이 단합된 조정 동작을 생성하기 위한 좋은 팀워크를 훈련할 때 좀더 적극적으로 참여하도록 장려한다. 노 젓는 동작과 아이템을 획득하는 동작을 인식하기 위해 본 논문에서 제안하는 방법은 머리와 양손에 대한 추적 데이터만을 필요로 하며 실시간에 동작할 정도로 충분히 빠르다. 몰입감을 높이기 위해 조정 시뮬레이션 결과를 대형곡면 스크린에 프로젝션 한다.

제스처 기반의 부동산 거래 VR 보드 게임

박고은(Goeun Park),이수아(Sua Lee),김성실(Seongsil Kim),문주혜(Juhye Mun),한다성(Daseong Han) 한국컴퓨터그래픽스학회 2018 한국컴퓨터그래픽스학회 학술대회 Vol.2018 No.7

광학식 동작 데이터에 대해 노이즈에 강인한 방위불변 팔 제스처 인식 기술

김성실(Sungshil Kim),박고은(Goeun Park),이수아(Sua Lee),한다성(Daseong Han) 한국정보과학회 2018 한국정보과학회 학술발표논문집 Vol.2018 No.12

요트 VR 체험에서 데이터 기반의 인공풍이 정적 정서에 미치는 영향

조예솔,이예원,임도전,류태동,John Claud Jonas,나대영,한다성 (사)한국컴퓨터그래픽스학회 2022 컴퓨터그래픽스학회논문지 Vol.28 No.3

The sense of touch by natural wind is one of the most common feels that every person experiences in daily life. However, it has been rarely studied how natural wind can be reproduced in a VR environment and whether the multisensory contents equipped with artificial winds do improve human emotion or not. To address these issues, we first propose a wind reproduction VR system guided by video and wind capture data and also study the effect of the system on positive affect. We collected wind direction and speed data together with a 360-degree video on a yacht. These pieces of data were used to produce a multisensory VR environment by our wind reproduction VR system. 19 college students participated in the experiments, where the Korean version of Positive and Negative Affect Schedule (K-PANAS) was introduced to measure their emotions. Through the K-PANAS, we found that ‘inspired’ and ‘active’ emotions increase significantly after experiencing the yacht VR contents with artificial wind. Our experimental results also show that another emotion, ‘interested’, is most notably affected depending on the presence of the wind. The presented system can be effectively used in various VR applications such as interactive media and experiential contents. 자연풍에 의한 감각은 대부분의 사람들이 일상 생활에서 경험하는 가장 흔한 느낌 중 하나이다. 그러나 가상현실 환경에서자연풍이 어떻게 재현될 수 있는지, 인공풍이 결합된 다감각 콘텐츠가 인간의 정서를 개선하는지에 대한 연구는 거의수행되지 않았다. 이러한 문제를 다루기 위해, 본 연구는 녹화된 영상 및 바람 데이터를 기반으로 하는 Wind Reproduction VR System 을 제안하고, 이 시스템이 사용자의 정적 정서에 주는 영향을 확인하는 연구를 진행한다. 실험을 위해요트상에서 360 도 영상과 함께 풍향 및 풍속 데이터를 수집했다. 수집한 데이터는 제안한 시스템을 통해 다감각 VR 환경을만드는데 사용되었다. 총 19 명의 대학생들이 실험에 참여했으며, K-PANAS(Korean version of Positive and Negative Affect Schedule)를 통하여 참가자들의 정서 변화를 측정했다. 실험 결과, 인공풍이 추가된 요트 VR 콘텐츠 체험 이후 참가자의‘영감을 받다’, ‘활기차다’ 정서가 유의하게 증가하였다. 뿐만 아니라, 바람의 유무에 따라 ‘흥미롭다’ 정서가 가장 큰영향을 받는 것으로 확인하였다. 제안한 시스템은 인터랙티브 미디어, 체험형 콘텐츠와 같은 다양한 VR 응용 프로그램에서효과적으로 활용될 수 있다.

Interactive Wind System을 이용한 VR 사이버 멀미 개선 연구

임도전(Dojeon Lim),이예원(Yewon Lee),조예솔(Yesol Cho),류태동(Taedong Ryoo),한다성(Daseong Han) 한국컴퓨터그래픽스학회 2021 컴퓨터그래픽스학회논문지 Vol.27 No.3

본 논문은 자동차 핸들과 가속 페달로부터의 온라인 사용자 입력에 따라 Virtual Reality (VR) 환경에서 인공적인 바람을 생성하는 상호작용형 윈드 시스템을 제안한다. 제안된 시스템은 사용자가 레이싱 자동차 VR 응용 콘텐츠에서 세 방향으로부터 불어오는 바람으로부터 촉감을 느끼도록 하기 위해 머리장착형 디스플레이(Head-Mounted Display: HMD)와 세 개의 선풍기로 구성된다. VR 멀미를 개선하는 것에 대한 바람의 효과성을 평가하기 위해, 본 논문은 멀미에 대한 가장 기본적인 척도 중의 하나인 SSQ (simulator sickness questionnaire)를 도입한다. 13명의 피험자들을 대상으로 바람이 있는 경우와 그 다음 그렇지 않은 경우 또는 그 역으로 레이싱 자동차 콘텐츠에 대한 실험을 수행하였다. 실험 결과는 인공적인 바람을 사용하는 경우 긍정적인 사용자 경험을 제공하면서 명확하게 멀미를 개선하는 것을 보여주었다. This paper presents an interactive wind system that generates artificial winds in a virtual reality (VR) environment according to online user inputs from a steering wheel and an acceleration pedal. Our system is composed of a head-mounted display(HMD) and three electric fans to make the user sense touch from the winds blowing from three different directions in a racing car VR application. To evaluate the effectiveness of the winds for reducing VR cybersickness, we employ the simulator sickness questionnaire (SSQ), which is one of the most common measures for cybersickness. We conducted experiments on 13 subjects for the racing car contents first with the winds and then without them or vice versa. Our results showed that the VR contents with the artificial winds clearly reduce cybersickness while providing a positive user experience.