한국어 동시조음 모델에 기반한 스피치 애니메이션 생성

장민정,정선진,노준용 (사)한국컴퓨터그래픽스학회 2020 컴퓨터그래픽스학회논문지 Vol.26 No.3

In this paper, we propose a speech animation synthesis specialized in Korean through a rule-based co-articulation model. Speech animation has been widely used in the cultural industry, such as movies, animations, and games that require natural and realistic motion. Because the technique for audio driven speech animation has been mainly developed for English, however, the animation results for domestic content are often visually very unnatural. For example, dubbing of a voice actor is played with no mouth motion at all or with an unsynchronized looping of simple mouth shapes at best. Although there are language-independent speech animation models, which are not specialized in Korean, they are yet to ensure the quality to be utilized in a domestic content production. Therefore, we propose a natural speech animation synthesis method that reflects the linguistic characteristics of Korean driven by an input audio and text. Reflecting the features that vowels mostly determine the mouth shape in Korean, a coarticulation model separating lips and the tongue has been defined to solve the previous problem of lip distortion and occasional missing of some phoneme characteristics. Our model also reflects the differences in prosodic features for improved dynamics in speech animation. Through user studies, we verify that the proposed model can synthesize natural speech animation. 본 논문에서는 규칙 기반의 동시조음 모델을 통해 한국어에 특화된 스피치 애니메이션을 생성하는 모델을 제안한다. 음성에 대응되는 입 모양 애니메이션을 생성하는 기술은 영어를 중심으로 많은 연구가 진행되어 왔으며, 자연스럽고 사실적인모션이 필요한 영화, 애니메이션, 게임 등의 문화산업 전반에 널리 활용된다. 그러나 많은 국내 콘텐츠의 경우, 스피치 애니메이션을 생략하거나 음성과 상관없이 단순 반복 재생한 뒤 성우가 더빙하는 형태로 시각적으로 매우 부자연스러운 결과를보여준다. 또한, 한국어에 특화된 모델이 아닌 언어 비의존적 연구는 아직 국내 콘텐츠 제작에 활용될 정도의 퀄리티를 보장하지 못한다. 따라서 본 논문은 음성과 텍스트를 입력받아 한국어의 언어학적 특성을 반영한 자연스러운 스피치 애니메이션생성 기술을 제안하고자 한다. 한국어에서 입 모양은 대부분 모음에 의해 결정된다는 특성을 반영하여 입술과 혀를 분리한 동시조음 모델을 정의해 기존의 입술 모양에 왜곡이 발생하거나 일부 음소의 특성이 누락되는 문제를 해결하였으며, 더 나아가운율적 요소에 따른 차이를 반영하여 보다 역동적인 스피치 애니메이션 생성이 가능하다. 제안된 모델은 유저 스터디를 통해자연스러운 스피치 애니메이션을 생성함을 검증하였으며, 향후 국내 문화산업 발전에 크게 기여할 것으로 기대된다.

컴퓨터 그래픽스 연구 현황: 2부 융합하는 응용 기술

고형석,이제희,김정현,우운택,윤경현,이인권 (사)한국컴퓨터그래픽스학회 2012 컴퓨터그래픽스학회논문지 Vol.18 No.2

컴퓨터 그래픽스 및 관련 연구 분야는 지난 30년간 눈부신 발전을 거듭해왔다. 모델링, 렌더링, 애니메이션 등 시각적 표현력을 확보하는 것을 목표로 출발한 컴퓨터 그래픽스 연구는 점차 그 범위를 확대해서 영상처리, 자연현상 시뮬레이션, 가상현실, 의료 영상, 인간-컴퓨터 상호작용, 실시간 시뮬레이션, 영화 특수 효과 등 다양한 연구 및 응용분야를 파생 시키며 점차 복잡한 지형도를 그려가고 있다. 이 글은 전체 2편의 연속 논문 중에서 2부에 해당하며,컴퓨터 그래픽스의 응용 분야 중에서 국내 연구가 활발한 옷 시뮬레이션, 비사실적 렌더링, 음향 시뮬레이션, 가상현실, 증강현실의 최근 연구 동향을 분석하고 정리한다.

컴퓨터 그래픽스 연구 현황: 1부 실세계로의 접근

윤성의,이승용,이제희,임인성,정규만 (사)한국컴퓨터그래픽스학회 2012 컴퓨터그래픽스학회논문지 Vol.18 No.2

컴퓨터 그래픽스 및 관련 연구 분야는 지난 30년간 눈부신 발전을 거듭해왔다. 모델링, 렌더링, 애니메이션 등 시각적 표현력을 확보하는 것을 목표로 출발한 컴퓨터 그래픽스 연구는 점차 그 범위를 확대해서 영상처리, 자연현상 시뮬레이션, 가상현실, 의료 영상, 인간-컴퓨터 상호작용, 실시간 시뮬레이션, 영화 특수 효과 등 다양한 연구 및 응용분야를 파생 시키며 점차 복잡한 지형도를 그려가고 있다. 이 글은 전체 2편의 연속 논문 중에서 1부에 해당하며,컴퓨터 그래픽스의 핵심 분야에 해당하는 모델링, 애니메이션, 실시간 처리, 영상 및 비디오 처리에 관련된 최근 연구 동향을 분석하고 정리한다.

그래픽스 하드웨어를 이용한 스윕 곡면의 렌더링

고대현,윤승현,이지은 (사)한국컴퓨터그래픽스학회 2010 컴퓨터그래픽스학회논문지 Vol.16 No.4

We present an efficient algorithm for rendering sweep surfaces using programmable graphics hardware. A sweep surface can be represented by a cross-section curve undergoing a spline motion. This representation has a simple matrix-vector multiplication structure that can easily be adapted to programmable graphics hardware. The data for the motion and cross-section curves are stored in texture memory. The vertex processor considers a pair of surface parameters as a vertex and evaluates its coordinates and normal vector with a single matrix multiplication. Using the GPU in this way is between 10 and 40 times as fast as CPU-based rendering. 본 논문에서는 그래픽스 하드웨어를 이용한 스윕 곡면의 효율적인 렌더링 알고리즘을 제안한다. 스윕 곡면은 스플라인 모션을 따라 움직이는 단면 곡선으로 표현된다. 이러한 표현은 행렬과 벡터의 곱으로 계산되며, 이는 프로그래밍이 가능한 그래픽스 하드웨어에 쉽게 적용될 수 있다. 스플라인 모션과 단면 곡선의 정보는 텍스쳐 메모리에 저장된다. 그래픽스 하드웨어의 정점 프로세서는 두 개의 곡면 매개변수를 2차원 정점으로 입력받아 한 번의 행렬 곱셈으로 스윕 곡면의 정점 좌표와 법선 벡터를 계산한다. 제안한 GPU 기반 스윕 곡면의 렌더링은 CPU 기반 렌더링에 비해 10배에서 40배 정도의 속도 향상을 보였다.

가상물체의 물리적 속성 구현 방법

임창혁,이민근,이명원 (사)한국컴퓨터그래픽스학회 2007 컴퓨터그래픽스학회논문지 Vol.13 No.1

Computer graphics technology has advanced such that all objects can be represented within a computer display. However, because computer displays have a finite resolution, the variety of objects that can be realistically represented together in the same view is restricted by the difference in their relative size. In addition, objects cannot be rendered according to their physical properties in terms of real length units in current computer graphics technology. To solve these problems, we have defined a method that allows objects to be described using real-world physical property units, such as metric units, in a computer graphics system, and developed a 3D browser based on X3D, which implements the concept of relative proportion properties. 컴퓨터 그래픽스 기술은 모든 물체를 화면 안에 표현 가능하도록 발전되어 왔다. 여러 물체를 화면 안에 동시에 표현할 때 컴퓨터 디스플레이 해상도의 제한으로 인해 물체들의 크기의 차가 클 경우에는 정확한 크기의 차가 표현되지 않는다. 그리고, 현재의 그래픽스 기술에서는 실제 물체의 길이 단위와 같은 물리적 속성으로물체를 정확하게 화면에 표현할 수가 없다. 이와 같은 문제점을 해결하기 위해서 본 논문에서는 물리적 속성 중 하나인 길이 표현을 위해 웹 가상환경에서의 3차원 물체 표현 기술인 X3D(Extensible 3D)를 기반으로 하여 물체를 실세계 길이 단위로 정의하고 구현하는 방법에 대해 기술한다. 이를 위해 서로 다른 도구로부터 생성된 서로 다른 크기의 물체를 실세계 길이 단위 명세에 따라 크기 변환을 하여 렌더링하는 X3D 기반의 3차원 뷰어를 개발하였다.

K-SMPL: 한국인 체형 데이터 기반의 매개화된 인체 모델

최별이,이성희 (사)한국컴퓨터그래픽스학회 2022 컴퓨터그래픽스학회논문지 Vol.28 No.4

The Skinned Multi-Person Linear Model (SMPL) is the most widely used parametric 3D Human Model optimized and learned from CAESAR, a 3D human scanned database created with measurements from 3,800 people living in United States in the 1990s. We point out the lack of racial diversity of body types in SMPL and propose K-SMPL that better represents Korean 3D body shapes. To this end, we develop a fitting algorithm to estimate 2,773 Korean 3D body shapes from Korean body measurement data. By conducting principle component analysis to the estimated Korean body shapes, we construct K-SMPL model that can generate various Korean body shape in 3D. K-SMPL model allows to improve the fitting accuracy over SMPL with respect to the Korean body measurement data. K-SMPL model can be widely used for avatar generation and human shape fitting for Korean 선형 스키닝 기반 3D 인체 생성 모델 SMPL (Skinned Multi-Person Linear Model)은 1990년대 미국 거주 미국인들 3천 8백여명을 대상으로 만들어진 3D 신체 데이터베이스인 CEASAR 로부터 최적화 기법을 통해 만들어진 가장 널리 쓰이는 통계적인3D 모델이다. 본 연구는 한국인 체형의 통계적 특성을 보다 정확히 표현하는 SMPL기반의 한국인 체형 3D 모델을 제안한다. 이를 위해 우리는 한국인 여성 2천7백여명의 신체 각 부위의 실측 데이터에 기존 3D SMPL 모델을 피팅하는 비선형 최적화알고리즘을 개발한다. 이를 사용하여 한국인 3D 신체 데이터베이스를 구축하고, 주성분 분석 방법으로 한국인 체형 기반 매개화된 3D 모델을 개발한다. 본 연구를 통해 제안하는 한국인의 체형적 특징을 가진 블렌드쉐입과 새로운 체형 파라미터는기존 모델이 표현하는 체형에 비해 한국인 체형 데이터 특성을 잘 반영함을 확인하였다. 뿐만 아니라, 우리의 모델은 SMPL 에 비해 신체 실측 데이터에 대한 피팅 정확도를 개선함을 확인하였다. 제안된 모델은 향후 아바타 생성이나 인체 형상 측정등 다양한 용도로 사용될 수 있다.

블렌딩 곡면의 GPU 기반 렌더링

고대현 (사)한국컴퓨터그래픽스학회 2007 컴퓨터그래픽스학회논문지 Vol.13 No.1

Although free-form surfaces can represent smooth shapes with only a few control points contrary to polygonal meshes, graphics hardware does not support surface rendering currently. Since modern programmable graphics pipeline can be used to accelerate various kinds of existing graphics algorithms, this paper presents a method that utilizes the graphics processing unit (GPU) to render blending surfaces with arbitrary topology fast. Surface parameters sampled on the control mesh and geometric data for local surfaces are sent to the graphics pipeline, and then the vertex processor evaluates the surface positions and normals with these data. This method can achieve very high performance rather than CPU-based rendering. 곡면은 다각형 메쉬에 비해 간결한 표현을 가지고 부드러운 형상을 표현할 수 있지만, 현재 그래픽스 하드웨어는 곡면 렌더링을 지원하고 있지 않다. 최근의 GPU를 이용하여 프로그래밍 가능한 그래픽스 파이프라인은 기존의 다양한 그래픽스 알고리즘들을 가속화시키는 데 이용될 수 있기 때문에, 이 논문에서는 GPU 하드웨어를 이용하여 블렌딩을 기반으로 생성된 임의의 위상을 가진 곡면을 빠르게 렌더링하는 방법을 제시한다. 제어 메쉬상에서 샘플링된 매개변수와 지역 곡면을 표현하는 정보들을 그래픽스 파이프라인으로 전달하여, 정점 프로세서에서 이러한 정보들을 가지고 블렌딩된 곡면상의 위치 정보와 노말 벡터를 계산한다. 이러한 방법은 CPU에서 블렌딩 곡면을 계산하는 것보다 훨씬 빠르게 수행된다.

비대칭 가상현실에서의 현존감을 위한 HMD 사용자와 Non-HMD 사용자간 몰입형 상호작용에 관한 연구

이지원,김민규,김진모 (사)한국컴퓨터그래픽스학회 2018 컴퓨터그래픽스학회논문지 Vol.24 No.3

This study proposes an immersive interaction optimized for the user’s experience environment to provide an improved presence for both HMD and Non-HMD users in the asymmetric virtual reality (VR) environment. The core of the proposed immersive interaction is to distinguish the differences of the asymmetric environment between the HMD and Non-HMD users and present the optimized interaction to the user. And, in order to increase the presence by providing improved immersion in the asymmetric virtual reality environment given to each user, we design the walking interaction to improve the immersion of space for the HMD users, a hand-based interface that improves immersion by fully understanding and managing the situation through direct control. Finally, through the experiment using questionnaire, it is verified that the immersive interaction provides all users with an enhanced presence and specialized experience in each environment experience. Through these processes, we confirmed that the Non-HMD user can be immersed in an asymmetric virtual reality using by proposed interaction as participant rather than assistant with HMD user. 본 연구는 비대칭 가상현실 환경에 존재하는 HMD 사용자와 Non-HMD 사용자 모두에게 향상된 현존감을 제공하기 위하여 사용자의 체험 환경에 최적화된 몰입형 상호작용을 제안한다. 제안하는 몰입형 상호작용의 핵심은 HMD 사용자와 Non-HMD 사용자 사이의 비대칭 환경의 차이를 구분하여 사용자에게 최적화된 상호작용을 제시하는 것이다. 그리고 사용자 각각에게 주어지는 비대칭 가상현실 환경에서 향상된 몰입을 제공하여 현존감을 높이기 위하여 HMD 사용자에게는 공간의 몰입을 향상시키는 걷기 상호작용을, Non-HMD 사용자에게는 직접적인 조작을 통해 상황을 전체적으로 이해하고 관리함으로써 몰입을 향상시키는 손 기반 인터페이스를 설계한다. 마지막으로 몰입형 상호작용을 통해 모든 사용자가 향상된 현존감을 제공받으면서 동시에 각각의 체험에 환경에 특화된 경험을 하였음을 설문실험을 통해 검증한다. 이러한 과정들을 통하여 제안한 상호작용이 비대칭 가상현실에서 Non-HMD 사용자도 보조자가 아닌 참가자로써 HMD 사용자와 함께 몰입할 수 있음을 확인한다.

가상현실을 통한 볼륨렌더링 깊이 인식 향상

최준영,정해진,정원기 (사)한국컴퓨터그래픽스학회 2018 컴퓨터그래픽스학회논문지 Vol.24 No.2

Direct volume rendering (DVR) is a commonly used method to visualize inner structures in 3D volumetric datasets. However, conventional volume rendering on a 2D display lacks depth perception due to dimensionality reduction caused by ray casting. In this work, we investigate how emerging Virtual Reality (VR) can improve the usability of direct volume rendering. We developed real-time high-resolution DVR system in virtual reality, and measures the usefulness of volume rendering with improved depth perception via a user study conducted by 38 participants. The result indicates that virtual reality significantly improves the usability of DVR by allowing better depth perception. 직접볼륨렌더링(DVR)은 3차원 볼륨 데이터의 내부 구조를 시각화하는 데 일반적으로 사용되는 방법이다. 그러나, 2차원 디스플레이 상의 기존의 볼륨 렌더링은 광선 투사법에 의한 차원 감소로 인해 깊이 인식이 부족하다. 본 연구에서는 가상현실이 볼륨렌더링의 유용성을 어떻게 향상시킬 수 있는지 조사한다. 우리는 가상 현실에서 실시간 고해상도 볼륨렌더링 시스템을 개발하고 38명의 참가자를 통한 사용자 연구를 통해 깊이 인식의 향상에 따른 볼륨렌더링의 유용성을 측정한다. 결과는 가상 현실이 뛰어난 깊이 인식을 가능하게 함으로써 볼륨렌더링의 유용성을 향상 시킨다는 것을 보여준다.

액체 시뮬레이션의 얇은 특징을 빠르게 표현하기 위한 CPU와 GPU 이기종 컴퓨팅 기술

김종현 (사)한국컴퓨터그래픽스학회 2018 컴퓨터그래픽스학회논문지 Vol.24 No.2

We propose a new method particle-based method that explicitly preserves thin liquid sheets for animating liquids on CPU--GPU heterogeneous computing framework. Our primary contribution is a particle-based framework that splits at thin points and collapses at dense points to prevent the breakup of liquid on GPU. In contrast to existing surface tracking methods, the our method does not suffer from numerical diffusion or tangles, and robustly handles topology changes on CPU--GPU framework. The thin features are detected by examining stretches of distributions of neighboring particles by performing PCA(Principle component analysis), which is used to reconstruct thin surfaces with anisotropic kernels. The efficiency of the candidate position extraction process to calculate the position of the fluid particle was rapidly improved based on the CPU--GPU heterogeneous computing techniques. Proposed algorithm is intuitively implemented, easy to parallelize and capable of producing quickly detailed thin liquid animations. 우리는 유체의 얇은 막을 명시적으로 표현하고 보존할 수 있는 CPU--GPU 이기종 컴퓨팅 기반의 유체 시뮬레이션 기법을 소개한다. 본 논문에서 가장 큰 기여는 얇은 유체표면에서 쪼개지거나 밀도가 높은 지점에서 붕괴되어 유체표면에 나타나는 Hole을 방지하는 입자 기반 프레임워크를 GPU를 활용한다는 것이다. 유체표면을 추적하는 기존의 방법과는 달리, 제안된 프레임워크는 CPU--GPU 프레임워크상에서 수치적 확산이나 꼬임문제 없이 안정적으로 토폴로지 변화를 처리할 수 있다. 얇은 표면의 특징은 이방성 커널(Anisotropic kernel)과 주성분 분석(Principal component analysis; PCA)을 GPU상에서 수행하여 유체의 방향성을 빠르게 찾고, 새로운 유체입자의 위치를 결정하기 위해 계산하는, 후보위치 추출 과정의 효율성을 CPU--GPU 이기종 컴퓨팅 기술 기반으로 빠르게 계산한다. 제안된 알고리즘은 직관적으로 구현되며, 병렬화가 쉽고 시각적으로 디테일한 액체의 얇은 표면을 빠르게 애니메이션 할 수 있다.