K-SMPL: 한국인 체형 데이터 기반의 매개화된 인체 모델

최별이,이성희 (사)한국컴퓨터그래픽스학회 2022 컴퓨터그래픽스학회논문지 Vol.28 No.4

The Skinned Multi-Person Linear Model (SMPL) is the most widely used parametric 3D Human Model optimized and learned from CAESAR, a 3D human scanned database created with measurements from 3,800 people living in United States in the 1990s. We point out the lack of racial diversity of body types in SMPL and propose K-SMPL that better represents Korean 3D body shapes. To this end, we develop a fitting algorithm to estimate 2,773 Korean 3D body shapes from Korean body measurement data. By conducting principle component analysis to the estimated Korean body shapes, we construct K-SMPL model that can generate various Korean body shape in 3D. K-SMPL model allows to improve the fitting accuracy over SMPL with respect to the Korean body measurement data. K-SMPL model can be widely used for avatar generation and human shape fitting for Korean 선형 스키닝 기반 3D 인체 생성 모델 SMPL (Skinned Multi-Person Linear Model)은 1990년대 미국 거주 미국인들 3천 8백여명을 대상으로 만들어진 3D 신체 데이터베이스인 CEASAR 로부터 최적화 기법을 통해 만들어진 가장 널리 쓰이는 통계적인3D 모델이다. 본 연구는 한국인 체형의 통계적 특성을 보다 정확히 표현하는 SMPL기반의 한국인 체형 3D 모델을 제안한다. 이를 위해 우리는 한국인 여성 2천7백여명의 신체 각 부위의 실측 데이터에 기존 3D SMPL 모델을 피팅하는 비선형 최적화알고리즘을 개발한다. 이를 사용하여 한국인 3D 신체 데이터베이스를 구축하고, 주성분 분석 방법으로 한국인 체형 기반 매개화된 3D 모델을 개발한다. 본 연구를 통해 제안하는 한국인의 체형적 특징을 가진 블렌드쉐입과 새로운 체형 파라미터는기존 모델이 표현하는 체형에 비해 한국인 체형 데이터 특성을 잘 반영함을 확인하였다. 뿐만 아니라, 우리의 모델은 SMPL 에 비해 신체 실측 데이터에 대한 피팅 정확도를 개선함을 확인하였다. 제안된 모델은 향후 아바타 생성이나 인체 형상 측정등 다양한 용도로 사용될 수 있다.

가상물체의 물리적 속성 구현 방법

임창혁,이민근,이명원 (사)한국컴퓨터그래픽스학회 2007 컴퓨터그래픽스학회논문지 Vol.13 No.1

Computer graphics technology has advanced such that all objects can be represented within a computer display. However, because computer displays have a finite resolution, the variety of objects that can be realistically represented together in the same view is restricted by the difference in their relative size. In addition, objects cannot be rendered according to their physical properties in terms of real length units in current computer graphics technology. To solve these problems, we have defined a method that allows objects to be described using real-world physical property units, such as metric units, in a computer graphics system, and developed a 3D browser based on X3D, which implements the concept of relative proportion properties. 컴퓨터 그래픽스 기술은 모든 물체를 화면 안에 표현 가능하도록 발전되어 왔다. 여러 물체를 화면 안에 동시에 표현할 때 컴퓨터 디스플레이 해상도의 제한으로 인해 물체들의 크기의 차가 클 경우에는 정확한 크기의 차가 표현되지 않는다. 그리고, 현재의 그래픽스 기술에서는 실제 물체의 길이 단위와 같은 물리적 속성으로물체를 정확하게 화면에 표현할 수가 없다. 이와 같은 문제점을 해결하기 위해서 본 논문에서는 물리적 속성 중 하나인 길이 표현을 위해 웹 가상환경에서의 3차원 물체 표현 기술인 X3D(Extensible 3D)를 기반으로 하여 물체를 실세계 길이 단위로 정의하고 구현하는 방법에 대해 기술한다. 이를 위해 서로 다른 도구로부터 생성된 서로 다른 크기의 물체를 실세계 길이 단위 명세에 따라 크기 변환을 하여 렌더링하는 X3D 기반의 3차원 뷰어를 개발하였다.

한국어 동시조음 모델에 기반한 스피치 애니메이션 생성

장민정,정선진,노준용 (사)한국컴퓨터그래픽스학회 2020 컴퓨터그래픽스학회논문지 Vol.26 No.3

In this paper, we propose a speech animation synthesis specialized in Korean through a rule-based co-articulation model. Speech animation has been widely used in the cultural industry, such as movies, animations, and games that require natural and realistic motion. Because the technique for audio driven speech animation has been mainly developed for English, however, the animation results for domestic content are often visually very unnatural. For example, dubbing of a voice actor is played with no mouth motion at all or with an unsynchronized looping of simple mouth shapes at best. Although there are language-independent speech animation models, which are not specialized in Korean, they are yet to ensure the quality to be utilized in a domestic content production. Therefore, we propose a natural speech animation synthesis method that reflects the linguistic characteristics of Korean driven by an input audio and text. Reflecting the features that vowels mostly determine the mouth shape in Korean, a coarticulation model separating lips and the tongue has been defined to solve the previous problem of lip distortion and occasional missing of some phoneme characteristics. Our model also reflects the differences in prosodic features for improved dynamics in speech animation. Through user studies, we verify that the proposed model can synthesize natural speech animation. 본 논문에서는 규칙 기반의 동시조음 모델을 통해 한국어에 특화된 스피치 애니메이션을 생성하는 모델을 제안한다. 음성에 대응되는 입 모양 애니메이션을 생성하는 기술은 영어를 중심으로 많은 연구가 진행되어 왔으며, 자연스럽고 사실적인모션이 필요한 영화, 애니메이션, 게임 등의 문화산업 전반에 널리 활용된다. 그러나 많은 국내 콘텐츠의 경우, 스피치 애니메이션을 생략하거나 음성과 상관없이 단순 반복 재생한 뒤 성우가 더빙하는 형태로 시각적으로 매우 부자연스러운 결과를보여준다. 또한, 한국어에 특화된 모델이 아닌 언어 비의존적 연구는 아직 국내 콘텐츠 제작에 활용될 정도의 퀄리티를 보장하지 못한다. 따라서 본 논문은 음성과 텍스트를 입력받아 한국어의 언어학적 특성을 반영한 자연스러운 스피치 애니메이션생성 기술을 제안하고자 한다. 한국어에서 입 모양은 대부분 모음에 의해 결정된다는 특성을 반영하여 입술과 혀를 분리한 동시조음 모델을 정의해 기존의 입술 모양에 왜곡이 발생하거나 일부 음소의 특성이 누락되는 문제를 해결하였으며, 더 나아가운율적 요소에 따른 차이를 반영하여 보다 역동적인 스피치 애니메이션 생성이 가능하다. 제안된 모델은 유저 스터디를 통해자연스러운 스피치 애니메이션을 생성함을 검증하였으며, 향후 국내 문화산업 발전에 크게 기여할 것으로 기대된다.

컴퓨터 그래픽스 연구 현황: 2부 융합하는 응용 기술

고형석,이제희,김정현,우운택,윤경현,이인권 (사)한국컴퓨터그래픽스학회 2012 컴퓨터그래픽스학회논문지 Vol.18 No.2

컴퓨터 그래픽스 및 관련 연구 분야는 지난 30년간 눈부신 발전을 거듭해왔다. 모델링, 렌더링, 애니메이션 등 시각적 표현력을 확보하는 것을 목표로 출발한 컴퓨터 그래픽스 연구는 점차 그 범위를 확대해서 영상처리, 자연현상 시뮬레이션, 가상현실, 의료 영상, 인간-컴퓨터 상호작용, 실시간 시뮬레이션, 영화 특수 효과 등 다양한 연구 및 응용분야를 파생 시키며 점차 복잡한 지형도를 그려가고 있다. 이 글은 전체 2편의 연속 논문 중에서 2부에 해당하며,컴퓨터 그래픽스의 응용 분야 중에서 국내 연구가 활발한 옷 시뮬레이션, 비사실적 렌더링, 음향 시뮬레이션, 가상현실, 증강현실의 최근 연구 동향을 분석하고 정리한다.

블렌딩 곡면의 GPU 기반 렌더링

고대현 (사)한국컴퓨터그래픽스학회 2007 컴퓨터그래픽스학회논문지 Vol.13 No.1

Although free-form surfaces can represent smooth shapes with only a few control points contrary to polygonal meshes, graphics hardware does not support surface rendering currently. Since modern programmable graphics pipeline can be used to accelerate various kinds of existing graphics algorithms, this paper presents a method that utilizes the graphics processing unit (GPU) to render blending surfaces with arbitrary topology fast. Surface parameters sampled on the control mesh and geometric data for local surfaces are sent to the graphics pipeline, and then the vertex processor evaluates the surface positions and normals with these data. This method can achieve very high performance rather than CPU-based rendering. 곡면은 다각형 메쉬에 비해 간결한 표현을 가지고 부드러운 형상을 표현할 수 있지만, 현재 그래픽스 하드웨어는 곡면 렌더링을 지원하고 있지 않다. 최근의 GPU를 이용하여 프로그래밍 가능한 그래픽스 파이프라인은 기존의 다양한 그래픽스 알고리즘들을 가속화시키는 데 이용될 수 있기 때문에, 이 논문에서는 GPU 하드웨어를 이용하여 블렌딩을 기반으로 생성된 임의의 위상을 가진 곡면을 빠르게 렌더링하는 방법을 제시한다. 제어 메쉬상에서 샘플링된 매개변수와 지역 곡면을 표현하는 정보들을 그래픽스 파이프라인으로 전달하여, 정점 프로세서에서 이러한 정보들을 가지고 블렌딩된 곡면상의 위치 정보와 노말 벡터를 계산한다. 이러한 방법은 CPU에서 블렌딩 곡면을 계산하는 것보다 훨씬 빠르게 수행된다.

컴퓨터 그래픽스 연구 현황: 1부 실세계로의 접근

윤성의,이승용,이제희,임인성,정규만 (사)한국컴퓨터그래픽스학회 2012 컴퓨터그래픽스학회논문지 Vol.18 No.2

컴퓨터 그래픽스 및 관련 연구 분야는 지난 30년간 눈부신 발전을 거듭해왔다. 모델링, 렌더링, 애니메이션 등 시각적 표현력을 확보하는 것을 목표로 출발한 컴퓨터 그래픽스 연구는 점차 그 범위를 확대해서 영상처리, 자연현상 시뮬레이션, 가상현실, 의료 영상, 인간-컴퓨터 상호작용, 실시간 시뮬레이션, 영화 특수 효과 등 다양한 연구 및 응용분야를 파생 시키며 점차 복잡한 지형도를 그려가고 있다. 이 글은 전체 2편의 연속 논문 중에서 1부에 해당하며,컴퓨터 그래픽스의 핵심 분야에 해당하는 모델링, 애니메이션, 실시간 처리, 영상 및 비디오 처리에 관련된 최근 연구 동향을 분석하고 정리한다.

그래픽스 하드웨어를 이용한 스윕 곡면의 렌더링

고대현,윤승현,이지은 (사)한국컴퓨터그래픽스학회 2010 컴퓨터그래픽스학회논문지 Vol.16 No.4

We present an efficient algorithm for rendering sweep surfaces using programmable graphics hardware. A sweep surface can be represented by a cross-section curve undergoing a spline motion. This representation has a simple matrix-vector multiplication structure that can easily be adapted to programmable graphics hardware. The data for the motion and cross-section curves are stored in texture memory. The vertex processor considers a pair of surface parameters as a vertex and evaluates its coordinates and normal vector with a single matrix multiplication. Using the GPU in this way is between 10 and 40 times as fast as CPU-based rendering. 본 논문에서는 그래픽스 하드웨어를 이용한 스윕 곡면의 효율적인 렌더링 알고리즘을 제안한다. 스윕 곡면은 스플라인 모션을 따라 움직이는 단면 곡선으로 표현된다. 이러한 표현은 행렬과 벡터의 곱으로 계산되며, 이는 프로그래밍이 가능한 그래픽스 하드웨어에 쉽게 적용될 수 있다. 스플라인 모션과 단면 곡선의 정보는 텍스쳐 메모리에 저장된다. 그래픽스 하드웨어의 정점 프로세서는 두 개의 곡면 매개변수를 2차원 정점으로 입력받아 한 번의 행렬 곱셈으로 스윕 곡면의 정점 좌표와 법선 벡터를 계산한다. 제안한 GPU 기반 스윕 곡면의 렌더링은 CPU 기반 렌더링에 비해 10배에서 40배 정도의 속도 향상을 보였다.

얼굴 애니메이션을 위한 직관적인 유사 고유 얼굴 모델

김익재,고형석 (사)한국컴퓨터그래픽스학회 2006 컴퓨터그래픽스학회논문지 Vol.12 No.2

블렌드 쉐입 기반 얼굴 애니메이션을 위해 기저 모델 (Expression basis)을 생성하는 방법을 크게 두 가지로 구분하면, 애니메이터가 직접 모델링을 하여 생성하는 방법과 통계적 방법에 기초하여 모델링하는 방법이 있다. 그 중 애니메이터에 의한 수동 모델링 방법으로 생성된 기저 모델은 직관적으로 표정을 인식할 수 있다는 장점으로 인해 전톡적인 키프레임 제어가 가능하다. 하지만, 표정 공간 (Expression Space)의 일부분만을 커버하기 때문에 모션데이터로부터의 재복원 과정에서 많은 오차를 가지게 된다. 반면, 통계적 방법을 기반으로 한 기저 모델 생성 방법은 거의 모든 표정공간을 커버하는 고유 얼굴 모델 (Eigen Faces)을 생성하므로 재복원 과정에서 최소의 오차를 가지지만, 시각적으로 직관적이지 않은 표정 모델을 만들어 낸다. 따라서 본 논문에서는 수동으로 생성한 기저모델을 유사 고유 얼굴 모델 (Quasi-Eigen Faces)로 변형하는 방법을 제시하고자 한다. 결과로 생성되는 기저모델은 시각적으로 직관적인 얼굴 표정을 유지하면서도 통계적 방법에 의한 얼굴표정 공간의 커버 영역과 유사하도록 확장할 수 있다.

에지 밀도 정보를 이용한 회화적 렌더링

이호창,박영섭,서상현,윤경현 (사)한국컴퓨터그래픽스학회 2006 컴퓨터그래픽스학회논문지 Vol.12 No.4

The ultimate objective of painterly rendering is to express an inputted image as if it is hand drawn. The factors to express this painterly effect are thickness of the brush, direction, texture and the establishment of criteria judging if the produced brush will be drawn on to the canvas. In this paper, the algorithm using density of the edges in determining the criteria whether the brush will be drawn onto the canvas is proposed. Density of edges refers to the quantity of edge in the specific area. And uses the method of finding the location of the brush to be drawn as a unit of dynamic grid as well as expressing consistent directional through direction interpolation. Also, the texture is expressed using various textured brushes. Considering density of edges ,We can express detailed area and abstract area. And it result in more human effect of oil painting. 회화적 렌더링은 주어진 영상을 가지고 사람이 직접 그린 듯 한 회화적 느낌을 표현하는 것이다. 이러한 회화적 느낌을 표현하기 위한 요소에는 브러시의 굵기, 방향, 질감, 그리고 생성된 브러시가 캔버스에 그려질지 판단하는 기준설정 등이 있다. 본 논문에서는 에지 밀도를 이용해 브러시가 캔버스에 그려질 조건을 설정하는 알고리즘을 제시한다. 에지밀도란 일정 영영에서의 에지의 양을 나타낸다. 기존의 색 차이만을 고려하던 그려질 조건에 에지 밀도정보를 추가로 적용하여 대상과 배경을 분리하여 세밀함과 추상함을 동시에 표현할 수 있다. 이와 함께 정적 격자 단위로 그려질 위치를 찾는 것이 아닌 동적 격자 단위로 찾아가는 방법을 사용한다. 그리고 방향 보간을 통한 일관된 브러시의 방향설정을 하고 텍스처를 이용한 사실적인 브러시의 질감표현을 한다. 위의 과정들을 통해 좀 더 사람이 그린것과 같은 오일 페인팅(oil painting) 효과를 얻을 수 있다.

하이트필드 맵을 이용한 회화적 질감 표현

류승택 (사)한국컴퓨터그래픽스학회 2006 컴퓨터그래픽스학회논문지 Vol.12 No.4

This paper introduces the surface detailed painterly rendering using heightfield map. To do this, we implement painterly rendering using normal mapping and displacement mapping method by heightfield map. The suggested method can apply to the 3D visualization program and game engine for representing the surface detailed realtime rendering using GPU programming. 본 논문에서는 하이트필드 맵을 이용한 회화적 질감 표현 방법을 제시한다. 회화적 렌더링된 결과물의 하이트필드 맵을 이용하면 회화작품의 질감을 표현할 수 있다. 이를 위해 하이트필드 맵을 바탕으로 노말 매핑과 디스플레이스먼트 매핑 방법을 이용하여 회화적 렌더링을 구현하였다. 제시된 방법은 GPU 프로그래밍을 이용하여 물체의 세부적인 표면을 실시간으로 회화적 렌더링할 수 있어 3차원 가시화나 게임엔진에 응용할 수 있다.