한국어 동시조음 모델에 기반한 스피치 애니메이션 생성 = Speech Animation Synthesis based on a Korean Co-articulation Model

다국어 초록 (Multilingual Abstract)

In this paper, we propose a speech animation synthesis specialized in Korean through a rule-based co-articulation model. Speech animation has been widely used in the cultural industry, such as movies, animations, and games that require natural and realistic motion. Because the technique for audio driven speech animation has been mainly developed for English, however, the animation results for domestic content are often visually very unnatural. For example, dubbing of a voice actor is played with no mouth motion at all or with an unsynchronized looping of simple mouth shapes at best. Although there are language-independent speech animation models, which are not specialized in Korean, they are yet to ensure the quality to be utilized in a domestic content production. Therefore, we propose a natural speech animation synthesis method that reflects the linguistic characteristics of Korean driven by an input audio and text. Reflecting the features that vowels mostly determine the mouth shape in Korean, a coarticulation model separating lips and the tongue has been defined to solve the previous problem of lip distortion and occasional missing of some phoneme characteristics. Our model also reflects the differences in prosodic features for improved dynamics in speech animation. Through user studies, we verify that the proposed model can synthesize natural speech animation.

국문 초록 (Abstract)

본 논문에서는 규칙 기반의 동시조음 모델을 통해 한국어에 특화된 스피치 애니메이션을 생성하는 모델을 제안한다. 음성에 대응되는 입 모양 애니메이션을 생성하는 기술은 영어를 중심으로 많은 연구가 진행되어 왔으며, 자연스럽고 사실적인모션이 필요한 영화, 애니메이션, 게임 등의 문화산업 전반에 널리 활용된다. 그러나 많은 국내 콘텐츠의 경우, 스피치 애니메이션을 생략하거나 음성과 상관없이 단순 반복 재생한 뒤 성우가 더빙하는 형태로 시각적으로 매우 부자연스러운 결과를보여준다. 또한, 한국어에 특화된 모델이 아닌 언어 비의존적 연구는 아직 국내 콘텐츠 제작에 활용될 정도의 퀄리티를 보장하지 못한다. 따라서 본 논문은 음성과 텍스트를 입력받아 한국어의 언어학적 특성을 반영한 자연스러운 스피치 애니메이션생성 기술을 제안하고자 한다. 한국어에서 입 모양은 대부분 모음에 의해 결정된다는 특성을 반영하여 입술과 혀를 분리한 동시조음 모델을 정의해 기존의 입술 모양에 왜곡이 발생하거나 일부 음소의 특성이 누락되는 문제를 해결하였으며, 더 나아가운율적 요소에 따른 차이를 반영하여 보다 역동적인 스피치 애니메이션 생성이 가능하다. 제안된 모델은 유저 스터디를 통해자연스러운 스피치 애니메이션을 생성함을 검증하였으며, 향후 국내 문화산업 발전에 크게 기여할 것으로 기대된다.

참고문헌 (Reference)

1 김태은, "한글 문자 입력에 따른 얼굴 에니메이션" 한국전자통신학회 4 (4): 116-122, 2009

2 임홍빈, "한국어의 불규칙 활용에 대하여" (3) : 1-21, 2014

3 신지영, "한국어의 말소리" 박이정출판사 2014

4 정일홍, "한국어 음소를 이용한 자연스러운 3D 립싱크 애니메이션" 한국디지털콘텐츠학회 9 (9): 331-339, 2008

5 오현화, "한국어 모음 입술독해를 위한 시공간적 특징에 관한 연구" 한국음향학회 21 (21): 19-26, 2002

6 김종록, "외국인을 위한 한국어 동사 활용 사전 돌아보기" 한글학회 (295) : 73-134, 2012

7 임성민, "어텐션 기반 엔드투엔드 음성인식 시각화 분석" 한국음성학회 11 (11): 41-49, 2019

8 김탁훈, "애니메이션 캐릭터의 한국어 립싱크 연구 : 영어권 애니메이션의 립싱크 기법을 기반으로" 한국만화애니메이션학회 (13) : 97-114, 2008

9 이광희, "시청각 정보를 활용한 음성 오인식률 개선 알고리즘" 341 (341): 341-342, 2010

10 양순임, "‘ㅎ’ 불규칙용언의 표기 규정에 대한 고찰" 한민족어문학회 (62) : 315-338, 2012

11 H. P. Graf, "Visual prosody : Facial movements accompanying speech" IEEE 396-401, 2002

12 Y. Zhou, "Visemenet : Audio-driven animator-centric speech animation" 37 (37): 1-10, 2018

13 D. Povey, "The kaldi speech recognition toolkit" IEEE Signal Processing Society 2011

14 Y. -C. Wang, "Rule-based korean grapheme to phoneme conversion using sound patterns" 2 : 843-850, 2009

15 K. Tjaden, "Rate and loudness manipulations in dysarthria" 2004

16 M. McAuliffe, "Montreal forced aligner : Trainable textspeech alignment using kaldi" Interspeech 498-502, 2017

17 P. Edwards, "Jali : an animator-centric viseme model for expressive lip synchronization" 35 (35): 127-, 2016

18 J. -R. Park, "Human-like fuzzy lip synchronization of 3d facial model based on speech speed" Korean Institute of Intelligent Systems 416-419, 2006

19 H. -J. Hyung, "Evaluation of a korean lip-sync system for an android robot" IEEE 78-82, 2016

20 S. L. Taylor, "Dynamic units of visual speech" 275-284, 2012

21 R. D. Kent, "Coarticulation in recent speech production models" 5 (5): 115-133, 1977

22 G. S. Turner, "Characteristics of speaking rate in the dysarthria associated with amyotrophic lateral sclerosis" 36 (36): 1134-1144, 1993

23 I. Albrecht, "Advances in Modelling, Animation and Rendering" Springer 283-293, 2002

24 S. -W. Kim, "A talking head system for korean text" 50 : 2005