가변 Break를 이용한 코퍼스 기반 일본어 음성 합성기의 성능 향상 방법 = A Performance Improvement Method using Variable Break in Corpus Based Japanese Text-to-Speech System

국문 초록 (Abstract)

Text-to-speech 시스템에서 입력 텍스트로부터 운율 정보를 생성하기 위해서는 운율구 경계, 음소 지속시간, 기본주파수 포락선 설정의 3가지 기본적인 모듈이 필요하다. Break 인덱스 (BI; Break Index)는 합성기에서 운율구의 경계를 나타내고, 자연스러운 합성음을 생성하기 위해서는 BI를 정확히 예측하여야 한다. 그러나 BI는 문장의 의미나 화자의 읽기 습관(reading style)에 따라 임의적으로 결정되는 경우가 많아 정확한 예측이 매우 어렵다. 특히 일본어 합성기에서는 악센트 구 경계 (APB; Accentual Phrase Boundary)와 major phrase 경계 (MPB; Major Phrase Boundary)의 정확한 예측이 어렵다. 따라서 본 논문에서는 APB와 MPB 예측 오류를 보완할 수 있는 방법을 제안한다. BI를 고정 break (FB; Fixed Break)와 가변 break (VB; Variable Break)로 분류하여 합성단위 선택을 수행한다. 일반적으로 BI는 한번 생성되면 변하지 않는다. 따라서 BI가 잘못 생성된 경우 최적의 합성음을 생성할 수 없게 되는데, VB는 생성된 BI와 그것과 유사한 BI를 함께 이용하여 합성단위 선택을 수행함으로써 합성음의 BI가 생성된 BI와 다를 수 있는 것을 의미한다. APB와 MPB에 해당하는 BI에 대하여 VB인지 FB인지 CART(Classification and Regression Tree)를 이용하여 예측하고, VB인 경우 기본 주파수와 음소 지속시간에 대해 다중 운율 모델을 생성하여 합성단위 선택을 수행하였다. MOS 테스트 결과 원음이 4.99, 제안한 방법을 4.25, 기존의 방법은 4.01로 합성음의 자연성을 향상시킬 수 있었다.

다국어 초록 (Multilingual Abstract)

In text-to-speech systems, the conversion of text into prosodic parameters is necessarily composed of three steps. These are the placement of prosodic boundaries. the determination of segmental durations, and the specification of fundamental frequency contours. Prosodic boundaries. as the most important and basic parameter. affect the estimation of durations and fundamental frequency. Break prediction is an important step in text-to-speech systems as break indices (BIs) have a great influence on how to correctly represent prosodic phrase boundaries, However. an accurate prediction is difficult since BIs are often chosen according to the meaning of a sentence or the reading style of the speaker. In Japanese, the prediction of an accentual phrase boundary (APB) and major phrase boundary (MPB) is particularly difficult. Thus, this paper presents a method to complement the prediction errors of an APB and MPB. First, we define a subtle BI in which it is difficult to decide between an APB and MPB clearly as a variable break (VB), and an explicit BI as a fixed break (FB). The VB is chosen using the classification and regression tree, and multiple prosodic targets in relation to the pith and duration are then generated. Finally. unit-selection is conducted using multiple prosodic targets. In the MOS test result. the original speech scored a 4,99. while proposed method scored a 4.25 and conventional method scored a 4.01. The experimental results show that the proposed method improves the naturalness of synthesized speech.

참고문헌 (Reference)

1 나덕수, "일본어 악센트 특징을 이용한 합성단위 선택 기반 일본어 TTS의 후보 합성단위의 사전선택 방법" 한국음향학회 26 (26): 159-165, 2007

2 K. Maekawa, "X-JToBI: an extended j-toBI for spontaneous speech" 1545-1548, 2002

3 R. E. Donovan, "Trainable speech synthesis" Cambridge University 1996

4 J. J. Venditti, "The J_ToBI model of Japanese intonation. in: Prosodic Typology: The Phonology of Intonation and Phrasing" Oxford University Press 172-200, 2005

5 "Technical Standardization Committee on Speech Input/Output Systems, Speech synthesis system performance evaluation methods" 42-45, 2003

6 A. Conkie, "Preselection of candidate units in a unit selection-based textto- speech synthesis system" 314-317, 2000

7 X. Sun, "Intonational Phrase Break Prediction Using Decision Tree and N-Gram Model" 537-540, 2001

8 S. Kiriyama, "Evaluation of a prosodic labeling system utilizing linguistic information" 2993-2996, 2004

9 이상호, "CART를 이용한 운율구 추출 및 휴지기간 모델링" 17 (17): 86-, 1998

10 N. Campbell, "Autolabeling Japanese ToBI" 2399-2402, 1996

11 D. S. Na, "A Variable Break Prediction Method using CART in a Japanese Text-to-Speech System" E92-D (E92-D): 349-352, 2009