음질 및 속도 향상을 위한 선형 스펙트로그램 활용 Text-to-speech

국문 초록 (Abstract)

인공신경망에 기반한 대부분의 음성 합성 모델은 고음질의 자연스러운 발화를 생성하기 위해 보코더 모델을 사용한다. 보코더 모델은 멜 스펙트로그램 예측 모델과 결합하여 멜 스펙트로그램을 음성으로 변환한다. 그러나 보코더 모델을 사용할 경우에는 많은 양의 컴퓨터 메모리와 훈련 시간이 필요하며, GPU가 제공되지 않는 실제 서비스환경에서 음성 합성이 오래 걸린다는 단점이 있다. 기존의 선형 스펙트로그램 예측 모델에서는 보코더 모델을 사용하지 않으므로 이 문제가 발생하지 않지만, 대신에 고품질의 음성을 생성하지 못한다. 본 논문은 뉴럴넷 기반 보코더를 사용하지 않으면서도 양질의 음성을 생성하는 Tacotron 2 & Transformer 기반의 선형 스펙트로그램 예측 모델을 제시한다. 본 모델의 성능과 속도 측정 실험을 진행한 결과, 보코더 기반 모델에 비해 성능과 속도 면에서 조금 더 우세한 점을 보였으며, 따라서 고품질의 음성을 빠른 속도로 생성하는 음성 합성 모델 연구의 발판 역할을 할 것으로 기대한다.

다국어 초록 (Multilingual Abstract)

Most neural-network-based speech synthesis models utilize neural vocoders to convert mel-scaled spectrograms into high-quality, human-like voices. However, neural vocoders combined with mel-scaled spectrogram prediction models demand considerable computer memory and time during the training phase and are subject to slow inference speeds in an environment where GPU is not used. This problem does not arise in linear spectrogram prediction models, as they do not use neural vocoders, but these models suffer from low voice quality. As a solution, this paper proposes a Tacotron 2 and Transformer-based linear spectrogram prediction model that produces high-quality speech and does not use neural vocoders. Experiments suggest that this model can serve as the foundation of a high-quality text-to-speech model with fast inference speed.

목차 (Table of Contents)

• Abstract
• 1. 서론
• 2. 제안 모델
• 3. 실험
• 4. 논의 및 결론
• References
• 국문초록

참고문헌 (Reference)

1 van den Oord, A., "WaveNet: A generative model for raw audio"

2 Prenger, R., "WaveGlow: A flow-based generative network for speech synthesis"

3 Arjovsky, M., "Wasserstein GAN"

4 Hsu, P., "Towards robust neural vocoding for speech generation: A survey"

5 Wang, Y., "Tacotron: Towards end-to-end speech synthesis" 4006-4010, 2017

6 Griffin, D., "Signal estimation from modified short-time Fourier transform" 32 (32): 236-243, 1984

7 Zhu, X., "Real-time iterative spectrum inversion with look-ahead" 229-232, 2006

8 Li, N., "Neural speech synthesis with transformer network"

9 Shen, J., "Natural TTS synthesis by conditioning WaveNet on Mel spectrogram predictions" 4779-4783, 2018

10 Kumar, K., "MelGAN:Generative adversarial networks for conditional waveform synthesis"

11 Chen, J., "HiFiSinger:Towards high-fidelity neural singing voice synthesis"

12 Ren, Y., "FastSpeech: Fast, robust and controllable text to speech" 3156-3164, 2019

13 Sharma, A., "Fast Griffin Lim based waveform generation strategy for text-to-speech synthesis" 79 (79): 30205-30233, 2020

14 Tachibana, H., "Efficiently trainable text-to-speech system based on deep convolutional networks with guided attention" 4784-4788, 2018

15 Song, W., "Efficient WaveGlow: An improved WaveGlow vocoder with enhanced speed" 225-229, 2020

16 Vaswani, A., "Attention is all you need"

17 Perraudin, N., "A fast Griffin-Lim algorithm" 1-4, 2013