Transformer-TTS: Neural Speech Synthesis with Transformer Network阅读笔记

5. Transformer-TTS: Neural Speech Synthesis with Transformer Network

文章于2019年1月发表

Transformer-TTS可以看做Tacotron2+transformer的组合，作者认为优点主要为：

1. 通过移除RNN结构实现并行训练，因为解码器的输入序列的帧可以并行地提供。
2. 第二种是self-attention可以将整个序列的全局上下文映射到每个输入帧中，直接构建远程依赖关系。

主要步骤和改进：

1. text-to-phoneme，输入为phoneme;

2. Encoder Pre-net: 有Embedding层和三层卷积层组成；

3. Scaled Positional Encoding: 增加可训练参数$α$α，使之能够自适应地适应编码器和解码器prenets输出的大小；
   

4. Transformer Encoder和Decoder，参照[Attention Is All You Need](# 4. Attention Is All You Need);

5. Decoder Pre-net: 两个全连接层;

6. 保留Stop Token；

相比Tacotron2，训练速度提高三四倍。

MOS值对比：