标签：tacotron2 Non TTS 模型 非自 BVAE Glow
声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。
欢迎关注微信公众号：低调奋进
| Bidirectional Variational Inference for Non-Autoregressive Text-to-Speech |
本文是ICLR 2021的文章，目前看到的文章版本为匿名，主要研究使用BVAE构建non-autoregressive TTS，使推理速度比现有的自回归和非自回归速度都快许多（比tacotron2增加27倍），文章链接
https://openreview.net/pdf?id=o3iritJHLfO
1 研究背景
现有的自回归系统的缺点是推理无法并行，因此时间开销与帧数呈线性关系，而且缺乏对齐鲁棒性。目前非自回归系统则需要teacher模型来引导duration训练或者需要teacher模型来引导特征学习，而且一些flow基础的模型较大，而本文提出的非自回归模型不需要teacher模型，同时更加灵活。实验结果显示，BVAE-TTS的推理速度是tacotron2的27倍，是Glow-TTS的两倍，但合成的音频质量好于Glow-TTS。
2 详细设计
先看一下BVAE(bidirectional inference variational autoencoder)的结构为图1所示，主要分为bottom-up和Top-down两个路径。使用该结构的BVAE-TTS为图2所示，其中（a)为训练流程，其中duration predictor模块训练是使用attention的对齐结果，bvae block分为downsample和upsample，downsample是的结果作为attention的Q来计算对齐，upsample则是把语言特征转成声学特征。在推理阶段（c）则只使用duration predictor，而不再使用attention。
3 实验
本文实验主要对比自回归模型tacotron2和非自回归模型Glow-TTS，结果table显示了各系统的对比指标。首先，BVAE-TTS在in-domain测试MOS好于glow-tts但比tacotron2差，在out of domain 测试MOS优于这个系统。推理速度则是tactron2的27倍，glow-TTS的2倍，参数量的话只有这两个模型的一半。图3展示结果距离声学特征的两个bvae block学习声学特征好，接近text的则学习语言特征。图4展示本文使用的其它一些算法验证。
4 总结
本文使用BVAE提出的非自回归模型不需要teacher模型，同时更加灵活。实验结果显示，BVAE-TTS的推理速度是tacotron2的27倍，是Glow-TTS的两倍，但合成的音频质量好于Glow-TTS。
标签：tacotron2,Non,TTS,模型,非自,BVAE,Glow 来源： https://blog.csdn.net/liyongqiang2420/article/details/114271131
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。