标签：11 transformer 01 特征 音频 相似性 2021 维度 文本

transformer怎么处理语音和文本embeding维度失衡问题

Author: Xin Pan

Date: 2021.10.28

想起之前的一个问题，在语音识别中其实一个很明显的问题就是输入音频提了特征（Feat）以后维度会比较高，但是文本因为就那么些字，维度会比较少。那么它们之前在decoder上是如何产生关联关系的呢？

假设现在的特征是Feat=[152,2,512]=[特征长度，batch，特征深度]，文本的tgt=[60,2,512]=[文本长度，batch，特征深度]

乍看它们的维度不一样，没法整，但是在decoder里边，q=target，k,v都等于=feat，按着self-attention和multi-head-attention里边计算的时候
a t t e n = s o f t m a x ( Q K T d k ) V atten=softmax(\frac{QK^T}{\sqrt{d_k}})V atten=softmax(dk​ ​QKT​)V
Q和K的转置计算完之后等于是每个文字的每维特征和音频每个特征中每维特征之间的相似性关系。还是那个feature_map。只不过两个维度是文字和隐空间特征之间的相似性关系。如果不明白回想transformer那个公式就可以了。

网上截的图，就像这个纵轴是每个字的维度，横轴是音频特征(隐空间)的维度，这表明的就是它们的相似性。应该就是这样。

今天总结并思考这个问题我觉得我把transformer最后一点不理解的地方也理解了，真的是每次思考都能有更深的见解，每次都能更加的深入。

Reference

1. https://blog.csdn.net/moxibingdao/article/details/109127507 图片来自这里

标签：11,transformer,01,特征,音频,相似性,2021,维度,文本
来源： https://blog.csdn.net/panxin801/article/details/121081131

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。