标签：Ei2 逛逛 Ef1 attention 相乘 64 淘宝 序列 向量

一、难点一

右侧的公式是从底往上看

两个mean-pooling很简单，假设形成64维的向量 Ec1 Ei1，相乘得到Ef1，也是64维向量，这里的vanilla-attention（推荐搜索的冷启动问题_1066196847的博客-CSDN博客）

vanilla-attention的重点是，Query由decoder输出，也就相当于这里的Ef1，K V由encoder输入，从Ec2 Ei2公式中看都是C或者都是I，用C来举例，那么就都是content sequence的每个item，先和Ef1来计算attention-score再作用到自身（相乘）得到加权向量（多半也是64维向量）

最后Ec2 Ei2相乘，再和Ef1相加，得到输出

标签：Ei2,逛逛,Ef1,attention,相乘,64,淘宝,序列,向量
来源： https://blog.csdn.net/a1066196847/article/details/122786396

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。