标签：输出 attention 论文 encoder enbedding 模块 decoder need

1结构介绍

是一个seq2seq的任务模型，将输入的时间序列转化为输出的时间序列。
有encoder和decoder两个模块，分别用于编码和解码，结合时是将编码的最后一个输出 当做 解码的第一个模块的输入
encoder模块有两个操作： self-attention、feed-forward
decoder模块有三个操作：self-attention、encoder-decoder-attention、feed-forward
两种attention用的都是 multi-head-attention

2 enbedding

enbedding 操作不是简单地enbedding，而是加入了位置信息的enbedding,称之为position-enbedding,

3.multi-head-attention

3.1 attention 简单回顾

attention 理解为计算相关程度；
进行如下表述：表示为将query 和k-v pairs 映射到输出上其中query,每个k，每个v都是向量，输出是V中所有v的加权，其中权重是由q和每个k计算出来的，计算方法分为三步：
（1）计算比较q和k的相似度，用f来表示：

（2）将得到的相似度进行softmax归一化

（3）针对计算出来的权重，对所有的v进行加权求和，得到attention向量

标签：输出,attention,论文,encoder,enbedding,模块,decoder,need
来源： https://www.cnblogs.com/yeran/p/10604009.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。