标签：Attention step paper query output need alpha

原博链接: 论文解读:Attention is All you need - 知乎 (zhihu.com)

Attention用于计算“相关程度”。

例如在翻译过程中，不同的英文对中文的依赖程度不同。

Attention：$query space \times key-value pairs space \rightarrow attention output vector, $

$(Q, (K_i, V_i)) \mapsto output$

其中$Q$指query，$(K_i, V_i)$指key-value pair.

step 1: 计算$Q$和$K$的相似度, 用$f$表示

$$ f(Q, K_i), i=1,2,\ldots,m $$

step 2: 将上一步的相似度进行softmax操作, 归一化

$$ \alpha_i = \frac {e^{f(Q, K_i)}} {\sum_{j=1}^m e^{f(Q, K_j)}} $$

step 3: 针对计算出来的权重$\alpha_i$, 对V中所有的values进行加权求和, 得到Attention向量

$$ output = \sum_{i=1}^m \alpha_i V_i $$

回过头来看step 1的相似度计算, 有如下四种:

• 点乘 dot product: $f(Q, K_i) = Q^T K_i$
• 权重 general: $f(Q, K_i) = Q^T W K_i$
• 拼接权重 concat: $f(Q, K_i) = W [Q; K_i]$
• 感知机 percepton: $f(Q, K_i) = V^T \tanh (WQ+UK_i)$

标签：Attention,step,paper,query,output,need,alpha
来源： https://www.cnblogs.com/raylan/p/15110983.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。