首页 > 其他分享> 文章详细

nlp Embedding改进CBOW

2022-04-05 15:00:19 阅读：199 来源： 互联网

标签：nlp 权重 idx self 矩阵 Embedding CBOW dW

Embedding改进CBOW

假设词汇量为 100 万个时的 CBOW 模型如下，输入层和输出层存在 100 万个神经元。

下面两个问题导致耗时严重。

问题一、输入层的 one-hot 表示和权重矩阵的乘积。one-hot 表示占用内存过多，计算 one-hot 表示与权重矩阵的乘积，需要花费大量时间。

问题二、中间层和权重矩阵的乘积以及 Softmax 层的计算。需要大量的计算，花费大量时间。

在这里插入图片描述

解决问题一：

计算one-hot 表示矩阵和权重矩阵的乘积，其实就是将权重矩阵的某个特定的行取出来。如下图所示。

在这里插入图片描述

Embedding 层：一个从权重矩阵中抽取单词ID对应行(向量)的层。

使用 params 和 grads 作为成员变量，params中保存要学习的参数，grads中保存梯度。并在成员变量 idx 中以数组的形式保存需要提取的行的索引(单词ID)。

正向传播：从权重矩阵W中提取特定的行，并将特定行的神经元原样传给下一层。

反向传播：上一层(输出侧的层)传过来的梯度将原样传给下一层(输入侧的层)。上一层传来的梯度会被应用到权重梯度dW的特定行(idx)。

反向传播里面，将梯度累加到对应索引上，用于处理idx 中出现了重复的索引的情况。dW[…] = 0的目的是保持dW的形状不变，将它的元素设为0。

将原来CBOW模型中输入侧的 MatMul 层换成 Embedding 层，减少内存使用量，避免不必要的矩阵计算。

class Embedding:
    def __init__(self, W):
        self.params = [W]
        self.grads = [np.zeros_like(W)]
        self.idx = None

    def forward(self, idx):
        W, = self.params
        self.idx = idx
        out = W[idx]
        return out

    def backward(self, dout):
        dW, = self.grads
        dW[...] = 0
        if GPU:
            np.scatter_add(dW, self.idx, dout)
        else:
            np.add.at(dW, self.idx, dout)
        return None

标签：nlp,权重,idx,self,矩阵,Embedding,CBOW,dW
来源： https://www.cnblogs.com/jiangyiming/p/16102382.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

nlp Embedding改进CBOW

Embedding改进CBOW