标签：Xi word2vec log 补充 sum GloVe 共生 exp Qi

前文介绍，共生矩阵的方法可以反映词之间全局的共生关系，这是CBOW和Skip-Gram不具备的。为了改进上述算法，有论文提出了采用GloVe的方法来求词向量。
首先，要对语料库进行一遍扫描，求出共生矩阵$X$X。其中$X_{i,j}$Xi,j​为出现词$i$i的同时，也出现$j$j的次数。注意到skip-gram算法中，我们已经针对中心词i和上下文词j，我们计算得到损失函数$L_{i,j}$Li,j​为
$\begin{aligned} L_{i,j}&=-\log\frac{\exp(w_i^Tu_j)}{\sum_{v \in V}\exp(w_i^Tu_v)} \\ & \equiv -\log Q_{i,j} \end{aligned}$Li,j​​=−log∑v∈V​exp(wiT​uv​)exp(wiT​uj​)​≡−logQi,j​​
这样总的损失函数为
$\begin{aligned} L&=-\sum_{i \in V}\sum_{j是i的上下文}\log Q_{i,j} \\ &=-\sum_{i \in V}\sum_{j \in V} X_{i,j}\log Q_{i,j} \end{aligned}$L​=−i∈V∑​j是i的上下文∑​logQi,j​=−i∈V∑​j∈V∑​Xi,j​logQi,j​​
这里$X_{i,j}$Xi,j​为实际语料库中共生$i,j$i,j的次数，而$Q_{i,j}$Qi,j​则看作是根据训练得到的$i,j$i,j共生的概率。那么$L$L实际上就是一个cross-entropy损失函数。我们将$L$L改为类似least-square的损失函数，即
$L=-\sum_{i \in V}\sum_{j \in V}f(X_{i,j})(\log P_{i,j}-\log Q_{i,j})^2$L=−i∈V∑​j∈V∑​f(Xi,j​)(logPi,j​−logQi,j​)2
其中$f(X_{x,j})$f(Xx,j​)为权重，$X_i=\sum_j X_{i,j}$Xi​=∑j​Xi,j​，$P_{i,j}=X_{i,j}/X_i$Pi,j​=Xi,j​/Xi​。进一步我们将第二个求和符号里的“概率差”换成“次数差”，即
$L=-\sum_{i \in V}\sum_{j \in V}f(X_{i,j})(\log X_{i,j} - w_i^Tu_j)^2$L=−i∈V∑​j∈V∑​f(Xi,j​)(logXi,j​−wiT​uj​)2
这就是GloVe的模型。模型利用了语料库中词汇间的共生关系，在实际应用中比CBOW和Skip-Gram速度要更快，求得的词向量效果也要更好。

• 点赞
• 收藏
• 分享
• • 文章举报

earofreceiver 发布了4 篇原创文章 · 获赞 0 · 访问量 94 私信 关注

标签：Xi,word2vec,log,补充,sum,GloVe,共生,exp,Qi
来源： https://blog.csdn.net/earofreceiver/article/details/104138601

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。