标签：Evolution GRU 提取 Network Prediction 用户 DIEN 兴趣 建模

动机

本文是2019年AAAI上的一篇论文，提出了经典的深度学习推荐模型DIEN。之前的工作大多数是直接将用户的行为序列建模为用户的兴趣，没有具体为这些行为背后的潜在兴趣进行建模。本文提出的DIEN模型使用兴趣提取层和兴趣演变层更好地建模用户兴趣。DIN和DIEN都是阿里团队提出的模型，本文的DIEN可以看作是DIN的改进版本。

方法

用户的兴趣是不断变化的，因此捕获兴趣的动态性对于表示兴趣来说十分重要。这里就只介绍关键的两部分，兴趣提取层和兴趣演变层。其余部分和DIN模型相似。

兴趣提取层

在电子商务系统中，用户采取一系列行为后，兴趣会发生变化。在兴趣提取层中，我们要从连续的用户行为中提取兴趣状态。这里选择GRU作为提取来提取兴趣

由于对物品点击行为的预测取决于最终的兴趣状态，标签中只包含监督最终兴趣的真值GRU中一些列隐藏状态无法得到很好的监督，因此引入一个辅助损失，我们使用t+1时刻的行为监督t时刻的隐藏状态，同时再采样一个不在交互序列中的物品当作负样本。然后有以下损失函数

总的损失函数为

兴趣演变层

在兴趣演变层，我们使用注意力机制和GRU建模用户兴趣演变。注意力分数由以下公式求出

作者介绍了三种结合注意力机制和GRU的方法，主要就是将注意力分数加入GRU，修改GRU里的一些公式。
AIGRU。

AGRU。

AUGRU。

实验结果

DIEN在公共数据集上和工业数据集上均取得最好的效果。

总结

本文提出的DIEN建模了用户动态兴趣的演变，可以更准确地表示出用户真正的兴趣。相比与DIN，它将序列时间信息加入到模型，有更出色的表现。

标签：Evolution,GRU,提取,Network,Prediction,用户,DIEN,兴趣,建模
来源： https://www.cnblogs.com/ambition-hhn/p/16542167.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。