标签：Predictions Ad 交叉 特征 Cross Deep cross net

动机

本文是2017年的论文，提出了经典的深度学习推荐模型Deep&Cross。本文是为了解决当时需要手动构建特征交叉和DNN不能学习到所有交叉特征的问题，作者提出的Deep & Cross Network(DCN)无需手动交叉特征，同时除了DNN参数外，只引入了少量额外的参数，模型性能和所占内存都优于当时最先进的算法。

方法

Deep&Cross模型结构如下图，主要由cross部分和deep部分组成。

cross network

cross每一层的表达式如下

\(x_0\)是原始的向量输入，\(w_l\)和\(b_l\)是每一层的参数。
cross net部分参数很少，假设输入维度为d，每一层w和b维度也都是d，总共有d×L×2个参数，其中L为cross net总层数。cross net加入残差连接，可以缓解梯度消失问题。cross net还可以通过控制网络层数来控制特征交叉的力度，深度为L的网络可以达到L+1阶的叉乘。

deep network

deep net部分其实就是一个MLP，激活函数为ReLU，公式如下

Combination Layer

将cross和deep的结果结合起来，公式如下

损失函数是二分类交叉熵损失函数

实验结果

在Criteo广告数据集上，本文提出的Deep&Cross模型取得最好效果。
个人感觉这个结果说服力不强，提升效果并不明显，而且没和Wide&Deep比较，计算广告中重要的指标AUC也没有列出来比较。

总结

本文提出的Deep&Cross模型主要贡献是在Cross部分，它可以构造有限高阶的特征叉乘，避免手动交叉特征，同时额外需要的参数不多，保证了计算速度。因为在之前读过Wide&Deep和DeepFM相关论文，我发现这篇论文和上述两篇论文相似，都是将DNN和一个其他网络组合在一起使用，Wide&Deep是DNN+线性回归模型(LR)，DeepFM是DNN+FM，本文则是DNN+Cross net，DNN部分负责高阶特征交叉，另一部分负责低阶特征交叉(Wide&Deep是一阶特征，DeepFM是二阶特征交叉，Deep&Cross是更高阶的特征交叉)。那么，读完本文之后我也有一些疑问，既然另一部分是注重低阶特征交叉，cross net是否还有必要做一些高阶特征交叉，是否线性模型就足够(也就是Wide&Deep模型)？这种特征交叉的方式是否真的有效？本文模型还有一个问题，而且cross部分学习出的参数w一直都是\(x_0\)的倍数。我也在网上搜索过关于这篇论文的解读（我是参考这篇揭秘 Deep & Cross : 如何自动构造高阶交叉特征，评论区也值得看一下），也有很多人和我有一样的疑问，而且这个模型的效果相对于Wide&Deep似乎并没有提高。个人认为这篇论文浅读一下就好，没必要深钻。

PS:论文中定理和证明比较晦涩，我没看懂，但是看到也有不少人和我一样，松了一口气。

标签：Predictions,Ad,交叉,特征,Cross,Deep,cross,net
来源： https://www.cnblogs.com/ambition-hhn/p/16441158.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。