标签：最大化 knowledge 互信息 接下来 CONTRASTIVE DISTILLATION pdf REPRESENTATION 优化

paper:https://arxiv.org/pdf/1910.10699.pdf

abstract:

问题：
knowledge distillation忽视了structural knowledge
实验结果：
新方法产生了优化，有的时候甚至是test中的top 1

method :
目标：
最大化互信息，让不同的输入尽可能映射到不同的值，相同的输入在T和S模式下映射的值尽可能接近

约定的记法：

很自然的我们想到，通过最大化KL散度能够最大化互信息

接下来，每给1个全等对就有N个不全等对
因此先验概率为：

接下来运用了贝叶斯公式：

然后开始构造互信息的形式：
简单的取对数和拆开

移动，并且求数学期望有

但是由于q(C = 1|T, S) 是未知的，所以作者使用了极大似然估计。我们注意到，这是个概率，所以它的值一定在0-1之间，所以我们找到的函数也应该在0-1之间。常用的有sigmoid，本文中使用的如下：

其中M是数据集的容量
对于拟合的函数，他使用的是：

结合Gibbs不等式，有：

对于N，是确定的了，因此我们如果想要优化其下界，就需要优化右边的数学期望

同时有，想找到一个学生，使得mutual information最大
就有
因此，就陷入了死循环。于是接下来作者进行了一个条件的弱化，

标签：最大化,knowledge,互信息,接下来,CONTRASTIVE,DISTILLATION,pdf,REPRESENTATION,优化
来源： https://blog.csdn.net/capsnever/article/details/121732482

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。