标签：2205.00656 Unsupervised Debiased 样本 Sentence 负例 相似 自注 PLM

论文地址：https://arxiv.org/abs/2205.00656v1

Comments:11 pages, accepted by ACL 2022 main conferenceSubjects:Computation and Language (cs.CL)Cite as:arXiv:2205.00656 [cs.CL] (or arXiv:2205.00656v1 [cs.CL] for this version) https://doi.org/10.48550/arXiv.2205.00656

 

 自己也是看了别人的讲解，来源：B站揣摩研习社 记录以学习回忆

研究背景

对比学习通过子监督的方式预训练，可以促使模型得到高质量的句子表示。

对比学习一般采用随机组成的batch内其它样本作为负例，这一采样方式可能会导致采样偏差。

    batch内其他样本也不一定全是负样本。

    由于PLM表示是各向异性的，只使用PLM的表示来优化是不充分的。

（自注：PLM是什么？这里指的是 与训练语言模型。这里它提到用PLM表示的空间像一个锥形空间，用这个锥形空间不充分）

对比学习概念 Contrastive learning

同一个样本经过两个不同的数据增强作为一个正样本对。

 

 本文方法

 提出了两种方法

1.基于噪声生成负例

  缓解各向异性导致的优化不充分问题

2.设计负样本权重

  缓解false negative问题（自注：这里false negative到底是什么问题 不太明确啊 难带是这个？False Negative (简称FN)：判断为负，但是判断错了。（实际为正））

 

基于噪声生成负例

从高斯分布采样k个噪声向量，作为PLM表示空间外的负例（自注：这里PLM表示空间外是什么意思，还得看看原文）

 

 为了提高负例的质量，利用梯度提升来调整k个噪声负例

 

 

设计负样本权重

利用预训练好的SimSCE计算样本表示的相似度，根据相似度设定权重。

 

 自注：小于阈值 就说明是个负样本。这里好奇怪啊，你这个本来就是生成更好的句向量，怎么还用到了别人的句向量模型SimCSE

 

模型方法

 

 实验部分

数据集：STS-语义相似度

预训练模型 ：BERT RoBERTa

评价方式：语义相似度：余弦相似度于groud truth相似度的Sperman相关洗漱

 

消融实验

 

标签：2205.00656,Unsupervised,Debiased,样本,Sentence,负例,相似,自注,PLM
来源： https://www.cnblogs.com/nlpers/p/16298493.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。