标签：BERT Embeddings 相似 sentence Sentence embedding SBERT 句子

 

简述

在文本语义相似度等句子对的回归任务上，BERT , RoBERTa 拿到sota。

但是，它要求两个句子都被输入到网络中，从而导致巨大开销：从10000个句子集合中找到最相似的sentence-pair需要进行大约5000万个推理计算（约65小时）。

BERT不适合语义相似度搜索，也不适合非监督任务，比如聚类。

解决聚类和语义搜索的一种常见方法是将每个句子映射到一个向量空间，使得语义相似的句子很接近。

于是，也有人尝试向BERT输入单句，得到固定大小的sentene embedding。最常用的方法是，平均BERT输出层或使用第一个token（[CLS]的token）的输出。但这却产生了非常不好的sentence embedding，常常还不如averaging GloVe embeddings。

本文提出：Sentence-BERT（SBERT），对预训练的BERT进行修改：使用Siamese和三级（triplet）网络结构来获得语义上有意义的句子embedding->可以生成定长的sentence embedding，使用余弦相似度或Manhatten/Euclidean距离等进行比较找到语义相似的句子。

SBERT保证准确性的同时，可将上述提到的BERT/RoBERTa的65小时减少到5s。（计算余弦相似度大概0.01s）

除了语义相似度搜索，也可用来clustering搜索。

作者在NLI data中fine-tune SBERT，用时不到20分钟。

 

SBERT

pooling策略：

MEAN策略：使用CLS-token的输出，对所有输出向量取mean。

MAX策略：使用CLS-token的输出，对所有输出向量计算max-over-time。

 

目标函数：

分类：

计算sentence embeedings u 和 v的element-wise差值并乘以权重：

其中，n是sentence embedding的纬度，k是label的数量。

loss：交叉熵

如图1：

回归： 

计算两个sentence embedding（u & v）的余弦相似度。

loss：均方误差

如图2：

 

Triplet：

输入：anchor sentence a，positive sentence p, negative sentence n

loss的目的是让a和p之间的距离小于a和n之间的距离：

 

Sa Sp Sn 分别是 a p n 的sentence embedding。|| · || 是距离测度，ε是margin。对于距离测度，可以用Euclidean距离。实验时，作者将ε设置为1。

 

实验时，作者用3-way softmax分类目标函数fine-tune SBERT了一个epoch。pooling策略为MEAN。

 

接下来就是一系列的实验结果表格，结论是效果不错。

 

消融学习：

 pooling策略影响小，连接方式影响大。

 

<style></style> <style></style>

标签：BERT,Embeddings,相似,sentence,Sentence,embedding,SBERT,句子
来源： https://www.cnblogs.com/shona/p/12026349.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。