标签：instance Full Simultaneously 每个 mention 实体 times Extraction token
Simultaneously Self-Attending to All Mentions for Full-Abstract Biological Relation Extraction
作者：Verga et al., NAACL 2018.
目录
- 简介
- 模型
- 总结
1 简介
主要针对文档级别实体关系抽取，基于Transformer编码。由于针对整个文档中所有的mentions，那么需要跨语句处理，利用muti-instance learning聚合所有的mentions表示，得到span表示，预测关系类型，同时muti-instance learning对于噪声也有一定的抑制作用。
2 模型
关系抽取整体结构如图1所示。
-
transformer编码sequence
-
对每个编码后的token输出做两次线性变化，即Head MLP和Tail MLP分别表示每个token作为某个关系实体对的头尾token
-
再基于\(e_i^{head},e_i^{tail}\)做一个bi-affine操作(仿射变换？)即计算一个维度为\(N \times L \times N\)的张量A，表示每个可能的三元组\((h,r,t)\)的得分，N即为sequence中token的个数，L为关系类别数如下公式，即\((N \times d)\times (d \times L \times d)\times (d \times N)=(N \times L \times N)\)此时，相当于一个二维表格，行列为token，每个cell为维度为L的关系得分向量。
- 做关系分类，上一步是两两token表格嘛如图1那个表格，我们一般共指消解后每个实体cluster包含多个entity mentions，本文每个mention包含多个tokens。因此，针对当前实体对中实体的每个mention，对所有token表示聚合得到mention表示以及两两mention的关于L个关系的得分(个人理解看的没那么细)，那么之后，再对两个实体的mention遍历对两两一对的mention的得分做exp、sum、log操作(至此就是所谓的multi-instance learning 对多个mention聚合？), 得到实体对关于所有关系的得分如下图，其中\(p^{head},p^{tail}\)分别表示head实体和tail实体mention索引的集合。
- 做NER，就利用transformer编码后每个token的表示作为输入，喂给全连接分类器，给每个token打标签，因为使用的是BIO标注NER，所以就是给每个token打标签如B-..., I-...之类的，不过这种方法现在看来有些不够了做联合抽取的话，单纯做NER还可以。
3 总结
看这篇主要是为了补一下(Eberts et al., EACL 2021)\(^{[2]}\)这篇主要参考的paper以及简单了解一下muti-instance learning在doc-level RE的应用。
参考
[1] Patrick Verga, Emma Strubell, Andrew McCallum.Simultaneously Self-Attending to All Mentions for Full-Abstract Biological Relation Extraction.NAACL 2018.
[2] Markus Eberts.Adrian Ulges.An End-to-end Model for Entity-level Relation Extraction using Multi-instance Learning. EACL 2021.
标签：instance,Full,Simultaneously,每个,mention,实体,times,Extraction,token 来源： https://www.cnblogs.com/n-ooo/p/16216227.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。