标签：问题 疑问句 end start text Machine Extraction Comprehension word
Motivation
- 很多研究忽视了事件抽取和阅读理解之间的关系
- 之前的使用阅读理解的工作都有监督地手动设计问题模板
本文的方法制造的模板与上下文相关
Approach
Trigger extraction
因为trigger word一般是动词，不好设计问题，因此使用一个特殊标记[EVENT]来表示需要查找trigger word。
将带有[EVENT]标记的序列通过编码器，得到每个token的向量表示，通过一个分类器得到各个类别的概率\(p(l|c_i) = o_{c_i}^l\)，\(c_i\)表示Token，\(o\)表示token向量，\(l\)为事件类型。
无监督问题生成
假设每个问题由两部分组成：query topic和question-style event statement。
- query topic generation
- 以模板的方式定义每个argument对应的wh- word，如victim用“who”
- 剩余部分称为Question Contextualization
- 将其视为一个无监督的翻译任务，目标是将一个描述性句子映射为疑问性句子（也可以视为风格迁移）
- 首先构造对应于这个翻译任务的数据集。作者从wiki和QA网站收集了大量的未对齐的问题和陈述语句。限制所有的陈述语句都是关于一个动词的窗口，并去掉所有问题语句的疑问部分（wh- word）。
- 构建从疑问句到陈述句和从陈述句到疑问句的两个模型，每个模型都有编码器和解码器。
- 训练使用了
- In-domain auto-encoding
- De-noising auto-encoding
- Cross-domain online-back translation
- 预测时选择对应陈述概率最大的疑问句部分，和之前的wh-短语连接起来，就完成了问题的生成
Event Argument Extraction
将问题表示为\(q={q_1,\dots,q_m}\)，输入序列表示为\([CLS]q[SEP]c\)，另外考虑到问题和描述中的公共部分可能表达和事件有关的信息，因此引入2个新的向量表示这个单词是否在\(q,c\)中均出现。
\[p_{w_i} = \left \{ \begin{matrix} p_{sh} \in \mathbb{R}^{d_1} & \text{ if } w_i \text{ shared by }q \text{ and } c\\ p_{no} \in \mathbb{R}^{d_2} & \text{otherwise} \end{matrix} \right . \]从BERT的最后一层得到编码向量\(H_c^q\)
Adaptive Argument Generation
计算每一个token是否属于argument的开始或结尾。
\[p_{start} = \text{softmax} (H_c^q W_{start})\\ p_{end} = \text{softmax} (H_c^q W_{end}) \]由于问题可能没有答案，因此，使用\([SEP]\)对应的位置来表示是否是“no-answer”，只有当start+end的分数和大于CLS位置的分数，才认为start到end是合法的span。
Comment
问题生成部分认为解释比较抽象，包含如“如何将role的信息引入到问题生成中；如何对其问题和答案”等疑问。需要进一步看代码才能理解。
标签：问题,疑问句,end,start,text,Machine,Extraction,Comprehension,word 来源： https://www.cnblogs.com/TABball/p/16673241.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。