标签：prompt 训练 模型 NAACL2022 分类器 k3u1fbpfcp 我组 PLM 录用
大家好，我是对白。
最近**NAACL-HLT 2022**录用结果出炉，我组**5篇论文**被录用，其中主会论文4篇，Findings论文1篇。以下为论文列表及介绍：
1
**Fuse It More Deeply! A Variational Transformer with Layer-Wise Latent Variable Inference for Text Generation**
**作者：**胡锦毅，矣晓沅，李文浩，孙茂松，谢幸
**类型：**Long Paper
**摘要：**变分自编码器（VAE）在文本生成中已有广泛应用，但依然存在散度消失（KL Vanishing）的问题，即解码器在生成时会忽略隐变量（latent variable），退化成普通的语言模型，降低所生成文本的质量和多样性。这一问题在使用Transformer架构的模型中会进一步突显。为此，我们提出了一种全新的结合Transformer架构与VAE模型的框架DELLA。DELLA通过Transformer的encoder表示学习一组layer-wise的隐变量，并在decoder中通过低秩张量积（low-rank tensor product）的形式注入隐状态（hidden states），实现了隐变量在完整计算路径上都进行深度融合。我们在理论上证明了这一层次化推断的隐变量结构可看作对其交互信息的最大化，从而使各个隐向量相互耦合，防止后验信息在高层中衰减；同时实验结果表明，DELLA在不使用任何退火（annealing）或设定阈值（threshold）的情况下可以得到非零的KL散度，有效缓解散度消失的问题，并进一步提升文本生成的质量和多样性。该工作与微软亚洲研究院合作完成。
2
**On Transferability of Prompt Tuning for Natural Language Processing**
**作者：**苏裕胜\*，王晓智\*，秦禹嘉, 詹棋闵, 林衍凯, 汪华东, 温凯越, 刘知远, 李鹏, 李涓子, 侯磊, 孙茂松, 周杰（\*代表共同一作）
**类型：**Long Paper
**摘要：**Prompt tuning (PT) 只需要调整少量参数即可实现与全参数微调相当的性能，是一种使用超大规模预训练语言模型的参数高效方法。然而，与微调相比，PT 需要更多的训练时间。因此，我们探索是否能通过prompt迁移来增强PT，我们在这项工作中实验研究了prompt在不同下游任务和不同类型、规模的预训练语言模型之间的迁移性。我们发现：（1）在零样本设定下，训练过的prompt可以有效地迁移到同一预训练语言模型的类似任务上，也可以迁移到其他不同的预训练语言模型上并完成类似任务。(2) 此外，这些训练过的prompt也可以直接作为相似任务prompt的初始化，来提高 PT 的训练速度。(3) 为了探索影响迁移性的因素，我们研究了各种迁移性指标，发现prompt所激活神经元的重叠率与迁移性存在较强相关性。我们的研究结果表明，prompt迁移是一种有前景的增强PT的方式，我们鼓励进一步的研究更多关注prompt如何激活预训练语言模型以完成各种任务。该工作与腾讯微信模式识别中心、清华大学智能产业研究院合作完成。
3
**Knowledge Inheritance for Pre-trained Language Models**
**作者：**秦禹嘉，林衍凯，易婧，张家杰，韩旭，张正彦，苏裕胜，刘知远，李鹏，孙茂松，周杰
**类型：**Long Paper
**链接：**https://arxiv.org/abs/2105.13880
**摘要：**最近针对大规模预训练语言模型 (PLM) 的研究发现，越大规模的模型通常会取得越好的下游任务效果，这掀起了一波训练越来越大的 PLM 的浪潮。然而，训练大规模 PLM 需要大量的计算资源，既耗时又昂贵。此外，现有的大规模 PLM 大多是从头开始单独训练的，而忽略了许多已经训练完成的 PLM 的可复用性。为此，我们重点探讨了一个加速预训练的问题，即如何利用已经训练的 PLM 帮助未来训练更大的 PLM。具体来说，我们提出了一个名为“知识继承”（KI）的预训练框架，并探讨了知识蒸馏如何在预训练期间作为辅助监督信号来提升更大的 PLM的训练效率。实验结果证明了KI的优越性。我们还进行了系统、全面的分析，以探索已有模型的模型架构、预训练数据等设置对 KI 的影响。最后，我们表明 KI 在跨领域适配和知识迁移等方向具有很好的应用价值。该工作与腾讯微信模式识别中心合作完成。
4
**ProQA: Structural Prompt-based Pre-training for Unified Question Answering**
**作者：**钟宛君，高一帆，丁宁，秦禹嘉，刘知远，周明，王甲海，印鉴，段楠
**类型：**Long Paper
**摘要：**问答（QA）是自然语言处理领域中的一个重要问题。现有的问答系统研究主要关注在具体的问题类型，知识领域，或者推理技能。这种问答系统研究的专注性，让问答系统很难建模不同问答任务之间的共通性，也更难被迁移到更广泛的应用中。为了缓解这个问题，我们提出了ProQA，建立了一个通用的问答系统框架，可以用同一个模型解决多个QA任务。ProQA 利用了一个统一的结构化prompt来建模不同QA任务的输入，并使用了基于结构化prompt的预训练方法。它可以同时建模不同QA任务之间的任务泛化性和它们之间的差异性。并且，ProQA 使用了生成式方法构建了大型语料库，结合结构化prompt，来预训练语言模型，使得模型有通用QA的能力。在下游11个问答系统数据集上，ProQA 显著地提升了问答任务上的性能。更多的分析实验也验证了ProQA在持续学习和知识迁移上都有很好的表现。该工作与微软亚洲研究院、中山大学大数据分析与处理重点实验室合作完成。
5
**Exploring the Universal Vulnerability of Prompt-based Learning Paradigm**
**作者：**徐磊，陈扬意，崔淦渠，高鸿成，刘知远
**类型：**Long Paper（Findings）
**摘要：**随着智能时代的到来，文本分类器被广泛集成于互联网应用中。例如，电商中的非法产品、社交网络上的谣言都可以利用分类器自动检测。然而，在这类场景下，恶意用户会通过精心设计文本来操控分类器的结果。因此，分类器在对抗攻击下的鲁棒性就显得尤其重要。这篇论文研究了近期十分热门的提示微调模型(prompt-based tuning)的鲁棒性。我们发现，与传统分类器相比，其存在一种特有的普遍脆弱性，即语言模型中存在一些触发短语(trigger phrases)可以干扰所有的下游分类器。我们提出了两种方法，分别可以在预训练语言模型中植入和搜索trigger，并利用这些trigger攻击下游分类器。实验表明，同一组trigger可以对下游6个不同的分类任务都获得较高攻击成功率。最后，我们还讨论了这类攻击的防御方法，并呼吁相关科研社群关注这一严重的安全性问题。
最后欢迎大家关注我的**微信公众号：** [对白的算法屋](https://link.zhihu.com/?target=https://mp.weixin.qq.com/s?__biz=Mzg3NzY2ODIzOA==&mid=2247485704&idx=1&sn=b35bcfa95aca965dd7ae654aaa22ca39&chksm=cf1e3be9f869b2ff71aad632b60206ff041877b3753238e2998a4aa1a18c46889270574cb84c&token=1884889230&lang=zh_CN%23rd)（**duibainotes**），跟踪NLP、推荐系统和对比学习等机器学习领域前沿，日常还会分享我的创业心得和人生感悟。想进一步交流的同学也可以通过公众号加我的微信，和我一同探讨技术问题，谢谢！
标签：prompt,训练,模型,NAACL2022,分类器,k3u1fbpfcp,我组,PLM,录用 来源： https://www.cnblogs.com/coder-duibai/p/16180239.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。