标签：采样 BERT Generalisable Classification 样本 sensitive cost pdf

https://arxiv.org/pdf/2003.11563.pdf

1.常见NLP数据增强+BERT在失衡数据上的表现

任务为2分类。正负样本比例为28% vs. 72%（这里以正/负指代文中的propaganda/non-propaganda）。

BERT模型采用BERT_base，增加全连接层，用于对句子编码分类。

常见NLP数据增强方法详见https://arxiv.org/pdf/1901.11196.pdf

评估结果如下：

用同一份数据集中75%训练，25%测试时（即在相似的数据上验证），没有数据增强的BERT性能最佳。

可能是因为有上下文的word embedding并不能从数据增强中受益。

在不相似的数据上验证时，同义词插入和词去除也没有带来性能增益（甚至更差），而上采样比无数据增强的性能高4%。同义词插入和词去除性能差可能是因为引入了噪声，上采样没有。因而，上采样带来一些泛化能力。

进一步的实验显示：

上采样提升了正类的召回率和副样本的精确率，损失了正类的精确率和副样本的召回率。

其中正类召回率提升和副样本召回率损失都比较显著。

2.BERT + cost-sensitive loss

cost-sensitive分类是上采样的一种替代方法，后者难免会对不同的样本厚此薄彼，前者则提供了更稳定、连续的样本权重。

cost-sensitive loss的原理：

加权交叉熵，参见pytorch文档（https://pytorch.org/docs/stable/generated/torch.nn.CrossEntropyLoss.html）

效果评估：

在一定范围内，随着少数类的权重增长，验证集上的f1-score随之增长。超出范围后，验证集上的f1-score趋平。

说明，结合合适的权重，cost-sensitive loss能够提升泛化能力。

标签：采样,BERT,Generalisable,Classification,样本,sensitive,cost,pdf
来源： https://blog.csdn.net/jshnaoko/article/details/115331483

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。