标签：BBN False decay 0.5 alpha norm cls

目录

• motivation
• settings
• results

motivation

BBN 对于处理长尾问题非常有效, 我在想, 能不能类似地用在鲁棒问题上.

思想很简单, 就是上面用干净数据, 下面用对抗样本(其用\(\alpha=0.5\)的eval mode 生成), 但是结果非常差.

settings

- batch_size: 128

- beta1: 0.9

- beta2: 0.999

- dataset: cifar10

- epochs: 200

- epsilon: 0.03137254901960784

- eva_alpha: 0.5

- learning_policy: AT

- loss: cross_entropy

- lr: 0.1

- model: resnet32

- momentum: 0.9

- norm_cls: True | False

- optimizer: sgd

- progress: False

- resume: False

- seed: 1

- steps: 10

- stepsize: 0.25

- transform: default

- weight_decay: 0.0002

results

	Loss	Accuracy	Robustness
parabolic decay; norm_cls=False
fixed_alpha=0.5; norm_cls=False
parabolic decay; norm_cls=True
fixed_alpha=0.5; norm_cls=True

可以看得出来, 强行糅合在一起效果不好, 显然干净的features或者对抗的features占主导的时候精度能上去.

标签：BBN,False,decay,0.5,alpha,norm,cls
来源： https://www.cnblogs.com/MTandHJ/p/14819852.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。