标签：10 Training Limits decay WRN Adversarial 鲁棒性 数据 对抗
目录概
暴力美学, 通过调参探索adversarial training的极限.
主要内容
实验设置
模型主要包括WRN-28-10, WRN-34-10, WRN-34-20, WRN-70-16;
优化器为SGD(nesterov momentum), 1/2, 3/4 epochs处 lr /= 10, weight decay 5e-4;
对抗训练用的是PGD-10, 步长为2/255\(\ell_{\infty}\)和15/255\(\ell_{2}\).
损失的影响
实际上就是比较不同方法的区别(包括外循环的损失和内循环构造对抗样本的损失, TRADES稍优):
额外的数据
有很多方法用了无标签数据作为额外的数据来进行训练并取得了很好的效果.
上表作者比较的是无标签数据的量, 显示过多的数据并不能一直增加鲁棒性.
上图关注的是有标签数据和无标签数据之前的比例关系, 显然无标签数据似乎更能带来鲁棒性(这与无监督训练更具鲁棒性是一致的).
网络结构
从上图可知, 网络越大鲁棒性越好.
其他的一些tricks
-
Model Weight Averaging: 作者发现这个对提高鲁棒性很有帮助, 且这方面缺乏研究
-
激活函数: Swish/SiLu表现不错, 整体相差不大.
-
Learning Rate Schedule: 常用的multistep decay表现最好.
-
训练次数: 并非越大越好, 实际上已经有最新工作指出对抗训练存在严重的过拟合.
-
正则化(weight decay): \(\ell_2\)正则化, 即weight decay在对抗训练中有重要作用.
-
构造对抗样本所需的steps: 步数越多鲁棒性越好, 但是这是一个trade-off, 伴随着干净数据集的正确率下降
-
构造对抗样本的epsilon: 有类似上面的结论, 太大了二者都会下降.
-
Batch Size: 同样并非越大越好.
-
Augmentation: 似乎对于对抗训练意义不大, 但是个人在实验中发现这对防止过拟合有一定效果.
-
Label Smoothing: 几乎没影响
标签：10,Training,Limits,decay,WRN,Adversarial,鲁棒性,数据,对抗 来源： https://www.cnblogs.com/MTandHJ/p/13911754.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。