标签：leftarrow delta Vertex Adversarial Adversarially av alpha theta lambda
目录概
本文提出类注意哦那个 AVmixup 方法用以提高鲁棒的泛化性.
主要内容
通常, 我们会选择用 \(x + \delta\) 来作为对抗样本, 但是这个方式的对抗样本缺乏多样性, 故会导致较差的鲁棒泛化性. 本文采用(启发自 mixup)
\[x' = \alpha x + (1 - \alpha) x_{av}, \\ x_{av} = x + \gamma \cdot \delta_x, \]这里通常 \(\gamma \ge 1\), 即 \(x_{av}\) 是沿着\(\delta\)方向的一个延拓. 最后的对抗样本\(x'\)是在干净样本\(x'\)和这个延拓后的样本中选择的. 和 mixup, 给定其概率向量为
\[\bm{p} = \alpha \phi(y, \lambda_1) + (1 - \alpha) \phi(y, \lambda_2) \in \mathbb{R}^K. \]这里\(\phi\)是soft_label的函数, 其实 mixup 就是直接用的 \(y\), 作者这里用了最普通的label smoothing:
\[[\phi(y, \lambda)]_k = \left \{ \begin{array}{ll} \lambda & k = y \\ \frac{1 - \lambda}{K - 1} & k \not = y. \end{array} \right . \]算法:
- \(\delta \leftarrow \mathcal{G}(x, y; \theta)\);
- \(x_{av} \leftarrow x + \gamma \delta\), \(\alpha \sim \mathcal{U}[0, 1]\);
- \(x' \leftarrow \alpha x + (1 - \alpha) x_{av}\);
- \(\bm{p} \leftarrow \alpha \phi(y, \lambda_1) + (1 - \alpha)(y, \lambda_2)\);
- \(\theta \leftarrow \theta - \tau \frac{1}{n}\sum_{i=1}^n \nabla_{\theta} \mathcal{L}(x'_i, \bm{p}_i; \theta)\).
注: 作者给出了在高斯分布上的分析, 但是我顺不起来, 这里就不提了.
注: 虽然这个方法有点破坏梯度的感觉, 但是其在AutoAttack下依然是有尚可的鲁棒性的, 代价仅仅是几个点的自然精度的损失, 从这个角度来说其实挺好的.
代码
标签：leftarrow,delta,Vertex,Adversarial,Adversarially,av,alpha,theta,lambda 来源： https://www.cnblogs.com/MTandHJ/p/16209950.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。