标签：Convolutional Regularization Neural mixup mask 隐层 mix PatchUp 方法

PatchUp: A Regularization Technique for Convolutional Neural Networks

本文的主要思想是将类似cutmix的方法运用到了网络隐层

Introduction

主要介绍了一些mixup方法，并提出该方法具有流形入侵的问题存在（mix后的图像与伪mix的原始图像类似，但标签确实mix后的标签，主演就产生了冲突，在训练网络时容易让网络混乱）。而解决该问题的方法有Mete-Mix和manifold mixup，Mete-Mix方法需要引入一个额外的网络，manifold mixup将mix的步骤移到隐层实现。
cutmix是利用一个mask进行两张图片的mix，该mask可以将一张图片的某一个矩形区域替换为另一张图片的内容。作者提出的方法也是在隐层实现，其mix用的mask是利用类似DropBlock的方法获取的，并分为hard mask和soft mask两种类型。

PatchUp

该方法需要三个参数，mix所在的隐层k，获取的矩形区域尺寸block_size，判断是否选择该位置为矩形区域的 γ \gamma γ，其中 γ \gamma γ是作为伯努利分布的参数来确定某个位置是否为1，若为1则认为该位置在block_size范围内的区域为mix区域（即置为0）。

hard mask和soft mask分别如上图所示。且两种混合的方法也略有不同：

这里的 λ \lambda λ是采样自β分布。

最后的损失函数为：

其中，

标签：Convolutional,Regularization,Neural,mixup,mask,隐层,mix,PatchUp,方法
来源： https://blog.csdn.net/weixin_45180140/article/details/121365784

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。