标签：ratio 一周 论文 mask patch MAE VIT TransMix
过去一年，谷歌提出的VIT成为最火的模型，说明全部由Self-attention组成的模型会超越CNN。但最近学者又在反思，问题的本质是什么？
-
2021年5月，谷歌挖坑 MLP-Mixer ，说明保持VIT的图像序列化输入，使用全连接网络，就可以取得非常好的性能
-
2021年10月，ICLR2022的一个投稿论文《Patches are all your need》（只有4页），直接用 depth-wise 卷积替换了VIT的注意力模块，同样取得非常好的性能。但也有overclaim的嫌疑，因为该论文用的7x7大小的 token，VIT为16x16，可能性能提升是因为使用了更小的 token。
-
2021年11月，颜水成组提出，Transformer的成功来自于整体架构，他们把Transformer中的注意力模块替换成了简单的空间池化算子（原文中说是embarrassingly simple），但性能很好。
token mixer 过去一年科研人员做了很多工作，self-attention、spatial mlp、depth conv、fft，以及 pooling 都能取得非常好的性能。所以，目前国内外研究某种程度上也陷入了混战期，大家都在发表论文，但涨点的核心本质原因并不明确。
本周记录两个论文，MAE 和 TransMix。
1、MAE
Masked Autoencoders Are Scalable Vision Learners，何恺明大神最新的工作。
这个论文思想特别简单，就是掩盖住图片中的一部分让模型预测。其实NLP自监督的方法就是遮盖住一部分文字，让模型来预测遮盖住的那部分。但这个思想一直没有用于CV里面来。这个论文还有一个有趣的地方：一个公式都没有。模型越简单，也会越凸显其思路的厉害。现在大多人做科研就是在想着加公式，加步骤，加loss，确实境界不一样 ... ...
论文框架如图所示，Encoder 采取VIT的处理方式，将图像划分为规则的非重叠patch，然后随机采样25%的patch输入到VIT 的特征提取器。对于Decoder，将全部 patch输入其中，这个Decoder只在预训练过程中使用，很轻量（论文中的描述为 narrower and shallower than the Encoder, 只有Encoder 10% 的计算量），这样可以减少预训练时的成本。
论文中比较神奇的一点是下面的实验，当 mask ratio 过多或者过少时，性能都不够好。这是因为，当 mask ratio 过少时，网络倾向于修复图像细节，无法获得图像的高层语义信息。当 mask ratio 过大时，网络就无法捕捉到图像内容了。mask ratio 取60%到75%时，性能较好。在准确率允许的条件下，丢弃更多的patch有助于降低编码器的计算量，因此作者选择 mask ratio = 75%。
2、TransMix
TransMix: Attend to Mix for Vision Transformers, 这是来自Johns Hopkins大学，牛津大学和字节跳动的工作，尽管题目里说是为 transformer设计的，实际可以用于任何网络。
这个工作解决了之前 Mixup 和 CutMix 的一个痛点：并非所有像素是相等的，如上图所示，背景中的像素对于标签的贡献并不大。
这个工作就是基于 VIT 的 attention map 来融合标签，正常VIT有196个 patch，因此可以最后一个 Transformer Block 的中间输出，即得到Attention map \(A\)。整个算法的代码如下图所示，也非常容易理解。
论文实验部分的一个图很好的说明了TransMix的效果。通过比较 attention map，TransMix很好的修正的 label 的比例权重。
标签：ratio,一周,论文,mask,patch,MAE,VIT,TransMix 来源： https://www.cnblogs.com/gaopursuit/p/15617427.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。