标签：标记 建模 像素 学习 PyTorch 掩码 SimMIM

MAE发布以来，各种使用掩码技术的自监督掩码模型在其基础之上有了更进一步的研究。在本文中我们将探索一篇和MAE同期的工作：SimMIM: A Simple Framework for Masked Image Modeling，研究团队是微软亚研院，并在PyTorch中编写它，最后我们也会提供相关的代码。

SimMIM的骨干网络是VIT，熟悉自监督学习的基础知识也非常有帮助，最后我们还要精通PyTorch，因为我们使用它来实现我们的模型。

图像中的掩码技术

在过去的几年中，对比学习和非对比学习方法一直是计算机视觉(CV)的自监督学习(SSL)的主要形式，他们中的最先进的(SOTA)模型与监督学习处于同等地位。从根本上说，对比学习的目的是教会神经网络将相似的数据点(正对)放在一起，并将不同的数据点(负对)分开，这是一项需要学习视觉模式的任务。非对比学习克服了与对比学习相关的障碍(例如，需要大量的标注数据)。

而自然语言处理(NLP)为SSL使用掩码建模，其中输入的一个随机片段被掩码，模型的目标是根据剩余的信息恢复它，这样做的印象是将教会模型语法。像BERT这样的神经网络就属于这一类，这种方式已经取得了惊人的性能。

NLP 和视觉之间存在一定的差异，图像中的局部性非常强，即附近的像素高度相关，因此即使一个像素被屏蔽，通过分析其邻居也可以相对容易地推断出它的值。并且照片是连续的不像 NLP 中的标记是离散的，像素是低级原始特征而单词是人类构建的高级概念。

随着ViT的出现，蒙面建模最近已进入计算机视觉领域，在 ImageNet 分类等下游任务上取得了具有竞争力的分数。但是这些方法很棘手，并且依赖于精细的组件，如像 iGPT 一样像素聚类，以及通过额外的离散变分自动编码器 (dVAE) 进行标记化，这是 BEiT 使用的一种技术。

SimMIM 是一个简单的掩码图像建模框架并且超越了以前的 SOTA 基线，在没有复杂的元素的同时保持了效率。具体来说在提取图像的标记后，SimMIM 通过用可学习的掩码标记替换它们来随机屏蔽一些标记，并用 ViT 对数据进行编码。接下来通过将掩码标记的编码表示传递给线性层来重建缺失部分，损失是预测像素和实际像素之间的 L1 损失除以掩码标记的数量。

Pytorch实现

SimMIM 很简单而且没有特别复杂的操作。我们假设从一组维度为 batch_size X n_tokens X token_dim 的令牌开始。

完整文章：

https://avoid.overfit.cn/post/8729cb4ea9d5402db115b13ca80b3d9e

标签：标记,建模,像素,学习,PyTorch,掩码,SimMIM
来源： https://www.cnblogs.com/deephub/p/16558554.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。