标签：Multi Scale Semantic 卷积 Transformer times 作者 所示 Vision
【CVPR2022】Multi-Scale High-Resolution Vision Transformer for Semantic
Segmentation 代码：https://github.com/facebookresearch/HRViT
核心思想和主要方法
这个论文的核心思想就是将 HRNet 和 Transformer 相结合，同时，为了应用于密集预测任务，提出了避免计算复杂度过高的解决方案。
网络的整体架构如下图所示，可以看出整体结构和 HRNet 基本上是一样的，只是将其中的卷积层用 Transformer block 来代替。Transformer block 有 attention 和 FFN 两个基本结构，下面分别介绍两个部分作者的改进工作。
HRViTAttn
作者提出了 HRViTAttn ，结构如下图所示。Attention 复杂度最高的部分就是 Q 和 K 的矩阵相似度的计算，每个像素都参与计算相似度复杂度过高。因此，作者将从一开始就将通道分为两半，上面一半做行注意力，下面一半做列注意力。
- s行为一个token，每个 token 的特征为 \(s \times W\) 或者 \(s \times H\)，同时，相似度矩阵就为 \(s \times s\) 了，相似度的计算就简化了。（这里的处理方法和 Restormer 类似，大家可以回顾）；
- 正常得到 K，Q，V时，需要三个 1x1 卷积，这里作者只使用了两个，K 和 V 是共享的，又进一步简化了计算；
- V 额外使用了 Hardwith 激活函数和 DWConv 处理，作者解释是增加了归纳偏置。
- 添加了一个 diversity-enhanced shortcut，这里是受了 NeurIPS2021 论文 Augmented Shortcuts for Vision Transformers 的启发，非常类似。
MixCFN
作者提出的 MixCFN 和大多数的 FFN 类似，都是先升维，后降维。不同的地方就是为了增强多尺度特征的提取，作者使用了 3X3 卷积和 5X5 卷积，如下图所示。
实验设计与分析
作者构建了网络的三个变体，具体如下表所示。
在Cityscapes 数据集上的分割结果如下表所示，与MiT和CSWin两个SoTA ViT Backbone相比，HRViT的mIoU平均提高了+2.16，参数减少了30.7%，计算量减少了22.3%。
其它实验可以参考作者论文，这里不过多介绍。
标签：Multi,Scale,Semantic,卷积,Transformer,times,作者,所示,Vision 来源： https://www.cnblogs.com/gaopursuit/p/16418207.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。