标签：Yi 分割 AI Xthing 语义 笔记 实例 全景 UPSNet

全景分割之UPSNet

网络架构如图所示，骨干网络为Resnet，经过FPN提取特征，然后分为实例分割头和语义分割头，其中实例分割头与Mask RCNN相同，语义分割头经过可变形卷积DCN后输出语义相关Logits

然后经过一个全景头将二者融合，前面内容别的博客已经讲解得比较清楚了，故暂不赘述，此处只记录对全景头的分析理解

Xstuff,Xthing来自语义头的stuff和thing类
Xmaski来自语义头的第i个实例的表示
Yi第i个实例的掩码logits
ymaski对Yi进行插值得到的结果
zunknow丢失的实例
xmask所有xmaski的联接

 其中X是语义头的输出，它分为了Xstuff和Xthing，前者是那些不可数的背景之类的类，后者是前景实例类，stuff通常是不变的，直接把它放到前N个通道，而对于实例类，需要将Xthing和Yi进行特征融合，其中Yi是实例分割头中第i个类别的概率输入图，将其resize和padding到与Xmaski尺寸相同并相加，得到的结果放入Nstuff后面的通道Ninst.而对于语义分割中有，实例分割中漏掉的类别我们将其放入Unknown类，加入到Z的最后一个通道。将所有Xmaski concat到一起，并在每个像素上取该通道的最大值，得到max(xmask)，Xthing也做同样的处理，每个像素上取该通道的最大值，将通道压成一维的，与xmask相减得到最后的unkown类，与前面的内容concat到一起。得到了全景图的概率map，最后沿每个通道取argmax就能得到该像素的类别

参考链接

百度AI Studio课程_学习成就梦想，AI遇见未来_AI课程 - 百度AI Studio - 人工智能学习与实训社区 (baidu.com)

标签：Yi,分割,AI,Xthing,语义,笔记,实例,全景,UPSNet
来源： https://www.cnblogs.com/flyingtester/p/16492563.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。