ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

2020.11.21工作总结(RGB-T显著性检测ADFNet)

2020-11-21 23:01:06  阅读:11  来源: 互联网

标签:显著性 21 特征 RGB ADFNet 池化 注意力 1.1


目录

工作总结

一、论文阅读

1.1RGBT Salient Object Detection: A Large-scale Dataset and Benchmark

1.1.1简介

  现在有很多基于RGB-D的显著性目标检测,但深度信息并不是一直有用的,当物体和镜头垂直的时候,同一个物体在在深度图上的差别很大。但T通道信息没有这些问题。同时之前的RGB-T数据集都很小,作者提出了VT5000数据集,包含有5000张标注好的RGB-T显著性检测图像。

1.1.2创新点

1)提出了VT5000数据集
2)提出了一个端到端的RGB-T显著性检测CNN,使用卷积块注意力模型(CBAM)来收集RGB和热红外特征。
3)SOTA

1.1.3数据集介绍

1.1.4ADFNet

avatar
网络骨干由一个双流VGG构成。分别提取RGB和T通道的特征。在融合这些特征前,利用一系列注意力模块来让网络更加关注有信息的区域。虽然高层语义信息能够促进显著性目标的定位,但中低层的特征也能够细化高层特征。因此利用两个辅助模块(金字塔池化模块和特征聚合模块)来精确定位,并细化细节信息。

1.1.4.1卷积块注意力机制(CBAM)

avatar
作者同时采用了空间注意力机制和通道注意力机制。在通道注意力机制中,与常规注意力机制利用全局平均池化来聚合空间信息不同的是,作者同时利用最大池化和平均池化,之后乘上系数将两个池化层相加来得到注意力权重。详情见图。
空间注意力相同,也是同时利用平均池化和最大池化,不同的是空间注意力机制将两个池化层concat到一起而不是相加。

1.1.4.2多模态多层特征融合

特征融合的策略是RGB和T在VGG中第一个block的输出直接相加,后续的block中,先将前一个block的输出经过卷积,再分别与该block的RGB和T输出的特征相加。
avatar

1.1.4.3金字塔池化

双流VGG最终提取到的特征都会进入到一个金字塔池化层(详见PSPNet),提取到四个不同大小的特征,这四个特征会在网络自上而下的支路中整合到一起。
avatar

1.1.4.4特征整合模块(FAM)

1.1.5损失函数

损失函数由两部分组成,一个是显著性检测的交叉熵损失Lc,一个是边界预测的交叉熵损失。至于边界的标签由拉普拉斯算子获得。

标签:显著性,21,特征,RGB,ADFNet,池化,注意力,1.1
来源: https://www.cnblogs.com/dotaball/p/14017770.html

专注分享技术,共同学习,共同进步。侵权联系[admin#icode9.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有