Read Data: 0628

Publication:  

Title: Dynamic Head: Unifying Object Detection Heads with Attentions

Participants: Xiyang Dai Yinpeng Chen Bin Xiao Dongdong Chen Mengchen Liu Lu Yuan Lei Zhang

Aim:

如何提高目标检测头的性能已成为现有目标检测工作中的一个关键问题。

Research Question:

在目标检测中，定位和分类相结合的复杂性导致了方法的蓬勃发展。以往的工作试图提高各种目标检测头的性能，但未能给出一个统一的视图。

Method:

在本文中，我们提出了一种新的动态头部框架，将目标检测头与注意力机制结合。该方法通过将尺度感知的特征层(空间感知中的空间定位)和任务感知输出通道内的多注意机制相结合，在不增加计算开销的情况下，显著提高了目标检测头的表示能力。

总而言之，任意类型的骨干网络均可用于提取特征金字塔并进一步缩放到统一尺度构建3D张量，然后将其作为DynamicHead的输入。接下来，多个包含尺度感知、空间位置感知以及任务感知的DyHead模块串行堆叠。动态头的输出可以用于不同的任务，比如分类、中心/方框回归等等。

Results:

我们在MS-COCO数据集上对所提方案的有效性进行了验证，检测器的架构以Mask R-CNN为基准，动态头的训练则参考了ATSS框架。

总体结果，见上面两个表，从中可以看到：

1)        所提方案以较大的优势超越了其他已有方案；

2)        相比同配置的最佳检测器BorderDet，采用ResNet101骨干时所提方案取得了1.1AP指标提升；采用ResNeXt-x4d-1-1骨干时取得了1.2AP指标提升；

3)        相比仅采用多尺度寻览的方法，所提方案仅需2x训练即可取得新的SOTA指标 52.3AP；

4)        相比EfficientDet与SpineNet，所提方法训练时间更少(仅1/20);

5)        当同时采用多尺度训练与测试时，所提方法取得了新的SOTA指标54.0AP，以1.3AP指标优于此前最佳。

通过标准的ResNeXt-101- DCN主干网，我们在很大程度上提高了性能，超过了流行的对象检测器，并在54.0 AP实现了新的最先进水平。此外，通过最新的变压器主干网和额外的数据，我们可以将当前的最佳COCO结果推至60.6 AP的新记录。

Discussion:

对比了不同注意力机制的有效性，可以看到：

1)        在baseline基础上单独添加分别可以取得0.9AP、2.4AP以及1.3AP指标提升。空间位置感知注意力模块可以取得最大收益。

2)        当同时使用L与S时，模型性能提升可以达到2.9AP;

3)        当同时使用三者时，模型性能提升可以进一步提升到3.6AP。

上图对比了注意力学习的有效性，可以看到：尺度感知注意力模块倾向于将更高分辨率特征向更低分辨率特征调节(见Level5)，将更低分辨率特征向更高分辨率调节以平滑不同尺度特征(见Level1)见的尺度混淆。

Conclusion:

在本文中，我们提出了一种新的目标检测头，它将尺度感知、空间感知和任务感知的注意力统一在一个单一的框架中。提出了一种新的目标检测头的研究思路。作为一个插件块，动态头可以灵活地集成到任何现有的目标检测器框架，以提高其性能。此外，它是有效的学习。我们的研究表明，在目标检测头中设计和学习注意事项是一个值得关注的方向。

Further:

这项工作只是迈出了一步，在如何使全注意模型易于学习和高效计算，以及如何系统地将更多的注意模式考虑到头部设计中以获得更好的性能等方面可以进一步改进。

Ref: