Dynamic Head: Unifying Object Detection Heads with Attentions

1、摘要 在目标检测中，定位和分类相结合的复杂性导致了方法的蓬勃发展。以往的工作试图提高各种目标检测头的性能，但未能给出一个统一的视图。在本文中，我们提出了一种新的动态头网络框架，以统一目标检测头部与注意。该方法通过将特征层次间、空间位置间、任务感知输出通道内的多自注意机制相结合，在不增加计算开销的情况下显著提高了目标检测头的表示能力。进一步的实验证明了所提出的动态头在COCO基准上的有效性和效率。有了标准的ResNeXt-101-DCN主干网，我们在很大程度上提高了性能，超过了流行的目标检测器，并在54.0 AP达到了新的最先进水平。此外，有了最新的变压器主干网和额外的数据，我们可以将当前的最佳COCO结果推至60.6 AP的新记录。 2、简介 物体检测是回答计算机视觉应用中“什么物体位于什么位置”的问题。在深度学习时代，几乎所有现代目标检测器[11,23,12,35,28,31,33]都具有相同的范式——特征提取的主干和定位和分类任务的头部。如何提高目标检测头的性能已成为现有目标检测工作中的一个关键问题。 开发一个好的目标检测头的挑战可以概括为三类。首先，头部应该是尺度感知的，因为多个具有极大不同尺度的物体经常共存于一幅图像中。其次，头部应该是空间感知的，因为物体通常在不同的视点下以不同的形状、旋转和位置出现。第三，头部需要具有任务感知，因为目标可以有不同的表示形式(例如边界框[12]、中心[28]和角点[33])，它们拥有完全不同的目标和约束。我们发现最近的研究[12,35,28,31,33]只关注于通过各种方式解决上述问题中的一个。如何形成一个统一的、能够同时解决这些问题的头，仍然是一个有待解决的问题。 本文提出了一种新的检测头，即动态头，将尺度感知、空间感知和任务感知结合起来。如果我们把一个主干的输出(即检测头的输入)看作是一个具有维级×空间×通道的三维张量，我们发现这样一个统一的头可以看作是一个注意学习问题。一个直观的解决方案是在这个张量上建立一个完整的自我注意机制。然而，优化问题将是太难解决和计算成本是不可承受的。 相反地，我们可以将注意力机制分别部署在功能的每个特定维度上，即水平层面、空间层面和渠道层面。尺度感知的注意模块只部署在level维度上。它学习不同语义层次的相对重要性，以根据单个对象的规模在适当的层次上增强该特征。空间感知注意模块部署在空间维度上(即高度×宽度)。它学习空间位置上的连贯区别表征。任务感知的注意模块部署在通道上。它根据对象的不同卷积核响应指示不同的特征通道来分别支持不同的任务(如分类、框回归和中心/关键点学习)。 这样，我们明确实现了检测头的统一注意机制。虽然这些注意机制分别应用于特征张量的不同维度，但它们的表现可以相互补充。在MS-COCO基准上的大量实验证明了我们的方法的有效性。它为学习更好的表示提供了很大的潜力，可以利用这种更好的表示来改进所有类型的对象检测模型，AP增益为1:2% ~ 3:2%。采用标准的ResNeXt-101-DCN骨干，所提出的方法在COCO上实现了54:0%的AP新状态。此外，与EffcientDet[27]和SpineNet[8]相比，动态头的训练时间为1=20，但表现更好。此外，通过最新的变压器主干和自我训练的额外数据，我们可以将目前的最佳COCO结果推至60.6 AP的新纪录(详见附录)。 2、相关工作 近年来的研究从尺度感知、空间感知和任务感知三个方面对目标检测器进行了改进。 Scale-awareness. 由于自然图像中经常同时存在不同尺度的物体，许多研究都认为尺度感知在目标检测中的重要性。早期的研究已经证明了利用图像金字塔方法进行多尺度训练的重要性[6,24,25]。代替图像金字塔，特征金字塔[15]被提出，通过将下采样卷积特征串接一个金字塔来提高效率，已经成为现代目标检测器的标准组件。然而，不同层次的特征通常从网络的不同深度中提取，这就造成了明显的语义差距。为了解决这种差异，[18]提出了从特征金字塔中自下而上的路径增强较低层次的特征。后来[20]通过引入平衡采样和平衡特征金字塔对其进行了改进。最近，[31]在改进的三维卷积的基础上提出了一种金字塔卷积，可以同时提取尺度和空间特征。在这项工作中，我们提出了一个尺度感知注意在检测头，使各种特征级别的重要性自适应的输入。 Spatial-awareness. 先前的研究试图提高物体检测中的空间意识，以更好地进行语义学习。卷积神经网络在学习图像[41]中存在的空间变换方面是有限的。一些工作通过增加模型能力(大小)[13,32]或涉及昂贵的数据扩展[14]来缓解这个问题，这导致了在推理和训练中极高的计算成本。随后，提出了新的卷积算子来改进空间变换的学习。[34]提出使用膨胀卷积来聚合来自指数扩展的接受域的上下文信息。[7]提出了一种可变形的卷积来对具有额外自学习偏移量的空间位置进行采样。[37]通过引入学习到的特征振幅来重新定义偏移量，进一步提高了其能力。在这项工作中，我们提出了一个空间感知的注意在检测头，它不仅适用于每个空间位置的注意，而且自适应地聚集多个特征级别在一起学习更有区别的表示。 Task-awareness. 目标检测起源于两阶段范式[39,6]，该范式首先生成目标建议，然后将建议分类为不同的类别和背景。[23]通过引入区域提议网络(RPN)将这两个阶段形式化为一个单独的卷积网络。后来，单级目标检测器[22]因其高效而流行起来。[16]进一步改进了体系结构，通过引入特定任务分支，在保持原有单级检测器速度的同时，超越了两级检测器的精度。最近，越来越多的工作发现，不同的目标表示方式可能会提高性能。[12]首先证明了结合边界框和目标分割掩码可以进一步提高性能。[28]提出使用中心表示以逐像素预测的方式解决目标检测问题。[35]进一步提高了基于中心的方法的性能，根据目标的统计特征自动选择正样本和负样本。之后，[33]将目标检测作为代表性关键点，以方便学习。[9]进一步提高了性能，通过检测每个目标为一个三元组，而不是一对关键点，以减少不正确的预测。最近，[21]提出从每个边界的极值点中提取边界特征，以增强点特征，并保存了最先进的性能。在这项工作中，我们在检测头中提出了一种任务感知的注意，它允许注意部署在通道上，可以自适应地有利于各种任务，无论是单/两级探测器，还是基于框/中心/关键点的检测器。 更重要的是，在我们的头部设计中，所有这些属性都被整合到一个统一的关注机制中。据我们所知，这是第一个通用的检测头框架，它向理解注意力在目标检测头成功中的作用迈出了一步。