摘要
深度检测模型在受控环境下非常强大，但在不可见的领域应用时却显得脆弱和失败。 所有改进该问题的自适应方法都是在训练时获取大量的目标样本，这种策略不适用于目标未知和数据无法提前获得的情况。 例如，考虑监控来自社交媒体的图像源的任务:由于每一张图像都是由不同的用户上传的，它属于不同的目标领域，这在训练期间是不可能预见到的。 我们的工作解决了这一设置，提出了一个目标检测算法，能够执行无监督适应跨领域，只使用一个目标样本，在测试时间。 我们引入了一个多任务体系结构，它通过迭代地解决一个自我监督的任务，一次性适应任何传入的样本。 我们进一步利用元学习模拟单样本跨域学习集，更好地匹配测试条件。 此外，交叉任务的伪标记程序允许聚焦于图像前景，增强了自适应过程。 对最新的跨域检测方法的全面基准分析和详细的消融研究显示了我们的方法的优势。
1、简介
尽管在过去的几年里目标检测取得了令人印象深刻的进展，但可靠地定位和识别跨视觉域的目标仍然是一个开放的挑战。 事实上，大多数现有的检测模型依赖于从大量标注的训练数据中学习到的深度代表性特征，这些特征通常来自特定的分布(来源)，而且标注成本很高。 因此，当学习的模型应用于从不同(目标)领域采样的图像时，它们会遭受严重的性能退化。 这阻碍了在现实环境中部署检测模型，在现实环境中，通常不可能预测应用程序域或提前访问它以获取数据。 例如，考虑图3所示的社交媒体提要场景，其中有来自各种社交媒体的传入图像流，检测器被要求寻找自行车类的实例。 这些图片源源不断地出现，但它们是由不同的用户在不同的社交平台上分享的。 因此，即使它们可能包含相同的目标，它们中的每一个都是由不同的人在不同的背景下，在不同的观点和启发下获得的。 换句话说，每一幅图像来自不同的视觉域，不同于检测器被训练过的视觉域。 这给当前的跨域探测器提出了两个关键的挑战:(1)为了适应目标数据，这些算法首先需要收集feed，只有在收集到足够多的目标数据后，它们才能学会适应并开始对输入图像执行; (2)即使算法已经学会了适应从馈源到时间t的目标图像，也不能保证从时间t 1到达的图像来自相同的目标域。
这就是我们要解决的情况。 当只有一个目标样本可供适应，没有任何形式的监督时，我们专注于跨域检测。 我们提出了一种能够自适应于一个目标图像的目标检测方法，因此适用于上述社交媒体场景。 具体来说，我们构建了一个多任务深度架构，通过利用自我监督的借口任务来适应跨领域。 在初始预训练阶段，与主监督目标一起对源数据进行训练后，自监督模块对单个目标样本进行微调，并自定义特征，以实现最终的检测预测。 辅助知识进一步通过交叉任务的伪标记来引导，将目标检测的局部性注入到自我监督学习中。 此外，我们还展示了如何将自我监督作为元学习算法的内部基本目标，其外部目标是训练领域鲁棒检测模型时，可以更加有效。 通过将训练前过程重新定义为两层优化，我们模拟了几个单样本跨域学习集，更好地与最终部署条件相匹配，并在学习速度和准确性方面具有进一步的优势。
总的来说，本文扩展了我们之前的工作[1]，并给出了以下贡献。 (1)我们引入了one-shot Unsupervised Cross-Domain Detection设置，这是一种跨域检测场景，目标域在样本之间变化，因此只能从一幅图像学习自适应。 这个场景对于监控社交媒体图像源尤其重要。 (2)提出了首个能够实现One-SHOT无监督自适应的跨域目标检测器OSHOT。 我们的方法利用了嵌入到多任务体系结构中的跨任务伪标记过程引导的自我监督的一次性学习。 (3)提出了一种新的元学习方案，将主要监督检测任务与自我监督辅助目标相结合，通过多次自适应迭代，有效地推动模型产生良好的效果。 我们将其命名为FULLOSHOT:我们通过彻底的消融实验来讨论其有效性，以评估其所有内部部件的作用，并提供广泛的误差分析。 (4)我们提出了一个专门的实验装置来研究一次性无监督跨域检测，设计了三个现有数据库和一个新的测试集从社交媒体feed收集。 我们将最新的自适应检测算法[2]、[3]、[4]和基于一次性风格转移的无监督学习[5]进行了比较，达到了最先进的水平。 (5)进一步评价了基于多任务和元学习的跨领域多目标分类方法，验证了该方法的广泛适用性和有效性。
2、相关工作
Object Detection
在过去的几年里，许多成功的目标检测方法已经发展，从原始的基于手工特征的滑动窗口方法，直到最近的深度学习授权解决方案。 现代探测器可分为一级和二级技术。 前者在卷积特征图上进行分类和包围盒预测，要么解决网格单元[6]上的回归问题，要么利用不同尺度和长宽比[7]上的锚盒。 在后者中，初始阶段处理区域建议过程，随后是调整粗糙区域定位和分类框内容的细化阶段。 该策略的现有变体主要区别于区域提议算法[8]、[9]、[10]。 不管具体的实现，探测器的鲁棒性跨视觉域仍然是一个主要问题。
Cross-Domain Detection
当训练和测试数据来自两种不同的分布时，在第一种分布上学习到的模型注定在第二种分布上失败。 无监督的领域自适应方法试图消除执行学习的注释源和部署模型的目标样本之间的领域差距。 大多数文献关注的是基于特征对齐[11]，[12]，[13]，[14]或对抗方法[15]，[16]的对象分类。 基于gan的方法允许直接更新带注释的源数据的视觉样式，并直接在像素级[17]，[18]减少域位移。 仅仅在过去的三年里，自适应检测方法已经发展了三个主要组成部分:(i)包括在不同内部阶段的多个且越来越精确的特征对齐模块，(ii)添加了初步的像素级自适应和(iii)伪标记。 最后一种方法也称为自训练，它使用源模型检测器的输出作为对目标的粗标注。
[19]首先强调了考虑全局和局部域自适应的重要性，以及连接两者的一致性正则化。 [2]的strong - weak (SW)方法对之前的方法进行了改进，指出需要一个更好的平衡对齐，即强的全球适应和弱的局部适应。 [20]还对其进行了进一步扩展，其中自适应步长在网络的不同深度相乘。 最新的SW-ICRCCR方法[4]进一步包括一个图像级多标签分类器和一个用于实现图像级和实例级预测之间一致性的模块。 第一种方法允许获得与分类信息相对应的关键区域，第二种方法评估图像级和实例级预测之间的一致性，并作为一个正则化因素，帮助指出目标领域中的硬对齐实例。
域转移(Domain-Transfer, DT，[21])方法通过生成与目标相似的新源图像，首次采用像素级自适应方法进行目标检测，并将其与伪标记相结合。 最近的divi - match方法[3]重新阐述了领域随机化[22]的思想:多个具有不同约束条件的CycleGAN[23]应用程序产生了三个额外的源变体，通过对抗的多域鉴别器，目标可以在不同程度上对齐。 在[24]中结合了一种减少假阴性的弱自训练程序(WST)和对抗背景评分正则化(BSR)。 最后[25]采用了伪标记和一种处理噪声注释的方法。
Adaptive Learning on a Budget
在分类和检测方面，有大量关于从有限的数据中学习的文献。 然而，在领域变化的情况下，学习目标预算变得非常具有挑战性。 事实上，自适应学习的标准假设是，在训练时有大量的无监督目标样本，因此源模型可以从这些样本中捕获目标领域风格，并对其进行适应。
在减少目标基数方面只做了很少的尝试。 在[26]中，考虑的设置是少镜头监督域自适应:只有少数目标样本可用，但它们被充分标记。 在[5]和[27]中，重点是使用一个大的源数据集和一个单一的无监督目标图像进行一次无监督样式转换。 这些工作提出了费时的基于自动编码器的方法来生成目标图像的版本，该版本保持其内容，但在视觉上与源图像的全局外观相似。 因此，我们的目标是生成没有任何区别的图像。 一个相关的设置是在线域自适应，其中无监督目标样本最初稀缺，但在[28]，[29]，[30]时间积累。 在这种情况下，目标样本属于一个连续的域平滑变化的数据流，因此可以利用后续样本之间的相干性进行自适应。
Self-Supervised Learning
尽管不需要手动注释，但非监督数据具有丰富的结构信息，可以通过自我监督学习，即隐藏数据信息的一个子部分，然后试图恢复它。 这个过程通常被表示为伪装任务，可能的例子有图像补全[31]、着色[32]、[33]、补丁[34]、[35]、旋转识别[36]等等。 自我监督学习已经被广泛用于几乎没有注释的监督学习设置的初始化步骤，最近[37]已经通过深入分析显示了从单个图像进行自我监督学习的潜力。 一些研究也表明，在多任务框架[38]，[39]，[40]中，自我监督与监督学习相结合时，支持适应性和泛化。
Meta-Learning
标准学习是基于能够在多个数据实例上提高性能的算法。 元学习是对其进行扩展，指的是在多个学习片段中改进算法的过程。 在实际应用中，基础学习模型被训练来解决数据集上的分类或检测等任务，而元学习循环则考虑同一族的多个任务来更新基础算法，以实现泛化或提高学习速度等更高层次的目标。 元学习在过去的几年里被广泛用于少量的学习，通过从完整的训练集[41]，[42]，[43]，[44]中随机抽取样本来模拟缺乏数据的任务。 我们采用了类似的策略来创建包含多源训练集样本的单源任务，并为泛化做准备。 实际上，通过使用从训练域转移的验证域，可以(元)学习不同类型的元知识，如损失[45]、正则化函数[46]和数据增强[47]，以最大限度地提高所学习模型的鲁棒性。
Our approach
对于跨域检测涉及到预算学习的场景，并连接到少数元学习文献。 具体地，我们提出将一个自监督辅助目标与主要监督检测模型相结合，进行一次无监督自适应。 为了更好地将自我监督训练阶段与单样本测试条件相匹配，我们通过模拟多个无监督单样本跨域学习事件来利用元学习。 我们并没有意识到之前将元学习应用于自我监督的尝试，而把它推到一个极端的无监督情况下。 所设计的方法还有一个额外的优势:它是无源的，这意味着测试时间适应在不访问源数据的情况下进行。
