计算机视觉研究院专栏
作者：Edison_G 杭州市
疫情以来，各路研究爱好者开始新的研究，目前已经被研究出很多高效高精度的框架，在深度学习领域，模型效率也是越来越重的一个研究课题。不仅仅停留在训练的提速，现在推理应用的速度更加关键。因此，现在很多研究趋势朝着更高效更小型化发展！
1.摘要
模型效率在计算机视觉领域中越来越重要。作者研究了神经网络结构在目标检测中的设计选择，并提出了提高检测效率的几个关键优化方案。
首先提出了一种加权双向特征金字塔网络(BiFPN)，该网络能够方便、快速的进行多尺度特征融合；其次，提出了一种混合缩放方法，可以同时对所有主干网络、特征网络以及最后的预测网络（boxes/classes）的分辨率、深度和宽度进行均匀缩放。特别地，是在单模型和单比例尺的情况下，EfficientDet-D7在52M参数和325B FLOPs的情况下，实现了map在 COCO数据集的最高水平(52.2)，比之前最好的检测器更小，使用更少的FLOPs(325B)，但仍然更准确( 0.2% mAP)。
2.背景
近年来，在更精确的目标检测方面取得了巨大的进展；同时，最先进的物体探测器也变得越来越昂贵（消耗）。例如，最新的基于AmoebaNet-based NAS-FPN检测器[Barret Zoph, Ekin D. Cubuk, Golnaz Ghiasi, Tsung-Yi Lin, Jonathon Shlens, and Quoc V. Le. Learning data aug- mentation strategies for object detection. arXiv preprint arXiv:1804.02767, 2019]需要167M参数和3045B FLOPs(比RetinaNet多30倍)才能达到最先进的精度。大型的模型尺寸和昂贵的计算成本阻止了他们在许多现实世界的应用，如机器人和自动驾驶，其中模型大小和延迟受到高度限制。鉴于这些现实世界的资源约束，模型效率对于目标检测变得越来越重要。
一个自然的问题是：是否有可能在广泛的资源约束(例如从3B到300B FLOP)中建立一个具有更高精度和更高效率的可伸缩检测体系结构？ 作者旨在通过系统研究检测器结构的各种设计选择来解决这一问题。基于one- stage detector paradigm，研究了主干网络、特征融合和类/box网络的设计选择，并确定了两个主要挑战：
挑战1：高效的多尺度特征融合 自[Tsung-Yi Lin, Piotr Dolla ́r, Ross Girshick, Kaiming He, Bharath Hariharan, and Serge Belongie. Feature pyramid networks for object detection. CVPR, 2017]引入以来，FPN已被广泛应用于多尺度特征融合。最近，PANET、NAS-FPN和其他研究开发了更多的跨尺度特征融合网络结构。在融合不同的输入特征的同时，大多数以前的工作只是不加区分地总结它们；然而，由于这些不同的输入特征具有不同的分辨率，我们观察到它们通常对融合的输出特征作出不平等的贡献。为了解决这一问题，作者提出了一个简单而高效的加权双向特征金字塔网络(BiFPN)，它引入可学习的权重来学习不同输入特征的重要性，同时反复应用自顶向下和自底向上的多尺度特征融合。
挑战2：模型缩放 虽然以前的工作主要依靠更大的主干网络[如：Joseph Redmon and Ali Farhadi. Yolov3: An incremental improvement. arXiv preprint arXiv:1804.02767, 2018；Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster r-cnn: Towards real-time object detection with region proposal networks. NIPS, 2015]或更大的输入图像大小[Kaiming He, Georgia Gkioxari, Piotr Dolla ́r, and Ross Girshick. Mask r-cnn. ICCV, pages 2980–2988, 2017]来获得更高的精度，但我们观察到，在考虑精度和效率时，扩展特征网络和框/类预测网络也是至关重要的。在最近的工作[Mingxing Tan and Quoc V. Le. Efficientnet: Rethinking model scaling for convolutional neural networks. ICML, 2019]的启发下，作者提出了一种目标检测器的复合缩放方法，它联合缩放所有主干网络、特征网络、框/类预测网络的分辨率/深度/宽度。
最后，我们还观察到，最近引入的Efficientnet比以前使用的主干网获得了更好的效率。将有效的网络骨架与作者提出的BiFPN和复合缩放相结合，开发了一个新的目标检测器集合，称为EfficientDet，它始终以比以前的目标检测器更少的参数和FLOPs来获得更好的精度。在类似的Accuracy约束下，EfficinetDet使用的FLOPS比YOLOv3少28倍，比RetinaNet少30倍，FLOPs比最近基于ResNet的NAS-FPN少19倍。特别是，在单模型和单一测试时间尺度下，EfficinetDet-D7实现了最先进的52.2AP，具有52M参数和325B FLOPs，在1.5AP的情况下优于预期的最佳检测器[Barret Zoph, Ekin D. Cubuk, Golnaz Ghiasi, Tsung-Yi Lin, Jonathon Shlens, and Quoc V. Le. Learning data aug- mentation strategies for object detection]，同时更小4倍，使用13倍的FLOPs。EfficinetDet检测器在GPU/CPU上的速度也比以前的检测器快3倍至8倍。
3.BiFPN
