YOLO在升级 | PP-YOLO v2开源致敬YOLOV4携带Tricks又准又快地归来（附论文与源码）

表现SOTA！AP和速度的综合性能优于YOLOv5、EfficientDet等网络，其中一版本可达50.3%AP，50.3 FPS！代码刚刚开源！ 作者单位：百度, 早稻田大学

1 简介

为了解决效率和性能这两个问题，本文全面评估了一系列现有改进，以提高PP-YOLO的性能，同时几乎保持推理时间不变。本文将分析一系列改进，并通过增量消融研究从经验上评估它们对最终模型性能的影响。

通过结合多项有效的改进，在COCO2017上将PP-YOLO的性能从45.9％mAP提升到49.5％mAP。称之为PP-YOLOv2。

在速度方面，PP-YOLOv2在640x640输入尺寸下以68.9FPS的速度运行。具有TensorRT，FP16精度和Batch=1的Paddle推理引擎进一步提高了PP-YOLOv2的推理速度，达到了106.5 FPS。这样的性能超过了具有大致相同数量的参数（即YOLOv4-CSP，YOLOv5l）的现有目标检测器。此外，带有ResNet101的PP-YOLOv2在COCO2017测试开发上达到了50.3％的mAP。

2 PP-YOLO回顾

2.1 Pre-Processing

应用从

Beta(alpha,beta)

分布中采样的权重MixUp，其中

alpha=1.5;beta=1.5

。

然后，RandomColorDistortion, RandomExpand,RandCrop和RandomFlip以0.5的概率依次应用。

将RGB通道分别减去0.485、0.456、0.406、0.229、0.224、0.225进行归一化处理。

最后，输入大小从[320,352,384,416,448,480,512,544,576,608]均匀抽取。

2.2 Baseline Model

Baseline Model是PP-YOLO，它是YOLOv3的一个增强版本。具体来说，它首先取代ResNet50-vd的BackBone。之后增加了10个几乎可以在不损失效率的情况下提高YOLOv3性能的技巧，如Deformable Conv、SSLD、CoordConv、DropBlock、SPP等。

2.3 Training Schedule

在COCO train2017上，使用随机梯度下降(SGD)对网络进行500K迭代训练，使用分布在8上的96张图像的小批量训练gpu。学习率从0线性增加到4K迭代时为0.005，分别在400K和450K迭代时除以10。Weight decay设为0.0005，动量设为0.9。最后采用梯度裁剪来稳定训练过程。

3 PP-YOLO v2改进点

3.1 Path Aggregation Network

在不同尺度下检测任务是目标检测的一个基本挑战。在实践中，作者开发了一个检测neck，用于构建所有尺度的高级语义特征map。在本文中PP-YOLO采用FPN来组成自底向上的Path。

最近，一些FPN的变体被提出以提高金字塔表征的能力。例如，BiFPN,PAN,RFP等。我们遵循PAN的设计来聚合自顶向下的信息。PAN的详细结构如图2所示。

代码语言：javascript复制

def pan_module(self, input, filter_list, name=None):
        for i in range(1, len(input)):
            ch_out = input[i].shape[1] // 2
            conv_left = self._conv_bn(
                input[i],
                ch_out=ch_out,
                filter_size=1,
                stride=1,
                padding=0,
                name=name   '.{}.left'.format(i))
            ch_out = input[i - 1].shape[1] // 2
            conv_right = self._conv_bn(
                input[i - 1],
                ch_out=ch_out,
                filter_size=1,
                stride=1,
                padding=0,
                name=name   '.{}.right'.format(i))
            conv_right = self._upsample(conv_right)
            pan_out = fluid.layers.concat([conv_left, conv_right], axis=1)
            ch_list = [pan_out.shape[1] // 2 * k for k in [1, 2, 1, 2, 1]]
            input[i] = self.stack_conv(
                pan_out,
                ch_list=ch_list,
                filter_list=filter_list,
                name=name   '.stack_conv.{}'.format(i))
        return input

3.2 Mish Activation Function

其实Mish激活函数已在YOLOv4、YOLOv5等中被证明是有效的。Backbone采用mish激活函数。然而，作者更喜欢使用预先训练的参数，因为有一个强大的模型（在ImageNet上达到了82.4%的top-1精度）。

为了保持Backbone不变，作者将mish激活函数应用于检测neck而不是Backbone。

代码语言：javascript复制

def mish(x):
    return x * paddle.tanh(F.softplus(x))

3.3 Larger Input Size

增加输入大小可以扩大目标被感知面积。这样，小尺度的物体信息将比以前更容易被保存。因此，性能将得到提高。

然而，更大的输入大小会占用更多的内存。要应用这个技巧需要减少Batch Size。更具体地说，将Batch Size从每个GPU24张图像减少到每个GPU12张图像，并将最大输入大小从608张扩展到768张。输入大小均匀地从[320,352,384,416,448,480，512、544、576、608、640、672、704、736、768]获取。

3.4 IoU Aware Branch

在PP-YOLO中， IoU aware loss 的计算采用了soft weight format，这与最初的意图不一致。因此改进为应用soft label format。以下是IoU aware loss:

其中t为锚点与ground-truth-bounding box之间的IoU，p为IoU aware branch的原始输出，

sigma(·)

为sigmoid激活函数。注意，只计算阳性样本的IoU aware loss。通过替换损失函数IoU aware branch比以前更好。

代码语言：javascript复制

@register
@serializable
class IouAwareLoss(IouLoss):
    """
    iou aware loss, see https://arxiv.org/abs/1912.05992
    Args:
        loss_weight (float): iou aware loss weight, default is 1.0
        max_height (int): max height of input to support random shape input
        max_width (int): max width of input to support random shape input
    """

    def __init__(self, loss_weight=1.0, giou=False, diou=False, ciou=False):
        super(IouAwareLoss, self).__init__(
            loss_weight=loss_weight, giou=giou, diou=diou, ciou=ciou)

    def __call__(self, ioup, pbox, gbox):
        iou = bbox_iou(
            pbox, gbox, giou=self.giou, diou=self.diou, ciou=self.ciou)
        iou.stop_gradient = True
        loss_iou_aware = F.binary_cross_entropy_with_logits(
            ioup, iou, reduction='none')
        loss_iou_aware = loss_iou_aware * self.loss_weight
        return loss_iou_aware