经典神经网络 | Faster R-CNN 论文解析

论文题目：Faster R-CNN: T owards Real-Time Object Detection with Region Proposal Networks
论文链接：https://arxiv.org/abs/1506.01497

作者及单位

研究目标

Faster R-CNN是为了改进Fast R-CNN而提出来的。因为在Fast R-CNN文章中的测试时间是不包括search selective时间的，而在测试时很大的一部分时间要耗费在候选区域的提取上。所以作者提出了RPN来提取候选框，使时间大大的减少了。

Faster R—CNN网络介绍

Faster R—CNN结构

Faster R—CNN具体可分为四个结构：

Conv layers：作为一种CNN网络目标检测方法，Faster RCNN首先使用一组基础的conv relu pooling层提取image的feature maps。该feature maps被共享用于后续RPN层和全连接层。
Region Proposal Networks：RPN网络用于生成region proposals。该层通过softmax判断anchors属于 positive或者 negative，再利用bounding box regression修正anchors获得精确的proposals。
Roi Pooling：该层收集输入的feature maps和proposals，综合这些信息后提取proposal feature maps，送入后续全连接层判定目标类别。
Classification：利用proposal feature maps计算proposal的类别，同时再次bounding box regression获得检测框最终的精确位置。

下图是VGG16模型中的faster_rcnn_test.pt的网络结构，可以清晰的看到该网络对于一副任意大小PxQ的图像，首先缩放至固定大小MxN，然后将MxN图像送入网络；而Conv layers中包含了13个conv层 13个relu层 4个pooling层；RPN网络首先经过3x3卷积，再分别生成positive anchors和对应bounding box regression偏移量，然后计算出proposals；而Roi Pooling层则利用proposals从feature maps中提取proposal feature送入后续全连接和softmax网络作classification。

python版本中的VGG16模型中的faster_rcnn_test.pt的网络结构。Conv layers部分共有13个conv层，13个relu层，4个pooling层

Conv layers

Conv layers包含了conv，pooling，relu三种层。所有的conv层都是：kernel_size=3，pad=1，stride=1。所有的pooling层都是：kernel_size=2，pad=1，stride=1。

Region Proposal NetWork（RPN）

经典的检测方法生成检测框都非常耗时，如R-CNN使用SS(Selective Search)方法生成检测框。而Faster RCNN则抛弃了传统的滑动窗口和SS方法，直接使用RPN生成检测框，这也是Faster R-CNN的巨大优势，能极大提升检测框的生成速度。

RPN网络结构

上图展示了RPN网络的具体结构。可以看到RPN网络实际分为2条线，上面一条通过softmax分类anchors获得positive和negative分类，下面一条用于计算对于anchors的bounding box regression偏移量，以获得精确的proposal。而最后的Proposal层则负责综合positive anchors和对应bounding box regression偏移量获取proposals，同时剔除太小和超出边界的proposals。其实整个网络到了Proposal Layer这里，就完成了相当于目标定位的功能。

Anchor

在每个滑动窗口的位置，我们同时预测多个Region Proposal，每个位置最大可能的Proposal设置为k。每个回归层输出4k个坐标(即x,y,w,h),分类层输出2k个Scores。RPN默认设置为3 Scale,3 aspect ratios,因此每个位置输出9个anchor。对于大小为W×H(通常为2400)的卷积特征图，总共有W Hkanchor。如下图所示：

注意：全部anchors拿去训练太多了，训练程序会在合适的anchors中随机选取128个postive anchors 128个negative anchors进行训练

Loss Function

我们定义在faster r-cnn中，最小化多任务损失，公式如下：

公式中，i是mini-batch中anchor的索引，

p_{i}

是如果框出来的anchor是目标的概率。如果anchor是positive的话，ground-truth label

p_{i}^{* }

为1，否则为0。

t_{i}

是预测框的参数化向量。

t_{i}^{* }

是标注的框。

N_{cls}

和

N_{reg}

通过参数

lambda

来平衡。在论文的设置中，

N_{cls}

=256，

N_{reg}

=2400，

lambda

=10。

对于bounding box regression，我们采用如下的四个坐标，具体含义可以参照原文：

训练RPN

RPN可以通过反向传播和随机梯度下降(SGD)进行端到端的训练。我们遵循“以图像为中心”的采样策略来训练这个网络。每个小批都来自一个包含许多正面和负面示例anchor的图像。我们可以对所有anchor的损失函数进行优化，但这将偏向于负样本，因为它们占主导地位。相反，我们在一张图像中随机抽取256个锚点来计算一个小批量的损失函数，其中抽样的正锚点和负锚点的比例高达1:1。如果一个图像中有少于128个positive样本，我们用negative样本填充这个小批。

ROI Polling

ROI Pooling的作用是对不同大小的region proposal，从最后卷积层输出的feature map提取大小固定的feature map。因为全连接层的输入需要尺寸大小一样，所以不能直接将不同大小的region proposal映射到feature map作为输出，需要做尺寸变换。即将一个hw的region proposal分割成HW大小的网格，然后将这个region proposal映射到最后一个卷积层输出的feature map，最后计算每个网格里的最大值作为该网格的输出，所以不管ROI pooling之前的feature map大小是多少，ROI pooling后得到的feature map大小都是H*W。

下面是ROI polling layer层的一个经典动图：从图中可以直接看到ROI polling是怎样使输出都是固定的形状。

classification

Classification部分利用已经获得的proposal feature maps，通过full connect层与softmax计算每个proposal具体属于那个类别（如人，车，电视等），输出cls_prob概率向量；同时再次利用bounding box regression获得每个proposal的位置偏移量bbox_pred，用于回归更加精确的目标检测框。Classification部分网络结构如下图所示。