本文授权转载自：ZERO实验室atPKU
本文作者：杨一博，李宏扬，李夏，赵祈杰，吴建龙，林宙辰。
本文SOGNet: Scene overlap graph network for panoptic segmentation被AAAI 2020接收。该方法同时在COCO 2019 challenge panoptic segmentation track中被评为最佳创新奖（Innovative Award）。
01
引言
在全景分割任务中，对于背景像素，需要对其进行语义分割，确定其语义类别，对于前景像素，需要对其进行实例分割，确定其实例类别以及实例id。则每个像素只能有确定的类别和id。然而，目前基于区域候选框（region proposal）的实例分割方法，例如Mask R-CNN，输出的实例结果是包含重叠区域的。如图一所示，桌子和杯子两个物体，在杯子区域具有重叠的像素。只有获得他们的前后关系，才能得到一致的全景分割结果。
图一
已有的全景分割研究中，解决遮盖问题的方法包括利用启发式规则（Panoptic FPN，AUNet等）确定各个物体的遮盖顺序，和构造panoptic head（UPSNet，OANet等）对每个像素所属的物体进行预测。但这些方法通过比较objectness score或logit的大小来确定遮盖关系，结果不够准确，并且不能显式地输出物体间的遮盖关系。
该工作受到场景图（scene graph）任务的启发，将物体的遮盖问题构造为场景遮盖图（scene overlap graph）。在这种图结构中，节点为各个物体，i和j物体间的关系包含三种，i覆盖j，i被j覆盖，以及没有覆盖关系。但是，与场景图相关的任务不同，全景分割任务并不具有物体间关系的监督信息，从而能够对物体遮盖关系直接进行监督训练。该工作通过关系嵌入（relational embedding）模块，显式地表达物体间的遮盖关系，并且设计了可微的去除被遮盖区域logit的模块。由于去除遮盖的效果对最终全景分割的质量有着直接的影响，该工作利用全景分割提供的像素级（pixel-level）的监督信息，间接地完成了对物体之间实例级（instance-level）的遮盖关系的推理。
如图二所示，该工作主要包含四个部分，分别是联合分割模块（joint segmentation），关系嵌入模块（relational embedding），遮盖去除模块（overlap resolving），以及全景分割模块（panoptic head）。
图二
02
SOGNet
1、联合分割模块
在联合分割模块中，实例分割和语义分割共享backbone，一起训练。Backbone采用目前全景分割研究中常用的方法，ResNet FPN. 对于实例分割部分，采用标准的Mask R-CNN，利用实例分割的监督信息，完成对物体检测和分割。对于语义分割部分，采用UPSNet的方法，FPN各个尺度输出的特征首先经过三层deformable convolution, 其次上采样到统一尺度并沿channel维度拼接，最后经过1x1的卷积层输出对每个像素的类别的预测。语义分割部分利用全景分割的监督信息，预测全部类别（包括语义类别和实例类别）。
2、关系嵌入模块
对于一张输入图像，从标注信息（ground truth）中我们可以得到
，其中
,
,
分别指第i个物体的位置信息（bounding box），类别信息（one-hot形式的类别向量），和形状信息（binary mask）。
为该图像中物体的个数。在训练时，这些标注信息作为关系嵌入模块的输入，得到关系特征，进而显式地表达各个物体之间的遮盖关系。在测试时（inference），这些标注信息被替换为Mask R-CNN输出的预测。
Bilinear pooling技术可以表达两个特征构成的组合关系特征。受此启发，我们采用（Kim et al. 2017）提出的低秩外积（low-rank outer product），对各个物体的类别信息计算他们的类别关系特征：
其中，
表示逐元素相乘（element-wise multiplication），σ表示ReLU激活函数，
和
为两个线性映射，
将关系特征映射到输出维度
. 则所有物体的类别关系特征为：
其中，”[ ]”为拼接操作。采用相似的方式，可以得到所有物体的形状关系特征
.
对于位置信息，该工作采用一种具有平移和尺度不变性（translation- and scale-invariant）的方式，来构造位置关系特征：
其中
是从bounding box 中提取的位置和尺度信息，
将四维的相对位置特征映射到高维. 最终，所有物体之间的关系特征可以表达为：
其中
.
3、遮盖去除模块
得到所有物体之间的关系特征E后，可以显式地表示物体间的遮盖关系。如图二所示，E首先经过一个
层，得到single channel的输出，再经过sigmoid激活，并将其reshape为方阵，记为
。该矩阵的元素
具有的物理意义为第i个物体被第j个物体遮盖的势（potential）。下面可以引入遮盖关系矩阵，定义为：
其中，
是一个反对称矩阵，计算各个对称位置上的势差，σ为ReLU激活函数，用来过滤掉值为负的势差。这样，如果
，代表第i个物体被第j个物体所覆盖，并且在其对称位置上，必有
. 如果
，则代表着第i和第j两个物体没有覆盖关系。
利用每张图片各个物体的标注的位置信息，可以得到他们的Mask R-CNN输出的mask logits. 将这些logits进行插值到原图尺寸，记为
，他们之间具有重叠区域。利用公式(6)，可以对物体i和物体j之间的遮盖区域进行处理：
其中，
为对第i个物体处理后的logits, s(∙)代表sigmoid激活，将
转变为类似binary形式的mask. 如图三所示，
计算他们的遮盖区域。
的值可以控制遮盖区域的logits是否从A_i中去除。当
>0时，
=0, 对
没有影响，反之亦然。
图三
考虑所有其他物体对物体i的遮盖关系，可以通过公式(7)来处理：
考虑所有物体，整个计算步骤可以表达为：
其中，
,
表示第三个维度上的Tucker product, 即将
reshape为
, 与
做内积，之后再reshape为
. 可以看出，该步骤对当前深度学习框架比较友好，可以通过可微的步骤，对遮盖区域进行处理。
4、全景分割模块
在全景分割分支上，和UPSNet相似，将语义分割分支上物体i相关位置对应channel的logits，记为
, 与
相结合。在UPSNet中，他们直接相加，记为Panoptic Head 1。SOGNet提出了改进的结合方式，记为Panoptic Head 2。两种方式对比如下：
其中，
为结合后的logits，
为一常数用来平衡语义输出logits和mask logits之间的数值尺度。
全景分割分支对每个像素的实例id做预测，并采取标准交叉熵作为损失函数。可以看出，我们的方法利用全景分割的监督信息，间接地训练了关系嵌入、遮盖去重模块。训练完成后，利用关系矩阵
, 即可获得物体间的遮盖关系。
除此之外，尽管在训练时我们不知道两个物体中哪一个物体遮盖另一个，但根据他们的binary mask
和
, 可以推断出这两个物体间是否有遮盖。我们引入一个对称矩阵定义如下：
其中，|·|通过求和计算binary mask的面积，指示函数当条件成立时为1. 当
时，代表物体i和j之间有显著的遮盖。进而引入如下关系损失函数：
当两物体有显著的遮盖时，促使
或
接近于1，从而避免在公式(6)中完成遮盖去除时，只能起到微弱的作用。
03
实验
在表一中，我们将SOGNet与UPSNet进行详细的对比。我们把UPSNet和SOGNet在同一实验环境下进行训练，采用一致的训练和测试策略。可以看出，我们改进的全景分割模块具有更好的表现。在UPSNet中，构造了一个void channel用来预测未知类别。使用未知类别预测时，SOGNet具有1% PQ的提升；不使用时，具有1.5% PQ的提升。
Tab 1：CompareSOGNet with UPSNet on COCO val.
在表二中，我们将SOGNet与启发式的方法进行对比。PlainNet为我们在同一实验环境下只训练联合分割模块得到的模型，并采用启发式规则得到全景结果。类别先验强制规定了某些类别之间的遮盖关系。SOGNet相比这些启发式方法，能够根据位置、类别、形状可微地推理遮盖关系，并且具有更好的性能。
Tab 2: Compare SOGNet with heuristic inference.
在表三和表四中，我们将SOGNet的表现与State-of-the-art的方法进行比较。表三列出了在COCO测试集上的结果，其中第一块是COCO 2018 challenge的前三名。可以看出，SOGNet能够取得目前单模型的最好性能。表四列出了在Cityscapes和COCO验证集上的结果，可以看出，SOGNet同样取得了优异表现。
Tab 3: Compare SOGNet with SOTA performances on COCO test-dev.
Tab 4: Compare SOGNet with SOTA performances on COCO and Cityscapes val.
如图四所示，我们可视化了由SOGNet学习出的物体间的遮盖关系。右边的激活图是对关系矩阵O的可视化，在(i, j)处的激活O_ij，代表着第i个物体被第j个物体所覆盖。可以看出SOGNet较为准确地表达了物体间的遮盖关系，比如：baseball glove遮盖person，tie遮盖person，然后person再遮盖bus，spoon遮盖cup，然后cup再遮盖dining table.
图四
相关链接
项目主页：
https://zero-lab-pku.github.io/publication/lixia/aaai20_sognet_scene_overlap_graph_network_for_panoptic_segmentation/
论文地址：
https://arxiv.org/pdf/1911.07527.pdf
COCO 2019 challenge slides：
https://drive.google.com/file/d/1JCgIqr5-4PUh1WIpiHaTLWGDqv8M-xP_/view
代码将发布于：
https://github.com/LaoYang1994/SOGNet
相关论文
[1] Kaiming He, Georgia Gkioxari, Piotr Dollar and Ross Girshick, Mask r-cnn. In ICCV, 2017.
[2] Jin-Hwa Kim, Kyoung-Woon On, Woosang Lim, Jeonghee Kim, Jung-Woo Ha and Byoung-Tak Zhang, Hadamard product for low-rank bilinear pooling. In ICLR, 2017.
[3] Alexander Kirillov, Ross Girshick, Kaiming He and Piotr Dollar, Panoptic feature pyramid networks. In CVPR, 2019.
[4] Alexander Kirillov, Kaiming He, RossGirshick, Carsten Rother and Piotr Dollar, Panoptic segmentation. In CVPR, 2019.
[5] Justin Lazarow, Kwonjoon Lee, Kunyu Shi and Zhuowen Tu, Learning instance occlusion for panoptic segmentation. arXiv preprint arXiv:1906.05896.
[6] Qizhu Li, Anurag Arnab and Philip H.S.Torr, Weakly-and semi-supervised panoptic segmentation. In ECCV, 2018.
[7] Jie Li, Allan Raventos, Arjun Bhargava, Takaaki Tagawa and Adrien Gaidon, Learning to fuse things and stuff. arXiv preprint arXiv:1812.01192.
[8] Yanwei Li, Xinze Chen, Zheng Zhu, Lingxi Xie, Guan Huang, Dalong Du and Xingang Wang, Attention-guided unified network for panoptic segmentation. In CVPR, 2019.
[9] Huanyu Liu, Chao Peng, Changqian Yu, Jingbo Wang, Xu Liu, Gang Yu and Wei Jiang, An end-to-end network for panoptic segmentation. In CVPR, 2019.
[10] Sanghyun Woo, Dahun Kim, Donghyeon Cho and In So Kweon, Linknet: Relational embedding for scene graph. In NeurIPS, 2018.
[11] Yuwen Xiong, Renjie Liao, Hengshuang Zhao, Rui Hu, Min Bai, Ersin Yumer and Raquel Urtasun, Upsnet: A unified panoptic segmentation network. In CVPR, 2019.
