【语义分割】开源 | 提出了针对FSS任务的双原型对比学习方法,以有效地捕获具有代表性的语义特征,性能SOTA!

2021-12-22 17:32:30 浏览数 (1)

备注:研究方向 地点 学校/公司 昵称,更快通过申请,长按加细分领域技术交流群,目前有细分领域:图像分割、图像目标检测、论文写作、车道检测、模型优化、目标跟踪、SLAM、点云处理(分割检测)、深度学习。

论文地址: http://arxiv.org/pdf/2111.04982v1.pdf

来源: Yonsei University

论文名称:Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation

原文作者:Hyeongjun Kwon

内容提要

我们解决了少量镜头语义分割(FSS)的问题,它的目的是在一个目标图像中使用少量注释样本来分割新的类对象。尽管近年来通过引入基于原型的度量学习取得了一些进展,但由于现有方法的特征表示较差,在类内对象和类间对象语义相似的情况下,其性能仍然有限。为了解决这一问题,我们提出了针对FSS任务的双原型对比学习方法,以有效地捕获具有代表性的语义特征。其主要思想是通过增加原型特征空间中的类间距离,同时减小原型特征空间中的类内距离,从而增强原型的识别力。为此,我们首先通过在训练过程中存储类感知原型的动态原型字典来呈现类特定的对比损失,从而使相同的类原型相似,不同的类原型不同。此外,我们引入了一种类别不可知论的对比损失,通过压缩每个事件中语义类别的特征分布来增强对未见类别的泛化能力。在PASCAL-5i和COCO-20i数据集上,我们证明了所提出的双重原型对比学习方法优于最先进的FSS方法。

主要框架及实验结果

0 人点赞