PAMI 2020｜基于深度对抗方法处理视图缺失的多视图学习

作者 | 张泽宇编辑 | 庞超

今天给大家介绍天津大学张长青老师等人在IEEE T-PAMI 2020上发表的文章“Deep Partial Multi-View Learning”。为了提高在视图缺失情况下的多视图学习性能，增强潜在表示的完备性，本文在给出多视图的完备性和通用性定义的基础上，基于提出的CPM-Nets算法，引入对抗策略，对缺失视图进行处理，提高了模型的完备性，并提出一种非参数分类损失进行优化。

一、研究背景

1.1 背景

在现实世界中，物体往往可以通过不同类型、不同模态的多个视图来描述，而这多个视图对于物体的描述常常具有互补性。因此，基于多视图对物体描述的一致性，通过整合多个视图对物体描述的互补信息，可以提高模型的性能。

一般来讲，多个视图之间的关系是复杂的，而在实际应用中，又经常会出现部分视图数据缺失的情况，这无疑又加剧了问题的复杂程度。传统的多视图学习方法一般会假设视图完整，即每个数据样例具有统一的视图集合，且每个视图都没有出现缺失情况。显然，很多应用场景的实际情况并不如此，例如在体检中，往往会有针对性地安排检查项目，而非完成全部检查项目。

因此，如何在视图缺失的情况下进行有效的多视图学习，成为了一个重要课题。

1.2 相关工作

(1)多视图学习

多视图学习通过整合数据点在不同视图下的数据信息，以提高模型性能。在聚类和分类任务中，一些多视图学习方法被提出并应用；在多视图表示中，也提出了CCA、KCCA、DCCA、DVCCA、S2GCA 等算法。

(2)交叉视图学习

交叉视图学习对两个视图之间的映射进行搜索。在应用中，可以用于缺失视图的处理。

(3)非完整数据上的学习

一种比较直接的方法是将数据补全后，再应用于现有模型。补全时的方法可以基于全局、基于局部，也可以将全局和局部综合考虑。近年来也有基于深度学习的补全方法出现。

当然，也有一些方法可以不进行数据补全，如基于分组等策略的方法。

二、模型与方法

2.1 CPM-Nets模型

为了在视图缺失的数据上使用多视图学习方法，本文作者提出了CPM-Nets(Cross Partial Multi-View Networks)模型，并在本文中将对抗方法引入模型，以提高缺失数据所生成潜在表示的完备性。

CPM-Nets模型在本公众号前期推文中已有较详细阐述，现简要将其概括。

对于含多个视图的每个数据点，都构建一个统一表示h，用于表示该数据点在各个视图下的完备信息。对于每一个视图，构建一个分解函数f，用于将统一表示h映射回对应单视图下的数据表示。将数据标签也视为一个视图，在各视图之间条件独立的假设下，分解的条件概率如图1，其中y为数据标签，S为部分视图集合。通过最大化这个条件概率，可以得到统一表示。