作者 | 程豪 校对 | 李昊锦
今天给大家介绍的是安徽大学的Bo Jiang 在CVPR2019上发表的文章“Semi-supervised Learning with Graph Learning-Convolutional Networks”。这篇论文中，作者提出了一个新的用于图数据表示和半监督学习的图学习卷积网络（Graph Learning-Convolutional Network，GLCN）。GLCN的目标是通过将图学习和图卷积结合在一个统一的网络结构中，学习一个可以应用图卷积网络的最优图结构。GLCN的主要优点是能将给定的标签和估计的标签合并在一起，因此可以提供有用的“弱”监督信息来改进（或学习）图的结构，并且便于在未知标签估计中使用图卷积运算。在七个基准测试中的实验结果表明，GLCN的性能明显优于现有的基于固定结构的图卷积网络。
一、研究背景
图卷积神经网络（graph CNNs）已经被广泛应用到图数据表示和半监督学习任务上。一般来说，我们输入到图卷积网络的数据要么是有着已知且固定的图结构（比如社交网络数据），要么是人工构建的图结构（比如用高斯核构建的K近邻图），然而这很难去评估这两种图数据是否对于使用图卷积网络的半监督学习来说是最优的结构。所以在这篇论文中，作者提出的GLCN的一个目的是通过集成图学习和图卷积，希望能通过半监督的方式学习到最优的图结构，以用于后续的相关任务。GLCN有两个优点：
1. 有标签的数据和估计的标签数据都能提供弱监督信息以强化图结构的构建，并且图卷积操作可以应用到未知标签估计上面。
2. GLCN实现起来方便，因为可以通过一个单一的优化方式训练。
二、模型与方法
GLCN整体的架构如下图所示：
图1.GLCN整体架构
从图上来看，前半部分包含一个图学习结构，对应图学习损失
，后半部分是一个图卷积的结构，用于完成半监督分类任务，对应一个分类损失
。
图学习结构的目的是学习数据点见的邻接矩阵S，xi,xj分别是节点i,j的表示向量，Sij是节点i,j之间的权值，计算方法如下:
定义损失函数为：
第一项表明，如果xi和xj之间的距离比较大，那么这将会使得Sij是一个比较小的值，第二项是为了控制S的稀疏性。
在卷积层部分，前向传播的计算公式如下，即第k 1层的隐藏向量
是如何由第k层的隐藏向量
计算的：
这里
是一个对角矩阵，对角元
。
是权值矩阵。
是激活函数，因为S满足
，所以上式可以进一步简化为：
对于半监督分类任务来说，定义最后一层为：
所以
是一个交叉熵损失函数：
所以综上，定义总的损失函数：
三、实验结果
为了证实模型的效果，在7个数据集上进行了半监督节点分类任务实验，包括3个标准的引文网络数据集（Citeseer、Cora和Pubmed），4个图像数据集（CIFAR 10, SVHN，MNIST和Scene 15）。对于引文网络数据集，每个节点都有一个表征向量，对于图像数据集，是使用CNN对图像提取特征，作为图片的表征向量。
首先是在3个引文网络数据集上，实验结果如下：
表1.三个引文网络数据集实验结果
在四个图像数据集上的实验结果如下：
表2.四个图像数据集实验结果
从实验结果来看，与GCN相比，GLCN在所有数据集都超过了GCN，这说明了图学习层结构的有效性。论文中将GCN和GLCN中第一层卷积输出的表征向量输出，并使用t-SNE算法降维可视化，结果如下图所示：
图2.GCN、GLCN第一层卷积输出的表征向量输出
可以看到相比于GCN来说，GLCN学到的表征向量更具有区分性，类间的距离更大，同时类内结构更加紧凑。同时GLCN的准确率也比近几年提出的GAT更准确，这表明了GLCN在图数据表示和学习上的优越性。此外，GLCN比其他基于半监督的图算法（比如LP，ManiReg和Deepwalk）效果更好，这进一步证明了GLCN在图半监督任务上的有效性。
为了评估网络中参数对性能的影响，比如卷积层数，隐藏单元数量以及
，作者在MNIST数据集上，对GCN和GLCN进行了比较，下图是卷积层数改变对准确率的影响：
图3.改变卷积层数对GCN、GLCN的性能影响
从结果可以看到相比GCN，GLCN对层数具有不敏感性，并且使用不同的层数，都能获得很好的效果。
下表是两层卷积层，但隐藏单元数量不同的实验结果：
表3.隐藏单元数量不同实验结果
下表是
改变对GLCN的影响：
表4.参数改变对GLCN影响
可以看到GCN和GLCN对隐藏单元数量都是不敏感的。可以看到当为0时，GLCN仍然能获得一个合理的结果，同时也说明了图学习正则化项可以改善半监督分类性能。
四、总结
在本篇论文，作者提出了新的图学习卷积网络，将图学习和图卷积二者结合在了一起，并在实验中获得了SOTA的效果。GLCN并不局限在半监督学习任务中，也可以应用到其他的的模式识别任务，比如图数据聚类、图链接/边预测等。当然也可以扩展到其他的计算机视觉上的任务，比如图像分割和视觉显著性分析。
参考文献
B. Jiang, Z. Zhang, D. Lin, J. Tang and B. Luo, "Semi-Supervised Learning With Graph Learning-Convolutional Networks," 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, 2019, pp. 11305-11312, doi: 10.1109/CVPR.2019.01157.
https://ieeexplore.ieee.org/document/8953909/
