PAMI（IEEE Transactions on Pattern Analysis and Machine Intelligence），IEEE模式分析与机器智能汇刊，简称PAMI，是IEEE最重要的学术性汇刊之一。事实上，PAMI有着超高的影响因子（17.730）和排名，被誉为SCI之王。与顶级会议相比，顶级期刊的评议过程更为严格，特别重视工作的创新性和完整性，录取难度和门槛很高。
本期小编挑选了5篇PAMI2021中关于GNN的论文（附论文下载地址）分享给大家~ 包括图池化，ARMA滤波的GNN，GNN的Inductive-Transductive预测， GNN在多标签中的应用和GNN中的受限传播~
论文清单
- Topology-Aware Graph Pooling Networks
- Graph Neural Networks with Convolutional ARMA Filters
- On Inductive-Transductive Learning with Graph Neural Networks
- Learning Graph Convolutional Networks for Multi-Label Recognition and Applications
- Deep Constraint-based Propagation in Graph Neural Networks
1 Topology-Aware Graph Pooling Networks
（论文下载地址：https://arxiv.org/abs/2010.09834）
image-20210512143221750
池化操作在计算机视觉和自然语言处理任务中已显示出其有效性。但由于图上没有很好的定义局部性，在图数据上执行池化操作是一个具有挑战性的任务。先前的研究使用全局排名方法对一些重要节点进行采样，但是其中大多数不能合并图拓扑。在这项工作中，我们提出了拓扑感知池化（TAP）层，该层明确考虑了图拓扑。TAP层是一个两阶段的投票过程（local voting、global voting），用于选择图中的更重要的节点。
- local voting：计算每对节点之间的相似性得分，利用相似性得分来标记每条边，节点的平均相似性分数用作其local voting score，节点越大表示分数越高。
image-20210512143734892
- global voting：将图拓扑合并到global voting中，权衡整个图中每个节点的重要性。
每个节点的最终排名得分是通过其本地和全局投票得分来计算的。为了在采样图中实现更好的图连通性，在排名分数的计算中考虑了这一点。图连通性将度信息用作偏差项，以鼓励该层选择度高的节点以形成采样图。基于TAP层，设计了可感知拓扑的池化网络，用于网络嵌入学习。图分类任务的结果表明，该方法与现有方法相比具有更好的性能。
2 Graph Neural Networks with Convolutional ARMA Filters
（论文下载地址：https://arxiv.org/abs/1901.01343）
image-20210512155222060
image-20210512151451330
大多数图神经网络方法基于多项式谱滤波器在图上实现卷积运算。本文提出了一种新的图卷积层，该图卷积层受auto-regressive moving average（ARMA）滤波器的启发，与polynomial spectral filters相比，该卷积层提供了更灵活的频率响应，对噪声更鲁棒，并且可以更好地捕获全局图结构。我们提出了一种基于递归和分布式的ARMA滤波器的图神经网络实现算法，ARMA layer使用较少的参数捕获全局图结构，从而克服了基于高阶多项式滤波器的GNN的局限性。ARMA过滤器未定位在节点空间中，需要对矩阵求逆。为解决此问题，ARMA层依赖于递归公式，这导致了一种快速且分布式的实现，该实现利用了对张量的有效稀疏运算。滤波器不是在给定的拉普拉斯算子的傅立叶空间中学习的，而是位于节点空间中，并且与基础图结构无关。这使我们的GNN在归纳推理任务的测试阶段可以处理具有未见拓扑结构的图。针对四个下游任务：半监督节点分类，图信号分类，图分类和图回归，进行实验。结果表明，所提出的ARMA层相对于基于多项式滤波器的图神经网络带来了显著改进。
3 On Inductive-Transductive Learning with Graph Neural Networks
（论文下载地址：https://link.springer.com/content/pdf/10.1007/978-3-319-99978-4.pdf 论文详见第201页）
image-20210512152307173
现实世界许多领域的数据都可以用图的来表示，例如，生物蛋白质网络、神经网络、社交网络等。图可以将一个给定的模式描述为一个由节点和边组成的复杂结构。尽管图具有丰富的表示能力，但大多数机器学习方法都不能直接处理图数据，需要将此类数据转换为一些简单形式，例如，实值向量。这种转换会损失一些有用的信息。图神经网络模型（GNN）能够直接处理图数据，并且对图的类型没有任何限制。原始的GNN模型基于经典的归纳学习，使用训练集来学习参数，进而得到模型。直推式学习采用了一种更直接的方法，即利用不同样本之间的关系来利用标记和未标记的数据，根据模式与训练集中可用实例的关系对模式进行分类。在这种情况下，训练模式可直接用于分类过程，而无需调整参数模型，甚至无需依赖分类规则和模式特征。本文提出了一个混合直推-归纳的GNN模型，展示了这两种学习框架的共同特征。该模型根据群体检测、子图匹配和真实问题(交通流量预测和网络垃圾邮件预测）进行评估，显示出了不错的效果。
4 Learning Graph Convolutional Networks for Multi-Label Recognition and Applications
（论文下载地址：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9369105）
多标签图像识别的任务是预测图像中存在的一组对象标签。由于多个对象通常同时出现在图像中，因此需要对标签依赖性进行建模以提高识别性能。为了捕获和探索此类重要信息，本文提出了基于图卷积网络（GCN）的多标签图像识别模型，其在类上构造有向图，并在类之间传播信息，以学习相互依存的class-level表示。遵循这个想法，论文设计了两个特殊的模型，它们从不同的角度进行多标签分类。在第一个模型中，有关类依赖的先验知识被集成到分类器学习中。具体而言，我们提出了Classifier Learning GCN（C-GCN），以将类级别的语义表示（例如，单词嵌入）映射到inter-class拓扑的分类器中。在第二个模型中，我们将图像的视觉表示分解为一组标签感知的特征，并提出了Prediction Learning GCN（P-GCN），以将特征编码为相互依赖的图像级预测分数。此外，还提出了一种有效的相关矩阵构造方法，以捕获类之间的关系，从而指导类之间的信息传播。通用多标签图像识别的实验结果表明，这两个模型优于其他state-of-the-arts。此外，所提出的方法在一些与多标签分类有关的应用中也具有不错的效果。
Deep Constraint-based Propagation in Graph Neural Networks
（论文下载地址：https://arxiv.org/abs/2005.02392）
我们可以用图的形式来表示实际应用中的数据的复杂结构。GNN是Scarselli等人提出的一种针对图数据的模型，是循环神经网络和随机游走模型的扩展。在保持二者特性的基础上扩展了循环神经网络，可以处理多种类型的图，例如，循环图，有向图和无向图，无需任何预处理即可处理以节点为中心的应用。通过迭代扩散过程对图的节点状态进行编码，对于每个训练epoch，GNN的学习过程需要一个迭代扩散机制，直到它收敛到一个稳定的不动点。这是一个多阶段的优化过程，比基于梯度优化的模型更昂贵，更不实用。虽然，迭代过程可以提前停止以加速计算，但这最终限制了GNN学习的局部编码能力，减少了沿每个节点携带的信息图的扩散深度。我们提出了一种新的基于拉格朗日公式的GNN学习机制，其中每个节点与其邻域之间的关系由一组约束表示。找到满足约束条件的节点状态表示是重新考虑上述扩散过程中固定点计算的一种简单方法。我们可以借鉴神经网络中的约束优化工具，以设计出一种完全基于BP的学习方法，其中状态表示以及状态转换和输出函数的权重可以共同优化。
与传统基于拉格朗日的训练方法不同的是，状态转移函数和输出函数都是经典的BP可训练模型，所有的训练实例都共享这些模型，而学习问题的唯一附加变量与图的节点有关。这使我们能够在基于拉格朗日的图扩散公式引入灵活性和添加新变量之间找到一个很好的权衡。我们通过类似于多层计算方法的pipeline of constraints 来计算每个节点的多个表示。每个节点的evolving representation 被视为附加到节点本身的新信息。引入使用该新信息的另一个状态转移函数，约束强制执行一个 parallel diffusion 过程，从而形成节点的另一种表示。这个过程可以重复多次，从而模拟一个深度约束方案，增强了GNN的表示能力。
实验分析表明，所提出的方法在几个基准测试上均优于state-of-the-arts。
image-20210512154957237
