简读分享 | 赵晏浠 编辑 | 王宇哲
论文题目
Topology Compression for Graph Neural Networks
论文摘要
本文研究了一种新的知识转移范式，旨在通过将知识从在完整图上训练的教师 GNN 模型提取到在更小或更稀疏图上运行的学生 GNN 模型，将图拓扑信息编码到图神经网络 (GNN) 中。为此，作者重新审视了热力学与 GNN 行为之间的联系，在此基础上，作者提出了神经热核 (NHK) 来封装与 GNN 架构相关的底层流形的几何特性。通过将 NHK 与教师和学生模型对齐，得出一个基本的和有原则的解决方案，称为几何知识蒸馏。作者开发了非参数化实例化，并证明了它们在各种实验设置中的有效性，以对不同类型的特权拓扑信息和师生方案进行知识提炼。
论文链接
https://openreview.net/pdf?id=7WGNT3MHyBm
