推荐一下Eli Chien同学新鲜出炉的ICLR'22文章~
文章信息:
Title: Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction.
Authors: Eli Chien (UIUC), Wei-Cheng Chang (Amazon), Cho-Jui Hsieh (UCLA), Hsiang-Fu Yu (Amazon), Jiong Zhang (Amazon), Olgica Milenkovic(UIUC), Inderjit S. Dhillon (Amazon).
文章鏈結:
https://openreview.net/forum?id=KJggliHbs8
代碼：
https://github.com/amzn/pecos/tree/mainline/examples/giant-xrt
我的的方法(紅色)於OGB datasets上取得了顯著的進步並於三個節點分類任務取得榜一榜二！
摘要
圖學習已經在許多應用中取得卓越成功，其中GNN更是在許多任務中達到SOTA的表現，例如節點分類問題以及圖分類問題。一般方法都假設圖結構數據包含了圖拓譜 G 以及 實數向量 的 數值 節點特徵X 。
半監督節點分類
另一方面，最近自監督學習(SSL)於GNN上取得了成功，因為其能改善標籤不足的問題而吸引許多研究者投入此方向。利用自監督學習，GNN能生成信息更為豐富的節點嵌入(embedding)或是更好的初始化，進而在下游任務中達到更好的表現。而其主要職官解釋為圖拓譜 G 與 節點特徵 X 不僅有有益的相關性，且皆能幫助下游任務。
GNN自監督學習例子
而我們指出了現有GNN訓練框架中一個重要卻被忽略的問題：如何獲取高質量的 數值 的節點特徵 X ？以Amazon co-purchase network 為例，傳統做法是利用 與圖無關 的 Bag-of-Words (BoW) 或是預訓練BERT 得到。如 ogbn-products中，其數值節點特徵 X 便是由BoW 根據原始產品文字信息得到。明顯這一方法是次優的，因為這類方法並沒有利用到圖拓譜 G 與節點特徵的有益相關性。因此我們提出利用圖拓譜信息以自監督學習的方式來微調(fine-tuning)語言模型(如Transformer)，也就是我們的GIANT框架。
GIANT 框架與一般框架的比較
自監督任務的選擇
本文另一個貢獻為提出新的圖自監督學習任務: 鄰居預測(neighborhood prediction)，並將其與極端多標籤分類(eXtreme multilabel classification, XMC [Chang et al. KDD 2020])問題連結。因此，我們便能使用SOTA的XMC方法(如我們使用XR-Transformer, XRT [Zhang et al. NeurIPS 2021])來幫助我們抽取更優的數值節點特徵。值得注意的是，我們也分析了傳統邊預測任務的缺陷：利用兩節點嵌入相似度來預測邊的存在與否是隱含了同源假設的(homophily assumption)，與之相對，我們的鄰居預測任務並不依賴同源假設，這也是最近圖學習相關算法需要注意的一個問題 [Chien et al. ICLR 2021]。
實驗結果
本文中我們專注於節點分類任務，因此我們選擇在三個OGB數據集上進行實驗(ogbn-arxiv, ogbn-products, ogbn-papers100M)。我們除了比較GIANT框架與一般框架之外，我們也比較了在GIANT框架下利用邊預測任務來微調BERT以及XR-Transformer內部組件的消融實驗(ablation study)。我們將這些方法產生的數值節點特徵送入三類下游任務模型來比較預測表現，分別是MLP(無圖拓譜信息), 基本GNN (如GraphSAGE) 以及在OGB榜上的SOTA GNN。可以看到我們的方法(GIANT-XRT)的確對於任何下游模型都有明顯的改進，特別是MLP。
另外，得益於XMC與圖學習的關聯，我們也利用最近圖學習分析的進展給出XR-Transformer 內部設計的理論解釋(TFIDF 與 PIFA)，其結論與我們消融實驗結果吻合。
結論
本文中我們點出了現有GNN(甚至一般圖學習方法)框架中的問題：如何得到數值節點特徵。我們展現了利用圖拓譜做自監督學習能得到對下游任務更有益的數值節點特徵。我們也設計了不依賴同源假設的新圖自監督學習任務，並將其與極端多標籤分類問題相關聯。我們的方法在OGB數據集上取得了巨大的進步，並得到榜一榜二的位置(11/11/2021)。截至今日(03/01/2022)，此榜上第一仍是使用我們的方法。目前本文只是此一新方向的第一步，希望能起到拋磚引玉的作用，讓更多研究者投入從原始數據抽取數值節點特徵的研究，期以讓圖學習在實際場景中表現更加突出。
