WWW'21 | 推荐系统：兴趣感知消息传递的GCN缓解过度平滑问题

2022-09-19 11:06:23 浏览数 (2)

关注我们，一起学习~

title：Interest-aware Message-Passing GCN for Recommendation

link：https://arxiv.org/pdf/2102.10044.pdf

from：WWW 2021

code：https://github.com/liufancs/IMP_GCN

1. 导读

GCN存在过度平滑问题，在推荐系统中运用GCN同样也会面临这个问题。LightGCN 和 LR-GCN 在一定程度上缓解了这个问题，然而它们忽略了推荐中过度平滑问题的一个重要因素，即没有共同兴趣的高阶相邻用户会参与用户在图卷积操作中的embedding学习。结果，多层图卷积将使兴趣不同的用户具有相似的嵌入。本文提出了一种兴趣感知消息传递 GCN (IMP-GCN) 推荐模型，该模型在子图中执行高阶图卷积。子图由具有相似兴趣的用户及其交互商品组成。为了形成子图，本文设计了一个无监督的子图生成模块，它可以通过利用用户特征和图结构来有效地识别具有共同兴趣的用户。从而避免将来自高阶邻居的负面信息传播到嵌入学习中。

note：

  • 本文想要解决的问题和UltraGCN类似，都是想解决过度平滑问题
  • UltraGCN是通过绕开传播这条路来缓解过渡平滑问题，同时速度也提升了很多，而本文是在GCN之前先进行分组，对不同兴趣的用户分别进行消息传播，从而缓解过度平滑问题。
  • 感兴趣的小伙伴可以看一看UltraGCN。 UltraGCN相关内容： CIKM'21「华为」图 推荐系统：比LightGCN更高效更有效的UltraGCN UltraGCN代码解读

2. 方法

2.1 兴趣感知消息传播策略

通过构建子图，希望子图中传播的所有信息都有助于该子图中所有节点的embedding学习。换句话说，其目标是在使用子图的图卷积操作中排除负面信息传播。为了实现这个目标，依靠用户节点在用户-商品二分图中形成子图。总体思路是将兴趣更相似的用户分组为一个子图，与这些用户直接相关的商品也属于该子图。因此，每个用户只属于一个子图，一个商品可以关联多个子图。令

G_s

表示子图，

s={1,2,...,N_s}

，其中N_s为子图数。

因为用户和物品之间的直接交互提供了用户兴趣最重要和最可靠的信息，所以在一阶传播中，所有一阶邻居都参与了图卷积操作。令

e_u^{(0)}

和

e_i^{(0)}

表示用户和商品的ID的embedding。则一阶图卷积表示为下式，可以发现和lightgcn是一样的。

begin{array}{l} e_{u}^{(1)}=sum_{i in mathcal{N}_{u}} frac{1}{sqrt{left|mathcal{N}_{u}right|} sqrt{left|mathcal{N}_{i}right|}} e_{i}^{(0)} \ e_{i}^{(1)}=sum_{u in mathcal{N}_{i}} frac{1}{sqrt{left|mathcal{N}_{i}right|} sqrt{left|mathcal{N}_{u}right|}} e_{u}^{(0)} end{array}

对于高阶图卷积，为了避免引入噪声信息，子图中的节点只能利用来自该子图中相邻节点的信息。因为用户交互的商品都属于这个用户的子图，所以用户仍然可以接收到所有链接的商品的信息。但是一个商品所连接的用户可能分属于不同的子图，为了学习商品 i 的embedding，对于商品 i 属于的每一个子图，都学习商品embedding。令

e_{is}^{(k)}

表示商品 i 在子图s中经过k层图卷积后得到的embedding。则高阶IMP-GCN可以表示为，

begin{array}{l} e_{u}^{(k 1)}=sum_{i s in mathcal{N}_{u}} frac{1}{sqrt{left|mathcal{N}_{u}right|} sqrt{left|mathcal{N}_{i}right|}} e_{i s}^{(k)} \ e_{i s}^{(k 1)}=sum_{u in mathcal{N}_{i}^{s}} frac{1}{sqrt{left|mathcal{N}_{i}right|} sqrt{left|mathcal{N}_{u}right|}} e_{u}^{(k)} end{array}

通过这种方式，保证在子图中学习的节点的embedding只有助于该子图中其他节点的embedding学习。这可以避免从无关节点传播的噪声信息。

e_{is}^{(cdot)}

可以看作是从对子图有相似兴趣的用户那里学到的特征，在

embedding message

0 人点赞