关注我们，一起学习~
title：Masked Transformer for Neighhourhood-aware Click-Through Rate Prediction link：https://arxiv.org/pdf/2201.13311.pdf from：SIGIR 2022
1. 导读
本文针对点击率CTR预估提出新方法GMT，推荐系统的性能通常受到不活跃行为和系统曝光的影响，导致提取的特征没有包含足够的信息。本文提出基于邻域交互的CTR预测方法，通过异构信息网络HIN挖掘目标用户-商品对的局部邻域来预测他们的链接。并且，考虑节点之间的四种拓扑交互来增强局部邻域表征。
2. 基础
2.1 异构图构建
本文的异构信息网络可以构建为
，其中分别表示节点集合，边集合，节点类型集合，边类型集合。
，U为用户集合，I为item集合，
表示第i种类型实体集，这里|Tv|-2是因为去掉了U和I。
以微信视频推荐为例，有四种节点类型：用户，视频，文章和官网账号；五种链接类型：用户-点击-视频，用户-点击-文章，用户订阅官方账号，官方账号-发布-视频和官方账号-发布-文章。
2.2 问题定义
给定用户集合
，item集合
，用户-商品交互矩阵
,
表示用户u点击了商品v。给定任务相关的异构信息网络HIN
，对于每个目标用户u和商品v采样一个batch的邻居节点
，每个节点存在对应的特征向量，所以邻居节点集合的特征向量的集合表示为
，上下文特征为C，所以一个实例可以表示为
，目标就是基于这两个信息预测用户点击商品的概率。
3. 方法
image.png
3.1 HIN邻居采样
对于每个节点r, 图中存在一些相关节点，可以丰富其表征。考虑到HIN采样场景在大规模服务中，每个节点都可以关联到丰富的特征。因此，采样的节点需要满足以下要求：
- 1） 尽可能多地对最近的节点进行采样，因为接近的节点（例如，一阶邻居）通常包含最相关的信息，
- 2）对每种类型的节点采样一定大小的节点集合，
- 3）对与其他节点交互（边）最多的节点进行采样。
本文提出贪婪异构邻域采样 方法(GHNSampling)。具体如伪代码所示
3.2 构建局部交互图
在目标用户u和候选商品v的邻居采样之后，整合他们的邻居以获得u-v对的邻居，表示为
（
）。将
中的每个节点i与其原始特征向量
相关联。表示节点序列的直接解决方案是应用使用一些常用模型如 Transformer，它将邻域中的节点视为一个完整的图，并基于节点特征学习表征。但是，为了使表征更加有各自的特性，作者分类为四种类型的交互图，如图 3 所示。
- Induced subgraph
：HIN 中的边信息提供了节点之间的重要关系信息。因此，从 HIN 中检索所有边以生成诱导子图
。
- Similarity Subgraph
：在诱导子图
中，仅使用描述不同节点之间的行为关系或自然关系的分类特征组的子集来构建图。然而，描述节点之间丰富的潜在语义连接的其他特征组，例如商品标签，被忽略了。因此，根据节点的原始特征，通过邻域内的节点特征相似度来定义相似度图
。计算所有成对相似度分数如下，其中t(i)是节点i的节点类型，f是节点的原始特征向量，不同类型的节点可能共享相同的特征组，例如，不同类别的商品（例如，视频、文章、产品）可能共享相同的标签方案。给定两种节点类型，
