Click-Through Rate Prediction with Multi-Modal Hypergraphs https://dl.acm.org/doi/pdf/10.1145/3459637.3482327 CIKM 2021
- 本文涉及到超图的概念，在此处先做简单解释，超图相对于普通图的区别在于，超图通常由一个三元组来表示G=<V,E,W>，w为权重，V为节点的集合，E为超边的集合。普通图的边只包含两个节点，而超边是包含多个顶点。具体其他内容大家可以参考：https://blog.csdn.net/qq_32797059/article/details/93031052
在后面的“超图生成”小节中也将进行介绍。
- 对于同构图，异构图可以简单理解为同构图是节点和边都只有一种种类的，而异构图是节点和边存在多种种类的，具体可以参考：https://zhuanlan.zhihu.com/p/350900048
总体流程
多模态信息可以更有助于模型对点击率进行预估，本文针对商品中的多模态信息进行建模。流程如下：
- 时序信息挖掘，在用户的历史交互序列中挖掘时序信息，通过不同的embedding方式，结合自注意力机制挖掘长短期依赖；
- 构建用户，商品和多模态属性之间的超图，在超图的基础上学习用户的组感知表征和商品的表征
- 将组感知表征和时序表征融合后得到最终的用户表征，将超图上学习得到的商品表征和原始商品表征结合后得到最终的商品表征。
- 最后通过MLP计算分数。
方法
定义
用U表示用户集合，I表示商品集合，商品包含多模态特性（视觉，语音，文字）。将用户的历史交互行为构成超图
，超边
表示用户u和多个商品i之间的交互，并且边上有权重w。多模态的三元组为
，v，a，x分别表示视觉，语音，文字特征。一个用户组
与一个用户集
相关联，它可以用来表示一个
