【论文阅读】Next point-of-interest recommendation with auto-correlation enhanced multi-modal transformer network
Metadata
authors:: Yanjun Qin, Yuchen Fang, Haiyong Luo, Fang Zhao, Chenxing Wang container:: Proceedings of the 45th international ACM SIGIR conference on research and development in information retrieval year:: 2021 DOI:: 10.1145/3477495.3531905 rating:: ⭐⭐⭐⭐ share:: false comment:: 框架为 Transformer，计算序列自相关性，并考虑访问子序列，同时预测 POI 及其类别
前言
2022，SIGIR： Next point-of-interest recommendation with auto-correlation enhanced multi-modal transformer network
问题描述
OverView
之前工作中存在的问题：
- 以往基于 RNN 的方法仅限于短期的连续访问，也就是说，它们几乎没有对时间线上远处的访问之间的隐性联系进行建模。
- 相似子序列在以前的方法中没有被重视。如图所示，绿圈和红圈中出现了相似的访问子序列。
- POI 的类别和位置之间的交互是很重要的，因为下一个位置会受到类别的影响，如上图中用户购物后去了同一个酒吧。然而，现有的绝大多数算法都无法捕捉到 POI 和类别之间的跨模式知识。
论文提出了 auto-correlation enhanced multi-modal Transformer network (AutoMTN) 模型。论文使用 Transformer 来捕获 POI 层面的序列连续关系，同时，为了预测下一个 POI 的类别，论文使用了一个双通道的 Transformer 来同时预测 POI 及其类别。
此外，通过对 Transformer 中的 self-attention 进行修改，以捕获子序列之间的依赖关系。
最后，模型的核心是方向性的跨模式自动相关，它关注不同时间步骤的 POI 和类别序列之间的相互作用，并潜移默化地将子序列的信息从一种模式调整到另一种模式。
AutoMTN
模型架构如下图所示：
Embedding Layer
Auto-Correlation Layer
以往的工作主要是基于递归结构的，这总是忽略了非连续访问你的信息。尽管 self-attention 可以捕获点对点的相互作用，但它并不能提取子序列层面的相关信息。因此，论文通过 auto-correlation 来发现子序列之间的依赖关系，聚合类似的子序列。
Dependencies of Sub-sequences
Time Delay Aggregation
对于 POI 和类别序列的嵌入，其自相关机制可以表述为：
Cross-Model Auto-Correlation Layer
Attention Predictor
实验
Datasets
Results
总结
模型利用自相关关注较长时间的 POI 访问轨迹，并把访问子序列纳入考虑，算是主要的创新点，感觉想法还是挺好的。另外在同时预测 POI 和类别的时候，将两者交叉，从消融实验来看确实是有进步，但重点还是在自相关吧。
参考资料
- [1] Next point-of-interest recommendation with auto-correlation enhanced multi-modal transformer network
