作者 | 张鑫 编辑 | 庞超
今天要给大家介绍的是一篇来自清华大学与微软亚研合作的的一篇关于多视图学习新闻推荐系统的论文“Neural News Recommendation with Attentive Multi-View Learning”，论文发表在IJCAI上。现在的社会每天产生的新闻数以万计，每天想要读完这些新闻是不可能的，所以新闻推荐系统对于帮助用户挑选他们感兴趣的新闻就显得格外重要。
一、研究背景
现有的新闻推荐方法通常基于单个新闻信息（例如标题）来学习这些表示，这可能是不够的。在本文中，他们提出了一种神经新闻推荐方法，该方法可以通过利用不同种类的新闻信息来学习用户和新闻的特征表示。
此方法的核心是新闻编码器和用户编码器。在新闻编码器中，提出了一种细心的多视图学习模型(Attentive Multi-view)，通过将标题，正文和主题类别视为新闻的不同视图来学习统一的新闻表示形式。
此外，将单词级别和视图级别的注意力机制(Word-level & View-level)应用于新闻编码器，以选择重要的单词和视图来学习信息性新闻表示。在用户编码器中，基于用户浏览的新闻来学习用户的表示，并应用注意力机制来选择信息性新闻以进行用户表示学习。在真实数据集上进行的大量实验表明，我们的方法可以有效地提高新闻推荐的效果。
二、模型与方法
本文提出了一种NAML的方法，这个方法主要有三个部分组成，一个新闻编码器，利用注意力多视角学习来学习新闻表示，一个用户编码器，来学习他们浏览的新闻的表示，还有一个预测模块。
2.1 新闻编码器
新闻编码器通过新闻的不同部分来学习新闻的表示，比如新闻的类别、标题、内容。
图1. 新闻的两个例子。红色表示新闻标题和内容中重要的词汇。
在新闻编码器中有四个部分。
第一部分是标题编码器，用来学习新闻标题的表示。在这个标题编码器中有三层，第一层是一个word embedding，用来将新闻标题从一个序列转变成一个低维度的向量。第二层是一个卷积神经网络，输出的是上下文的表示。第三层是一个注意力权重网络，不同的文字在同一个新闻标题中往往重要程度也不一样，这样就能学习到不同的权重。
第二部分是内容编码器，用来学习新闻内容的表示，他同样也有三层，和标题编码器一样。
第三部分是一个类别编码器，用来学习新闻类别的表示，第一层是一个类别ID的embedding层，它将新闻类别转变成一个低维的向量表示，第二层是一个dense layer，用来学习隐藏的类别表示。
第四部分是一个新闻编码器注意力池化。
2.2 用户编码器
用户编码器是用来学习用户浏览的新闻表示，在用户编码层中，我们通过一个注意力网络来学习更多的信息来选择重要的新闻。
2.3 预测模块
这一部分用来通过学习来预测用户选择新闻的可能性。
图2. 新闻推荐的NAML方法框架
2.4 模型训练
利用负采样技术进行模型训练，用户浏览过的新闻作为正样本，并随机从未浏览过的新闻中抽取K个作为负样本，每个用户有K 1个训练样本，得到损失函数如下：
三、实验结果
通过和一些基线模型进行比较，发现本文提出的NAML方法在这些指标都有很好的表现。
图3. 不同方法上的实验结果
通过和单视图比较，发现本文的多视图方法存在明显优势，和各个注意力方法的对比，发现综合的注意力方法效果更好。
图4. 在作者的方法中，多视图学习框架和注意力网络的有效性
四、总结
在本文中，提出了一种基于注意多视图学习的神经网络新闻推荐方法。本文的方法是一个新闻编码器和一个用户编码器。在新闻编码器，我们提出了一个多视图学习框架，通过合并标题来学习统一的新闻表达方式，，主体和类别是新闻的不同观点。本文还将注意机制应用到新闻编码器中，对重要信息进行选择，用于学习信息新闻表述的词汇和观点。在用户编码器中，本文学习用户的表示，从他们浏览的新闻，并应用一个新闻注意网络，为学习用户表示选择重要的新闻。在真实世界数据集上的广泛实验显示，本文的方法可以提高新闻推荐的性能，并优于许多基准方法。
参考文献
Wu, Chuhan & Wu, Fangzhao & An, Mingxiao & Xie, Xing & Huang, Yongfeng. (2019).
Neural News Recommendation with Attentive Multi-View Learning.
10.24963/ijcai.2019/536.
