夺冠 or 姜子牙？ChatBot帮你搞定：基于话题引导的对话推荐系统

2020-10-27 11:02:48 浏览数 (1)
  • 论文标题：Towards Topic-Guided Conversational Recommender System
  • 论文来源：COLING 2020
  • 论文链接：https://arxiv.org/abs/2010.04125
  • 数据集链接：https://github.com/RUCAIBox/TG-ReDial

对话推荐系统(conversation recommender system, 以下简称CRS)旨在通过交互式的对话给用户推荐高质量的商品。为了搭建一个高质量的CRS，高质量的数据集至关重要。现有的数据集往往存在以下问题：

  1. 没有考虑用户自身的需求，直接就给出推荐，缺乏系统主动引导用户从非推荐场景过渡到推荐的过程；
  2. 没有考虑用户的个性化信息，如喜好的话题、购买过的商品等等。

这些问题导致对话推荐的数据集与实际应用场景存在一定差距，依此构建的CRS也就很难投入实际应用。

为了解决上述问题，本文提出了一个电影领域的对话推荐数据集TG-ReDial (Recommendation through Topic-Guided Dialog)。它包含1万个完整的对话和近13万条语句，加入了话题线索以实现将用户引导至推荐场景这一语义的自然转移，并且采用半自动的方式构建，保留了用户真实的个性化信息（如交互历史，偏好主题），使得人工标注过程更加合理可控。

基于TG-ReDial，本文提出了一个新任务，基于话题引导的对话推荐，并且基于目前最佳的预训练模型给出了相应的解决方法。实验表明了该方法在话题预测、物品推荐和回复生成三个子任务上的有效性。

1

数据集概况

TG-ReDial的统计数据见下表：

TG-ReDial中的每段对话包含了丰富的话题，平均一段对话涉及8次话题转移，提及3部电影，平均语句长度达到19个单词，超出了已有的CRS数据集。

此外，大多数现有的数据集主要关注冷启动场景，缺少历史交互数据，TG-ReDial则提供了用户的profile和丰富的观影历史。

我们从豆瓣上收集了真实的观影记录和电影评论，从中构造出user profile（用户偏好的话题）和用户的历史交互信息；在ConceptNet[1]这样一个知识图谱上找出连接所有电影的话题，作为话题转移序列；从豆瓣语料[2]和电影评论中进行检索并加以人工润色，得到最终的对话。可以看到，用红色和紫色标出的话题引导对话从闲聊自然转移到推荐，充分考虑到用户需求，符合真实的对话推荐场景。

总结一下，TG-ReDial提供了这样几个属性：

  • 对话
  • 话题转移序列
  • user profile（用户偏好的话题）
  • 用户交互序列（观影历史）

文章最后给出了一段中文对话样例供大家参考，看AI如何从考驾照聊到战争片。

2

数据集构建

收集用于推荐的电影

我们从豆瓣上收集了真实的用户观影记录。从网站提供的标签（如电影的类别、导演和主演）和电影评论中提取到的高频关键词这两者中筛选出每部电影的标签，据此将整个观影序列划分成若干个至少拥有一个相同标签的子序列，每个子序列对应一段对话，平均每个用户参与了4到5段对话，根据用户对每部电影的评分来决定该用户是否会接受这部电影。

创建话题序列

所有对话的初始话题都设定为greeting（打招呼），从下一步要推荐的电影选出一个标签作为下一个话题。我们采用深度优先遍历的方式在ConceptNet上找出连接这两个话题的最短路径，重复上述过程将所有要推荐的电影连接起来，连接所有电影的路径就称作话题序列。

此外，为了使得对话与用户偏好相一致，我们采用关键词 模板的方式构造了user profile（用户偏好的话题）。如果当前话题出现在user profile中，就采用这一话题；如果不在，有1/2的概率不采用这一话题，使得对话更加丰富多样。

生成对话

每段对话从闲聊开始，根据话题转移序列逐步转移到最终向用户推荐电影。受到MultiWOZ[3]的启发，我们采用候选驱动的方法，基于开源的豆瓣语料[2]和爬取的电影评论来生成对话。

  • 对于目标之前的话题，我们首先从豆瓣语料中随机检索出20个包含该话题的语句，然后使用一个基于RNN的匹配模型[4]计算相似度，选出和最后一句对话相关性最强的，加以人工润色，作为回复。
  • 对于目标话题，我们需要给出电影的推荐理由。因此我们基于extreme embedding similarity[5]检索出三个最相关的电影评论，人工挑选出一个进行润色，作为回复。

此外，为了保证数据的质量，我们引入了人工检查和Distinct[6]、BLEU[7]这两个评估指标进行筛选。

3

新任务：基于话题引导的对话推荐

基于TG-ReDial这个数据集，本文提出了一个新任务：基于话题引导的对话推荐

给定user profile ，用户交互序列，历史对话和对应的话题序列，要求：

  • 预测下一个话题或者要推荐的电影；
  • 生成关于话题或者是电影推荐理由的正确回复。

这些子任务分别对应话题预测，物品推荐和回复生成。实验时，按照8：1：1的比例随机划分生成训练集、验证集和测试集，对三个子任务进行评估。

推荐

这里的关键是得到一个有效的用户表示用于推荐。本文分别使用BERT[8]和SASRec[9]来编码历史对话和用户交互序列，将得到的嵌入进行拼接送入MLP，得到用户的表示：

由此计算出用户和物品的相似度，得到物品被推荐的概率：

其中，是物品的嵌入。

与其他基线模型相比，本文提出的模型使用了文本和交互序列这两方面的信息，性能显著优于其他模型。

话题预测

本文分别使用三个BERT[8]来对对话，话题和profile进行编码。对于每个BERT，将对应的文本和候选话题进行拼接，来突出话题的语义。和推荐类似，我们通过计算相似度预测出下一个话题：

其中，是话题的嵌入。

可以看出，历史对话和话题序列在话题预测中更为重要。

去掉候选话题后，性能显著下降，验证了加入候选话题的必要性。

回复生成

本文使用了预训练模型GPT-2[10]生成回复：

  • 对于非推荐的情况，我们将下一个话题和历史对话拼接在一起作为输入；
  • 对于推荐的情况，我们将要推荐的电影和历史对话拼接在一起作为输入。

实验中，在PPL，BLEU，Distinct三个自动评测指标的基础上加入了人工评价指标Relevance， Fluency，Informativeness。大多数情况下本文提出的模型是最优的。

4

总结

本文提出了CRS领域的数据集TG-ReDial，基于该数据集，提出了基于话题引导的对话推荐这样一个新任务并给出了解决方法。实验表明，该方法在三个子任务上的效果优于其他基线方法。

TG-ReDial可以用于个性化的闲聊，目标引导的对话和序列化推荐，未来，我们将在TG-ReDial上探索这些任务。此外，我们还将探索解决基于话题引导的对话推荐这一新任务的其他方法。

附：数据集样例

代码语言：javascript复制
conv_id : 10002
messages :
  {'local_id': 1, 'role': 'Recommender', 'content': '你在忙什么呢？'}
  {'local_id': 2, 'role': 'Seeker', 'content': '我最近打算考驾照呢！会开车真的很方便啊！'}
  {'local_id': 3, 'role': 'Recommender', 'content': '单纯会开车还不行，还得学会倒车。'}
  {'local_id': 4, 'role': 'Seeker', 'content': '可别提倒车了，真的是太难了，而且每次要学开车，我就感觉车子下一秒就有可能变成怪物，可能是我恐怖片看多了。'}
  {'local_id': 5, 'role': 'Recommender', 'content': '哈哈，那我觉得你应该多看看英雄题材，克服一下这种恐惧，要不要我给你推荐？'}
  {'local_id': 6, 'role': 'Seeker', 'content': '好啊，有那种关于英雄的战争片推荐吗？'}
  {'local_id': 7, 'role': 'Recommender', 'content': '《细细的红线》可以去看看，上帝保佑那些在战争中失去灵魂的孩子们，这部剧真的很好。'}
  {'local_id': 8, 'role': 'Seeker', 'content': '唉，如果全人类都反战，那当然不会有战争，这部电影听起来真的不错，我会好好看这一部的。还有什么关于二战的片子推荐吗？'}
  {'local_id': 9, 'role': 'Recommender', 'content': '你看过《黑皮书》么？我没想到战争和悬疑融合的这么好，是真的好喜欢。'}
  {'local_id': 10, 'role': 'Seeker', 'content': '可以信任人，但不可信任人性，我听说这部电影很有深意，我看的时候会好好的去参透的。'}
  {'local_id': 11, 'role': 'Recommender', 'content': '没错，是真的很有深意，很有人生意义，我觉得人生中最重要的感情之中，必不可少的感情是一定会有友谊了，人真的是不能没有朋友啊！'}
  {'local_id': 12, 'role': 'Seeker', 'content': '对啊，而且我觉得在军队里的友情是最深厚的。因为大家一切并肩作战，一起经历过生死。'}
  {'local_id': 13, 'role': 'Recommender', 'content': '那我就给你推荐一部战争题材的军队片吧，我觉得《从奴隶到将军》不错，参与战争，首先需要知道为何而战，这部片子真的很有意义，我认为你一定会喜欢的。'}
  {'local_id': 14, 'role': 'Seeker', 'content': '这部我了解过，电影很长，但一气呵成，线索分明，环环相扣，也是非常值得看的。谢谢你推荐这么多，回头聊，再见啦！'}
goal_path : {2: ['Seeker', '谈论', '开车'], 3: ['Rec', '谈论', '倒车'], 4: ['Seeker', '拒绝', '倒车', '谈论', '怪物'], 5: ['Rec', '谈论', '英雄', '请求推荐', '英雄'], 6: ['Seeker', '允许推荐', ['战争', '英雄']], 7: ['Rec', '推荐电影', '细细的红线'], 8: ['Seeker', '反馈', None, '请求推荐', '二战'], 9: ['Rec', '推荐电影', '黑皮书'], 10: ['Seeker', '反馈', None], 11: ['Rec', '谈论', '友谊'], 12: ['Seeker', '谈论', '军队'], 13: ['Rec', '请求推荐', ['战争', '军队'], '推荐电影', '从奴隶到将军'], 14: ['Seeker', '反馈，结束', None]}
mentionMovies : {7: ['1292781', '细细的红线(1998)'], 9: ['1858802', '黑皮书(2006)'], 13: ['1437321', '从奴隶到将军(1979)']}
user_id : 559

参考文献：

[1] Robyn Speer, Joshua Chin, and Catherine Havasi. 2017. Conceptnet 5.5: An open multilingual graph of general knowledge. In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, February 4-9, 2017, San Francisco, California, USA, pages 4444–4451.

[2] Yu Wu, Wei Wu, Chen Xing, Ming Zhou, and Zhoujun Li. 2017. Sequential matching network: A new architecture for multi-turn response selection in retrieval-based chatbots. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, ACL 2017, Vancouver, Canada, July 30 - August 4, Volume 1: Long Papers, pages 496–505.

[3] Pawel Budzianowski, Tsung-Hsien Wen, Bo-Hsiang Tseng, I˜nigo Casanueva, Stefan Ultes, Osman Ramadan, and Milica Gasic. 2018. Multiwoz - A large-scale multi-domain wizard-of-oz dataset for task-oriented dialogue modelling. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, Brussels, Belgium, October 31 - November 4, 2018, pages 5016–5026.

[4] Ryan Lowe, Nissan Pow, Iulian Serban, and Joelle Pineau. 2015. The ubuntu dialogue corpus: A large dataset for research in unstructured multi-turn dialogue systems. In Proceedings of the SIGDIAL 2015 Conference, The 16th Annual Meeting of the Special Interest Group on Discourse and Dialogue, 2-4 September 2015, Prague, Czech Republic, pages 285–294.

[5] Chia-Wei Liu, Ryan Lowe, Iulian Serban, Michael Noseworthy, Laurent Charlin, and Joelle Pineau. 2016a. How NOT to evaluate your dialogue system: An empirical study of unsupervised evaluation metrics for dialogue response generation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, EMNLP 2016, Austin, Texas, USA, November 1-4, 2016, pages 2122–2132.

[6] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. 2016. A diversity-promoting objective function for neural conversation models. In NAACL HLT 2016, The 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, San Diego California, USA, June 12-17, 2016, pages 110–119.

[7] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. 2002. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, July 6-12, 2002, Philadelphia, PA, USA, pages 311–318.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pages 4171–4186.

[9] Wang-Cheng Kang and Julian J. McAuley. 2018. Self-attentive sequential recommendation. In IEEE Interna-tional Conference on Data Mining, ICDM 2018, Singapore, November 17-20, 2018, pages 197–206.

[10] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. 2019. Language models are unsupervised multitask learners. OpenAI Blog, 1(8):9.

NeurIPS 2020论文接收列表已出，欢迎大家投稿让更多的人了解你们的工作~

jqueryui 网站

0 人点赞