【任务型对话】任务型对话中的自然语言生成

2022-10-08 15:51:37 浏览数 (2)

任务型对话系统框架任务型对话系统框架

任务型对话中,一般包含ASR、语义理解、多轮状态追踪、会话策略、自然语言生成(NLG)模块,那么任务型对话中都有哪些生成的方法呢?

基于模板

因为任务型对话中,生成任务有两个作用,1. 向用户传递信息,例如搜索到的机票信息(inform_槽位)等,提供给用户选择。2. 进行用户问询,主要是ontology中定义好的字段,比如常见的订票场景中的出发地、目的地(request_槽位)等。

因此,可以事先针对传递信息、用户问询的槽位,设计好模板,然后实际应用时,将其中的槽位使用对应的值替换即可。例如:

  • Confirm ( name = Hinton , area = center),
  • 模板=确认下您定的酒店是#hotel#,地点是#area#吗?
  • 填充值=确认下您定的酒店是希尔顿,地点是城中心吗?

这个方法,就是需要将所有问询Action和槽位做组合,并且槽位之间可能也有组合,会有可能:

  • 某些情况未覆盖,会导致生成回复出错。
  • 模板拼接各种值,会带来不通顺,导致用户不理解,或者出现语义错误。
  • 如果做了一个领域,迁移到其他领域,还要从头开始写模板。

因此,最近也有一些结合语言模型的能力,来将原始的策略输出生成自然语言,例如这种格式:Confirm ( name = Hinton , area = center)

利用语言模型生成

2020Few-shot Natural Language Generation for Task-Oriented Dialog 代码:https://github.com/pengbaolin/ SC-GPT

出发点是用当前流行的预训练方法去提高生成回复的质量。但是任务导向型的对话往往特别依赖具体的领域,领域之间的差别会导致生成回复之间也会存在巨大的差异。所以需要引入特定的领域信息,文章提出一种few shot方案,只需要少量领域数据微调,具体步骤为

  • 预训练1:首先在大规模的无标注文本上预训练。这一步和GPT-2一致,
  • 预训练2:为了让生成的文本更贴近任务导向型对话的要求,模型还进一步在标注的数据集上预训练。这里的数据来自Schema-Guided Dialogcorpus, MultiWOZ corpus, Frame corpus和Facebook Multilingual Dialog Corpus,这些都是人工标注好的人物对话型数据集,来自各个领域,共计约400K个样本。
  • 微调:最后,只需要在特定领域的少样本数据集下微调即可。

其中关键就是如何将dialog Act编码,其实可以看到她的方式很简单粗暴,直接dialog act作为一个句子输入到模型,作为prompt,然后指导后续的句子生成。

另外,预训练阶段2其实也挺重要的,保证了模型能够学习到对话语料,在做具备一定通用对话的能力,在做领域迁移的时候不会太差。

从上图可以看到,整体训练的数据量还是很小的。

最后看指标,以及生成的case,还是挺靠谱的,整体方法在任务型对话的NLG任务上,应该是够用了(闲聊估计是不太够),本人也在业务中实践也是比较靠谱。

中文GPT模型:预训练一阶段目前已经有中文的gpt2模型,预训练2阶段可能需要中文的对话数据集,目前百度千言开放了一些对话数据集,可以在预训练阶段2用到。微调领域生成一些应该就可以。

https://github.com/Morizeyao/GPT2-Chinese:12层的decoder。

https://github.com/imcaspar/gpt2-ml

Reference

  • Schema-Guided Natural Language Generation
  • TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue
  • A Survey on Dialogue Systems: Recent Advances and New Frontiers
image.pngimage.png

0 人点赞