生成对话的主题与个性化——【AAAI 2018】《Emotional Chatting Machine》

2021-09-10 11:28:56 浏览数 (1)

情绪的感知与表达能力在对话领域中起到了至关重要的作用。Emotional Chatting Machine (ECM) 模型,将情绪信息引入到对话生成模型中,提升了对话中对情绪的表达能力并且使得生成的对话更为恰当,下图为本模型的总体框架:

ECM模型框架如下,可以分为两个大的部分:基于GRU模型结合Attention机制的Encoder-Decoder模型和情感模型。这两个模型密不可分,情感模型的输出是Decoder的输入,同时Decoder的输出也是情感模型的输入,最终Encoder-Decoder和情感模型的输出联合生成最终应答句子:

情感模型主要包括三个部分:情感类别嵌入、内部记忆模型和外部记忆模型:

  • 情感类别嵌入:这个主要是将这个句子的情感类别作为Decoder输入的一部分:

其中是ct​ 基于st−1​ 与 h 的 attention,e(yt−1​)是上一步输出的词语 yt−1​的embedding,ve​是情绪类别的embedding

  • 内部记忆模型

不用被这张图吓到了,这个部分主要完成了两件事:当机器准备生成第 t个应答词,有多大概率使用当前状态的情感状态Me,tI​,并更新下一时刻t 1的情感状态。

论文中使用的gate,可以理解 gtr​成生成第t个词时考虑情感状态的概率,而gtw​则可以理解为更新情感状态的概率:

  • 外部记忆模型:这个在生成应答词的最后使用,内部记忆模型隐式地考虑了生成词时对情感因子的使用,但是最终要生成具体的词语,这就要显式地考虑情感因子。这部分的工作简而言之就是,首先根据当前的隐含情感状态选择情感词并根据当前Decoder输出的隐含状态选择其他非情感词,然后均衡考虑情感词和其他非情感词,生成最终应答词:

输出门 gto​可以理解为应答词 yt​为情感词的概率:

0 人点赞