「自然语言处理(NLP)论文推送」（微信AI团队论文分享，附下载链接）808

喜欢我们，点击上方AINLPer，关注一下，极品干货即刻送达！

引言

本次给大家分享的是今年腾讯微信AI团队入选ACL的两篇文章，第一篇文章主要是针对中文诗歌生成的问题，介绍中文现代诗歌生产的修饰控制编码器，该编码器具有隐喻、拟人化等修辞功能。第二篇文章主要是针对递归神经网络RNNs在全局信息建模上的不足，提出了一种全局上下文增强的深度转换架构（美其名曰：GCDT）。其在NER、Chunking上都得到了比较好的结果。

本文概要

First Blood

Double Kill

Aced

Attention

正文开始

First Kill

TILE: Rhetorically Controlled Encoder-Decoder for Modern Chinese Poetry Generation

Contributor : WeChat AI（微信AI团队）

Paper: https://www.aclweb.org/anthology/P19-1192

Code: None

文章摘要

为了将修辞学应用到中文汉语诗歌的生成上，本文提出了一种用于现代汉语诗歌生成的修辞控制编码器。我们的模型依赖于一个连续的潜在变量修辞控制器在编码器中捕获各种修辞模式，然后结合基于修辞的混合物，生成现代汉语诗歌。在隐喻、人格化、自动化的评估方面，我们的模型相比于最先进的基线具有很大的优势，并且人工评估显示，我们的模型生成的诗歌在流畅性、连贯性、意义和修辞美学方面都优于基本方法。

本文三大看点

1、提出的第一个同时使用隐喻和拟人产生现代中国诗歌的作品，并且在提高诗歌美学方面具有很强的优势。

2、提出了一种新颖的隐喻和拟人生成模型。

3、大量的实验表明，我们的模型在自动评估和人工评估方面都优于目前的水平

修辞模型介绍

在介绍模型之前，我们首先形式化生成任务。输入是K个用户提供的关键字

来指定的诗歌主题。期望输出是由n行

组成的一首诗。因为我们采用sequence-to-sequence框架和生成一个逐行诗,这个任务可以扮演一个文本生成,需要重复一行一行的输出，行与行之间具有连贯性且与主题相关，即要考虑到之前

行

和主题关键词

。为了控制修辞模式，修辞标签r可以作为用户的输入，也可以作为基于上下文的自动预测值。因此，诗歌行生成的任务可以形式化如下：

如上所述，将修辞模型融入到诗句中，需要控制修修辞模型的使用方式以及记忆语境主题信息。为此，我们首先提出了两种条件可变的自编码模型来有效地控制什么时候生成修辞格句子，以及使用哪种修辞格模式。第一个模型是手动控制CVAE模型(MCCVAE)。它接收用户的输入信号作为修辞来生成诗歌中的当前句子，用于用户可控制的诗歌生成任务。第二种模型是自动控制CVAE (ACCVAE)，它自动预测什么时候使用合适的修辞形式，并根据上下文信息生成当前的句子。整体的模型架构如下图所示：

针对上图，作者对手动控制CVAE模型(MCCVAE)、自动控制模型CVAE (ACCVAE)、主题记忆组件、修辞控制编码器做了详细的公式推导和介绍，有兴趣的小伙伴可以下载论文看一下。

主要实验结果

机器评估结果对比：

人工评估结果对比：

实际生产效果对比：

Double Kill

TILE: GCDT: A Global Context Enhanced Deep Transition Architecture for Sequence Labeling

Contributor : 北京交通大学&&微信AI团队

Paper: https://arxiv.org/pdf/1906.02437.pdf

Code: None

文章摘要

目前最先进的序列标记系统通常基于递归神经网络(RNNs)家族。然而，RNNs连续隐藏状态之间的浅连接和全局信息建模的不足限制了这些模型的潜在性能。在本文中，我们试图解决这些问题，并因此提出了一个全局上下文增强的深度转换架构，用于序列标记GCDT。我们在句中的每个位置加深状态转换路径，并进一步使用从整个句中学习到的全局表示来分配每个标记。在两个标准序列标记任务上的实验表明，在只给出训练数据和单词嵌入(Glove)的情况下，我们的GCDT在CoNLL03 NER任务上取得了91.96 F1的成绩，在CoNLL2000分块任务上取得了95.43 F1的成绩，在相同的设置下，GCDT的表现优于最佳报告结果。此外，通过利用BERT作为一个额外的资源，我们得到了最好的结果，在NER上的结果是93.47 F1以及在Chunking上的结果为97.30 F1。