引言：在机器翻译（Machine Translation）或者自然语言处理（Natural Language Processing）领域，以前都是使用数理统计的方法来进行分析和处理。近些年来，随着 AlphaGo 的兴起，除了在游戏AI领域，深度学习在计算机视觉领域，机器翻译...

编者按：从2018年开始，预训练（pre-train） 毫无疑问成为NLP领域最热的研究方向。借助于BERT和GPT等预训练模型，人类在多个自然语言理解任务中取得了重大突破。然而，在序列到序列的自然语言生成任务中，目前主流预训练模型并没有...

编者按：ICLR 2019 于5月6日至9日在美国新奥尔良举行，本届投稿比去年增长了近60%，共收到1591篇，录取率为31.7%。由微软研究院与蒙特利尔大学 MILA 研究所合作的论文《Ordered Neurons: Integrating Tree Structures into R...

BERT通常只训练一个编码器用于自然语言理解，而GPT的语言模型通常是训练一个解码器。如果要将BERT或者GPT用于序列到序列的自然语言生成任务，通常只有分开预训练编码器和解码器，因此编码器-注意力-解码器结构没有被联合训...

从 2018 年开始，预训练（pre-train） 毫无疑问成为 NLP 领域最热的研究方向。

机器翻译和语音识别是最早开展的两项人工智能研究。今天也取得了最显著的商业成果。 早先的机器翻译实际脱胎于电子词典，能力更擅长于词或者短语的翻译。那时候的翻译通常会将一句话打断为一系列的片段，随后通过复杂的...

概括地讲，自然语言处理包括两大任务：自然语言文本理解和自然语言文本生成。自然语言文本理解就是让机器洞悉人们所言之意，自然语言文本生成旨在让机器像人一样表达和说话。文本理解的关键在于对已知文本的上下文表征和建...

导语：本文是北京大学万小军教授在Byte Tech 2019 机器智能前沿论坛上的分享。Byte Tech 2019由中国人工智能学会、字节跳动、清华大学联合主办，清华大学数据科学研究院协办。...

Transformer在2017年由Google在题为《Attention Is All You Need》的论文中提出。Transformer是一个完全基于注意力机制的编解码器模型，它抛弃了之前其它模型引入注意力机制后仍然保留的循环与卷积结构，而采用了自注意...

最近的研究已经证明，生成式预训练对于英语自然语言理解很有效。但该领域的研究基本上都是单语的，主要集中在英语。