在过去的几年里，由于神经机器翻译（NMT）的发展，机器翻译（MT）系统的质量得到了显著提升，打破了世界各地的语言障碍。但 NMT 的成功很大程度上要归功于有监督的训练数据。那么，数据较少甚至没有数据的语言该怎么办呢？多语言 NMT ...
原文标题：Releasing PAWS and PAWS-X: Two New Datasets to Improve Natural Language Understanding Models
在过去的几年里，机器翻译(MT)系统的质量有了巨大的进步，神经机器翻译(NMT)的发展打破了世界各地的语言障碍。
过去几年中，深度学习中的很多技术如计算机视觉、自然语言处理等被应用在很多实际问题中，而且相关成果也表明深度学习能让人们的工作效果比以前更好。...
第十五届全国机器翻译大会(The 15th China Conference on Machine Translation, CCMT 2019)于2019年9月27日至29日在江西南昌举行。本次会议由中国中文信息学会主办，江西师范大学承办。CCMT旨在为国内外机器翻译界同行...
近日，谷歌发布了包含 7 种语言释义对的全新数据集，即：PAWS 与 PAWS-X。BERT 通过该数据集的训练，在释义对问题上的精度实现了约为 3 倍的提升；其它先进的模型也能够利用该数据集将精度提高到 85-90%。谷歌希望这些数据集将...
序列转换方式由基于复杂递归神经网络(RNN)和卷积神经网络(CNN)的编码器和解码器模型主导。表现最佳的模型也只是通过一个注意力机制来连接了编码器和解码器。我们提出一个新的简单网络架构——Transformer。相比表现...
近些年来，注意力机制一直频繁的出现在目之所及的文献或者博文中，可见在nlp中算得上是个相当流行的概念，事实也证明其在nlp领域散发出不小得作用。这几年的顶会paper就能看出这一点。本文深入浅出地介绍了近些年的自然语...
0值初始话：初始化网络的所有权值为0，在反向传播的而过程中由于权重系数都为0导致所有的维度权重相同，此时每一层退化为只有一个神经元。
导读：机器翻译，能够实现多种语言之间的自动翻译，方便人类的沟通和交流，具有重要的研究和应用价值。Transformer是机器翻译领域的一个经典模型，一经问世，便取得了SOTA效果。本文将带领大家一同探秘Transformer，并送上基于飞桨...
