一篇多达 25 位研究者参与撰写的论文，以最简单的架构仅包含注意力块的两层或更少层的 transformer 模型为基础，对 Transformer 进行逆向研究。

BERT：Pre-trainingof Deep Bidirectional Transformers for Language Understanding

问题：对于每个句子，短句相比于长句，吸收同样的n个词噪音，更可能导致类别标签发生变化。

本篇文章将分享5个很棒但是却不被常被提及的Python库，这些库可以帮你解决各种自然语言处理(NLP)工作。

Doc2Vec 是一种无监督算法，可从可变长度的文本片段（例如句子、段落和文档）中学习嵌入。它最初出现在 Distributed Representations of Sentences and Documents 一文中。...

DeepMind 正在质疑这个理由，并表示给 AI 一个记忆可以帮助与它 25倍大小的模型竞争。

之前看到有同学问，希望看一些偏实践，特别是带源码的那种，安排！今天就手把手带大家完成一个基于领域预训练和对比学习SimCSE的语义检索小系统。...

这是人工智能科学家几十年来一直争论不休的谜题。随着深度神经网络在与语言相关的任务中取得了令人瞩目的进步，关于理解、意识和真正智能的讨论重新成为科学家们关注的热点。...

【1】 TOD-DA: Towards Boosting the Robustness of Task-oriented Dialogue Modeling on Spoken Conversations标题：TOD-DA：提高面向任务的对话建模在口语会话中的健壮性链接：https://arxiv.org/abs......

【1】 Trees in transformers: a theoretical analysis of the Transformer's ability to represent trees标题：Transformer中的树：Transformer表示树能力的理论分析链接：https://arxiv.org/......