目前自然语言处理领域发展的红利都来自于大型的、基于Transformer的语言模型，但这些语言模型的训练成本、推理成本都高到劝退平民炼金术师。

近两年，基于预训练+精调的研究范式，迅速席卷了整个 NLP 领域。这种研究范式被大家普遍认同为是 NLP 研究的革命性范式，在此之前则有“专家系统”、“统计模型”和“神经网络模型”等。...

“炼大模型”已成为人工智能领域的主流研发趋势。从GPT-3的1750亿，到如今悟道2.0的1.75万亿，超大语言模型在 NLP 基准任务中不断刷新SOTA。

周杰伦三词作曲，曹植七步成诗。近年来，约束文本生成任务（在特定前提条件下生成自然语言输出）引起越来越多人的兴趣。

随着时间流逝，NLP在遇到诸多挑战的同时，也被寄予更大期望。人们在使用它的过程中收获很多，也在一直不断的改进完善它。

强化学习一直是过去五年中一些最大的人工智能 (AI) 突破的核心。在围棋、雷神之锤 III 或星际争霸等游戏中，强化学习模型证明它们可以超越人类的表现，并创造出前所未有的独特长期策略。强化学习的部分魔力依赖于定期奖...

今天给大家介绍来自不列颠哥伦比亚大学和阿尔伯塔大学联合发表的一篇文章。该文章系统地评估并优化了基于循环神经网络在低数据环境中的分子生成模型。发现该模型可以从更少的例子中学习到健壮的模型。同时，本文还确定...

OpenAI 的诞生是为了应对实现通用人工智能 (AGI) 的挑战——一种能够做人类能做的任何事情的人工智能。

每个月都会有几千篇的论文在arXiv发布，我们不可能看完所有的文章，但是我们可以从中找到一些趋势：

意图识别是NLP中对话系统的一项基本任务。意图识别（有时也称为意图检测）是使用标签对每个用户话语进行分类的任务，标签来自一组预定义的标签。...