整篇论文超过40页，从发展历史、最新突破和未来研究三个方向，完整地梳理了大规模预训练模型（PTM）的前世今生。

提问：大家在做NLP 任务的时候，有没有遇到解析文本中时间的问题呢？比如，对着智能音箱说：

预训练的视觉语言BERT的目标是学习结合两种模态的表征。在本文中，作者提出了一种基于跨模态输入消融诊断方法（cross-modal input ablation） 来评估这些模型实际上整合跨模态信息的程度。...

随着智能音箱走进千家万户，基于人工智能的产品与服务切实地来到了我们的身边。我们对智能音箱说话，问天气，定闹钟，听音乐，交流是如此的自然，这就是人工智能给我们带来的便利。...

在2017年，Transformer模型由论文《Attention is all you need》提出，最开始被应用于机器翻译任务上并取得了很好的效果。它摒弃了传统LSTM的串行结构，使用了基于Self Attention的模型结构，具有更好的并行计算能力，这使得它...

德国 Aleph Alpha 已经构建了世界上最强大的 AI 语言模型之一。它不仅能说流利的英语，还可以说德语、法语、西班牙语和意大利语。

近日，清华大学自然语言处理实验室（THUNLP）研发的文本对抗攻击工具包 OpenAttack 继相关论文在 ACL-IJCNLP 2021 Demo 发表后迎来大版本更新，不但重构了大量代码，完善了文档，更新增了多语言支持、多进程处理等重要功能。欢迎...

在回答自然语言文本的查询方面，神经模型已经显示出了较大的性能提升。然而，现有的工作无法支持数据库查询，如 「计算所有出生于 20 世纪的女运动员」，这就需要用连接、过滤和聚合等运算对相关事实集进行推理。...

随着视觉和文本表示联合建模的进展，视觉语言预训练(VLP)在许多多模态下游任务上取得了非常好的性能。然而，对包括图像描述和区域标签在内的标注信息，限制了这一方向的进一步方法。此外。随着引入多个数据集特定的目标，预...

近日，以《新技术，助力“清朗”、“净网”行动》为主题的虎博思享会，于虎博科技总部举办。活动汇聚了来自上海市信息安全测评认证中心、虎扑社区、宽带山社区、樊登读书的内容安全专家、负责人，共同围绕技术与内容生态的平...