模型训练既要让模型知道该做什么，也要让模型知道不该做什么！目前绝大数的语言模型都是通过标注好的数据进行训练，并希望模型输出结果像标注的正例数据一样好，然而却忽略了负例数据的重要性。因为模型训练仍然需要少量的负...

模型训练既要让模型知道该做什么，也要让模型知道不该做什么！目前绝大数的语言模型都是通过标注好的数据进行训练，并希望模型输出结果像标注的正例数据一样好，然而却忽略了负例数据的重要性。因为模型训练仍然需要少量的负...

引言 一些大的产品公司，都有自己的客户支持。当你打电话/对话完成之后，经常会被问及“你有多大可能将我们推荐给你的朋友或家人?”。产品公司做这样做主要是评估自己的服务或者产品是否满足用户需求，进而及时...

像GPT-3这样的大规模生成语言模型非常适合小样本学习。虽然这些模型能够联合表示许多不同的语言，但它们的训练数据以英语为主，这会限制它们的跨语言泛化。本文在涵盖多种语言的语料库上训练多语言生成语言模型，并研究它...

边界信息是各种中文自然语言处理任务的关键，如分词、词性标注和命名实体识别。之前的研究往往使用高质量的外部词典提供显式的边界信息。然而为保证词典的质量，往往需要大量的人力。为此，在本文使用无监督的统计边界信息...

谷歌在人工智能新产品展示会上宣布了一项伟大的多年新项目：开发一种支持世界上“1000种最常用语言”的单一人工智能语言模型。作为实现该目标的第一步，「目前，Google正在推出一种支持400多种语言训练的AI模型，它被认为是...

对于下游任务，对大型预训练模型进行微调方法已经被广泛应用于多个领域。但是更新大型预训练模型的整个参数集代价高昂。虽然参数高效迁移学习(PETL)技术可以让预训练骨干网络只更新一小部分参数(比如说只更新2%的参数)...

尽管预训练的语言模型(如BERT)在许多任务中都有出色的表现，但是它极易受对抗文本的影响，并且中文的文字具有“多义、字形”特性。为此，「今天分享的这篇文章基于中文特性，提出了RoChBERT框架，该框架通过使用更全面的对抗性...

目前零样本学习主要是基于预训练微调，然而预训练模型微调的主要方法是Prompt和Adaptor。其中基于Prompt的模型微调方法对模板设计依赖度极高。那么，「今天给大家分享的这篇文章抛弃模板设计，采用正则表达式挖掘prompt示...

目前，Transfomer结构可以说是已经成为自然语言处理(NLP)模型的基本元素。随着大型NLP模型的发展趋势，不断增加的内存和计算成本阻碍了它们在低资源设备上的部署。最近研究工作发现结构化异常值是量化性能的关键瓶颈，但目...