现阶段在NLP领域解决few-shot learning最火的方法就是prompt了。Prompt通过设计特定任务的具体模板，以及如何将预测结果映射到对应label，基于预训练语言模型给出预测结果。即使样本量很少，甚至没有样本，也能取得比较好的...

NLP预训练模型需要非常大的参数量以及非常多的语料信息，这些都是希望能尽可能多的记住文本中的知识，以此提升下游任务效果。相比而言，直接从数据库、知识图谱、搜索引擎等引入外部知识进行知识增强，是一种更直接、节省资...

在CV领域，研究者发现，通过对原始输入图片进行某些微小的扰动，扰动前后的图片人来看其实是没有差别的，但是输入到训练好的深度学习模型中，模型预测的结果会和原始样本的预测结果产生较大的差别。这表明这些深度学习模型容易...

Transformer诞生于NLP领域，目前已经成为NLP中的主力模型。同时，Transformer在CV领域也逐渐显示出其超强的能力，诸如ViT、Swin Transformer、BEiT等Vision Transformer模型验证了Transformer同样适用于图像领域。然而，Tran...

最近谷歌提出了最新多模态预训练方法CoCa，在图像分类、图文检索、看图说话、VQA等多个任务都取得了SOTA效果。CoCa可以说融合了历史图像模型、多模态模型训练范式为一体，融合了多种训练范式的优点，具有非常广泛的适用场...

最近在看ACL 2022论文的时候，发现了一篇很有意思的文章：CLIP Models are Few-shot Learners。这个文章标题马上让人联想起GPT3那篇文章Language Models are Few-Shot Learners。CLIP自2021年被提出以来一直是多模态领域...

今天给大家介绍ACL 2022的一篇文章bert2BERT: Towards Reusable Pretrained Language Models（ACL 2022），这是一篇研究如何将small-size的预训练语言模型的参数迁移到large-size模型的工作。小模型和大模型相比，每层的参数...

Multilingual是NLP中的研究热点之一，其中的一个研究方向是如何构建多语言预训练语言模型，实现不同语言的在隐空间的对齐，一个模型支持多语种的NLP任务，同时利用数据丰富的语言提升数据较少的语言效果。这篇文章就为大家整...

https://github.com/PaddlePaddle/PaddleNLP/blob/develop/model_zoo/ernie-3.0/deploy/python/README.md

Prompt是当下NLP领域研究的热点之一，在ACL 2022中有很多prompt相关的工作。最近梳理了5篇ACL 2022中prompt的代表性工作，主要研究点集中在如何通过预训练或迁移学习生成更好的prompt，以及prompt在小样本学习、翻译、图文...