Visual-Language Pretraining（VLP）是多模态领域的核心研究点之一，也是目前的一个热点研究方向。学术界提出了五花八门的VLP模型结构、训练方法方法。这些VLP方法哪种效果最好呢？微软近期发表的一篇论文An Empirical Study...

预训练语言模型是NLP中的核心之一，在pretrain-finetune这一阶段的NLP发展中发挥着举足轻重的作用。预训练语言模型的无监督训练属性，使其非常容易获取海量训练样本，并且训练好的语言模型包含很多语义语法知识，对于下游任...

在NLP中的Prompt方法中，Prompt Engineering是一项基础工作。Prompt Engineering指的是如何针对当前任务生成prompt模板。最基础的prompt构造方法为人工构造，针对目标问题设计合适的文本模板。Prompt模板的构造方式对效...

随着Transformer在NLP领域主流地位的确立，越来越多的工作开始尝试将Transformer应用到CV领域中。CV Transformer的发展主要经历了以下3个阶段；首先是在CNN中引入Attention机制解决CNN模型结构只能提取local信息缺乏考虑...

NLP中，预训练大模型Finetune是一种非常常见的解决问题的范式。利用在海量文本上预训练得到的Bert、GPT等模型，在下游不同任务上分别进行finetune，得到下游任务的模型。然而，这种方式的代价也很大，经常要对所有任务都保存一...

早期的时间序列预测主要模型是诸如ARIMA这样的单序列线性模型。这种模型对每个序列分别进行拟合。在ARIMA的基础上，又提出了引入非线性、引入外部特征等的优化。然而，ARIMA类模型在处理大规模时间序列时效率较低，并且由...

2020年9月24日看到美国MD安德森癌症研究中心梁晗老师实验室发表在Cencer Cell的Next-generation Analytics for Omics Data的评论文章，介绍了其团队基于自然语言和人工智能开发的组学数据分析平台——DrBioRight。...

我第一次接触 Embedding 是在 Word2Vec 时期，那时候还没有 Transformer 和 BERT 。Embedding 给我的印象是，可以将词映射成一个数值向量，而且语义相近的词，在向量空间上具有相似的位置。...

作者：Melissa Heikkilä 翻译：顾伟嵩校对：欧阳锦本文约5800字，建议阅读10+分钟本文详细介绍了大型语言网络的隐私安全问题。大型语言模型是根据从互联网上收集的大量个人数据进行训练的。所以我想知道：它对我有什么影响？对...

有人这样分类目前的人工智能：感知智能、运动智能、认知智能。在这三类智能里面，最复杂的也是人类所特有的认知智能，离不开自然语言处理技术的支持。虽然说自然语言的研究历史虽然还不是很长，但近些年在NLP知名核心企业（谷...