最新 最热

100层序列推荐模型也能被加速训练!这篇顶会论文带你探索Very Deep RS模型

而今天,AI 科技评论将为大家介绍一篇由中科院先进所、腾讯、华南理工近日合作发表在信息检索领域顶会 SIGIR 2021上的一篇论文,这篇论文发现通过对残差块结构进行微小的修改,序列推荐模型能够使用更深的网络结构以进一步...

2021-07-03
0

迁移学习简介

人类从小就在日常活动中成长和学习。人类通过学习一项任务来获取知识。通过使用相同的知识,我们倾向于解决相关的任务。

2021-07-01
0

ViLBERT:用于视觉和语言任务的预训练与任务无关的视觉语言表征

ViLBERT(Lu et al.2019)代表视觉与语言BERT。听起来确实像是BERT模型的一个版本(Devlin等人,2018年),该模型很快就变成了NLP任务的SOTA,并集成了视觉输入。ViLBERT是用于多模态任务,如视觉问答(VQA)和参考表达式。...

2021-07-01
0

Bioinformatics|利用进化概况、突变耦合和二维迁移学习改进了RNA二级结构和三级碱基配对预测

今天给大家介绍Jaswinder Singh等人在Bioinformatics上发表的文章”Improved RNA secondary structure and tertiary base-pairing prediction using evolutionary profile, mutational coupl...

2021-06-24
0

为什么大型机器学习模型必须缩小 ?

更大的规模不一定更适合机器学习。但是,随着研究人员相互竞争追求最先进的基准,深度学习模型和训练它们的数据集不断扩展。不管它们如何突破,更大的模型都会对预算和环境产生严重的影响。比如 GPT-3,一个在去年夏天推出的...

2021-06-08
0

准确率可提升50%以上,Facebook用迁移学习改进代码自动补全

代码自动补全功能(应用程序预测文本输入中的下一项)已成为消息传递等任务中便捷且广泛使用的工具,也是用于计算机编程所需的集成开发环境(IDE)最重要功能之一。...

2021-06-08
0

数据增强和迁移学习策略解决小数据集化学反应预测问题

今天给大家介绍的是浙江工业大学智能制药研究院的段宏亮教授研究团队发表在《Organic Chemistry Frontiers》上的一篇文章《Data augmentation and transfer learning strategies for reaction prediction in low ch...

2021-06-07
0

CVPR2021全新Backbone | ReXNet在CV全任务以超低FLOPs达到SOTA水平(文末下载论文和源码)

本文主要是针对Representational Bottleneck问题进行的讨论,并提出了一套可以显著改善模型性能的设计原则。本文中作者认为在传统网络的设计的中可能会存在Representational Bottleneck问题,并且该问题会导致模型性能的...

2021-05-28
0

自动写代码指日可待!Facebook迁移学习新突破,代码补全准确率超50%!

代码补全(code AutoCompletion)就是在写代码的时候,IDE能够预测出下一段要写的代码,也是写代码时候选择使用IDE的重要原因。

2021-05-28
0

【综述专栏】一文回顾Transformer 和 预训练模型

在科学研究中,从方法论上来讲,都应“先见森林,再见树木”。当前,人工智能学术研究方兴未艾,技术迅猛发展,可谓万木争荣,日新月异。对于AI从业者来说,在广袤的知识森林中,系统梳理脉络,才能更好地把握趋势。为此,我们精选国内外优...

2021-05-20
0