最新 最热

引入特征空间,显著降低计算量:双边局部注意力ViT性能媲美全局注意力

机器之心专栏 作者:马昊宇 在这项研究中,来自百度研究院和香港大学的研究者重新思考了局部自注意力机制,提出了特征空间局部注意力(feature-space local attention或简称FSLA)。 Vision Transformer 舍弃了 ConvNet 先验...

2022-04-28
1

举行元宇宙时装周 是一场荒谬还是潮流?

虚拟游戏平台Decentraland于2022年3月24日至27日举行首个元宇宙时装周,品牌接连入驻元宇宙时装周,争着赶上这最火热的时髦浪潮。

2022-04-27
1

ICLR 2022 | 无需训练!As-ViT:自动扩展视觉Transformer

当前 Vision Transformers (ViT)领域有两个主要的痛点:1、缺少对 ViT 进行设计和扩展的有效方法;2、训练 ViT 的计算成本比卷积网络要大得多。

2022-04-18
1

文献阅读:Should You Mask 15% in Masked Language Modeling?

这篇文章算是一篇偏预训练过程的基础研究性质的文章,考察了一下Devlin et al等在bert预训练当中提出提出的mask法则,即mask掉15%的token是否是最优的选择,然后对于mask的内容,80-10-10原则是否真的有效并且可以提供正向的...

2022-04-13
1

无需训练,自动扩展的视觉Transformer来了

机器之心报道 编辑:小舟 来自德克萨斯大学奥斯汀分校、悉尼科技大学和谷歌的研究者提出了一个无需训练就能自动扩展框架 As-ViT,其能以高效和有原则的方式自动发现和扩展 ViT。 当前 Vision Transformers (ViT)领域有两个...

2022-04-11
1

无需训练,自动扩展的视觉Transformer来了

点击上方↑↑↑“OpenCV学堂”关注我来源:公众号 机器之心 授权 来自德克萨斯大学奥斯汀分校、悉尼科技大学和谷歌的研究者提出了一个无需训练就能自动扩展框架 As-ViT,其能以高效和有原则的方式自动发现和扩展 ViT。...

2022-04-11
1

Facebook AI&牛津提出带“轨迹注意力”的Video Transformer,在视频动作识别任务中性能SOTA!

在视频Transformer中,时间维度通常与两个空间维度(W和H)的处理方式相同。然而,在对象或摄影机可以移动的场景中,在第t帧中的一个位置处的物体可能与在第t+k帧中的该位置的内容完全无关。因此,应该对这些时间相关性对应进行...

2022-03-30
1

k8s install dashboard创建账户token(docker for windows)

docker for win10开启 k8s[k8s1.PNG]kubectl get service -n1.下载所需yaml文件安装dashboard(可以直接下载文件)kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboa...

2022-03-29
1

王理团队开发大规模小分子预训练方法“S2DV”用于抗HBV药物研发

近日,由南通大学信息科学技术学院、南通大学智能信息技术研究中心的王理教授为通讯作者在Briefing in Bioinformatics杂志发表了其团队最新研究成果:该作者提出了“S2DV”方法,这是一个用于对小分子药物进行表示学习的方...

2022-03-25
0

​HOG特征也可以作为图像重建的目标!FAIR&JHU提出新的one-stage自监督预训练模型MaskFeat!

在本文中,作者提出了用于视频模型自监督预训练的掩蔽特征预测(Masked Feature Prediction,MaskFeat)。本文的方法首先随机掩蔽输入序列的一部分,然后预测掩蔽区域的特征。...

2022-03-11
0