今天写点技术干货来回馈一下我的粉丝们。本来想继续写对比学习（Contrastive Learing）相关类型的文章，以满足我出一本AI前沿技术书籍的梦想，但奈何NIPS2021接收的论文一直未公开，在arxiv上不停地刷，也只翻到了零碎的几篇。于...

如果人工智能比作一块蛋糕，那么蛋糕的大部分是自监督学习，蛋糕上的糖衣是监督学习，蛋糕上的樱桃是强化学习。

从论文标题中可以看出，应该是对4月份丹琦女神发表的新作SimCSE的增强版（Enhance），并且也用到了对比学习来构建正负样本，那么效果是否优于SimCSE呢？...

今天我们来聊一聊在大规模图神经网络上必用的GNN加速算法。GNN在图结构的任务上取得了很好的结果，但由于需要将图加载到内存中，且每层的卷积操作都会遍历全图，对于大规模的图，需要的内存和时间的开销都是不可接受的。...

自监督学习（Self-supervised learning）最近获得了很多关注，因为其可以避免对数据集进行大量的标签标注。它可以把自己定义的伪标签当作训练的信号，然后把学习到的表示（representation）用作下游任务里。最近，对比学习被当作自...

目前NLP领域的经验，自监督预训练使用的数据量越大，模型越复杂，那么模型能够吸收的知识越多，对下游任务效果来说越好。这可能是自从Bert出现以来，一再被反复证明。...

大数据文摘出品 计算机领域的最高奖项图灵奖公布了2021年的得奖者，美国计算机科学家Jack J. Dongarra，表彰他在高性能计算领域的卓越成就。 根据美国计算机协会（ACM）官方介绍，Dongarra的算法和软件推动了高性能计算的发展，...

---- 新智元报道   编辑：David 好困 拉燕  【新智元导读】2021年图灵奖揭晓！高性能计算先驱、超算Top500创始人之一Jack Dongarra获奖，独享100万美元奖金。 20世纪70年代末，一位阿拉贡国家实验室的年轻研究员参与编写...

刚发现上一篇文章是去年6月份写的，转眼间一年过去了，一年多各种事情接踵而至，一直没闲下来写一篇文章。这一个学期也是被疫情整废了，在家里在办公室对着屏幕叨叨了一整个学期，没有现场互动，长期下去真不是个事，希望一切能尽...

2020年，基于自注意力机制的Vision Transformer将用于NLP领域的Transformer模型成功地应用到了CV领域的图像分类上，并在ImageNet数据集上得到88.55%的精度。