Transformer在自然语言处理的几乎所有任务中占据主导地位。近年来，基于Transformer的架构如Vision Transformer(ViT)被引入到计算机视觉领域，并在图像分类、目标检测和图像分割等任务中显示出巨大的前景。...
这篇主要探讨SimCLR，不需要用监督学习(supervision)的方式，采用自监督(self-supervised)的方式使得模型学到很多有用的patterns。众所周知，使用对比学习(修改样本，loss等小trick)就可以显著提高模型的泛化能力，所以我们都...
引言首先感谢：https://github.com/AberHu/Knowledge-Distillation-Zoo
11 月 12 日，一篇由 Facebook AI 研究院完成、何恺明一作的论文《Masked Autoencoders Are Scalable Vision Learners》成为了计算机视觉圈的热门话题。
基本都是毕业论文题目怎样选？系统好不好弄？开题报告怎么写啊？啥也不会怎样办呢？系统运行不会？查重问题呀，要马上交开题报告了等等。
备受关注的论文大奖全部被华人学者包揽。来自麻省理工大学的Tao Chen, Jie Xu, Pulkit Agrawal(导师)拿下最佳论文奖；来自哥伦比亚大学的Huy Ha, 宋舒然(导师)拿下最佳系统论文奖。...
【1】 Speaker and Time-aware Joint Contextual Learning for Dialogue-act Classification in Counselling Conversations标题：说话人和时间感知的联合语境学习在咨询会话中的对话-行为分类链接：https://a......
甚至在业内纷纷追求“大力出奇迹”、“暴力美学”的当下，何恺明还带着一种坚持独立思考的反共识气概。
随着对比学习（Contrastive Learning）在 CV、NLP 等领域大放异彩，其研究热度近年来也逐步走高。在图学习领域，由于图（Graph）数据也存在缺少标签或难以标注的问题，自 2020 年来，研究者们也着力于将对比学习技术应用于图表示学习...
