最近看到了一篇比较有意思的文章,希望来交流分享一波。最近的自监督学习技术已大大缩小了ImageNet分类的监督学习和无监督学习之间的差距。
最近在知乎上看到这样一个问题:基于对比学习(Contrastive Learning)的文本表示模型为什么能学到语义相似度?
自监督学习(Self-supervised learning)最近获得了很多关注,因为其可以避免对数据集进行大量的标签标注。它可以把自己定义的伪标签当作训练的信号,然后把学习到的表示(representation)用作下游任务里。最近,对比学习被当作自...
今天我们来聊一聊推荐系统中不得不学的Contrastive Learning方法,近年来Contrastive Learning在CV和NLP领域的应用越来越广泛,在推荐系统中当然也不例外。我想大家将对比学习与推荐系统结合主要有以下四个原因:...
目前NLP领域的经验,自监督预训练使用的数据量越大,模型越复杂,那么模型能够吸收的知识越多,对下游任务效果来说越好。这可能是自从Bert出现以来,一再被反复证明。...
假期时我曾看过电影《模仿游戏》,对阿兰·麦席森·图灵的故事产生了浓厚的兴趣。而现在在大学里,无论是在走近数据科学、信息处理基础的课堂上,还是在这几次的专题讲座报告中,我都经常地能够听到图灵的名字。我想,不妨就把...
随着城市化进程的加快和自动技术的最新发展,交通研究逐渐向智能化方向发展,称为智能交通系统(ITS)。人工智能(AI)试图用最少的人工干预来控制系统。智能交通系统与人工智能的结合为21世纪的交通研究提供了有效的解决方案。I...
经典的概率无监督学习通过最大化对数似然 从数据分布 中拟合一组简单的概率分布 。深度无监督学习的最新进展能够显著提高能够拟合数据的分布 的复杂度。这些进展给很多领域带来了一些引人注目的应用,例...
深度神经网络最近在机器学习方面取得了显著的成功,这就对其成功背后的理论原理提出了深刻的问题。例如,这样的深层网络可以计算什么?我们如何训练他们?信息是如何通过它们传播的?为什么他们泛化能力很好?我们怎么能教他们想...
量子计算使用量子系统来处理信息。在最流行的基于门的量子计算框架(Nielsen和Chuang,2002年)中,一种量子算法描述了通过离散变换将个两级系统(称为量子比特)的量子系统的初始状态演化为最终状态的过程。门通常仅作用于少量...