在上一篇自监督学习文章中，我们介绍了基于代理任务 (pretext task) 的自监督学习算法，各类任务均取得了一定的效果，然而并没有相对统一且效果令人满意的自监督学习范式。随着 MoCo 横空出世，视觉自监督领域掀起了一股对比...

机器之心专栏 机器之心编辑部 OPPO 研究院联合上海交通大学提出的新的自蒸馏框架DLB，无需额外的网络架构修改，对标签噪声具有鲁棒性，并可大幅节约训练的空间复杂度，在三个基准数据集的实验中达到了 SOTA 性能。 深度学习...

Source 负责读取数据并写入Channel， Channel 负责存储临时存储数据，起到缓冲的作用，等待Sink读取。 Sink会从Channel拿去数据，并写入目的地（控制台、文件、hdfs、数据库等）...

理论上神经网络能够拟合任意线性函数，其中主要的一个因素是使用了非线性激活函数（因为如果每一层都是线性变换，那有啥用啊，始终能够拟合的都是线性函数啊）。本文主要介绍神经网络中各种常用的激活函数。...

输入标准化在神经网络训练中广泛应用了几十年，在线性模型优化中显示了良好的理论特性。它使用统计数据进行标准化，而这些统计量可以直接从可用的训练数据中计算出来。...

批处理文件，顾名思义，是将一系列命令按一定的顺序集合为一个可执行的文本文件，其扩展名为BAT或者CMD。这些命令统称批处理命令。

对比学习的主要思想就是相似的样本的向量距离要近,不相似的要远.对比学习在有监督/无监督场景下都取得了非常亮眼的成绩,所以是我们炼丹的必备知识.早期的对比学习是只有一个正样本和一个负样本进行对比,最近的训练目...

flink sql 知其所以然（十四）：维表 join 的性能优化之路（上）附源码

今天给大家总结了ACL2021中关于对比学习的论文，一共8篇，每篇都通过一句话进行了核心思想的介绍，希望对大家有所帮助。

这篇文章非常全面细致地介绍了Batch Size的相关问题。结合一些理论知识，通过大量实验，文章探讨了Batch Size的大小对模型性能的影响、如何影响以及如何缩小影响等有关内容。...