ImageNet预训练的ResNet50s是目前提取图像表示的行业标准。BigTransfer（BiT）论文中分享的模型，即使每个类别只有几个例子，也能获得不错的效果，而且在许多任务中都取得了优于ResNet50s表现。...
深度神经网络模型训练之难众所周知，其中一个重要的现象就是 Internal Covariate Shift. Batch Norm 大法自 2015 年由Google 提出之后，就成为深度学习必备之神器。自 BN 之后， Layer Norm / Weight Norm / Cosine Norm ...
1.前言2.算法2.1 SumTree有效抽样2.2 Memory类2.3 更新方法对比结果
1 梯度下降法（Gradient Descent）1.1 批量梯度下降法（Batch Gradient Descent）1.2 随机梯度下降法（Stochastic Gradient Descent）1.3 mini-batch 梯度下降法（Mini-Batch Gradient Descent）1.4 存在的问题2 ......
Meta Learnig，元学习，就是能够让机器学习如何去学习（Learning to Learning），Meta学习算法能够依据自己表现的反馈信号及时地不断的调整其结构和参数空间, 使得模型能够在新环境中通过累计经验提升表现性能，举个例子就是，机器...
MySQL 8 开始支持使用资源组控制系统CPU资源的分配，将服务器内运行的线程分配给特定组，以便线程根据组可用的资源执行。组属性可以控制其资源，包括VCPU的个数和线程的优先级。DBA可以根据不同的工作负载修改这些属性。默...
由于在公众号上文本字数太长可能会影响阅读体验，因此过于长的文章，我会使用"[L1]"来进行分段。这个系列将主要借鉴《Tensorflow实战Google学习框架》这本书，主要介绍实现语言模型的一些前期准备，后期会出更详细的文章。...
本文在调参记录6的基础上，继续调整超参数，测试Adaptively Parametric ReLU（APReLU）激活函数在Cifar10图像集上的效果。
Spring Batch 作为 Spring 的子项目，是一款基于 Spring 的企业批处理框架。通过它可以构建出健壮的企业批处理应用。Spring Batch 不仅提供了统一的读写接口、丰富的任务处理方式、灵活的事务管理及并发处理，同时还支持...
