版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

常用的Normalization方法主要有：Batch Normalization（BN，2015年）、Layer Normalization（LN，2016年）、Instance Normalization（IN，2017年）、Group Normalization（GN，2018年）。它们都是从激活函数的输入来考虑......

当我们有一定资源后，当然希望能充分利用起来，所以通常会增加batch size来达到加速训练的效果。但是，有不少实验结果表明增大batch size可能降低收敛率，所以为了解决这一问题有人以下方法可供选择：...

基于梯度下降训练神经网络时，我们将冒网络落入局部极小值的风险，网络在误差平面上停止的位置并非整个平面的最低点。这是因为误差平面不是内凸的，平面可能包含众多不同于全局最小值的局部极小值。此外，尽管在训练数据上，网...

损失函数是深度学习中重要的概念，选择合适的损失函数是系统能够得到理想结果的保证，本文将以pytorch工具为例，介绍这19中损失函数与实现方法。

对于机器学习模型在训练数据集和测试数据集上的表现。如果你改变过实验中的模型结构或者超参数，你也许发现了：当模型在训练数据集上更准确时，它在测试数据集上却不⼀定更准确。这是为什么呢？...

-从上图中可以看出所有执行器都实现了Executor接口，定义了一些通用的操作，Executor的接口定义如下

分享一篇关于实时流式计算的经典文章，这篇文章名为Streaming 101: The world beyond batch

当训练有 C 个类别的分类问题时很有效. 可选参数 weight 必须是一个1维 Tensor, 权重将被分配给各个类别. 对于不平衡的训练集非常有效。

近日，Reddit 上有一个热帖：为什么 PyTorch 和 TensorFlow 一样快 (有时甚至比 TensorFlow 更快)？