批量归一化（BN：Batch Normalization：解决在训练过程中，中间层数据分布发生改变的问题，以防止梯度消失或爆炸、加快训练速度）

机器学习领域有个很重要的假设：独立同分布假设，即假设训练数据和测试数据是满足相同分布的。我们知道：神经网络的训练实际上就是在拟合训练数据的分布。如果不满足独立同分布假设，那么训练得到的模型的泛化能力肯定不好。...

本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》，这个算法目前已经被大量的应用，最新的文献算法很多都...

训练集在训练过程中，loss稳步下降，准确率上升，最后能达到97% 验证集准确率没有升高，一直维持在50%左右（二分类问题，随机概率） 测试集准确率57% 在网上搜索可能打的原因： 1.learning rate太小，陷入局部最优...

如图所示，可以使PC1：10.10.10.10/24；PC2：20.20.20.20/24；PC3：30.30.30.30/24之间可以相互ping通。

mini-batch指的是一个batch的所有样本对应通道组合成一个minibatch，1个nchw的数据有c个mini-batch

在namespace PetShop.OrderProcessor.Program 的代码中：

Dataset之CIFAR-10：CIFAR-10数据集的简介、下载、使用方法之详细攻略

中文文档：http://keras-cn.readthedocs.io/en/latest/ 官方文档：https://keras.io/ 文档主要是以keras2.0。

import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim import torchvision from torchvision import datasets, transfor...