Softmax Regression模型本质还是一个多分类模型，对Logistic Regression 逻辑回归的拓展。如果将Softmax Regression模型和神经网络隐含层结合起来，可以进一步提升模型的性能，构成包含多个隐含层和最后一个Softmax层的多...

Batch Normalization在2015年被谷歌提出，因为能够加速训练及减少学习率的敏感度而被广泛使用。

版权声明：博主原创文章，微信公众号：素质云笔记,转载请注明来源“素质云博客”，谢谢合作！！ https://blog.csdn.net/sinat_26917383/article/details/54232791...

m: traing examples x: input variables/features y: output variable/targer (x,y): traing example (x(i)x^{(i)},y(i)y ^{(i)}): ith traing example xix_i: ...

网上关于VGG模型的文章有很多，有介绍算法本身的，也有代码实现，但是很多代码只给出了模型的结构实现，并不包含数据准备的部分，这让人很难愉快的将代码迁移自己的任务中。为此，这篇博客接下来围绕着如何使用VGG实现自己的图像...

本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》，这个算法目前已经被大量的应用，最新的文献算法很多...

本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》，这个算法目前已经被大量的应用，最新的文献算法很多...

原文地址：http://blog.csdn.net/hjimce/article/details/50866313

Bactch Normalization通过标准化让激活函数分布在线性区间，结果就是加大了梯度，让模型更大胆的进行梯度下降。

下面附上一张 pack_padded_sequence 原理图（其实只是将三维的输入去掉PAD的部分搞成了二维的。在RNN前向的时候，根据batch_sizes参数取对应的时间步计算。）...