整理并翻译自吴恩达深度学习视频： https://mooc.study.163.com/learn/2001281003?tid=2001391036#/learn/content?type=detail&id=2001702118
梯度消失和梯度爆炸
yhat=wLwL−1wL−2...w3w2w1xy^{hat}=w^{L}w^{L-1}w^{L-2}...w^{3}w^{2}w^{1}xyhat=wLwL−1wL−2...w3w2w1x
这里简化了激活函数g(z)g(z)g(z)，g(z)g(z)g(z)是线性函数或者干脆g(z)=zg(z)=zg(z)=z
III表示单位矩阵，WWW表示权重矩阵。
因此W>IW>IW>I时，yhaty^{hat}yhat就以指数级别增长(因为L个w相乘)，对应梯度爆炸。 同理W<IW<IW<I时，yhaty^{hat}yhat就以指数级别降低(因为L个w相乘)，对应梯度消失。
如何解决梯度消失和梯度爆炸
基本的思想即尽量使每个w取接近1的值，即不过分大于1，也不过分小于1.
初始化w时： 采用ReLU即作为激活函数： w[l]w^{[l]}w[l] = np.random.randn(shape) * np.sqrt(2n[l−1])(frac{2}{n^{[l-1]}})(n[l−1]2)
采用tanh作为激活函数： w[l]w^{[l]}w[l] = np.random.randn(shape) * np.sqrt(1n[l−1])(frac{1}{n^{[l-1]}})(n[l−1]1) 这被称为Xavier Initialize。
或者有些论文也会采用： w[l]w^{[l]}w[l] = np.random.randn(shape) * np.sqrt(2n[l−1] n[l])(frac{2}{n^{[l-1]} n^{[l]}})(n[l−1] n[l]2)
