前言
在关于训练神经网路的诸多技巧Tricks(完全总结版)这篇文章中，我们大概描述了大部分所有可能在训练神经网络中使用的技巧，这对如何提升神经网络的准确度是很有效的。
然而在实际中，在方法几乎定型的时候，我们往往需要针对自己的任务和自己设计的神经网络进行debug才能达到不错的效果，这也就是一个不断调试不断改进的一个过程。
(炼金何尝不是呢？各种配方温度时间等等的调整)
那么到底如何去Debug呢？
如何Debug
以下的内容部分来自CS231n课程，以及汇总了自己在训练神经网络中遇到的很多问题。
让我们先谈点简单的，如果不考虑debug，采取什么方式可以提升我们的训练精度呢？
吴恩达曾提出了这几点：
- 寻找更多的数据
- 让网络层数更深一些
- 在神经网络中采取一些新的方法
- 训练的时间更长点(更多的迭代次数)
- 改变batch-size
- 尝试使用正则化技术(权重衰减)
- 权衡结果的偏置和方差(bias and variance)
- 使用更多的GPU
以上这些方法和之前的提到的训练神经网络的关于训练神经网路的诸多技巧Tricks(完全总结版)的方法是类似的，是无关乎神经网络本身的通用的方法，而具体细化到自己所在的任务时，我们需要对我们此刻所做的任务进行单独的Debug，来寻找问题所在。
那么我们如何Debug呢？和编写程序类似，神经网络中的超参数相当于我们的代码，而神经网络的输出信息相当于代码执行的结果。
超参数
超参数是训练神经网络必不可少的变量，常见的超参数有：
- 学习速率(如何设置学习率)
- batchsize
- 权重衰减系数
- dropout系数
- 选择适用的优化器
- 是否使用batch-normalization
- 神经网络设计的结构(比如神经网络的层数，卷积的大小等等)
那么如何去调整这些参数呢？当然是通过观察神经网络的输出信息来做出相应的修改了，而观察神经网络输出信息的利器就是可视化。
可视化
观察训练过程中各种参数的变化是非常重要的，首先最重要的当属损失曲线(loss curves)。
上图所示是一个比较“完美”的损失曲线变化图，在训练开始阶段损失值下降幅度很大，说明学习率合适且进行梯度下降过程，在学习到一定阶段后，损失曲线趋于平稳，损失变化没有一开始那么明显。曲线中的毛刺是因为batch-size的关系，batch-size设置越大，毛刺越小，毕竟买个batch-size的数据相当于不同的个体。
上图也是一个正确的损失曲线，虽然看到变化趋势并不是很明显，但仍然可以看出曲线在慢慢下降，这个过程其实是一个fune-turning的阶段。承接于上一幅图的损失曲线，这幅图的损失值已经很小了，虽然毛刺很多，但是总体趋势是对的。
那么什么才是有问题的去曲线呢？借用CS231n中的PPT：
上图中，左上角的图像是显然的学习不到任何东西(可能这样看起来比较困难，可以适当smooth一下)，而第二个则是典型的过拟合现象；第三个是更严重的过拟合；第四个损失值没有趋于平稳，很有可能是没有训练够；第五个经历了比较长的iterate才慢慢收敛，显然是初始化权重太小了，但是也有一种情况，那就是你的数据集中含有不正确的数据(比喻为老鼠屎)，比如猫的数据集中放了两种狗的图像，这样也会导致神经网络花费大量的时间去纠结；而最后一个越学习损失值越大，很有可能是“梯度向上”了。
上图则展示了更多的错误：左上一和二：没有对数据集进行洗牌，也就是每次训练都是采用同一个顺序对数据集进行读取；右上一：训练的过程中突然发现曲线消失了，为什么？因为遇到了nan值(在图中是显示不出来的)，但我们要意识到这个问题，这个问题很有可能是模型设置的缘故；最后一个图显示较小比例的val集设置会导致统计不准确，比较好的val设置比例是0.2。
上图左边的曲线图可以明显看到，一共训练了五次(五条曲线)，但是在训练过程中却发现“很难”收敛，也就是神经网络学地比较困难。为什么呢？原因很简单，很有可能使我们在softmax层之前加入了非线性激活函数(比如RELU)，本来softmax函数希望我们输入负数或者正数(负数输入时Softmax期望输出比较小，而输入正数时softmax其实输出比较大)，但是relu只有0和1，那么输入到softmax会造成信息的丢失，造成学习异常困难。
总结下，如果你认为你的神经网络设计没有明显错误的，但损失曲线显示仍然很奇怪，那么很有可能：
- 损失函数采用的有问题
- 训练的数据的载入方式可能有问题
- 优化器(optimizer)可能有问题
- 一些其他的超参数设置可能有问题
总而言之，损失曲线是观察神经网络是否有问题的一大利器，我们在训练过程中非常有必要去观察我们的损失曲线的变化，越及时越好！
正则化
除了损失函数曲线，准确率曲线也是我们观察的重点，准确率曲线不仅可以观察到我们的神经网络是否往正确方向前进，更主要的是：观察损失和准确率的关系。因为我们在衡量一个任务的时候使用的评价标准(metric)和使用的损失函数往往是不相同的，比较典型的例子是：
图像分割中的IOU评价标准和DICE损失函数。
“Dice” is a a metric for model evaluation equal to intersection(A,B)/(A B). Similar to IoU (IoU = intersection(A,B)/union(A,B)), it is used to assess a quality of image segmentation models. “Accuracy” is not really good for this task. For example, in this competition, you can quite easily get 99.9% accuracy of predicted pixels, but the performance of the models may be not as great as you think. Meanwhile, such metrics as dice or IoU can describe your models reasonably well, therefore they are most often used to asses publicly available models. The implementation of the metric used for score evaluation in this competition takes some time and requires additional post-processing, such as mask splitting. Therefore, it is not so common for quick model evaluation. Also, sometimes “soft dice” (dice with multiplication instead of intersection) is used as a loss function during training of image segmentation models.
当然，还有随机失活和权重衰减两个比较重要的超参数，这两个参数通过观察损失曲线观察是不明显滴，只有通过特定的评价标准曲线，设置好标准再进行比较，才可以判断出是否需要添加dropout或者weight decay。
标准化和批标准化
标准化可能已经是训练神经网络的一个标准流程了，不论是在数据中进行标准化处理还是在网络中添加批标准化层，都是一种标准化的方法(两种使用一种即可)。
但是标准化技术通常只用于分类(以及衍生的一些应用)，但并不适合与那种对输入图像大小比较敏感以及风格迁移生成类的任务，不要问为什么，结果会给你答案..
batch-normalization的好处：https://www.learnopencv.com/batch-normalization-in-deep-networks/
相关讨论：https://www.zhihu.com/question/62599196
而我们也是通过观察准确率和损失值的曲线来判断是否需要加入标准化技术。
