1 问题
模型训练结果的准确率只有百分之60多,因此需要提升准确率。
2 方法
mnist 数据集有60000张图片作为训练数据,10000张图片作为测试数据。假设现在选择 Batch_Size = 100对模型进行训练。迭代30000次。
- 每个 Epoch 要训练的图片数量:60000(训练集上的所有图像)
- 训练集具有的 Batch 个数:60000 / 100 = 600
- 每个 Epoch 需要完成的 Batch 个数:600
- 每个 Epoch 具有的 Iteration 个数:600(完成一个Batch训练,相当于参数迭代一次)
- 每个 Epoch 中发生模型权重更新的次数:600(一次训练包含正向 反向,反向就是一次权重更新)
- 训练 10 个Epoch后,模型权重更新的次数:10 * 600 = 6000
- 总共完成30000次迭代,相当于完成了个Epoch
不同Epoch的训练,其实用的是同一个训练集的数据。第1个Epoch和第10个Epoch虽然用的都是训练集的图片,但是对模型的权重更新值却是完全不同的。因为不同Epoch的模型处于代价函数空间上的不同位置,模型的训练代越靠后,越接近谷底,其代价越小。
3 结语
一个时期=所有训练样本的一个正向传递和一个反向传递。也即所有的数据进行了一次完整的训练。当数据量十分大的时候,一次性投入训练效果往往会变差,为此需要对数据进行分批次的训练,用epoch进行周期训练达到提升准确率的目的。