深度学习: greedy layer-wise pre-training (逐层贪婪预训练)

2018-09-27 16:15:40 浏览数 (1)

从UFLDL栈式自编码器摘来的话:

每次只训练网络中的一层,即我们首先训练一个只含一个隐藏层的网络,仅当这层网络训练结束之后才开始训练一个有两个隐藏层的网络,以此类推。

在每一步中,我们把已经训练好的前k-1层固定,然后增加第k层(也就是将我们已经训练好的前k-1的输出作为输入)。每一层的训练可以是有监督的(例如,将每一步的分类误差作为目标函数),但更通常使用无监督方法(例如自动编码器)。

这些各层单独训练所得到的权重被用来初始化最终(或者说全部)的深度网络的权重,然后对整个网络进行“微调”(即把所有层放在一起来优化有标签训练集上的训练误差)。

Note

  • 什么Autoencoder啦、RBM啦,现在都已经 没人用了
  • 现在所常说的 pre-training (预训练) ,其实 专指 migration learning (迁移学习),那是一种无比强大又省事儿的trick。

0 人点赞