欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。
在对抗生成网络中,目标函数(损失函数)具有非常重要的作用,不同的目标函数决定了网络训练时不同的演化方向。本文将推荐常见的用于生成任务的目标函数设计相关论文。
作者&编辑 | 小米粥
编辑 | 言有三
1. GAN
GAN领域的开山之作,设计了一种新颖且有效的生成模型,扩展了生成模型的范畴。若要深入理解对抗学习、JS散度估计等技术之间的联系,这篇论文不可不读。
文章引用量:4.9w
推荐指数:✦✦✦✦✦
[1] Goodfellow I J, Pouget-Abadie J, Mirza M, et al. Generative Adversarial Networks[J]. arXiv preprint arXiv:1406.2661, 2014.
2. fGAN
fGAN使用抽象度更高的f散度来设计GAN的目标函数,其囊括了KL散度、JS散度等多种距离度量方式,将原始GAN,LSGAN,EBGAN等归纳到统一的框架中。
文章引用量:1000
推荐指数:✦✦✦✦✧
[2] Nowozin S, Cseke B, Tomioka R. f-gan: Training generative neural samplers using variational divergence minimization[J]. Advances in neural information processing systems, 2016, 29.
3. LSGAN
LSGAN设计了一种简洁的目标函数,在一定程度上缓解了GAN梯度消失的问题,降低了训练难度。
文章引用量:3800
推荐指数:✦✦✦✧✧
[3] Mao X, Li Q, Xie H, et al. Least squares generative adversarial networks[C]//Proceedings of the IEEE international conference on computer vision. 2017: 2794-2802
4. WGAN
WGAN是具有里程碑意义的工作,其在目标函数设计上,使用了数学性质更优越的Wasserstein距离进行度量学习,有效提升了训练成功率和生成效果。WGAN的目标函数中具有一个难以解决的Lipschitz限制问题,WGAN-GP通过在目标函数中添加额外的正则项,近似满足了该限制。
文章引用量:1000
推荐指数:✦✦✦✦✦
[4] Arjovsky M, Chintala S, Bottou L. Wasserstein GAN[J]. arXiv preprint arXiv:1701.07875, 2017.
[5] Gulrajani I, Ahmed F, Arjovsky M, et al. Improved Training of Wasserstein GANs[J]. arXiv preprint arXiv:1704.00028, 2017.
5. EBGAN
EBGAN是一种将能量模型应用到GAN上的成功尝试,其中判别器利用编码器、解码器和MSE的组合实现了能量场,总体的目标函数设计参考了物理学中能量最小原理。
文章引用量:1000
推荐指数:✦✦✦✧✧
[6] Zhao J, Mathieu M, LeCun Y. Energy-based generative adversarial network[J]. arXiv preprint arXiv:1609.03126, 2016.
6. Relativistic GAN
Relativistic GAN首先设计了同时接受真/假两类样本作为输入的判别器,从而使模型能进行相对真假的判断,其目标函数的设计对后续诸多GAN的设计具有启发意义。
文章引用量:700
推荐指数:✦✦✦✧✧
[7] Jolicoeur-Martineau A.The relativistic discriminator: a key element missing from standard GAN[J]. arXiv preprint arXiv:1807.00734, 2018.
5 如何进行实战
为了帮助大家掌握基于GAN相关的理论与实战!我们推出了相关的专栏课程《深度学习之图像生成GAN:理论与实践》,《深度学习之图像翻译GAN:理论与实践》,感兴趣可以进一步阅读:
【视频课】CV必学,超6小时,2大模块,循序渐进地搞懂GAN图像生成!
【视频课】CV必学,超7小时,3大模块,3大案例,掌握图像翻译与风格化GAN核心技术!
总结
本次我们介绍了基于GAN的常见的优化目标,这是生成对抗网络中非常基础和核心的内容,大家可以通过阅读这些文章进行初步了解。