欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。
VAE和GAN是两类最具有代表性的生成式模型,其中VAE是典型的显式生成模型,GAN是典型的隐式生成模型,两者的结合又可以产生什么样的火花呢,本次我们来介绍其中值得阅读的文章。
作者&编辑 | 言有三
1 VAE论文
基本的GAN模型大家还是比较熟悉的,而变分自编码器(Variational Auto-Encoder,简称VAE)有许多朋友可能并不熟悉,因此大家还需要先了解其基本原理,阅读原始论文。
文章引用量:22000
推荐指数:✦✦✦✦✦
[1] Kingma D P, Welling M. Auto-encoding variational bayes[J]. arXiv preprint arXiv:1312.6114, 2013.
2 对抗自编码器
Adversarial Autoencoders的核心仍然是利用一个生成器G和一个判别器D进行对抗学习,以区分real data和fake data,但是差别在于这里需要判别真假的data并不是自然图像,而是一个编码向量z,对应的real data和fake data分别由autoencoder中的encoder和一个预定义的随机概率分布生成,最后用于image generation的网络也并非是之前的生成器G,而是autoencoder中的decoder。
文章引用量:2400
推荐指数:✦✦✦✦✦
[2] Makhzani A, Shlens J, Jaitly N, et al. Adversarial autoencoders[J]. arXiv preprint arXiv:1511.05644, 2015.
3 ALI与BiGAN
Adversarially Learned Inference(简称ALI)与Adversarial feature learning(简称BiGAN)类似,GAN中的生成器实现了从Latent向量空间z到图像空间x的转换,ALI和BiGAN模型则添加了图像空间x到Latent向量空间z的转换。判别器不仅需要学习区分生成的样本和真实的样本,还需要区分两个不同的数据和潜在变量联合分布。
文章引用量:3000
推荐指数:✦✦✦✦✦
[3] Dumoulin V, Belghazi I, Poole B, et al. Adversarially Learned Inference[J]. arXiv: Machine Learning, 2016
[4] Donahue J, Krähenbühl P, Darrell T. Adversarial feature learning[J]. arXiv preprint arXiv:1605.09782, 2016.
4 VEEGAN
VEEGAN是一个用于减少GAN模型训练过程中过拟合程度的框架,它通过额外添加的Autoeencoder损失来实现,其损失是一个两个联合分布(真实数据与编码器输出,噪声向量与生成器输出)的KL散度。
文章引用量:500
推荐指数:✦✦✦✦✧
[5] rivastava A, Valkov L, Russell C, et al. Veegan: Reducing mode collapse in gans using implicit variational learning[J]. Advances in neural information processing systems, 2017, 30.
5 AVB
Adversarial variational bayes(简称AVB)采用对抗学习的方式来训练变分自编码器,可以任意的使用复杂的推理模型,能够学习丰富的后验分布,并证明该模型能够为复杂的数据集生成样本。
文章引用量:500
推荐指数:✦✦✦✦✧
[6] Mescheder L, Nowozin S, Geiger A. Adversarial variational bayes: Unifying variational autoencoders and generative adversarial networks[C]//International conference on machine learning. PMLR, 2017: 2391-2400.
6 AGE
ALI包含了编码器,解码器和判别器,但是有研究表明,没有判别器也是可以的,这就是Adversarial Generator-Encoder Networks,可以减少模型的总体参数量,与ALI模型和VAE模型进行了对比,相比于VAE拥有更好的细节,相比于ALI则拥有更精确的重建结果。
文章引用量:100
推荐指数:✦✦✦✦✧
[7] Ulyanov D, Vedaldi A, Lempitsky V, et al. It Takes (Only) Two: Adversarial Generator-Encoder Networks[J]. arXiv: Computer Vision and Pattern Recognition, 2017.
7 如何进行实战
为了帮助大家掌握一些图像生成模型的重要方法,我们推出了相关的专栏课程《深度学习之图像生成GAN:理论实践篇》,可以进一步阅读:
【视频课】CV必学,超6小时,2大模块,循序渐进地搞懂GAN图像生成!
总结
本次我们简单介绍了GAN与VAE结合的一些研究,这是两类非常具有代表性的生成模型,对于从事图像生成相关领域的朋友,是必须掌握的基础内容。