欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。
生成对抗网络是一项非常基础的技术,当前基于GAN的语义图像合成可以用于修改图像中的语义信息,实现图像编辑,是一个非常重要与前沿的研究方向,本次我们给大家推荐初学基于GAN的图像编辑领域中值得阅读的一些方向。
作者&编辑 | 言有三
1 基本条件控制IcGAN
IcGAN是非常早期的图像编辑GAN领域的工作,它将条件GAN的结构进行反转,使用编码器完成从图像到属性向量的学习,从而通过对属性向量的编辑来实现图像编辑。
文章引用量:600
推荐指数:✦✦✦✦✧
[1] Perarnau G, Van De Weijer J, Raducanu B, et al. Invertible conditional gans for image editing[J]. arXiv preprint arXiv:1611.06355, 2016.
2 多域条件控制StarGAN系列
StarGAN v1和StarGAN v2是非常经典的多域图像翻译框架,它通过域标签属性向量,可以自由地实现任意域之间的切换,从而实现图像语义内容的编辑。
文章引用量:3000
推荐指数:✦✦✦✦✦
[2] Choi Y, Choi M, Kim M, et al. Stargan: Unified generative adversarial networks for multi-domain image-to-image translation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 8789-8797.
[3] Choi Y, Uh Y, Yoo J, et al. Stargan v2: Diverse image synthesis for multiple domains[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020: 8188-8197.
3 潜在向量学习StyleGAN
StyleGAN优良的设计使其学习到了一个非常优秀的Latent向量空间,通过将图像反投影回该向量空间,可以实现各类属性的编辑,获得高质量的编辑效果,尤其是在人脸图像领域的研究非常多,以Image2StyleGAN等为代表。
文章引用量:10000
推荐指数:✦✦✦✦✦
[4] Karras T, Laine S, Aila T. A style-based generator architecture for generative adversarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 4401-4410.
[5] Abdal R , Qin Y , Wonka P . Image2StyleGAN: How to Embed Images Into the StyleGAN Latent Space?[J]. IEEE, 2019.
[6] Abdal R, Qin Y, Wonka P. Image2stylegan : How to edit the embedded images?[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020: 8296-8305.
4 语义信息监督MaskGAN
前面介绍的框架要么通过对GAN的Latent空间进行学习,要么基于高层的语义属性作为条件控制,它们都只能编辑高层的语义,如果想要实现非常细粒度的编辑,需要语义级别的控制,MaskGAN就是一个典型的基于语义掩膜来进行编辑的框架,类似的还有经典的交互式编辑框架SPADE等。
文章引用量:3000
推荐指数:✦✦✦✦✦
[7] Lee C H, Liu Z, Wu L, et al. Maskgan: Towards diverse and interactive facial image manipulation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 5549-5558.
[8] Park T, Liu M Y, Wang T C, et al. Semantic image synthesis with spatially-adaptive normalization[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019: 2337-2346.
5 如何进行实战
由于GAN图像编辑与图像生成、图像翻译都有关联,为了帮助大家掌握相关前置知识!我们推出了相关的专栏课程《深度学习之图像生成GAN:理论与实践》,《深度学习之图像翻译GAN:理论与实践》,感兴趣可以进一步阅读:
【视频课】CV必学,超6小时,2大模块,循序渐进地搞懂GAN图像生成!
【视频课】CV必学,超7小时,3大模块,3大案例,掌握图像翻译与风格化GAN核心技术!
总结
本次我们介绍了基于GAN的图像编辑的一些方法,这是GAN当前最前沿的技术方向,本次介绍的工作是该方向的基础内容,感兴趣的朋友可以通过阅读这些文章进行初步了解。