欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。
生成对抗网络诞生至今已经有很多领域中展现出强大的能力,它不仅可以单独用于图像生成、图像翻译等方向,也可以作为一项技术添加到其他方向中,提升模型的性能,本次我们给大家推荐将GAN添加到图像分割模型中用于提升性能值得阅读的一些方向。
作者&编辑 | 言有三
1 基本框架SegGAN与AlphaGAN
对于语义分割任务来说,保持分割目标的轮廓完整性和平滑性往往是必要的,而原始的分割框架有时候可能难以保证这一点,我们可以利用GAN优良的图像生成能力来进行对抗学习,增强分割掩膜的质量。类似的原理也可以迁移到Image Matting问题。
文章引用量:700
推荐指数:✦✦✦✦✧
[1] Luc P, Couprie C, Chintala S, et al. Semantic segmentation using adversarial networks[J]. arXiv preprint arXiv:1611.08408, 2016.
[2] Lutz S, Amplianitis K, Smolic A. Alphagan: Generative adversarial networks for natural image matting[J]. arXiv preprint arXiv:1807.10088, 2018.
2 半监督框架Semi-SegGAN
Semi-SegGAN将对抗机制引入到语义分割模型中,基于判别器的预测结果,提出了一个半监督损失,将其与分类交叉熵损失和对抗损失融合起来,得到了半监督的语义分割框架。半监督图像分割是一个比较重要的学术研究方向,GAN在其中可有一番作为。
文章引用量:300
推荐指数:✦✦✦✦✧
[3] Hung W C, Tsai Y H, Liou Y T, et al. Adversarial learning for semi-supervised semantic segmentation[J]. arXiv preprint arXiv:1802.07934, 2018.
3 遮挡目标分割SeGAN
二维图像中的语义目标经常会被遮挡,有时候我们需要分割出整个的目标所在,这对于很多应用场景是有用的,这不仅是一个分割问题,也是一个对遮挡区域的修复问题,SeGAN就是这样的一个框架,实现遮挡物体分割与补全。
文章引用量:100
推荐指数:✦✦✦✧✧
[4] Ehsani K, Mottaghi R, Farhadi A. Segan: Segmenting and generating the invisible[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 6144-6153.
4 域自适应分割GAN
由于图像分割具有较高的标注成本,而应用场景的变化非常复杂,如自动驾驶场景的各种光照和天气、城市环境,难以完全覆盖,非常考验分割模型在未知域下的泛化能力,另外我们还会经常使用仿真的数据来训练模型,研究具有不同域自适应能力的分割框架非常有意义。一些在特征空间进行对齐[5-6]与直接在输出像素空间进行对齐的框架[7]都被提出过,这是当前GAN用于图像分割领域最值得被关注的方向。
文章引用量:2000
推荐指数:✦✦✦✦✦
[5] Chen Y H, Chen W Y, Chen Y T, et al. No more discrimination: Cross city adaptation of road scene segmenters[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 1992-2001.
[6] Hoffman J, Wang D, Yu F, et al. Fcns in the wild: Pixel-level adversarial and constraint-based adaptation[J]. arXiv preprint arXiv:1612.02649, 2016.
[7] Tsai Y H, Hung W C, Schulter S, et al. Learning to adapt structured output space for semantic segmentation[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 7472-7481.
5 如何进行实战
为了帮助大家掌握基于图像分割相关的理论与实战!我们推出了相关的专栏课程《深度学习之图像分割:理论与实践》,感兴趣可以进一步阅读:
【视频课】CV必学,超10小时,3大模块,4大案例,循序渐进地搞懂图像分割!
总结
本次我们介绍了基于GAN的图像分割的一些方向,由于GAN具有优良的图像生成能力,将其用于图像分割有助于改进分割结果,增强模型的泛化能力,从事分割相关研究方向的朋友可以通过阅读这些文章进行初步了解。