【每周CV论文推荐】基于GAN的图像数据增强有哪些经典论文值得阅读

2022-11-07 21:37:21 浏览数 (1)

欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。

当前基于GAN的二维图像生成领域的发展已经非常成熟,GAN不仅可以用于从零生成图像数据,还可以用于对数据进行增强,不仅是数量上的扩充,还包括数据质量的提升,本次我们给大家推荐一些值得阅读的文章。

作者&编辑 | 言有三

1 数据扩增BAGAN与DAGAN

在深度学习模型训练中,高质量的数据是不可或缺的,而数据的不平衡问题经常存在并且困扰模型的泛化能力。既然GAN可以用于数据生成,那么将其用于少类数据扩充进行数据增强就是典型应用,BAGAN和DAGAN就是代表性的工作。

文章引用量:1000

推荐指数:✦✦✦✦✦

[1] Mariani G, Scheidegger F, Istrate R, et al. Bagan: Data augmentation with balancing gan[J]. arXiv preprint arXiv:1803.09655, 2018.

[2] Antoniou A, Storkey A, Edwards H. Data augmentation generative adversarial networks[J]. arXiv preprint arXiv:1711.04340, 2017.

2 数据仿真SimGAN

这是Apple公司发表的首篇机器学习研究论文,光是这一点就值得我们关注,本工作内容是使用GAN来进行眼球数据增强,使仿真的数据更像真实数据,从而降低真实数据获取的成本。Google也提出了类似用途的工作GazeGAN。

文章引用量:1700

推荐指数:✦✦✦✦✦

[3] Shrivastava A, Pfister T, Tuzel O, et al. Learning from simulated and unsupervised images through adversarial training[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 2107-2116.

[4] Sela M, Xu P, He J, et al. Gazegan-unpaired adversarial image generation for gaze estimation[J]. arXiv preprint arXiv:1711.09767, 2017.

3 单样本数据生成SinGAN

SinGAN是一个非常经典的one-shot多尺度图像生成框架,它可以基于单张图像进行训练,训练后的模型可以生成新的图像,新的图像与训练图像有类似的几何结构与纹理信息,非常适合用于自然图像生成。

文章引用量:500

推荐指数:✦✦✦✦✦

[5] Shaham T R, Dekel T, Michaeli T. Singan: Learning a generative model from a single natural image[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019: 4570-4580.

4 医学领域应用

医学领域是一个典型的缺少数据并且标注成本较高的行业,因此GAN在其中有较多的应用。比如通过基本的数据增强方法和GAN框架联合训练,研究者将其用于肝损伤(liver lesion)医学图像生成,然后用于分类任务。通过输入图像和掩膜监督生成视网膜光学相干断层扫描(retinal optical coherence tomography,OCT)图像,然后用于分割任务。更多的工作请大家自行了解。

文章引用量:2000

推荐指数:✦✦✦✦✦

[6] Frid-Adar M, Diamant I, Klang E, et al. GAN-based synthetic medical image augmentation for increased CNN performance in liver lesion classification[J]. Neurocomputing, 2018, 321: 321-331.

[7] Mahapatra D, Bozorgtabar B, Shao L. Pathological retinal region segmentation from oct images using geometric relation based augmentation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 9611-9620.

5 如何进行实战

为了帮助大家掌握基于GAN的图像与视频生成理论与实战!我们推出了相关的专栏课程《深度学习之图像生成GAN:理论与实践》,感兴趣可以进一步阅读:

【视频课】CV必学,超6小时,2大模块,循序渐进地搞懂GAN图像生成!

总结

本次我们介绍了基于GAN的图像数据增强的一些方法,这是GAN在图像生成领域非常好的业务落地场景,尤其是对于缺少数据的一些特定方向,感兴趣的朋友可以通过阅读这些文章进行初步了解。

0 人点赞