【每周CV论文推荐】GAN如何用于目标检测模型提升性能?

2022-11-07 21:40:34 浏览数 (2)

欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。

生成对抗网络诞生至今已经有很多领域中展现出强大的能力,它不仅可以单独用于图像生成、图像翻译等方向,也可以作为一项技术添加到其他方向中,提升模型的性能,本次我们给大家推荐将GAN添加到目标检测模型中用于提升性能值得阅读的一些方向。

作者&编辑 | 言有三

1 特征增强GAN

小目标之所以难以检测,主要原因是目标模糊,特征不够好,Perceptual GAN的基本原理就是通过生成器对小目标的特征进行增强,从而增强其表达能力,使其达到与大目标相当的水平,类似的也有一些其他工作。

文章引用量:700

推荐指数:✦✦✦✦✧

[1] Li J, Liang X, Wei Y, et al. Perceptual generative adversarial networks for small object detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1222-1230.

[2] Noh J, Bae W, Lee W, et al. Better to follow, follow to be better: Towards precise supervision of feature super-resolution for small object detection[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019: 9725-9734.

2 超分辨检测GAN

基于GAN的超分辨框架当前已经非常成熟,因此一种典型的研究思路就是将超分辨机制融入检测模型,增大小目标的尺寸,从而提高小目标召回率。

文章引用量:400

推荐指数:✦✦✦✦✧

[3] Bai Y, Zhang Y, Ding M, et al. Finding tiny faces in the wild with generative adversarial network[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 21-30.

[4] Bai Y, Zhang Y, Ding M, et al. Sod-mtgan: Small object detection via multi-task generative adversarial network[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 206-221.

3 对抗样本生成GAN

遮挡、变形等是在目标检测任务中存在的常见难题,一般解决这些问题的办法是在数据集中涵盖尽可能多的样本,但实际上有很多情况是长尾分布的,我们很难通过采集数据覆盖到,基于GAN的对抗样本生成提供了一个不错的思路。

文章引用量:1000

推荐指数:✦✦✦✦✧

[5] Wang X, Shrivastava A, Gupta A. A-fast-rcnn: Hard positive generation via adversary for object detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 2606-2615.

[6] Chen Y, Song L, Hu Y, et al. Adversarial occlusion-aware face detection[C]//2018 IEEE 9th International Conference on Biometrics Theory, Applications and Systems (BTAS). IEEE, 2018: 1-9.

[7] Song Y, Ma C, Wu X, et al. Vital: Visual tracking via adversarial learning[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 8990-8999.

4 弱监督检测GAN

弱监督目标检测是当下目标检测方向的一个前沿领域,通过图像标签等更加粗粒度的标注信息,可以进一步降低目标检测的标注代价,GAN优良的图像生成能力可以用于在图像中寻找目标进行识别和定位,不过这是一个非常新的方向,仍然有待更多研究。

文章引用量:较新

推荐指数:✦✦✦✦✦

[8] Diba A, Sharma V, Stiefelhagen R, et al. Weakly supervised object discovery by generative adversarial & ranking networks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. 2019: 0-0.

5 如何进行实战

为了帮助大家掌握目标检测相关的理论与实战!我们推出了相关的专栏课程《深度学习之目标检测:理论与实践》,感兴趣可以进一步阅读:

【视频课】CV必学,超30小时,4大模块,4大案例,循序渐进地搞懂目标检测!

总结

本次我们介绍了基于GAN的目标检测的一些方向,由于GAN具有优良的图像生成能力,将其用于目标检测有助于改善特征,增强样本,从事目标检测与GAN相关研究方向的朋友可以通过阅读这些文章进行初步了解。

0 人点赞