前言
前段时间在看一些小目标检测的文献综述,看到一种思路是将图片超分重建之后再送到检测网络中进行检测。
优点是检测效果提升,缺点是可能会造成伪影。
实践出真知,本篇就用DOTA-test数据集中的一张图像来做测试,探究超分重建是否对小目标检测起到帮助。
超分模型
本次实验选用的是之前使用过的Real-ESRGAN,作者提供了一个方便快捷的工具包,可以用命令行的方式快速进行图像/视频的超分转换。
下面这两张图是上篇博文用到的大图局部。
转换之前:
转换之后:
可以看到图像的清晰度提升了不少,不过由于该模型的预训练权重作者主要是在动漫图上进行训练,因此重建出的结果会一些动漫风格。
结果对比
由于重建出的图片默认会是原图的4倍大小,为了对比的公平性,将重建之后的原图用线性插值方式(PS自动调节),重设为原图尺寸。
然后分别输入YOLOv5网络中,利用之前训练好的YOLOv5L模型进行检测,其结果如下图所示:
重建前:
重建后:
从这组对比可以发现,重建之后确实检测出了更多图像。
下面再换一块区域,进行对比:
重建前:
重建后:
从这组对比可以看到,重建之后,模型检测出了原本没检测到的面包车(蓝色框),但与此同时,也丢失了部分原本检测出的对象。
总结
超分重建相当于是对图像进行了优化,微调了整体的光照色彩,减少了噪点。但这并不代表一定能优化目标的检测,最多是从另一个视角进行再次检测,效果变好变坏都有可能。