文章：Small-Object Detection in Remote Sensing Images with End-to-End Edge-Enhanced GAN and Object Detector Network
摘要：
与大物体相比，遥感图像中的小物体检测性能并不理想，尤其是在低分辨率和嘈杂的图像中。一种基于生成对抗网络(GAN)的模型，称为增强超分辨率GAN(ESRGAN)，具有出色的图像增强性能，但是重建的图像通常会丢失高频边缘信息。因此，物体检测性能在恢复的噪点和低分辨率遥感影像上显示出小目标物体的退化。受边缘增强GAN(EEGAN)和ESRGAN成功的启发，本研究使用了一种新型的边缘增强超分辨率GAN(EESRGAN）来改善遥感图像的质量，并以端到端的方式使用了不同的探测器网络，将检测器损耗反向传播到EESRGAN中，以提高检测性能。研究人员提出了一种包含三个组件的体系结构：ESRGAN，EEN (边缘增强网络)和检测网络。对于ESRGAN和EEN，使用了RRDB(残差密集块)，对于检测器网络，我们使用了更快的基于区域的FRCNN(两阶段检测器）和SSD(一级检测器)。在相关数据集上进行的大量实验表明，该方法具有出色的性能。
研究背景及问题：
遥感图像目标检测在环境监管、监视、军事、国家安全、交通、林业、油气活动监测等领域具有广泛的应用前景，然而，目前的目标检测技术对于包含噪声和低分辨率的遥感图像而言，尤其是对于图像中的小目标，其检测效果并不理想，即使在高分辨率图像上，对小目标的检测性能也远低于对大目标的检测性能。其次，大面积高分辨率影像的成本较大，许多组织正在使用高分辨率的卫星图像来实现其目的，例如当出于监管或交通目的连续监视大区域时，频繁购买高分辨率图像的成本很高，这对于一个经常更新的大区域来说是非常昂贵的。因此，需要一种解决方案来提高低分辨率图像中较小目标的检测精度。
研究贡献：
研究人员提出的体系结构由两部分组成:EESRGAN网络和检测器网络。该方法受到EEGAN和ESRGAN网络的启发，研究人员采用了一个生成子网络、一个鉴别子网络和一个边缘增强子网络作为SR(超分辨率)网络。对于生成器和边缘增强网络，研究人员使用RRDB。这些块包含多层的、连接密集的残差网络，具有良好的图像增强性能。研究中使用相对论鉴别器而不是普通鉴别器。除了GAN损失和鉴别器的损失外，还将Charbonnier损失用于边缘增强网络。最后，使用了不同的检测器从SR图像中检测出小的物体。当将检测损失反向传播到SR网络中时，检测器的作用就像鉴别器，因此提高了SR图像的质量。
数据集：研究人员根据卫星图像(Bing地图)创建了OGST(油气储罐)数据集，该数据集的GSD为30 cm和1.2 m。数据集包含来自加拿大阿尔伯塔省的带标签的油气储罐，研究人员在SR图像上检测到了这些储罐。储罐的检测和计数对于阿尔伯塔省能源监管机构至关重要，以确保安全，高效，有序和环保负责任地开发能源。除了OGST数据集外，研究人员还将方法应用于COWC数据集(Cars Overhead with Context)，以比较不同用例的检测性能。对于两个数据集，该方法均优于独立的最新研究结果。
研究过程：
本文旨在提高遥感图像上小目标的检测性能，作者提出了一种端到端网络结构，其由两个模块组成：基于GAN的SR网络和检测网络，整个网络以端到端的方式进行训练。其中，基于GAN的SR网络有三个组成部分：生成器、鉴别器和EEN。该方法利用端到端训练，将检测损失的梯度从检测板反向传播到生成器中，因此，检测器也像鉴别器一样工作，促使发生器产生与地面真实相似的真实图像。整个网络结构可以分为两部分：由EEN构成的生成器，由DRa和检测器网络构成的鉴别器。
生成器G生成中间超分辨率(ISR)图像，然后在应用EEN网络之后生成最终SR图像。鉴别器区分HR图像和ISR。DRa的倒置梯度反向传播到生成器中，以创建SR图像，从而实现精确的对象检测。边缘信息是从ISR中提取的，而EEN网络会增强这些边缘。然后，将增强的边缘再次添加到ISR减去拉普拉斯算子提取的原始边缘，将得到具有增强边缘的输出SR图像。最后，研究人员使用探测器网络从SR图像中探测物体。
研究中对EEN使用两个不同的损失函数：一个比较SR和地面真实图像之间的差异，另一个比较从ISR和地面真实中提取的边缘之间的差异。研究人员还使用VGG19网络进行特征提取，以用于感知损失。因此，可以生成具有更精确边缘信息的更逼真的图像。
生成器
边缘增强网络
研究结果：
本研究首先进行模型单独训练，通过训练SR网络直到收敛，然后基于SR图像训练检测器网络。再进行端到端训练，也采用了单独的训练作为训练前的初始化权重步骤，然后联合训练SR和目标检测网络，将来自目标检测器的梯度值传递到生成器网络中。在训练过程中，学习率被设置为0.0001，每50 K迭代减半，批次大小设置为5，使用Adam[1]作为优化器，β1 = 0.9，β2 = 0.999，并更新整个架构的权值直到收敛，然后为生成器创建23个残差密集块，为EEN网络创建5个RRDB块。在COWC 数据集的训练过程中，端到端模型训练历时96小时，共200个批次，在测试过程中，使用快速基于区域卷积神经网络的平均推理耗时大约是0.25秒，SSD (Single-Shot MultiBox Detector) 是0.14秒。通过该模型进行小目标检测过程如下图所示。
总结：
本文提出了一种以低分辨率 (Low-Resolution, LR) 卫星图像为输入，以目标检测结果为输出的端到端检测模型。该模型包含SR网络和检测器网络，使用SR系统和检测器的不同组合来比较使用两个不同数据集进行检测的平均精确度 (Average Precision, AP), 实验结果表明，本文所提出的基于快速R-CNN模型的SR网络对卫星图像上的小目标识别具有较好的检测效果。然而，本文还需要在OGST (Oil and Gas Storage Tank) 数据集中添加更多样化的训练数据，以使分类模型在检测油气储罐方面具有更好的鲁棒性。同时还需要探索不同的数据集和技术，以创造更真实的LR图像。总之，本文提出的方法结合了不同的策略，为LR图像上的小目标检测任务提供了更好的解决方案。
备注：作者也是我们「3D视觉从入门到精通」特邀嘉宾：一个超干货的3D视觉学习社区
本文仅做学术分享，如有侵权，请联系删文。
下载1
在「计算机视觉工坊」公众号后台回复：深度学习，即可下载深度学习算法、3D深度学习、深度学习框架、目标检测、GAN等相关内容近30本pdf书籍。
下载2
在「计算机视觉工坊」公众号后台回复：计算机视觉，即可下载计算机视觉相关17本pdf书籍，包含计算机视觉算法、Python视觉实战、Opencv3.0学习等。
下载3
在「计算机视觉工坊」公众号后台回复：SLAM，即可下载独家SLAM相关视频课程，包含视觉SLAM、激光SLAM精品课程。
