作者 | 汪逢生 编辑 | 戴迟迟 校对 | 李仲深
今天给大家介绍的是阿联酋阿布扎比人工智能研究院范登平教授课题组发表在“IEEE T MED IMAGING”上的一篇文章” Inf-Net: Automatic COVID-19 Lung Infection Segmentation from CT Images”。应对COVID-19的传统医疗策略能力有限，作者提出了一种新的COVID-19肺部感染模型Inf-Net用于自动识别CT胸部切片感染区域，克服了CT图像分割的感染区域特征高变异性、感染和正常组织之间低灰度值对比以及数据匮乏的问题。作者使用平行部分解码器聚合高层次的特征并且产生全局图，用隐式的逆向注意力和显示的边缘注意力建模边界并且增强表示。此外作者创建基于一种随机选择传播策略的半监督分割框架解决了缺失标签的问题，提高了学习能力并且实现了更高的性能。作者通过实验表明Inf-Net优于绝大多数尖端的分割模型并且提高了最先进的水平并且有着良好的使用前景。
一、研究背景
自从2019年12月以来，世界面临着由COVID-19流行病造成的全面健康危机。对于COVID-19的筛选，逆转录聚合酶链反应（RT-PCR）被认为是黄金标准。然而，设备的缺乏和对检测环境的严格要求以及RT-PCR也有较高的假阴性率限制了对可疑受试者的快速准确筛查。放射成像技术如X射线和计算机断层摄像(CT)展示了诊断的有效性。与X射线相比，CT检查由于其优点和对肺部的三维观察而广受青睐。由于可以从CT切片上观察到典型的感染征象，如早期的毛玻璃样混浊（GGO），晚期的肺实变。然而，人工描绘肺部感染是一项繁琐而耗时的工作，而且往往受到个人偏见和临床经验的影响。最近，尽管有人提出用深度学习系统通过放射图像检测感染COVID-19的患者，在临床实践中已经提出了大量的人工智能系统来帮助诊断COVID-19，但是在CT切片中，与感染分割相关的工作却很少。CT切片中COVID-19感染的检测仍然是一项具有挑战性的任务，主要有以下几个问题：1）CT切片中感染的纹理、大小和位置变化很大，对检测具有挑战性。2） 类间方差较小。例如，GGO边界通常具有低对比度和模糊的外观，使得它们难以识别。3） 由于COVID-19的突发事件，很难在短时间内收集到足够的标记数据用于训练深层模型。为了解决上述问题，作者提出了一种新的用于CT切片的COVID-19肺部感染分割深度网络（Inf-Net）。
二、模型与方法
2.1 数据集
作者建立了一个半监督的COVID-19感染分割(COVID-SemiSeg)数据集，包含COVID-19 CT分割数据集里19个病人的100份有标签CT切片和COVID-19 CT收集数据集的1600张无标记图像。在这个工作中，作者收集了一个半监督COVID-19感染分割数据集，充分利用了大规模的无标签CT图像用于数据扩增。
2.2 Inf-Net
作者提出的Inf-Net如下图所示，CT图像首先被送入两个卷积层提取高分辨率和语义薄弱特征。作者增加了一个边缘注意模块显示提高了目标区域边界的表示。然后，低等级的特征f2被送入到三个卷积层提取高层次特征。作者利用一个平行部分解码器(PPD)聚合这些特征并且得到一个全局图Sg用于粗糙的定位肺部感染区域。在Sg的指导下作者将这些特征和f2结合输入到反向注意力(RA)模块。而RA模块是以级联的方式组织，从下图可以看到R4依赖于R5的输出，最终最后一个RA的输出S3输入到一个sigmod激活函数用于肺部感染区域最后的预测。
图1. Inf-Net 模型的架构
边缘的信息能够提供有用的限制有利于分割的特征提取，考虑到低层次的特征保留了一些边缘信息，作者将适度分辨率的低层特征送到边缘注意力模块中显示地学习边缘注意力表示。特征f2送入带有一个滤波器的卷积层产生边缘图，然后，作者计算在产生的边缘图和真值边缘图之间EA模块的非相似性，受限于标准的二值交叉熵损失函数
x,y是像素的坐标 Se是被预测的边缘图，Ge是边缘真值图由真值图Gs使用梯度计算得到。
在编码分支上几个已存在的医学图像分割网络要么全部使用高级别的特征，要么使用低级别的特征。较低级别的特征由于高分辨率的图像需要更多的计算资源，但是对性能提升较少，因此作者提出了用平行部分解码器去聚合高级特征，如图2所示，对于1个CT图像I，利用Res2Net卷积块提取高级别的特征，用平行连接聚合这些特征，最后得到一个全局图Sg，输入到Ra模块中。
图2. 平行部分解码器
在临床中，医生分割肺部感染区域先通过粗略的定位感染区域再准确的标记这些区域。因此，作者设计Inf-Net有两个网络成分，locator和labeler。PPD作为locator产生一个全局map Sg得到粗糙的定位。作者提出的过程性的框架作为labeler。并不是简单聚合各个等级的特征，作者提议在平行的三个高级特征学习反向注意力，进而通过从侧向输出特征去除被估计的感染区域开拓完全的区域和细节，这种方式通过更深层上采样实现的。
如下图作者的RA部分，其中expand操作是将单个channel转变为64个重复的tensor，反转卷积后的64个feature map。
图3. 反向注意力模块
最终将不准确和粗糙的评估精细到准确和完全的预测map。
作者定义的Iou损失函数和二类交叉熵损失为Lseg，
通过引入对三个侧向输出进行上采样和的特征图和真值图Gs之间的损失得到总的损失
2.3 半监督Inf-Net
当前，只有有限数目的带有分割标注的CT图像，因为交互的分割肺部感染区域是困难的并且费时的，作者提出了如下图的半监督学习策略，
图4. 半监督Inf-Net 框架
主要基于一种随机采样策略，用无标签的数据扩大了训练数据集。作者通过为无标签CT图像产生pseudo标签，并将其用于训练模型。作者使用算法1产生pseudo标签并训练Inf-Net模型。
图5. 半监督Inf-Net算法
三、实验结果
3.1 性能评估方法
本文使用了广泛使用的评估方法Dice，Sen，Spec，此外作者也引入了目标检测领域的3种评估方式，结构测量 , 增强对齐测量和平均绝对误差。
结构测量用于测量预测图和真值掩膜的结构相似度，公式为
其中So为目标相似度，Sr为区域相似度。
增强对其相似度用于评估两个2值图的局部和全局相似度，公式如下
φ是增强对齐矩阵，Sp是有阈值的二值掩膜，G是真值map
平均绝对误差用于像素级别的运算，公式如下
3.2 分割结果
分割的量化结果如图6所示，可以看到作者提出的Inf-Net在多个指标上较大幅度的优于U-Net和U-Net 。作者认为是隐式的反转注意力和显示的边缘注意力模型提供了鲁棒性的特征表示的结果。此外，通过引入半监督学习策略，作者进一步将Dice指标提高了5.7%。
图6. 量化结果
此外作者将半监督Inf-Net学到的知识用于多类分割网络中去，如图7所示。
图7. 感染区域指导多类分割
如图8所示，作者提出的半监督模型在GGO分割上实现了较好的结果，对于肺实质分割实现了最好的结果，比如在Dice指标上作者的模型优于最好的模型多类U-net。
图8. 半监督模型的量化结果
其中肺部感染的结果是展示在图9，作者的模型的分割结果是最接近真值，有着更少的误分割组织。相反U-Net展现了一个不令人满意的结果，有大量的误分类部分，U-Net 虽有改善，但效果仍然不理想。作者将这归功于从粗糙到精细的分割策略。
图9. 分割结果的可视化比较
四、总结
在这篇文章中，作者提出了一种COVID-19肺部CT感染分割网络Inf-Net，利用了一个隐式的反向注意力和显示的边缘注意力改善了感染区域的识别，此外，作者提出了一个半监督的解决方案Semi-Inf-Net，解决了高质量有标签数据的缺失问题。并且作者通过实验表明了Inf-Net和Semi-Inf-Net 表现得比最先进的分割模型要好。作者的工作有希望应用于COVID-19的诊断，比如量化感染区域，监管长期的疾病变化和大规模数据处理。由于作者提出的模型能够区分低灰度值对比度下的正常和感染组织，预计用于息肉分割，产品缺陷检测，伪装动物检测等任务。
代码
https://github.com/DengPingFan/Inf-Net
参考文献
D. -P. Fan et al., "Inf-Net: Automatic COVID-19 Lung Infection Segmentation From CT Images," in IEEE Transactions on Medical Imaging, vol. 39, no. 8, pp. 2626-2637, Aug. 2020, doi: 10.1109/TMI.2020.2996645.
