作者 | 汪逢生 编辑 | 龙文韬 校对 | 李仲深
今天给大家介绍的是孟加拉工程技术大学Tanvir Mahmud课题组发表在“IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS”上的一篇文章” CovTANet: A Hybrid Tri-level Attention Based Network for Lesion Segmentation, Diagnosis, and Severit”。控制COVID-19流行病的传播面临的一个巨大的挑战是如何快速准确的诊断。作者在这篇文章中提出了混合网络CovTANet用于COVID-19的早期诊断，病灶分割和严重性预测。通过引入了多阶段优化策略解决了复杂诊断挑战，早期阶段初步优化分割网络，在分割模型编解码阶段引入了 减少语义鸿沟和多尺度特征平行化快速收敛的三级注意力机制的分割网络((TA-SegNe)。实现在通道、空间和像素的三级注意力机制使网络更快更高效概括了嵌入在特征图的上下文信息。通过在大型公开数据集上实验显示模型在三个任务取得了出色的表现，这表明了现阶段COVID-19大流行中该模型的有效性。
一、研究背景
自2019年12月冠状病毒病（COVID-19）爆发以来，由于其传染性极强已严重危害全球医疗体系。尽管逆转录聚合酶链反应（RT-PCR）被认为是对于COVID-19诊断的黄金标准，但这种昂贵的检测试剂盒的不足，加上检测协议的延长和相对较低的灵敏度（60-70%），需要一种足够有效的替代诊断工具。人工智能（AI）辅助诊断模式可以作为一种极其重要的媒介来进行COVID19的自动化诊断和严重程度量化，具有相当的准确性和效率。近年来，人们将胸部X射线摄影和计算机断层扫描的自动筛查作为COVID诊断的重要信息来源之一。然而，由于相对较高的敏感性和增强的三维表现感染可视化，基于CT的筛查是一种比X射线检查更可行的选择。通过成像方式早期检测COVID-19仍然是一项极具挑战性的任务，因为感染区域明显较小、分散且模糊，难以区分。不同受试者之间感染的这些不同异质性特征也使得严重程度预测成为一个极难实现的目标。大量可靠数据集的缺乏进一步增加了这项工作的复杂性。基于深度学习的方法已经被广泛地应用于各种医学成像应用中。比如用于从胸部CT中分割COVID病变，包括FCN、U-Net、UNet 和ResUNet。然而，由于毛玻璃样混浊、胸腔积液和实变等感染的斑片状、弥漫性和散在分布，精确分割COVID病变仍然是一个重大挑战。传统的U-Net及其具有相似编解码结构的变体在对应的U-Net之间的语义差距越来越大。由于多尺度特征的顺序优化策略，编码-解码模块的特征映射在经历消失梯度问题时会出现多个优化问题。此外，在不同尺度下产生的上下文信息并没有正确地收敛到最终重建的分割掩模中导致次优的性能。最近，许多注意机制与传统的分词框架相结合，通过特征空间的重新分布，在收集更多上下文信息方面表现出了非常有前途的性能。本文提出了一种端到端的混合神经网络CovTANet，它能够对COVID病变进行精确的分割，并能准确地诊断和预测病变的严重程度。该方案的复杂网络克服了传统方法的局限性，成为一种有效的解决方案。
二、模型与方法
2.1 数据集
这项研究使用了该领域最大的公开数据集之一“MosMedData:COVID-19的胸部CT扫描相关研究”。该数据集收集自俄罗斯莫斯科的医院，包含部分带有严重性注释的COVID-19相关研究的1110个匿名CT容积。CT容积中的每一个都是从不同的人那里获得的，每个病人有30-46个切片。为了进行诊断和严重程度预测任务，所有CT容积被分为正常、轻度（<25%肺实质）和重度（>25%肺实质）感染。另外，为了验证模型的分割性能，作者使用了“COVID-19 CT肺部和感染分割采集数据集”二级数据集，包含20个CT容积（平均每容积176个切片），收集自19个不同的患者，这些患者的肺部和感染区域由两位放射专家标记。
2.2 三级注意力结构
作者提出了自监督注意力机制如图1叫做三级注意力单元(TAU)，包括通道、空间和像素三个抽象级别的注意力，提高了相关上下文特征的泛化能力。通道注意力(CA)注重于包含更多信息的通道，空间注意力(SA)关注更感兴趣的局部空间区域，像素注意力(PA)分析低层次的像素之间的相关性。
图1.通道、空间和像素注意力机制的结构
每一级都包含着特征校准阶段和普遍化阶段。在特征校准阶段通过恢复过程得到注意力图Ar产生重建特征图Fr.使得特征得到重新分配达到了锐化特征的目的，能够在第二阶段通过去除冗余特征后普遍化的特征得到注意力图A。
图2在得到三级注意力的A后处理得到容积掩膜AT，对输入的特征图进行处理后的结果在于输入特征图进行线性组合获得最终的输出特征图。
图2.三级注意机制的图解
2.3 三级注意力分割网络(TA-SegNet)
作者指出FCN和Unet中的跳连存在语义鸿沟，这阻碍了优化，存在着梯度消失的问题。如下图所示，作者提出的TA-SegNet网络结合了Unet和FCN 编解码的优点和平行的优化多尺度特征减少了语义鸿沟。首先输入图像通过带有卷积的顺序编码阶段，随后是类似于Unet的顺序解码操作。每一层编码器单元生成的输出特征图通过三级注意单元(TAU)机制连接到相应的解码器重建编码单元。为了进一步泛化和细化语境特征，解码特征表征的所有尺度也都要经过注意机制的另一个阶段。然后，为了引入多尺度特征的联合优化，对编码器和解码器模块在不同阶段生成细化的特征映射进行累加。最初，执行相应编码器-解码器层输出的顺序拼接。然后，通过卷积和双线性空间上采样操作生成具有一样维数的特征向量。进行拼接生成融合向量Ffus，进行卷积处理后得到分割掩膜。
图3.TA-SegNet 网络
2.4 区域特征提取模块
由于在感染的早期阶段提取相对小和分散的感染斑会造成信息的丢失，作者在图4中将TA-SegNet产生的融合向量Ffus进一步深化建立了特征提取模块(RFex)，在每一个切片级别的融合向量Ffus分开处理产生了有效的区域特征表示Freg，通过几个阶段的包含三级注意力单元的卷积层得到了更加普遍性的特征表示。
图4.区域特征提取模块的表示
2.5 体积特征融合模块
从图5可以看到该模块从每个切片的广义特征表示中累加体积特征和混合特征产生了CT容积的表示特征向量，起到了特征选择的作用。分别用于优化诊断和严重性预测特征。图表示，体积特征拼接产生了全部切片聚合特征向量Fagg，先进行点卷积减少深度，通过空洞卷积获得不同大小的感受野特征，再对特征聚合经过全局池化产生1维特征向量，全连接得到最终的预测。
图5.CT容积特征累加和融合模块
2.6 CovTANet
图6.CovTANet图形化概述
如图6所示，基于注意力机制的三层分割网络(TA-SegNet)提取病变切片分割掩膜和相应CT容积的表征特征，用于病情预测和诊断的联合优化。在联合优化过程中，采用独立的三级注意单元(TAUs)增强诊断特征和严重程度的特征。
三、实验结果
3.1定量分析
由下图可以看出作者提出的TA-SegNet远好于其它模型。该模型集成了Unet的对称编解码策略，并利用了FCN的并行优化优势实现了过高的灵敏度评分，证明了该方法的鲁棒性和模型在感染区域识别方面的增强能力。作者提出的TA-SegNet大大减少了假阳性和假阴性，提高了精度和灵敏度。
图7.在MosMedData上不同网络性能的比较
图8表现了不同模型在Dataset-2上的结果。由于该数据集包含的CT容积中的感染水平通常更高，这使得学习和优化更有利，因此获得了相对较高的分割性能。
图8.在Dataset-2上不同网络性能的比较
3.2定性分析
图9给出了不同网络分割性能的定性表示。作者指出小的感染区域和具有不同解剖形态嵌入胸腔的动脉、静脉，其相似的尺寸提高了假阳性。提出的TA-SegNet能够复杂、分散和扩散的COVID-19病变，这表明作者提出的网络能够正确地分割不同尺度的感染区域。模型几乎不存在假阴性，同时大大减少了假阳性预测，因为它可以区分更清晰的病变细节，并有效地进行感染的早期诊断。
图9.在MosMedData和Dataset-2数据集上不同模型分割结果的可视化
3.3 联合分类性能分析
图10总结了联合诊断预测和严重程度预测任务的性能。
1） 诊断预测性能分析：分别报告COVID19轻、重度病例的诊断性能，以区分早期诊断性能。作者指出在早期诊断阶段CvTANet结合了高度优化的TA-SegNet提取最有效的病变特征以减轻冗余健康部位的影响能CT体积中分离出小的感染斑块。
2） 严重度预测性能分析：在基于肺实质感染量的联合优化过程中，对轻、重度患者也进行了分类。传统的网络直接对整个CT体进行操作，提取有效的特征进行严重程度预测，然而，本文提出的多阶段优化混合CovTANet有效地整合了TA-SegNet中的感染特征，大大简化了联合分类过程中的特征提取过程，提高了分类精度。
图10.在MosMedData上不同网络联合诊断及严重度预测性能比较
四、总结
在这项研究中作者提出了一个多阶段的优化方案与一个混合神经网络(CovTANet）,将一个有效的病灶分割网络整合到一个完整的优化框架中，用于联合诊断和从CT容积预测COVID-19的严重程度。在分割网络(TA-SegNet)中引入三层注意机制和多尺度编码解码特征映射的并行优化提高了病灶分割的性能。此外，因为不强调来自整个CT容积的冗余特征的影响优化后的TASegNet特征的有效整合对于诊断和严重程度预测是非常有益的。结果还表明该联合分类方案不仅在严重感染阶段提供了更好的诊断，而且能够对轻度感染患者进行早期诊断，具有较高的准确性。此外，在严重程度筛查方面取得了相当大的成绩，这将有助于更快的临床反应，从而大大减少可能的损害。然而，考虑到来自不同地理位置的患者，应该进行进一步的研究，以了解这种致命病毒的突变和进化。该方案可作为临床医生通过快速自动化大规模筛查来对抗这种恶性疾病的一个有价值的工具。
参考文献
T. Mahmud et al., "CovTANet: A Hybrid Tri-level Attention Based Network for Lesion Segmentation, Diagnosis, and Severity Prediction of COVID-19 Chest CT Scans," in IEEE Transactions on Industrial Informatics, doi: 10.1109/TII.2020.3048391.
