放射学中基于影像组学和人工智能预测癌症预后

人工智能（AI）在医学影像诊断中的成功应用使得基于人工智能的癌症成像分析技术开始应用于解决其他更复杂的临床需求。从这个角度出发，我们讨论了基于人工智能利用影像图像解决临床问题的新挑战，如预测多种癌症的预后、预测对各种治疗方式的反应、区分良性治疗混杂因素与进展，肿瘤异常反应的识别以及突变和分子特征的预测等。我们综述了人工智能技术在肿瘤成像中的发展和机遇，重点介绍了基于人工的影像组学方法和基于深度学习的方法，并举例说明了它们在决策支持中的应用。我们还解决了临床应用过程中面临的挑战，包括数据整理和标注、可解释性以及市场监管和报销问题。我们希望通过帮助临床医生理解人工智能的局限性和挑战，以及它作为癌症临床决策支持工具所能提供的机会，为他们揭开影像组学人工智能的神秘面纱。

在过去的十年中，计算能力和内存的急剧增长使得影像图像处理最先进的人工智能（AI）技术得以发展和实现。目前，我们正目睹这一领域的热情日益高涨，尤其是在肿瘤成像领域。尽管计算机方法自20世纪60年代以来已被用于影像学，早期的研究结果并没有获得太多的动力，因为它们依赖于模拟图像采集和有限的计算资源。在20世纪80年代，数字成像方法的出现以及计算体系结构和存储的改进重新引起了人们对这些计算机辅助检测（CAD）技术的兴趣。人工智能在乳腺癌检测中的初步成功为人工智能方法在肿瘤分类和癌症检测等诊断任务中更广泛的应用铺平了道路。在过去的十年中，基于人工智能的诊断工具得到了不断的改进，并且在许多病例中，他们的诊断能力已经被证明与多种不同癌症类型的人类专家相当，甚至超过他们。这一成功使得人工智能方法目前正在不断发展，以帮助解决更复杂的决策任务，如疾病预测、对不同治疗方式反应的预测、治疗相关变化的识别以及发现与预后相关的表型（例如，性别、年龄或种族）和基因型特征的影像学表现。

从这个角度来看，我们专门关注基于人工智能的影像学生物标记物，以预测疾病结果和治疗反应，最终目标是提供个性化管理。我们的目标是让对人工智能方法感兴趣的临床医生掌握当前用于预后预测的新工具、了解这些方法是如何发展的，特别是不同图像类型可用于人工智能的哪种表示法（影像组学或深度学习（DL））。我们讨论了人工智能在影像学中的临床意义，即根据疾病严重程度和预后对患者进行分级，预测治疗反应，识别不利的治疗结果（例如，超进展），从真实的疾病进展中区分混杂反应（例如假进展），非侵入性地预测显著的分子和基因型特征。

首先，我们定义了人工智能成像生物标记物及其用途，并将其与肿瘤学中现有的生物标记物进行对比。然后，我们将重点放在人工智能成像生物标记物的总体框架上，讨论常用方法的技术基础。我们描述了复杂决策任务中常见的人工智能工具，提供了这些人工智能方法如何用于常见癌症类型的示例。最后，我们总结了临床采用这些方法过程中的一些挑战和障碍，并讨论了未来在肿瘤实践中的影响。本文发表在Nature Reviews Clinical Oncology杂志。

曾做过影像组学相关的文章解读，请结合阅读，加深理解，感谢帮转支持：

大话脑影像之二十三：浅谈影像组学

脑肿瘤的影像组学：图像评估、定量特征描述和机器学习方法

基于MRI医学图像的脑肿瘤分级

Radiology：图像生物标志物标准化：基于高通量图像表型的标准化定量影像组学

IEEE Signal Processing Magazine：从手工放射组学特征到深

使用多模态脑部扫描数据的自动脑肿瘤分割

Radiology：脑部MRI影像组学:转移瘤类型预测的应用

神经放射学诊断中的MRI数据分析

AJNR:深度学习在神经放射学的应用

Neuro-Oncology：对脑胶质瘤IDH突变状态进行分类的一种新型的

Neuro-Oncology：深度学习算法全自动评估脑胶质瘤负荷

Lancet Oncology：利用人工神经网络对神经肿瘤学MRI成像进行

Radiology：人工智能系统脑MRI鉴别诊断精度接近神经放射科

深度学习在医学图像分析中的应用

1.基于AI的癌症生物标记物成像

生物标记物是“作为生物正常生理过程、致病过程、或对暴露或干预（包括治疗干预）生物反应的指标测量所定义的一种特征”。根据他们可以告知临床决策的类型，生物标记物可分为几类：在肿瘤学中，生物标记物的应用范围从预防（如癌症易感性或风险的生物标记物）到指导临床决策，其中预后和预测性生物标记物是最具临床相关性的。

预后生物标志物传达与疾病风险相关的信息。在肿瘤学中，预后生物标志物常用于根据肿瘤特征确定癌症患者的风险状况。这一方法使临床医生能够诊断预后不良的患者，这些患者可能在治疗或临床试验过程中进一步恶化。相反，如果预先确定，预后良好的患者可能会在降级治疗中获得良好的结果，从而避免癌症治疗的生理损害和经济损失。目前在肿瘤学中使用的大多数预后生物标记物是依赖于复杂多基因特征的分子分析，如乳腺癌中的肿瘤型DX和MammaPrint 13和前列腺癌中的Decipher。这些基因组分析包括在国家综合癌症网络（NCCN）指南中，并在临床实践中常规使用；然而，它们不易获得，并且需要通过侵入性方法获得肿瘤组织，因此限制了它们在整个治疗过程中连续监测的可用性和适用性。

预测性生物标记物使临床医生能够通过识别将受益于特定治疗药物的患者，做出知情的方法选择。在肿瘤学中，如果生物标志物阳性与阴性患者的治疗效果存在统计学差异，则认为生物标志物具有预测性。例如，在乳腺，胃和食管等癌症中，HER2状态可作为预测HER2靶向治疗（如曲妥珠单抗和培妥单抗）有效性的生物标志物。在非小细胞肺癌（NSCLC）中，EGFR外显子19缺失或外显子21突变的存在可作为EGFR酪氨酸激酶抑制剂（如奥西米替尼或厄洛替尼）治疗资格的生物标志物。除了预后外，肿瘤型DX也是一种预测性生物标记物，在一项前瞻性临床试验中得到验证，以确定早期乳腺癌妇女化疗的益处。

人工智能驱动的计算机视觉和模式识别技术的快速发展促进了人工智能成像生物标志物的出现。这些生物标记物依赖于从影像图像中提取识别性定量表征，以捕获与临床结果相关的肿瘤表型特性。放射学中有两类主要的基于人工智能的生物标记物：基于人工获得的影像学特征和基于深度学习方法获得的深度影像组学特征（表1）。人工智能开发团队（包括计算机科学家、放射科医生和肿瘤学家）通过人工手动提取获得的影像组学预定义了一组表征，这些表征由特定的算法推导的特征组成。然后将这些特征表示输入机器学习（ML）模型，该模型反过来预测结果。一些常用的影像组学方法主要关注肿瘤内部区域的各种属性（如形状或纹理）以及肿瘤微环境（TME；如纹理或肿瘤脉管系统）（表2）。可公开获得的影像组学特征提取工具使研究人员能够应用这些工具获得影像组学特征，而无需自行开发这些工具。在DL（深度学习）方法中，开发团队定义了一个DL神经网络，该网络可以使用大型数据集进行训练，以发现新的表示形式，这些表示形式可以合成以预测特定的结果。这些方法具有各自的优势和劣势，因此需根据不同的情况采用不同的方法（图1）。

表1：基于人工提取特征的影像组学和深度学习预后与预测比较

图1，影像组学中人工智能生物标志物流程图。

基于影像组学和深度学习方法开发人工智能（AI）影像学生物标记物的典型方案及其临床应用。这两种方法都可以应用于癌症预后预测和生物标记物发现，以评估对治疗、预测和放射基因组学的反应。

基于人工智能的预测或预后成像生物标记物比分子分析具有某些优势。考虑到它们是通过常规临床放射学扫描进行评估的，AI启用的成像生物标记物是非侵入性、非组织破坏性、快速分析、易于序列化、易于获得并且与现有的临床工作流程完全兼容的，类似于基于AI的病理学生物标记物，具有非侵入性的优势。此外，它们还能够在整个3D体积上描述肿瘤的特征，避免异质性肿瘤活检样本可能出现的采样错误，并能够检测TME的变化。由于相对于分子检测具有很大的优势，另一类能够反映肿瘤基因型的人工智能生物标记物已经被研究出来，这种方法被称为放射基因组学。预测肿瘤突变状态的放射基因组学方法可能成为替代已建立的分子生物标记物的非侵入性生物标记物，并可应用于常规成像。这种方法类似于循环肿瘤DNA液体活组织检查方法，这种方法被开发为癌症监测的微创工具。这种测试也可以用于连续检测治疗开始后肿瘤主要基因型的变化，这是导致对靶向治疗产生耐药性的原因，并且这不能通过侵入性分子测试进行准确监测。然而，目前，放射基因组学方法有一些局限性，包括包含图像的综合数据集，基因组学和临床信息的整合以及仅限于回顾性研究，因此目前它们仅限于用于理论研究背景。事实上，在临床应用之前，这些技术需要进一步优化和前瞻性验证。

2.基于人工智能的生物标志物的框架

目前有两种主要的人工智能方法用于开发影像学中的人工智能生物标记物：影像组学和深度学习（表1）。这些方法可以单独使用也可以结合使用。

2.1基于人工的影像组学模型

几个影像组学模型已被证明实现有效的结果预测（图2,表2）。这些表示可以转化为预后或预测模型；通常，使用一组特征对ML模型进行训练。这一过程中常见的第一步是特征选择，通过算法将大量特征缩小到最适合特定任务的较小特征子集。特征选择可以用来优化预测性能、降低特征集内的相关性或实现最大化鲁棒性和稳定性。然后将这种简化的特征表示输入统计ML模型（例如，随机森林分类器）以预测临床结果。

表2, 肿瘤中人工手动提取的影像组学特征概述

图2，肿瘤中常用的影像组学特征类型示例。

a, CT检测肝转移病灶的灰度共生矩阵熵;

b, 在钆增强T1加权MRI上发现的胶质母细胞瘤的形状；

c, 使用对比增强MRI测量乳腺组织中对比增强随时间变化的动力学；

d，瘤周影像组学测量非小细胞癌周围肺间质的结构异质性；

e, 对比增强MRI检测乳腺血管系统和肿瘤相关血管网络的形态;

f 2-脱氧-2-18F-氟-d-葡萄糖PET-CT扫描的标准化摄取值增强，显示头颈癌的代谢活动增强。

基于强度的特征

在许多情况下，基于图像强度的值对应于组织的某些潜在生理特性，可以在影像学治疗方法中加以应用。例如，CT扫描得出的衰减值直接对应于组织密度，这些值可用于开发预后生物标志物或肿瘤表型。2-脱氧-218F-氟-d-葡萄糖（FDG）-PET扫描的类似生理测量方法，能够基于代谢放射性示踪剂的正电子发射定量肿瘤代谢活性，在早期预测多种癌症类型和患者治疗的预后方面非常有效。体素强度在肿瘤或其他感兴趣区域的分布可以通过更广泛的统计度量（如标准偏差、偏度或峰度）进一步表征，通常称为一阶统计。

异质性和纹理特征

肿瘤的异质性可以通过使用纹理异质性特征的影像学成像来量化，包括确定感兴趣区域内图像体素强度之间的空间关系。统计学方法，如标准偏差，可以提供成像信号可变性，在整个感兴趣区域（在本例中，是整个肿瘤）都使用。相比之下，纹理特征将体素与其周围环境之间的关系量化为距离和强度的函数。因此，纹理特征可能更适合在成像时检测组织结构的异质性。

放射学上的信号测量通常对应于组织的某些物理或生物特性，因此成像上强度变化较大的空间模式通常反映了组织本身潜在的解剖或生理异质性。例如，强度交互特征通常用于探索相邻体素强度之间的相关模式，例如灰度共生矩阵特征。其他种类的纹理特征包括应用目标图像过滤器来分离可能与患者预后相关的空间模式。例如基于laws’纹理能量测度算法对特定纹理图案（例如斑点和波浪）进行筛选。

形状和体积特征

在治疗过程中测量肿瘤大小是肿瘤学的标准方法，通常使用实体瘤的疗效评估标准（RECIST）进行评估。此方法用来评价纵向成像的患者反应。收集有限数量的2D肿瘤测量值，并在检查之间进行比较，以评估肿瘤是否稳定、进展或有反应。然而，放射科医生之间的RECIST测量值可能存在很大差异，并且该标准不适合某些治疗方案，例如识别免疫治疗后的假性进展或监测转移癌患者对系统治疗的反应。影像组学的形状特征是指表征感兴趣组织形状的任何特征，能够对肿瘤的三维形状和生长进行更复杂的分析，其再现性高于放射学图像的临床评估。前瞻性试验表明，在多种癌症类型的纵向监测中，治疗过程中肿瘤体积或肿瘤体积的变化优于平面RECIST评估。更复杂的形态学测量，如表面体积比和分形维数，提供了肿瘤形状和生长畸变的详细特征。通常，肿瘤形状的复杂性增加与不良预后相关。

瘤周和肿瘤微环境（TME）的影像组学

越来越多的影像组学工作探索了在肿瘤以外的影像组学特征，以表征周围肿瘤微环境。TME影像组学方法通常涉及其他影像组学特征来表征信号特性，如非肿瘤间质内的异质性。瘤周影像组学，提取肿瘤周围组织半径范围内的纹理和统计学特征，已被证明在胸部，肺，大脑，食管，胃泌素和前列腺癌，头颈部鳞状细胞癌（HNSCC）等许多治疗背景下具有预测和预后价值。肿瘤周围区域的分析增加了放射特征对肿瘤内影像组学特征的预测能力。专注于肿瘤相关血管系统的专门肿瘤微环境影像组学方法也显示出越来越大的前景，下文将对此进行讨论。

肿瘤血管影像组学

基于形状的影像组学分析也可用于量化肿瘤相关血管系统的结构异常和肿瘤血管生成的影响。血管迂曲是测量肿瘤相关血管系统异常的一类形状特征，在预测乳腺癌或恶性胶质瘤患者对化疗的反应以及乳腺癌脑转移患者对靶向药物的反应方面显示出了前景。血管迂曲度的测量也被证明能够识别接受免疫检查点抑制剂（ICIs）后可能出现超进展的NSCLC患者。这种非典型反应模式的特点是ICIs后肿瘤生长异常加速，需要立即停止治疗。

2.2深度学习人工智能模型

DL方法基于深度神经网络进行模式识别，模式识别通常包括一系列可训练的非线性操作，称为层，每个层将输入数据转换为便于模式识别的表示。随着越来越多的层对输入数据应用转换，这些数据越来越多地抽象为深层特征表示。由此产生的深层特征最终可以由网络的最后一层转化为所需的输出，例如治疗结果的可能性或肿瘤的分子亚型。深度学习是一个广泛的、技术性的、动态发展的领域。我们简要介绍了基于预测的AI影像学中最常见的主题，并对深层神经网络的类型、常用框架、解决数据局限性的方法进行了更详细的补充讨论。所有这些问题在别的研究中都有综述。

用于预测的卷积神经网络

在放射学中，大多数基于DL的生物标记物应用都使用卷积神经网络从成像数据得出预测（图3a）。卷积神经网络是神经网络的一种特殊形式，用于学习图像的空间特征，并且由于它们在诊断任务中的表现，受到了广泛的关注。在几项引人注目的研究中，基于CNN的模型在诊断胸片和CT以及数字乳房X光摄影方面甚至超过了专业的人类专家。正如CNN已被证明能够学习指示恶性肿瘤的图像特征一样，越来越多的研究表明，它们可以根据与预后、风险和分子特征相关的肿瘤性质的细微差异对患者进行分型（图3a）。当使用患者结果数据进行训练时，CNN的卷积层可以学会识别反映预后的新成像表型。CNN可以应用于2D或3D输入，并且可以使用多个输入，以便从图像类型的组合中学习，例如多参数或动态MRI扫描。大量的CNN结构可以选择来用于基于AI的生物标记物研究（补充表2）。补充框2中进一步详细讨论了它们的原理和优势。

用于放射学的其他神经网络

全卷积神经网络（FCNs）（图3b）是一种用于图像输出的卷积神经网络。FCN可用于绘制图像中肿瘤的边界，以便进行影像组学分析（称为分割的过程）或在数据受到限制（例如通过训练卷积自动编码器）情况下进行无监督的特征学习。同样，完全连接的网络（图3c）是没有卷积层的神经网络，可以根据各种测量结果如放射特征）进行预测。其他种类的神经网络可与CNN结合，以处理随时间收集的多组数据，从而实现成像数据的纵向分析（例如，用于响应评估）。补充框1更深入地讨论了这些变化和其他变化。

深度学习模型的训练

神经网络通过训练数据集的子集（称为批次, batch）进行迭代更新来训练深度学习模型。对于每个批次，神经网络首先根据成像数据生成患者结果的预测。然后通过损失函数将这些预测与相应的实际治疗结果进行比较，损失函数是一个衡量网络输出误差性的方程。然后，使用从损失函数获得的值来更新网络层（图1），从而找到使得网络模型表现最差的样本。第二组患者数据（称为调整数据集）用于监测性能，同时在将模型应用于独立数据集（称为测试或外部验证数据集）之前，对模型的配置和学习过程进行训练和优化。

训练神经网络通常需要的数据量远远大于训练影像组学模型所需的数据量。所有机器学习模型都由一组参数定义，这些参数是指定算法所有可能配置的变量。增加模型中的参数数量可以扩大它可以发现的可能解决方案的范围，但是与简单的模型相比，有效学习所需的数据量也会更大。最先进的CNN架构包含数百万个参数，以便直接从原始数据中发现新的预后表示。相比之下，影像组学将预测问题限制在有限的预先指定的特征中，这些特征组合在一个参数较少的统计模型中（通常是几十到几百个）。

图3，常用于医学成像数据的神经网络的构造块和类型。

A，用于预测的卷积神经网络（CNN）模型示例。输入图像或体积通过CNN层，CNN层执行操作并将其转换为目标输出向量。卷积层是将成像数据转换为深度特征表示的一组操作。每个过滤器通过图像，并与非线性激活函数配对，以强调特定任务感兴趣的视觉模式。随着更多的卷积层层叠，CNN可以在图像中学习到更复杂的视觉模式。在整个CNN分类器中，深度特征通过池化操作定期聚合。经过卷积层和池化层处理后，深度特征表示最终被展平为向量。接下来，完全连接的层将这些CNN衍生的图像特征转换为对应于目标输出的向量。这些模型可用于预测治疗反应、预测、肿瘤亚型和生物标志物的分类以及生理值的预测。

B,全卷积神经网络是一种CNN类型，只包含产生图像输出的卷积层，如肿瘤位置图。

C, 完全连接的网络可以根据非图像数据进行训练，如影像组学特征和临床变量。

当对模型进行结果预测训练时，对大量数据的需求可能会存在局限性，在这种情况下，可行的患者数据可能比诊断研究更加有限。幸运的是，尽管训练数据很少，但有几种方法可以利用神经网络的优势。例如，迁移学习，其中针对一个模式识别任务训练的模型被重新调整用途以执行新任务，经常用于在训练数据大幅减少的情况下实现强大的CNN性能。其他方法可用于处理有限或有缺陷的训练数据（补充图1）。

3.风险评估和反应预测

3.1预后方法

肺癌。

大多数肺癌的影像组学方法都集中在非小细胞肺癌上。Huang等人是首次使用基于纹理的人工影像组学建立预后诺模图来预测I-II期NSCLC患者无病生存率（DFS）的课题组。有趣的是，他们显示肿瘤内部的一阶统计特征（例如峰度）是肿瘤异质性和3年无病生存率的显著特征，以及它们与常规临床病理数据（如性别和组织学分级）的结合优于肿瘤、淋巴结、转移（TNM）单独分期标准（C指数0.72（95%可信区间0.71–0.73）与0.63（95%可信区间0.62–0.64））。Kamran等人利用有限期小细胞肺癌患者的CT扫描构建影像组学模型，预测2年总生存率（OS）、局部复发和远处转移。他们观察到影像组学上的放射肿瘤扩散与局部复发（HR1.10；P=0.003）和2年生存期（HR1.10；P=0.03）密切相关。Pavic等利用间皮瘤患者的FDG-PET图像建立了一个影像组学模型，以无进展生存率（PFS）和OS为基础对其进行分层。其中长行程高灰度优势(Long-Run High-Grey-Level Emphasis)具有显著的鉴别能力，这反映了PET扫描中标准化摄取值（SUV）的肿瘤内异质性。PFS的C指数为0。66（95%可信区间0.57-0.78）。然而，使用相同患者的CT扫描建立的影像组学模型对结果预测没有辨别力。这项研究值得被强调，因为研究人员在最先进的FDG-PET和CT扫描上应用了新的影像方法来预测间皮瘤（一种罕见的癌症类型）的预后。

在DL领域，Hosny等人使用CT数据训练3D CNN预测放疗后2年的生存率，然后采用该模型基于迁移学习预测手术后的生存率，曲线下面积（AUC）为0.71（95%可信区间0.60-0.82）。这项研究之所以独特，有几个原因：首先，研究人员使用了七个独立的数据集，涉及来自五个不同机构的约1200名患者；其次，基因组关联研究揭示了DL特征表达与细胞周期和转录过程的相关性，提供了生物学解释；第三，肿瘤周围区域的DL特征具有最高的预后信号。

乳腺癌

Park等人训练了一个弹性生存模型，将浸润性乳腺癌患者术前MRI扫描所得的影像组学强度、纹理和形态特征与放射组学所得的预后评分相结合；在测试数据集中，分数越高，无病生存率越差（P=0.0036）。研究人员不仅构建了一种用于乳腺癌预测的影像组学方法，还建立了一种结合影像组学和临床病理学特征的诺模图，用于综合无病生存率的估计，其表现优于单独基于每类特征的得分。Wu等人在对比增强MRI上确定了肿瘤内环境中对应于不同灌注水平的亚区，并通过网络分析量化了这些亚区之间的相互作用。在多变量分析中，显示灌注不良区域丰度和分布的影像组学特征可预测无复发生存率（RFS），调整临床变量，如年龄、体积、受体状态和病理反应。

然而，预后不良的肿瘤在乳腺MRI扫描中灌注不良区域的比例高于惰性肿瘤。另一组利用动态对比增强（DCE）MRI扫描技术，从参与完整临床试验的早期乳腺癌患者身上获得影像组学特征。这些特征独立预测腋窝淋巴结转移和3年无病生存率。这些研究者不仅从肿瘤内和瘤周区域提取影像组学特征，而且从前哨淋巴结和非前哨淋巴结提取影像组学特征。研究表明，腋窝淋巴结的影像组学特征在预后表现上与单独肿瘤影像组学特征或与淋巴结影像组学特征相结合的表现相当。Chitalia等人利用参与完整临床试验的患者的影像学和结果数据，通过预处理DCE-MRI扫描的影像组学特征聚类，形成影像学表型。该特征也在公开可用的数据集上成功验证。这些研究人员表明，AI可以揭示潜在的内在成像表型，对应于不同程度的肿瘤异质性，这反过来可能与组织学上分化较差的肿瘤和较高的有丝分裂分级有关。Drukker等人采用长-短期记忆DL模型，该模型是根据与新辅助化疗期间动态乳腺MRI扫描对比增强动力学相关的影像组学特征构建，该模型预测了两年无复发生存率，C指数为0.8. 这项研究的独特之处在于使用了递归神经网络（RNN），这是DL网络的一个特殊类别，它使用来自不同时间点的图像的特征进行集成和学习。

脑肿瘤

大多数关于脑肿瘤的影像组学学人工智能研究集中在胶质母细胞瘤上，胶质母细胞瘤是一种脑肿瘤类型，与严重的不良后果相关。Kickingereder等人基于人工提取特征构建的影像组学模型，结合多参数MRI扫描的体积、形状和纹理特征，并使用监督主成分分析预测胶质母细胞瘤患者的无复发生存率（HR2.43；P=0.002）和总生存率（HR4.33；P<0.001）。这项分析的一个发现是，为模型选择的所有影像组学特征完全来自流体衰减反转恢复（FLAIR）序列，这是一种常见的MRI检查方式，包括肿瘤内异质性的灰度特征。除肿瘤内特征外，另一组利用肿瘤内外的25个纹理和熵特征制定了放射风险评分，并将这些特征与包括IDH和MGMT状态的分子信息相结合，以预测验证数据集中的无复发生存率（C-指数0.84；P=0.03）。此外，放射风险评分与细胞分化、粘附和血管生成的生物学途径有关。这项研究是第一次利用瘤周影像组学特征来评估胶质母细胞瘤患者的生存率，并通过利用自动提取的影像组学特征、临床特征和突变信息来综合评估影像成像生物标记物。

Lao等人采用迁移学习的方法，使用预训练CNN从多参数MRI（T1加权（T1w）、T1对比（T1c）、T2w和FLAIR模式）中提取了约98000个特征，以预测胶质母细胞瘤的OS（C指数0.71，95%可信区间0.588–0.932）。在特征选择之后，一个包含六个顶级DL特征的LASSO-Cox回归模型能够在OS的基础上对验证数据集中的患者进行准确预测（HR5.13，95%可信区间2.03–12.96；P<0.001）。Kickingereder等人构建并验证了一种自动神经网络（ANN），用于MRI扫描中对比度增强肿瘤和非增强T2w信号异常的识别和体积分割。基于神经网络的模型在同一个机构的患者数据集上进行训练，并使用两个数据集进行验证：内部验证和另一个临床试验验证（EORTC-26101），在该试验中，相对于神经肿瘤学（RANO）标准中的反应评估，它在生存预测方面的表现几乎高出25%（ANN和RANO的危险比分别为2.59（95%CI 1.86–3.60）和2.07（95%CI 1.46–2.92）。该研究在使用临床试验数据集验证性能方面是独一无二的，尽管该验证是回顾性的。Zhou等人提出了一种新的神经网络方法，将大脑多参数MRI数据（T1w、T1c、T2w和FLAIR）沿三个空间维度投影，形成四通道CNN的RGB图像，将这些图像的数据与病变测量和患者年龄进行融合。该模型能够将患者分为预期中位总生存率为0-10个月、10-15个月和>15个月的亚组，十倍交叉验证以后平均准确度为0.664 ± 0. 061。

前列腺癌

深度学习和人工提取特征的影像组学都应用于最终治疗后获得的多参数MRI扫描，以预测前列腺癌复发的风险。Shiradkar等人使用预处理多参数MRI扫描的基于纹理的影像组学方法预测根治性前列腺切除术后的生化复发。这些研究者表明，结构异质性和梯度定向影像特征不仅来源于T2w图像，而且来源于表观扩散系数，与癌症复发密切相关。Zhang等人通过交叉验证，利用MRI特征和临床参数建立人工智能模型，预测根治性前列腺切除术后3年生化复发。基于支持向量机的机器学习分类模型综合了多种影像学特征、PI-RADS评分（用于在多参数MRI上评估临床重要癌症的结构化报告系统）和临床病理学特征，预测3年生化复发，AUC为0.95（95%可信区间0.92-0.98）。这项研究在整合来自多个尺度和来源的参数以建立准确的预后生物标志物方面是独一无二的。Zhong等基于深度迁移学习的模型，通过多参数MRI区分无痛性前列腺癌和具有临床意义的前列腺癌。在验证数据集中，该模型在识别有临床意义的前列腺癌方面优于标准PI-RADS v2评分（AUC为0.726对0.711）。

其他癌症模型

Wang等使用16个深度特征训练预后模型，这些深度特征是通过无监督特征学习获得的，基于卷积自动编码器（补充框1）对高级别浆液性卵巢癌患者的对比增强CT图像进行训练。该模型在两个不同的验证数据集中准确预测了3年的无复发生存率（RFS）（AUC分别为0.77和0.83；P<0.05）。Parmar等人利用NSCLC或HNSCC患者的预处理CT扫描建立影像组学模型。进行一致性聚类以选择每种肿瘤类型的显著影像组学特征，NSCLC和HNSCC总生存率预测的C指数分别为0.61和0.63。有趣的是，用于预测NSCLC肿瘤组织学分类和分期的AUC分别为0.56和0.61。HNSCC模型预测组织学分类效果更好（AUC 0.80），预测人乳头瘤病毒状态结果一般（AUC 0.58）。Zheng等人表明，从孤立性肝细胞癌患者预处理腹部CT扫描动脉期提取的与结构异质性相关的前六个纹理特征的影像组学评分与RFS（P=0.004）和OS（P=0.039）相关。在研究表明，基于一阶统计的分子图谱和IV期结直肠癌患者的对比增强CT扫描的影像组学处理发现，偏度与5年OS相关（P=0.025）。此外，BRAF突变肿瘤中阳性的平均值显著低于BRAF野生型肿瘤（P=0.007）。Creasy等人证明，术前CT扫描肝实质的影像组学分析可以预测结肠癌切除术后患者肝转移的未来发展，254个影像组学特征中有17%可以区分肝复发、肝外复发和非复发（P<0.05）。这一发现表明，原发疾病部位以外的健康器官组织的异质性测量可能反映了生物学原理，可能为侵袭性肿瘤提供了一个更可行的转移前合适的干预。

在深度学习领域，peng等人利用从四个CNN中提取的DL特征和从鼻咽癌患者PET和CT图像中人工提取的影像组学特征，开发了一个人工智能模型。该AI模型与相关临床病理参数相结合，形成一个完整的列线图，在独立验证数据集中准确预测DFS。Zhang等人使用人工智能模型，结合从CNN学习的深度特征，使用NSCLC患者的CT扫描和胰腺导管腺癌患者的人工提取的CT扫描影像组学特征，预测后一组患者的2年OS，优于传统的DL或影像组学方法。

3.2预测治疗反应

放化疗

在非小细胞肺癌患者中，肿瘤分期通常决定治疗方法。IA期患者通常单独接受手术治疗，而IB-IIB期NSCLC患者往往在手术切除后进行辅助化疗。培美曲塞联合铂双重化疗是III期非小细胞肺癌无转移患者的标准治疗方案，尽管有些患者在手术后接受放疗或新辅助放化疗。在一项涉及两组不同验证数据集的早期NSCLC患者的研究中，结合CT扫描肺结节内外特征的影像组学诺模图成功预测辅助化疗的益处，并预测3年DFS（C指数0.74，95%可信区间0.72–0.76）。该评分用于根据风险（高、中、低）将患者分为三组。高风险组的患者在辅助化疗中对DFS的预测有显著的益处（验证数据集中P=0.003），而低风险组的患者没有这种益处。影像学、病理和基因组数据分析显示，影像组学评分与组织学图像上肿瘤浸润淋巴细胞（TIL）的空间排列（P=0.036）以及与细胞分化和血管生成相关的生物学通路相关。我们的研究表明，包含瘤内和瘤周纹理特征的影像组学模型可以预测培美曲塞-铂化疗的疗效（AUC 0.77；P<0.05），并且与局部晚期非小细胞肺癌患者的OS密切相关（HR 2.35，95%可信区间1.41–3.94）。上述作者还开发了一个影像组学模型，使用非对比CT扫描对局部晚期NSCLC患者进行新辅助放化疗，然后进行手术，以实现OS分级（HR 11.18，95%CI 3.17–44.1），并预测主要病理反应。Coroller等人，利用原发肿瘤和局部晚期非小细胞肺癌患者淋巴结的影像学特征预测术前新辅助放化疗的病理完全反应（pCR）。描述肿瘤球形度和淋巴结均一性的三个影像组学特征预测pCR的AUC为0.67（P<0.05），而淋巴结均一性的量化特征也能准确预测残留病灶。Wei等，开发并验证了一个影像组学模型，该模型使用已完成临床试验的患者数据预测铂类化疗的疗效，交叉验证后AUC为0.79（P<0.05）。关于深度学习方法，结合CNN和RNN分析III期非小细胞肺癌患者治疗前后的纵向CT扫描。在验证数据集中，AI方法在预测病理反应方面具有很高的性能（P=0.016），并且随着分析扫描次数的增加，该性能得到改善。

关于乳腺癌，影像组学和DL方法主要预测对新辅助化疗的反应。在一项大规模多中心验证研究中，一个包含对比增强T1w、T2w MRI和扩散加权成像特征的多参数影像组学模型准确预测了三个机构验证数据集中的pCR（AUC 0.79；P<0.05）。Mazurowski等在浸润性乳腺癌患者的DCE-MRI上发现20个与RFS显著相关的预后影像组学特征。研究发现，大小（C指数最高，为0.77，95%可信区间为0.67–0.86）、异质性（C指数为0.64，95%可信区间为0.52–0.76）和灌注（C指数为0.70，95%可信区间为0.60–0.80）的描述符具有最大的预测价值。Cain等对接受新辅助化疗的患者的MRI扫描进行预测性影像组学特征评估，发现其对预后不良的乳腺癌亚型（三阴性乳腺癌（TNBC）和HER2疾病）患者的pCR具有高度预测性（AUC 0.71，95%可信区间0.58–0.83）。有趣的是，我们是第一批证明将肿瘤周围区域的纹理影像组学添加到预处理MRI扫描的肿瘤内特征中可以提高对新辅助化疗反应的预测准确度（AUC 0.74；P<0.05）。迄今为止，大多数研究主要是利用动态MRI扫描预测新辅助化疗的疗效，尽管Tadayyon等基于乳腺超声图像的纹理特征和交叉验证方法，通过在第1周（P=0.035）和第4周（P=0.027），有应答者和无应答者的生存率存在显著生存差异来预测这些反应。关于深度学习，Ha等人根据预处理MRI扫描训练CNN预测对新辅助化疗的反应，并报告测试数据集的准确率为88%。研究中TNBC（36%）或HER2（50%）乳腺癌患者的pCR率高于luminal A（18%）亚型患者，这与人群研究一致。因此，这些研究提供了一种潜在的方法，甚至在治疗开始之前就使用非侵入性成像来选择那些最有可能对新辅助治疗有反应的患者，这与当前的标准护理成像方法不同，后者使用治疗后序列磁共振成像来评估对治疗的反应。

Nie等利用T2w MRI扫描从确诊的局部晚期直肠癌患者身上提取影像组学特征，包括肿瘤内的30个特征，能够显著预测新辅助放化疗后的pCR（AUC 0.84；P<0.05）。Antunes等人建立了一个影像组学模型来预测类似患者群体中的pCR，表明该模型在由两个不同机构的患者组成的验证集上是稳健和可重复的（AUC 0.71；P<0.05），并且在两个不同的肿瘤专家标注中是一致的（总肿瘤体积的Dice相似系数为73.7±14.1）。

Cha等比较多种人工智能方法，包括人工提取的影像组学和基于CNN的深度影像组学，使用新辅助化疗前后进行的CT扫描预测膀胱癌患者的pCR。人工影像组学模型和DL模型的AUCs为0.77和0.73。

Fang等人利用局部晚期宫颈癌患者的矢状位T2w、对比度增强T1w和表观扩散系数MRI图像，开发了一种源自TME的MRI影像组学特征。该模型准确预测了接受同步放化疗患者的复发反应（AUC 0.80，95%可信区间0.68–0.92）。

Jiang等人开发了一种新的DL-AI生物标记物模型，使用门静脉相位对比增强CT扫描预测胃癌患者训练数据集中的DFS和OS。这个模型随后构建了一个融合临床病理特征的诺模图，在独立验证数据集中，可以预测DFS（C指数0.85，95%可信区间0.83-0.88）和OS（C指数0.86，95%可信区间0.84-0.89）。

靶向治疗

我们的研究表明，侵袭性HER2乳腺癌患者的DCE-MRI扫描，其瘤周和瘤内影像组学特征的结合有助于识别内在的分子癌亚型，可以深入了解肿瘤周围环境中的免疫反应，并预测对HER2靶向治疗的反应。关于还在探索中的研究，Mehta等人，研究表明，基线乳腺动态MRI的药代动力学模型有助于识别贝伐单抗治疗后血管生成通路下调的患者，这可能是对治疗反应的表示，在一项涉及使用CDK4/6抑制剂治疗的激素受体阳性转移性乳腺癌患者的初步研究中，我们的研究发现，CT扫描影像提取的肿瘤内异质性的肝转移影像组学特征衍生风险评分可以评估OS的预后（HR 2.02，95%CI 1.13–3.61；P=0.0027）和治疗反应（AUC 0.68；P<0.05）。

Aerts等人分析了EGFR抑制剂吉非替尼治疗早期非小细胞肺癌患者的完整临床试验数据。他们利用预处理CT扫描建立了放射模型，发现”Laws’ energy”特征与EGFR突变状态密切相关（AUC 0.67；P=0.03），因此与吉非替尼反应表型相关。

免疫疗法

Sun等人使用基于CT成像的影像组学方法来估计CD8 TIL的存在，并预测四种实体瘤类型（HNSCC、NSCLC、肝细胞癌和尿路上皮癌）对ICIs的反应。他们对ICIs已完成的MOSCATO试验进行了影像组学分析建模，该试验收集了RNA测序数据和肿瘤活检样本，使用癌症基因组图谱（TCGA）中与CD8基因表达相关的数据集，以及其他两个独立的数据集（分别具有肿瘤免疫表型关联和ICI反应预测的基线成像数据）验证影像组学特征。验证集结果表明影像组学特征与OS相关（HR0.52，95%可信区间0.35-0.79），也可以准确预测ICIs的反应（P=0.025）。我们的研究组利用接受ICIs治疗的NSCLC患者的治疗前和治疗后（6-8周）内基于CT扫描建立了一个影像组学模型，在探索放射特征的病理关联时，我们发现肿瘤周围的纹理特征与组织活检样本上的TIL密度相关（P<0.05）。Trebeschi等人在接受ICIs治疗的黑色素瘤或NSCLC患者中，通过对比增强CT成像，发现了影像组学生物标记物，该模型预测了ICIs对两种肿瘤类型的高性能反应（P<0.001）。非小细胞肺癌患者的独立基因集富集分析表明，影像基因组与有丝分裂和增殖相关的通路相关。

Yang等人的一项独特研究引入了一个迁移学习网络，该网络能够在使用抗PD-1抗体治疗前，将临床测量、先前干预和成像扫描的影像组学特征整合在一起，预测治疗反应，在交叉验证数据集中AUC为0.80。这种方法是创新的，因为它有可能分析来自多种模式的纵向、真实世界的临床数据，而这些模式在固定顺序或时间间隔内不可用。我们的研究组开发了一种影像组学预测因子，可以将接受ICIs治疗的NSCLC患者不仅分为有应答者或无应答者，还可以分为高进展者。Tunali等人回顾性地根据临床试验中接受单剂或双剂ICIs的患者的四个临床特征以及影像组学特征构建了临床影像组学模型。这些模型通过交叉验证（AUCs为0.81–0.84），仅在ICI治疗开始前进行CT扫描，就成功地识别了超进展者。

放射基因组学

Wu等人根据动态MRI上肿瘤和周围实质的增强特征描述了乳腺癌的三种成像亚型，并探讨了这些亚型与预后和基因型的关系。以TME显著增强为特征的亚型与预后最坏的5年的RFS和某些信号通路的失调增加有关，包括与血管生成和蛋白质输出有关的通路。在另一项研究中，开发了一种影像组学特征来估计病理样本中基质TIL的百分比（ρ=0.40，95%可信区间0.24–0.54），并在外部验证数据集中评估了特征与RFS（P=0.0008）的相关性。这一特征使患者能够分为两个亚组，这两个亚组与TNBC患者的RFS显著相关（P=0.04），TIL的存在对TNBC患者的预后有很大影响。Rao等人使用无监督的分层聚类方法，利用可用的microRNA和mRNA表达数据，在TCGA胶质母细胞瘤样本中识别由多参数MRI特征定义的新表型。他们利用三个特征确定了这种表型，这三个特征将患者分为两个亚组，在OS（P=0.0002）方面具有统计学意义的差异，并且涉及多种免疫相关和代谢通路的转录本表达。使用CT和PET–CT扫描构建的DL模型有效预测NSCLC患者的EGFR突变状态，AUCs为0.81。

Pernicka等人分析切除的II–III期结肠癌患者预处理CT成像的影像组学特征，以预测微卫星不稳定性（MSI）阳性状态，该状态与良好的预后相关。他们观察到MSI阳性肿瘤相对于MSI阴性肿瘤的结构同质性增加（AUC 0.79；特异性96.9%；敏感性92.5%；P<0.05）。最后，Liu等构建了一种基于CT的影像组学特征来预测编码E-钙粘蛋白、Ki-67、VEGFR2和EGFR的基因在胃癌患者中的表达状态。

4.机遇与挑战

数据整理和注释

获取足够的数据以开发基于AI的模型始终是一个挑战，这在开发预测和预后影像组学AI工具时尤为重要。从回顾性采集的数据集中收集的数据通常是最方便的，但对于模型训练和验证而言，都会带来与数据纯度相关的挑战，因为预定义的包含和排除标准可能会导致AI算法中的无意识偏差。例如完成治疗方案可能会无意中排除因反应异常差而中断该方案的患者。因此，随机对照试验（RCT）是建模和验证生物标志物的金标准。基于人工智能的成像技术取决于成像和结果数据的信噪比。随机对照试验为比较实验分析提供了无偏、同质的数据和精心策划的方法。然而，与回顾性数据不同，访问这些RCT数据集既耗时又具有挑战性，通常需要制药公司或癌症合作组织的广泛而漫长的批准。

获取无偏差和同质数据集的困难揭示了多机构合作在构建大型数据集以培训和验证这些技术方面的重要性。其中之一是由国家癌症研究所（NCI）召集的癌症成像档案，它是一个公共可用的聚合和预筛选多机构数据集的存储库。这一倡议还突出了肿瘤领域合作组织的重要性，在美国包括NCI国家临床试验网络小组（如SWOG、ECOG和NRG），在世界范围内包括欧洲癌症研究和治疗组织，负责资助和运行随机对照试验的加拿大癌症试验组和日本临床肿瘤组。这些组织已经在生物标记物开发中发挥了关键作用，因为来自完成的合作小组领导的临床试验的数据集可以提供足够的能力来验证某些影像算法，从而能够在随机对照试验中进行前瞻性评估。此外，联邦学习技术是用于从多机构数据集中训练模型的基于深度学习的人工智能技术，无需实际交换数据，而是通过共享训练参数和权重，可能在预测AI方法的大规模验证中发挥作用。

一旦获得数据，许多影像组学、人工智能研究中的一个关键的初步步骤就是注释，即定义空间边界的过程，在该边界内应执行成像分析。注释工作所需的详细程度和强度取决于研究的性质（图4）。影像组学通常要求精确描绘肿瘤边界或其他感兴趣区域，根据肿瘤形状和异质性进行测量值的计算，注释可以由放射科医生手动提供，也可以由另一个ML模型（如FCN）的输出。无论采用哪种方式，由于某些特征对空间描绘变化的敏感性很高，因此应仔细处理这一步骤。或者，DL模型可以从更粗糙的标签（例如肿瘤在体积中的大致位置）有效地进行训练，从而大大减少注释所需的工作量和专业知识。有了足够的数据，甚至可以完全避免空间定位的需要。

图4，影像组学和深度学习研究中不同层次的注释细节。定义影像组学和深度学习研究中的感兴趣区域和注释细节水平。

标准化和重复性

跨异质采集协议、多个机构和患者群体的再现性是AI成像技术在临床部署中必须克服的主要挑战之一，这使得从训练到独立验证，大多数影像组学方法的性能指标急剧下降。Lambin等人根据影像组学工作流程的16个组成部分，提出了一个质量分数，表明影像组学研究的稳健性。Park等人对77项研究进行meta分析，发现平均放射质量分数最大值仅为的26.1%，并确定一些需要改进的关键领域。除了量化稳健性的指标外，有几种方法结合了稳定性措施，以建立更具可重复性的影像组学模型。例如，我们课题组开发了一种兼顾稳定性和可分辨性的影像组学方法，并将其应用于预测早期非小细胞肺癌患者的疾病复发。在三个多中心的数据集中，纳入稳定性的影像组学模型在预测复发方面明显强于传统的影像组学模型，尽管两个模型在训练数据集中的表现相似。研究人员还使用统计方法（ComBat标准化）纠正重建方法中的批量效应（例如，使用多种不同图像协议造成的辐射特征差异）。Orlhac等人基于ComBat标准化在CT扫描中使用体模图像进行分析，发现它能够使用不同的CT协议重新排列来自多机构数据集的影像组学特征分布。只有稳健的、可重复的以及有显著意义的模型才能在临床实践中得到应用。为此，多中心倡议，如定量成像网络和图像生物标志物标准化倡议等用于研究影像组学特征集的标准化和优化的机构发展起来。

可解释性

可解释性是人工智能生物标记物要被广泛采用必须克服的挑战之一。基于人工提取影像组学特征的影像组学方法对人工智能算法如何作出决定就有主观。例如，血管弯曲度指标可归因于肿瘤血管生成导致的血管系统的物理和生物特性。此外，本文先前讨论的几项研究侧重于通过与计算病理学特征、影像学-病理学联合和生物通路或基因组相关性分析的相关性来解释影像组学特征背后的生物学原理。然而，关于疾病的生物学原因、结果和治疗反应的知识方面的重大差距显然是需要进一步研究的领域。

这一问题在CNN或DL网络中进一步加剧，这些网络甚至缺乏人工操作方法所提供的有限解释性，而仅仅关注性能的最大化。许多所谓的“黑盒”方法在诊断环境中可能是完全可行的（例如，主要用于区分时间敏感扫描的AI工具）；然而，当涉及到用于优化治疗的人工智能成像生物标志物时，可解释性问题变得更为重要，因为生物标志物驱动的治疗决策需要植根于病理生理学的解释。尽管研究人员目前正试图开发模型来解释黑盒方法，但一个重要的警告是，如果有更好的模型可用，为什么需要原始模型。例如，这些方法可能涉及将显著性或重要性集成到模型中，以明确有显著意义的图像特定区域。这些模型被训练来找到图像中对预后和预测具有显著意义的生物标志物；然而，该区域内有助于预测的具体信息无法轻易确定，可能需要额外的生物学相关性。因此，一些研究人员呼吁开发可解释的模型，而其他研究人员认为，与当前金标准相比，性能应该是确定成像生物标记物可用性的最重要指标，而另一些人则认为有必要研究超越可解释的人工智能模型。

规范框架

监管机构批准的途径是临床采用基于成像的人工智能预测工具的关键障碍。监管许可的原则之一包括对软件如何工作的必要解释。在美国，FDA正致力于简化AI审批机制；与此同时，人工智能工具被归类为医疗设备。美国食品和药物管理局有一个三级体系来确定该设备所带来的风险，其中一级设备是那些在上市前需要最少监管障碍的设备。

基于人工智能的设备往往被归类为II类或III类。到目前为止，FDA尚未批准任何基于成像人工智能的预后或预测工具。一些基因组分析（如乳腺癌预后多基因分析MammaPrint）已获得FDA通过对II类设备510（k）的批准。这些批准可能为通过不太严格的510（k）批准流程，而不是更严格的III类设备上市前批准（PMA）流程，在肿瘤学中进行预后和预测性人工智能成像生物标记物开创了先例。与FDA的分级设备分类类似，欧盟法规涉及医疗设备的四级风险分类系统（a-D），其中包括人工智能决策支持工具。只有最低级别的A级不需要监管机构的监督。类似的政策已经在世界范围内被采用来规范基于人工智能的医疗决策支持工具。在2021年1月发布的一份行动计划中，FDA在AI工具上市前提交的文件中提出了“预先确定的变更控制计划”。该计划将包括此类提交中预期修改的类型，以及他们期望算法如何以控制方式改变，从而管理患者风险。因此，FDA期望人工智能设备供应商致力于对这些工具进行真实世界的性能监控，并能够评估这些工具从上市前开发到上市后的性能。

就报销而言，AI工具目前没有专门用于计费的通用程序技术（CPT）代码。在美国，CPT代码由美国医学协会维护，以在全国范围内标准化计费实践。要将人工智能工具转化为实践，必须创建新的CPT代码，但该工具需要事先获得FDA的临床使用批准。选择退出FDA批准并通过临床实验室改进修正案（CLIA）途径，一种基于实验室的诊断试验的监管途径（包括预后和预测性基因组分析，如肿瘤型DX）可能是一个有趣的选择；然而，美国食品和药物管理局（FDA）已经发布了一份声明，表明它可能也会在未来监管CLIA测试。

4.结论

从这个角度来看，我们概述了人工智能在影像学中的现状和未来，作为识别新的预测和预后生物标志物用于临床决策的工具。我们相信，本文将为临床医生在新兴领域人工智能的响应和结果预测提供一个坚实的基础。特别是，我们希望有助于理解影像组学中常见的工具和实践，特别是它们可以用于哪些临床场景。我们也希望使人们对人工智能成像生物标志物的开发和采用产生更大的兴趣。正如过去50年里放射学的数字化以更高的分辨率和更广泛的可用性彻底改变了这个领域一样，下一个十年将迎来一场人工智能推动的放射学革命--不是取代放射科医生、肿瘤学家或临床医生，而是为他们提供新的工具库和助手，以更好地指导治疗，并最终改善患者预后。