作者 | 杨慧丹 审稿 | 周珍冉
由斯坦福大学医学院、中山大学附属第六医院和中山大学肿瘤防治中心组成的研究团队共同合作的一项科研成果“Predicting treatment response from longitudinal images using multi-task deep learning”于2021年3月25日发表于Nature Communications期刊。文章中，作者提出了一个多任务深度学习的方法，可以通过从纵向图像中提取治疗所引起的变化信息来预测肿瘤反应。该方法可用于改进治疗反应评估，并有可能为个性化医疗提供信息。
1
研究背景
准确预测患者的治疗反应对于个性化医疗至关重要。放射影像通常被用来评估实体肿瘤的治疗反应，然而这种简单的方法并不能总是准确地评估潜在的生物反应。深度学习的大多数研究集中在利用图像分析进行疾病检测和诊断，最近已被应用于分析和预测疾病风险或进展的纵向临床变量。然而，鉴于三维医学图像数据的特殊结构，对从纵向图像中有效提取动态信息的深度学习方法仍未实现。此外，将在传统上被视为独立问题的肿瘤分割和反应预测这二者结合起来也一直具有挑战性。
新辅助放化疗(CRT)和根治性手术是局部进展期直肠癌的标准治疗方法。非手术治疗方法，如“watch-and-wait”的策略也正在被积极研究中，而临床实施该方法的先决条件就是准确预测术前的治疗反应。因此，研究团队提出了一种多任务深度学习方法，对来自两个机构的直肠癌患者队列的治疗反应进行预测，并对模型进行检验。深度神经网络可同时执行两个不同但相关的任务，即肿瘤分割和反应预测。作者表示在一个网络中整合这两个任务，并结合纵向图像中的变化信息，可以提高反应预测的准确性。
2
模型与方法
这项研究纳入了接受新辅助CRT治疗并接受全直肠系膜切除的局部进展期直肠癌患者。作者训练了一个深度学习模型，基于治疗前和治疗后的磁共振成像（MRI）来预测是否出现病理完全缓解(pCR)，即手术标本检查显示没有残余癌细胞，并在内外部验证队列中进行独立测试。
2.1 提出深度学习模型
作者提出了一种基于深度神经网络结构的多任务学习框架：3D RP-Net。该网络由两个Siamese子网组成，一个用于特征提取和肿瘤分割，另一个用于响应预测。特征提取和分割子网络由两个参数相同的3D U-Net组成。该网络以治疗前和治疗后的MRI作为输入，响应预测子网络对输入的图像在三个不同的网络层中进行深度卷积，用于多尺度特征整合和反应预测。
图1 3D RP-Net模型
2.2 模型训练与验证
使用来自中山大学第六附属医院接受治疗的321名患者的队列数据对模型进行训练，训练之后进一步收集了同一家医院的160名患者的队列数据对模型进行内部验证，和来自中山大学肿瘤防治中心接受治疗的141名患者的队列数据对模型进行外部验证，总共分析了622例患者的4976张MRI扫描。
图2 模型验证的研究设计
验证结果显示，内部验证组和外部验证组的AUC(ROC曲线下面积)分别为0.95 (95% CI: 0.91-0.98)和0.92 (95% CI: 0.87-0.96)。在最佳截止点（ROC曲线上最大限度地提高约登指数的位置），3D RP-Net对两个验证队列的pCR预测灵敏度分别为93%和91%，特异度分别为94%和92%。
表1 各研究队列中模型的预测性能
2.3 模型比较与模型改进
研究者们对模型做了一系列进一步的研究。将3D RP-Net与单独只使用治疗前或治疗后的MRI训练的深度神经网络进行比较，证明了动态信息对反应评估的重要性。将提出的3D RP-Net与同样使用纵向多参数MRI进行反应预测的其他两个单任务的深度学习方法进行比较，并与传统的放射组学模型进行了比较。比较的结果证实了将肿瘤分割整合到多任务学习框架中对于其更好的反应评估至关重要。此外，通过网络可视化，发现了这些与病理生理学相关的特征在治疗前后的图像中存在显著变化，证明了肿瘤反应的信息主要包含在治疗前后影像学表型的变化，证实了本文所提出的模型方法的有效性。
最后，考虑到影像学主要捕捉的是局部肿瘤反应，而血液标志物更能反映全局性疾病，因此研究团队将影像学模型与血液CEA水平的动态变化相结合，形成一个完整的模型。结果显示，集成模型进一步提高了预测精度，AUC为0.97(0.93-0.99)。
3
总结
在这项工作中，作者提出了一种多任务深度学习方法，通过利用包含在纵向图像中的动态信息来预测肿瘤反应。所提出的深度神经网络实现了对新辅助CRT治疗直肠癌出现pCR的准确预测。这可能有助于确定哪些患者在新辅助CRT治疗后没有残留癌症，并可以安全地接受观察等待，避免根治性手术潜在的严重并发症。多任务学习方法允许网络同时进行肿瘤分割和反应预测，可用于产生更一致的肿瘤轮廓，并可有益于多种临床应用。另外，本研究也有一定的局限性，作为一项回顾性研究，可能存在选择偏差。使用的是来自亚洲患者的数据进行训练，不同种族群体的再现性仍有待评估。该模型也还未具备用于临床的充分条件。在未来的前瞻性研究中还需严格检验所提出模型的通用性和临床实用性，并整合来自临床检查等其他研究信息以进一步提高预测的准确性。
参考资料
Jin, C., Yu, H., Ke, J. et al. Predicting treatment response from longitudinal images using multi-task deep learning. Nat Commun 12, 1851 (2021). https://doi.org/10.1038/s41467-021-22188-y
代码链接
https://github.com/Heng14/3D_RP-Net
