今天将分享BraTS2023局部组织修复合成挑战赛完整实现版本,为了方便大家学习理解整个流程,将整个流程步骤进行了整理,并给出详细的步骤结果。感兴趣的朋友赶紧动手试一试吧。
一、BraTS2023-Local-Synthesis介绍
在受神经胶质瘤影响的区域合成 3D 健康脑组织。将合成健康组织的问题视为肿瘤区域内的修复问题。修复是计算机视觉社区中一个经过深入研究的问题,提出了许多算法来真实地修复2D自然图像中缺失的部分。然而,这种算法是否可以转化为 MRI 扫描的三维修复仍然是一个悬而未决的研究问题。
临床动机:有多种用于自动分析大脑 MR 图像的算法可以支持临床医生的决策和临床护理。对于脑肿瘤患者,图像采集时间序列通常从已经病理性的扫描开始。这会带来问题,因为许多算法旨在分析健康的大脑,但不能保证具有病变的图像。为了解决这个困境,推出了 BraTS 2023 修复合成挑战赛。
二、BraTS2023-Local-Synthesis任务
将空洞的大脑图像修复合成健康的大脑。
三、BraTS2023-Local-Synthesis数据集
该挑战赛专门采用了多模态 BraTS 2023 神经胶质瘤分割挑战赛中的 T1 扫描。因此,提供了 1251 个案例的训练集和 219 个案例的验证集。此外,还有一个包含数百个案例的非公开测试集。
该图说明了在哪个挑战阶段提供了哪些数据。为了进行推理,仅提供无效图像和修复掩模。对于训练,还提供正常(非无效)T1 图像以及描绘健康和不健康区域的掩模。
四、技术路线
1、根据固定阈值和形态学最大连通域分析得到大脑ROI区域,然后提取原始图像和标注图像的ROI。
2、分析步骤1的ROI图像信息,得到图像平均大小是136x170x140,因此将图像缩放到固定大小160x160x160。
3、图像预处理,对步骤2的原始图像采用均值为0,方差为1的方式进行归一化处理。然后将数据分成训练集和验证集,对训练集做5倍数据增强处理。
4、搭建VNet3d网络,使用AdamW优化器,学习率是0.001,batchsize是3,epoch是200,损失函数采用L1,评价参数使用信噪比和ssim。
5、训练结果和验证结果
6、验证集生成结果
左图是真实图像结果,右图是生成图像结果。
7、测试集生成结果
左图是脑肿瘤切除后的图像,右图是对脑肿瘤切除区域生成后的图像。
如果大家觉得这个项目还不错,希望大家给个Star并Fork,可以让更多的人学习。如果有任何问题,随时给我留言我会及时回复的。