本文对近年来脑磁共振（MR）图像分割和肿瘤分级分类技术进行概述。文章强调了早期发现脑肿瘤及其分级的必要性。在磁共振成像（MRI）中，肿瘤可能看起来很清楚，但医生需要对肿瘤区域进行量化，以便进一步治疗。数字图像处理方法和机器学习有助于医生进一步诊断、治疗、手术前后的决策，从而发挥放射科医生和计算机数据处理之间的协同作用。本文旨在回顾以胶质瘤（包括星形细胞瘤）为靶点的肿瘤患者的脑部MR图像分割和分类的最新进展。阐述了用于肿瘤特征提取和分级的方法，这些方法可以整合到标准临床成像协议中。最后，对该技术的现状、未来发展和趋势进行了评估。本文发表在Biomedical Signal Processing and Control杂志。
曾做过多篇影像组学相关文章解读，可点击以下链接，结合阅读，加深理解，：
大话脑影像之二十三：浅谈影像组学
脑肿瘤的影像组学：图像评估、定量特征描述和机器学习方法
从手工放射组学特征到深度学习分割的放射组学特征
使用多模态脑部扫描数据的自动脑肿瘤分割
Radiology：脑部MRI影像组学:转移瘤类型预测的应用
神经放射学诊断中的MRI数据分析
AJNR:深度学习在神经放射学的应用
Neuro-Oncology：对脑胶质瘤IDH突变状态进行分类的一种新型的
Neuro-Oncology：深度学习算法全自动评估脑胶质瘤负荷
Lancet Oncology：利用人工神经网络对神经肿瘤学MRI成像进行
Radiology：人工智能系统脑MRI鉴别诊断精度接近神经放射科
深度学习在医学图像分析中的应用
目录
1.引言
2.图像处理和计算机视觉
2.1 预处理
2.2 分割
2.2.1 手动分割
2.2.2 半自动分割
2.2.3 全自动分割
2.3 特征提取
2.4 特征选择和降维
2.5 分类
3. 目前磁共振-计算机辅助诊断（MRI-CAD）的发展趋势
3.1 全自动2D和3D用户交互方法
3.1.1 模糊逻辑
3.1.2 自适应神经模糊推理系统
3.1.3 支持向量机
3.1.4 人工神经网络
3.1.5 自组织映射网络
3.1.6 粒子群优化
3.1.7 随机森林
3.1.8 其他方法
3.2 半自动2D和3D用户交互方法
3.2.1 模糊C均值算法
3.2.2 支持向量机
3.2.3 人工神经网络
3.2.4 其他方法
4.讨论
5. 结论
1 引言
在过去的几十年里，随着生物医学的发展，人类对各种疾病的理解上取得了进步，但肿瘤由于其不稳定的性质，仍然是人类的挑战。一名合格的临床医生会结合多种类型的医学影像图像进行诊断，以进一步确定恶性肿瘤的可能位置和体征。影像成像是肿瘤非侵入性的诊断方法。最初，为了检测肿瘤，成像系统用于记录医学图像。捕获的图像通过各种基于软件的算法进行后处理，以便鉴别影像中可疑的肿瘤区域与健康区域。
图像分割能够将病变区域与图像的其余部分区分开来。当精确的分割方法能够确定肿瘤的大小和位置时，这对治疗计划是有帮助的。为此，需要有资质的临床医生提供原始数据或提供用于分类的可训练数据。各种各样的基于医学图像提取信息的研究已经开展用来检测多种类型的肿瘤。
目前世界卫生组织（WHO）关于脑肿瘤分类的指南基于严格的组织病理学，这限制了临床应用。这一限制触发了医学影像成像在诊断和治疗计划中的应用，包括更自动化的方法。越来越多的脑磁共振图像数据为神经外科医生和医学科学家创造了新的机会，同时过度精确的数据分析和诊断负担也随之而来。因此，计算机辅助诊断技术应运而生，以增强医生的诊断能力，并减少准确诊断所需的时间。在目前的临床研究和常规检查中，MR图像的评估要么依赖于基本的定量测量，要么仅基于定性标准。因此，用可重复性强且精确的图像处理方法和可自动检查脑肿瘤扫描的肿瘤亚结构诊断方法取代常规评估将提高诊断和推进治疗计划的改进。目前大多数算法用于分析脑肿瘤靶点对胶质瘤的分割。
在医学成像中，分割是一项必不可少的图像后处理流程，这可以由专家手动完成，具有很高的准确性但非常耗时。与此同时，完全准确的自动的分割方法还不可靠。目前，对于临床应用，采用了半自动分割方法。这些耗时且具有挑战性的任务由放射科医生介入，以满足对半自动分割方法的需求。这可以缓解自动分割方法不可靠的弊端，同时放射科医生也可以控制分割过程。一些半自动方法只需要用户初始化。为确保准确性，必须多次重复用户交互过程。
本文结构如下：图像处理和计算机视觉（第2节），其中简要总结了预处理、分割（包括手动分割、半自动和全自动方法）、特征提取、特征选择、降维和分类。接着（第3节）论述MRI-CAD方案的当前趋势。最后，讨论了脑肿瘤分割和分类领域的最新进展，这将有助于脑肿瘤的分级，并将其与临床要求进行了比较。
2 图像处理与计算机视觉
计算机视觉领域的最终目标是利用计算机模拟学习和人类视觉。它还具有根据视觉输入进行推理和采取行动的能力。图像理解或分析的领域介于计算机视觉和图像处理之间。一般的计算机图像处理过程分为低级、中级和高级过程。低级别处理涉及基本操作，如图像预处理降噪、图像锐化和对比度增强。中级别处理包括分割和分类。高级处理包括执行通常与视觉相关的认知功能。图像分析借助于半自动或自动方法来解释所捕获的图像。大量生成的临床数据使得不可能在合适的时间手动地定义和分割数据。医学图像分析领域分为增强、配准、分割、可视化、量化和建模。在这些流程中，分割和建模是脑肿瘤研究中最重要和最具挑战性的。
尽管专家拥有丰富的经验和较高超的技能，仅手动定性分析始终受到人类视觉系统的限制。因为人眼无法分辨到图像的几十个灰度级。MR图像中包含的丰富信息远远超过人类视觉所能看到的，因为目前的MRI系统可以产生相当于65535灰度级的图像。因此，计算机图像处理可作为第二只眼来理解高比特深度和高分辨率的MRI图像。例如，本文研究了一个基于粗糙集和模糊集来处理人类认知过程中不确定性的数学框架。
2.1 预处理
各种各样的预处理技术，如线性、非线性、固定、自适应、基于像素或多尺度，适用于不同的情况。在区分异常组织和正常组织的应用中，对于相对较高的噪声级，精确的处理变得非常困难。异常组织和正常组织之间存在的微小差异可能会被伪影和噪声所困扰，这常常直接导致图像分析的困难。同时，图像视觉质量的某些改善对医学专家的诊断有很大帮助。因此，对于后续的自动化分析，增强技术也是预处理步骤之一。
增强技术的使用有两个目的。首先用于人类更好地观察分析；其次，导出图像，用于后续的计算机处理算法。前一个目标的应用包括去除噪声、增强对比度和锐化图像中的细节，而后一个目标的应用扩展到边缘检测和目标分割。
磁共振图像分割过程中面临的一个主要问题是偏置场。这是由于扫描时射频线圈或采集序列中引起的，因此称为强度不均匀性。偏置场校正的目的是计算偏置场并将其从测量图像中去除。有研究解释了在预处理阶段MR图像中的偏移校正要求。
通常，磁共振图像中的噪声是由于线圈中磁场的波动。与MR图像相关的各种不均匀性包括噪声、阴影伪影和部分体积效应。与MR图像相关的随机噪声符合莱斯Rician分布。在数据采集过程中，由于射频的不均匀性，会产生强度不均匀性，从而产生阴影伪影。当一种以上的组织或类别占据相同的体素或像素时，称为部分体积效应。这些像素点或体素通常统称为像素，有研究基于最大似然估计解释了三种偏置场校正算法。
在MRI应用中，对比噪声比（CNR）、信噪比（SNR）和分辨率之间存在固有的权衡。根据诊断任务的类型，高对比度和高空间分辨率是必需的。在图像处理应用中，高信噪比是必须的，因为大多数算法都对噪声敏感。这表明了在MR图像上应用噪声滤波以保留图像细节和减少图像噪声的必要性。文献中提出了各种改善边缘模糊效果、CNR和SNR的方法，如自适应滤波器、各向异性扩散滤波器和小波滤波器。各向异性扩散滤波技术由于其算法简单、计算速度快、噪声服从高斯分布等优点，显示出良好的实用性。但是，在MR数据处理过程中，高斯假设对于图像噪声来说并不令人满意，因为它显示了Rician分布，尤其是在低信噪比区域。因此，可以使用改进的各向异性滤波器来减少这种偏差。
不同类型的噪声会影响医学图像。为了进行精确的观测，有必要为给定的应用提供精确的图像。获得的MR图像通常会受到散斑噪声、高斯噪声、椒盐噪声（也称为脉冲噪声）等的影响。通常，主要处理方法是忽略局部特征，如可能存在的边缘，并用附近的一些中值替换噪声像素。因此，特别是在高噪声水平下，边缘和细节无法令人满意地恢复。但是，图像处理分析专家确认，对于消除存在的边缘噪声，选择中值滤波优于线性滤波。
在预处理阶段，需要的另一个步骤是强度归一化。有文献引用了六种归一化方法，如强度缩放、对比度拉伸归一化、直方图归一化、直方图拉伸、直方图均衡化和高斯核归一化。相对而言，直方图归一化方法给出了最好的性能，但有研究表明，直方图均衡化在医学图像的应用存在局限性，因为它消除了微小的细节。因此，这种局限性推动了自适应和空间可变处理技术的发展。为了灵活处理图像中的空间和局部可变微小细节，对维纳滤波器进行了优化设计。它是低通和高通滤波器的组合，由控制其相对权重的因素组成；因此，它通常应用于计算机断层扫描（CT）和MR图像。对乳腺X光图像，特别使用了非线性对比度增强技术，但是对比度或边缘增强伴随着其他噪声的放大。因此，基于小波的框架被用来实现去噪和对比度增强。混合滤波器集成了多分辨率小波变换和自适应多级非线性滤波器。它解决了噪声抑制和图像增强以及基于小波的子图像的分解和选择性重建。
在预处理阶段，有研究使用N3算法进行偏置场校正，使用统计参数映射（SPM）的共配准模块进行扫描间的共配准以进行扫描间视觉比较，并使用乘法模型进行MR信号强度归一化。在Emblem等人的研究中，在脑胶质瘤分割之前，在预处理阶段进行自适应直方图均衡化，使图像的强度值在MR图像类型、切片和患者之间保持一致。除此之外，还使用SPM5将脑组织像素与其他非脑像素分离。
T2加权成像、质子密度成像（PD）和液体衰减反转恢复成像（FLAIR）是临床上常用的MRI扫描序列类型。这些序列可以在两个层次上进行融合，即数据层和决策层。前者从所有数据源中提取特征并用于肿瘤分割，后者首先对每个数据源进行分割，然后根据一定的标准进行分割；所有分割结果都融合在一起。模糊度随着输入数据的增加而减少，从而提高了分割效果，但它会导致冗余，从而增加计算时间并影响决策。
肿瘤亚区的分割只能通过多种模式的组合来实现，这需要一个精确配准的预处理步骤。大多数算法都能使用一些预处理进行图像增强，如去噪、强度归一化和偏置场校正，以平衡磁场不均匀性、配准和颅骨剥离的影响。
算法的另一个挑战是数据集可能从不同的MRI扫描仪收集，并作为算法的输入。该数据集由不同强度的MR图像组成，因为不同MRI扫描仪的图像强度不一致。还有就是不同MRI扫描仪产生不同类型的噪声、层间强度变化，在肿瘤图像的对齐和配准图像时往往存在问题等。执行多种类型的预处理步骤以消除这些问题。因此MR图像输入分类器前的预处理阶段是很重要的；否则，预处理阶段的疏忽将导致整个图像处理不规范。
通常，图像的背景不会提供任何有用的信息，同时会增加处理时间。因此，要提高处理速度并减少内存使用，请删除背景、眼睛、头皮、颅骨和不感兴趣的区域。仅用于MR图像的脑表面提取（BSE）算法可用于颅骨去除。使用BSE过滤图像，去除不规则和形态异常，进行检测边缘并分离大脑。它还可以进行图像掩膜和表面清理。
Zhu等人提出的预处理方法主要是对T1加权图像进行颅骨剥离，然后对T1加权和T2加权图像进行联合配准。FMRIB软件库（缩写为FSL）有一个线性图像配准工具（FLIRE），该工具可自动计算每个患者T2和T1加权图像之间的转换。用于T2加权磁共振成像的两种脑提取算法，即2D脑提取算法（BEA）和3D-BEA，被提出来。从T2加权数据集中提取大脑的原因是为了减小MRI的原始数据提取的内存，从而减少采集图像时的传输时间。使用最大连接分量（LCC）分析和形态学运算获得大脑掩膜，从中提取大脑。2D-BEA仅使用图层的二维信息。当LCC的在多个图层中连接失败时，利用相邻图层中可用的3D信息可生成3D-BEA。使用20个MRI数据集的实验证明，3D-BEA与2D-BEA和其他重要方法（如BSE和大脑提取工具（BET））相比表现异常出色。
Ortiz等人研究中，开发了许多算法，如BSE、BET、混合分水岭算法（HWA）、McStrip算法等，用于从其他结构中提取脑组织。由于排除和纳入错误的频率，许多半自动和自动大脑提取技术在稳健性和准确性方面并不完美。在这些McStrip中，有一种自动混合算法，无需用户干预。它用于非大脑和大脑分割，具有集成阈值、非线性包装和边缘检测的优点。
2.2 分割
目标定位或边界检测、边界估计等都属于分割过程。人眼可以毫不费力地区分感兴趣的结构并从背景组织中识别出它们，但在计算机算法开发中，这是一个巨大的挑战。分割是整个数据分析结果的导向，因为后续步骤取决于对分割的区域的分析。分割算法的主要原理是基于区域生长、可变形模型、阈值以及模糊聚类和神经网络等模式识别技术使图像的强度或纹理发生变化。此外，还有基于区域和边缘分割、自适应和全局阈值、梯度算子、分水岭分割、混合分割和体积分割、监督和非监督分割等技术。一种新的方法是基于可变形模型，适用于具有弱边界、伪影和噪声的图像。
分割是通过识别目标的所有体素或像素，或通过识别边界来实现。前者使用像素强度，而后者使用边缘值较高的图像梯度。分割通常被认为是一个模式识别问题，因为它涉及到像素分类。
在医学图像分析中，混合分割方法最初是分割的基本步骤，然后是耗时且鲁棒的精细的分割方法。用于脑MRI全自动分割的混合算法包括阈值分割、直方图分析、可变形模型和非线性各向异性扩散。
MRI脑肿瘤分割方法分为两类：生成模型（严重依赖于健康组织和肿瘤组织外观的领域特定先验知识）和鉴别模型（利用很少的大脑解剖先验知识，而主要依赖于提取大量低级图像特征，如原始输入像素值、局部直方图、纹理特征（如Gabor滤波器组）、基于对齐的特征（如图像间梯度、区域形状差异和对称性分析））。经典的分类方法有支持向量机（SVM）和决策树。生成模型的缺点，以及与判别方法相关的校准问题，导致了联合生成判别模型的发展。这种方法在预处理步骤中采用生成技术，为连续的判别模型提供稳定的输入，该模型可以被训练成能够预测复杂的类。
BRATS 2013的参与者使用了一个判别生成模型、一个生成模型和八个判别模型。其中，四名参与者使用的主要学习算法是随机森林（RF）。许多排名靠前的算法依赖于判别学习方法，在初始步骤中，生成图像的局部特征，然后使用判别分类器，将这些特征转换为类别概率。
通常，在分割过程中，专业的临床医生使用鼠标手动勾勒出感兴趣区域（ROI）。在自动计算机辅助分割的情况下，阈值等参数必须自动设置。即使MR图像来自不同层厚、视野（FOV）和弛豫时间的MR扫描仪，自动算法必须具有鲁棒性，以便生成稳定的分割结果。混合技术也是有效的图像分割方法包括基于模型的方法和图像处理方法。计算机辅助技术（具有半自动或自动分割方法）用于标记MR图像的肿瘤区域，但前者使用用户定义的ROI，需要较少的计算时间，而后者需要较高的计算时间。因此，目前大多数临床研究都是在专家指导下进行人工分割或严格分割。这是因为分割性能受到操作者的级别以及所花费的时间的影响。因此，有必要采用自动化分割方法。有研究对从MR图像中分割多形性胶质母细胞瘤（GBM）的方法进行综述。表明区域增长FCM（模糊C-均值）混合和期望最大化（EM）的戴斯(dice)相似性指数最高。
分割算法可以根据使用的特征进行分类。比如利用体素纹理和强度特征的聚类或分类方法，或者使用可变形模型的基于边缘或区域的技术。聚类根据相似性对数据进行分组，并通过无监督学习实现，而分类需要训练数据来学习模型。
有经验和专业知识的放射科医生可以直观地分析MR图像，并做出准确的肿瘤预测。它们根据质地的异质性或同质性或考虑低、高或等强度标准来区分不同的肿瘤。这些可视化提取的特征为计算机辅助设计（CAD）寻找合适的数学特征描述符提供了指导。因此，他们在CAD系统的指导下，消除主观的可变性、模糊性，并对肿瘤的分类做出客观的决定。有研究明确指出，肿瘤生长在接收边界的再现是一个共同的方面，这是发展完美分割的另一个动机，以便准确定义边界，从而确保在切除后没有病变组织残留。
2.2.1 手动分割
一般来说，由专业的放射科医生通过手动分割获得的信息是高度可靠的。此外，最终审查必须由医生完成，因为他们对病灶细分过程较专业，所以拥有最终决定权。有文献对不同的临床医生进行的感兴趣区分割时，产生的分割结果可变性进行分析。从10名患者的数据中，四名临床医生基于边缘检测和Slicer的区域增长分割模块对GBM进行逐层分割，一次手动考虑逐层切片。手动分割所消耗的时间平均为10分钟，使用3Dslicer的半自动分割时间为5分钟。后者所需的时间是手动分割所需平均时间的61%。
由于诊断医生组间的差异性，大概有四分之三的医生能对胶质瘤正确分类，这表明了手动分割的局限性。当在一个月内进行手动肿瘤分割时，结果显示出平均28%的观察者组间差异和20%的组内差异。这清楚地证明了获取用户独立和时间高效的脑胶质瘤分割方法的必要性。在文献[25]中，两位神经放射科医生通过使用ITKSNAP在3D扰相梯度回波（SPGR）图像上手动勾勒出异常区域和正常组织之间的边缘。
放射科医生通常在T2和T1图像上通过高信号T2/T1病变与邻近健康组织之间的阈值边缘手动定义肿瘤外缘。对于2D测量，肿瘤大小的临床测量通常是短轴和长轴的乘积；对于3D测量，则是肿瘤三个主轴的乘积。在文献[17]中，专家按照各种方案（如立体定向或神经导航活检）、患者临床病史、经验和知识，通过图像视觉特征和有时CT成像特征，对肿瘤进行分级或手动定性。
一位经验丰富的放射科医生利用病理细节在MR图像中对脑肿瘤进行分类。这些细节可能是异质或同质的纹理图案和可能是等、低和高的信号强度。表现为等、低和高信号的肿瘤分别与脑组织相同、比脑组织暗、比脑组织亮相对应。异质性肿瘤显示不同的信号强度区域，如肿瘤内的囊性和坏死部分，而同质性肿瘤在其整个区域显示相对相似的信号强度，如图1所示。
图1 脑肿瘤的T1加权磁共振图像
通过人类的认知过程，融合2&3D图像中的不同视觉特征，生成最终病灶感知。因此，在诊断过程中，ROI的感知在很大程度上依赖于描述轮廓、运动、亮度和不同3D变化的特征。这些特征有助于放射科医生分析脑部MRI图层。
MR图像提供了丰富的关于大脑软组织解剖的信息，但这使得人工分析变得困难。因此，出现了对自动化图像分析工具的需求。然而，手动分割被广泛用于评估半自动和全自动方法的结果。最终，一种方法的完整性是通过黄金标准——手工分割来评估的。
2.2.2 半自动分割
半自动方法需要用户交互，主要有三个目的：初始化、干预和评估。初始化可以定义一个ROI，包含近似的肿瘤区域，以便自动算法进行处理。需要干预来调整预处理方法的参数。通过接收反馈并提供相应的调整，可以驱动自动算法达到预期结果。最后，用户可以评估结果，并根据需求修改或重复该过程。
对于多模态脑肿瘤，在[36]中提出了一种半自动分割方法。它具有在一分钟内快速分割、易于初始化和高效修改的优点。用户必须手动绘制大致覆盖肿瘤的ROI。该算法结合了水平集方法、基于边缘和区域的活动轮廓等图像分析技术。
[37] 中提出了一种半自动分割方法，用于计算GBM的残余/复发肿瘤体积，以便更快地进行体积评估。通过手动分割和计算机辅助容量测定进行比较。在体积、二维和一维技术中计算组间相关性。对29例GBM患者的数据进行分析。当与计算机辅助容量测定相关时，1D和2D之间疾病状态的不一致性分别为3/29和5/29。计算机辅助容量测定法和手工法的平均分割时间分别小于1min和9.7min。与一维和二维测量相比，体积测量得到最高的组间相关性。因此得出结论，使用计算机辅助容量测定法进行快速和可重复的体积评估是可能的。
AFINITI（治疗干预的神经成像辅助随访）是一个半自动的GBM分割软件。基于体素和基于形变的分割算法的优点都嵌入到软件中。对于每个数据集的自动化过程、交互式细化过程和未经校正的输出过程分别花费了大约20、4、不到1分钟的时间。但是对于手动分割，根据肿瘤特征，时间从30到90分钟不等。AFINITI软件在web上免费提供。
基于先验信息的随机游走算法（RW-PR）是一种交互式分割工具，在膝关节的3D CT图像上进行了测试。即使大多数半自动方法只有用户初始化，但仍需要用户交互以确保提高精度。需要加快这些技术，特别是3D技术，以减少接收输入信息和获取输出所需的时间。这项仲裁工作解释了一种加速半自动方法的方法，该方法由于人为干预而缓慢。因此需要加快这些技术，特别是3D技术，以减少接收输入信息和获取输出所需的时间。有参考文献解释了一种加速半自动方法的方法，该方法由于人为干预而缓慢。
在自动肿瘤分割方法中，一个经常被注意到的缺陷是它们不能分割异质肿瘤的复杂边界，并且消耗了大量的计算时间。但它们在分割实体均质肿瘤或周边强化肿瘤时效果良好。以此同时，既然ROI是基于用户定义的半自动方法，相比自动分割，它能够花费更少的计算时间。文献[20]中的结果表明，使用自动和手动分割程序定量测定生长的肿瘤的体积测量方法是远远不够的。其他方法如自适应模板调节分类或基于阈值的半自动方法可用于肿瘤体积、浸润和生长的量化。
2.2.3 全自动分割
由于核磁共振成像与一个巨大的信息库相关联，因此无法对每个图像进行人工分析，从而为自动化工具的开发奠定了基础。在全自动方法中，肿瘤轮廓的获取不需要任何人工干预，在理论上非常有吸引力。当肿瘤类型不符合从训练数据集中学习到的分割模型时，分割结果可能是错误的。有研究[36]提出了一种算法，利用马尔可夫随机场模型，基于超体素和捕捉强度概率和边缘特征自动分割脑肿瘤。另一项研究[40]显示，能够在区分水肿、坏死核心和活性细胞的同时，对高级别胶质瘤（包括其亚区）进行自动分割。这种区别对待的方法依赖于决策森林。对两例III级肿瘤和38例IV级肿瘤的多通道MR图像进行验证。这些自动输出适用于肿瘤体积测量和辅助交互式治疗计划。
文献[19]中提出了一项针对复发性胶质母细胞瘤的研究，以提高治疗反应评估的效率和准确性。采用改进的k-最近邻（kNN）分类方法对13例患者的59张纵向MR图像进行分类，以评估肿瘤体积的变化。然后将该方法与手动体积测量和Macdonald标准进行比较。即使对所有边界不清的浸润性肿瘤扫描，这种方法也是适用的。手动肿瘤体积测量和自动肿瘤体积测量之间存在高度相关性（r=0.96），但它们与Macdonald标准的匹配率仅为68%，即使这些结果通过磁共振波谱（MRS）和神经放射学家验证。
研究[20]通过动态敏感性对比（DSC）成像对胶质瘤进行了表征，以确定使用FCM聚类计算肿瘤体积是否与手动定义肿瘤体积具有相同的诊断效率。通过这种方法，每名患者需要将近4分钟的时间生成一个二元胶质瘤体积，手动分割需要10分钟。当比较低级别和高级别胶质瘤体积时，自动方法显示出比手动方法更高的敏感性：低级别胶质瘤为83%，高级别胶质瘤为69%。尽管DSC成像显示了手术前胶质瘤定性的可能性，但这些方法仅限于领先的研究机构。
使用多频谱数据分析、人工神经网络（ANN）、SVM和基于知识的FCM聚类技术进行肿瘤自动分割是很有前景的方法。自动执行肿瘤分割的好处是时间效率高，没有组间和组内的变异性，并且使用一致的基准来描述肿瘤。
2.3 特征提取
特征提取可以定义为将图像转换为其特征的过程。特征提取方法包括：纹理特征、共生矩阵、Gabor特征、小波变换、决策边界特征提取、最小噪声分数变换、非参数加权特征提取和频谱混合分析。对于特征降维采用主成分分析、线性判别分析以及独立成分分析。将特征提取结合特征降维，可以实现精确的系统，该系统使用的特征数量更少，可以花费更少的计算成本。
肿瘤类型和分级是决定脑肿瘤分割特征的两个主要因素。这是因为不同类型和级别的肿瘤在外观上表现出不同，可能是形状、位置、规律性、对比度等。通常使用的特征是假设不同组织具有不同灰度的图像强度。局部图像纹理是另一种常用的特征，因为肿瘤的不同区域显示不同的纹理模式。基于对齐的特征使用空间先验知识。基于对齐和纹理特征的组合在性能上表现出了相当大的改进。为了沿着肿瘤生长边缘轮廓，可以使用基于边缘的特征或强度梯度。
对于特征提取，纹理可以建模为灰度变化的二维阵列。这种用于查找图像纹理图案的矩阵称为灰度共生矩阵（GLCM）。这种统计方法也称为灰度空间依赖矩阵，因为它提供了像素之间的空间关系。利用小波变换进行小波特征提取，对图像进行不同分辨率的尺度分析。然后将图像转换为具有多个频率分量的多分辨率图像。经过此转换后，可以同时分析图像的空间和频率特性。
关键特征识别是设计高效专家辅助系统的一个重要方面。当算法能够发现肿瘤的特征并将患者年龄作为特征时，星形细胞瘤分级是可能的。事实上，提取特征是为了减少内存、时间和数据。特征提取至关重要，因为结果是基于提取的特征数据直接计算的。特征的有效识别构成了一个最优特征集，同时减少了特征空间的冗余，避免了维数问题。传统上使用的特征（如图像强度、纹理、边缘和对齐）不一定与脑肿瘤的实际解剖意义相关，因为对于同一患者、使用同一扫描仪的同一身体区域，同一MRI模式中的MRI强度可能不同。因此，获取表示肿瘤相关解剖意义的附加特征在肿瘤分割中具有重要意义。小波变换、独立成分分析（ICA）和傅里叶变换可用于从MR图像中获取基本特征。
在评估胶质瘤时，各种非发作性的诊断因素如钙化、血供、出血、水肿和年龄都很重要。最近的研究利用磁共振波谱特征或频谱和纹理特征的组合来区分脑肿瘤类型。无论研究采用了最新的分类器还是统计分析方法，磁共振波谱特征已被证明能够为精确的脑肿瘤定性提供附加值。有些技术基于极高维的特征，这在存储方面造成了困难。特征提取在分割过程中起着至关重要的作用，因为提取特征集是复杂的，随着不同的图像变化。
2.4 特征选择和降维
现有的方法并没有利用太多的特征来描绘肿瘤病理学，也没有研究会穷尽所有方法提取所有完整的特征。但是，完全异构信息的使用导致了高维特征向量，这大大降低了系统的精度。因此，为了设计适当大小的鲁棒性脑肿瘤特征，减少不重要的信息，需要采用可靠的特征选择方法。
更有效的技术基于降维使用更少的特征数量，但特征数量的减少通常以降低精度为代价。常用的特征选择算法有：遗传算法、顺序后向选择（SBS）、顺序前向选择（SFS）和粒子群优化（PSO），常用的降维方法有主成分分析（PCA）、核PCA和ICA。特征选择通过减少维数灾难的影响、加快学习过程、提高泛化能力和增强模型的可解释性来提高学习模型的效率。忽略这一阶段会导致特征空间维数过大，分类器性能较差。
根据文献[51]，最常用的特征选择方法是PCA、ICA和遗传算法（GA）。PCA利用相关矩阵的最大特征向量将输入的特征空间转换为低维特征空间。而ICA将其转换为相互独立的维度特征空间。遗传算法基于评价函数对搜索结果进行评价来搜索最优特征集。此评估函数计算所选特征对分类问题的适用程度。
当目标是将具有多个相关变量的输入特征集转换为较小的维数时，同时保留大部分变量以更快、更有效地处理数据，PCA是合适的方法。在执行主成分分析时，通常保持至少97%方差的最小主成分集。
文献[53]解释了许多用于特征选择的方法，这些方法适用于生物医学图像分类。分析了三种不同的技术，即排除具有相似属性的特征子集的多核学习（MKL）、以支持向量机为决策函数的基于遗传算法的方法和使用多分类器的递归特征消除（RFE）。建议的最佳技术是SVM-RFE，尽管MKL使用的特征数量较少。RFE技术侧重于共生矩阵特征，而MKL则选择基于小波的纹理特征，其代价是所选特征数量极不稳定。
在统计学和机器学习中，通过特征选择可以获得最重要和最合适的信息。文献[42]解释了三种主要的特征选择方法，即包装模型、嵌入模型和过滤模型。首先是滤波器模型具有成本低的优点，但它充分避免了学习算法的影响。由于过滤器模型的缺点，出现了第二类，即考虑了训练集和算法之间相互作用的包装器模型。尽管包装器模型提高了精度，但计算成本很高。然后，在嵌入方法的情况下，将学习算法与加权过程或变量选择相结合。
文献[54]中提出了一种特征选择技术，该技术包括特征排序和选择两个步骤。基于每个特征的识别能力，特征排名方法计算每个特征的排名。此外，保持具有最高等级的特征，以便创建仅具有相关特征的特征向量。与此不同的是，特征选择方法去除了冗余特征，并集中于选择有区别的特征。因此，通过排除冗余和不相关的特征，合并特征选择和排序可以减少特征。与单独应用特征选择方法相比，该方法具有更好的分类精度。
进一步降维提高了分类精度；即使核方法对高维输入空间不太敏感。使用高维SVM处理较小的数据集和输入空间是常见的方法。如[49]中所述，一些提取的特征可能会降低分类器性能，并且所有特征可能在所有图像上都没有足够的鉴别能力。事实上，特征的提取和选择过程在决定分割性能方面起着至关重要的作用。
2.5 分类
在一些方法中，分割问题转化为分类问题，通过训练和分类对脑肿瘤进行分割。一般来说，用于脑肿瘤分割的机器学习分类方法需要从不同的病例中进行大量具有已知基本事实的脑部MRI扫描。主要是将人工智能和先验知识相结合来解决分割问题。目前，通过深度学习方法可以获得较高的分割性能。
最佳分类器设计中的考虑因素包括：（a）分类精度，（b）算法性能，（c）计算资源。脑MRI分类是利用神经网络、支持向量机、k-NN等有监督技术以及自组织映射（SOM）和FCM等无监督分类技术实现的。
自动脑肿瘤分割可以分为两种类型，即区分方法和生成方法。以前的研究表明，在其他自动方法中，基于判别分类的方法通常表现最好。判别方法通过特征和特征提取来学习输入图像与目标图像之间的关系。在大多数情况下，他们使用有监督的学习技术，需要具有有效基本目标的大数据集。另一方面，生成方法利用健康组织的位置和空间范围等先验知识生成概率模型。以前获得的健康组织图谱用于提取未知的肿瘤区域。然而，将先验知识转换为合适的概率模型是一项复杂的任务。
判别法分割的步骤包括预处理、特征提取、分类和后处理步骤。
1. 预处理步骤通常包括去噪、去头盖骨和强度偏差校正。
2. 在预处理之后，利用图像处理技术有效地提取代表每种不同组织类型的特征。特征，如强度、纹理、不对称相关特征；例如离散小波变换（DWT）、文本、多重分形布朗运动特征、一阶统计特征、强度梯度和基于边缘的特征。
3. 通过使用这些特征，训练不同类型的分类器；实现了支持向量机、神经网络、kNN、SOM和RF。
4. 在某些情况下，分割结果会被细化以提高性能。条件随机场（CRF）和连通分量（CC）是最常用的选择。
与传统的分类方法（提取的特征输入网络）不同，卷积神经网络（CNN）直接从数据本身自动学习具有代表性的复杂特征。因此，基于CNN的脑肿瘤分割的研究主要集中在网络结构设计上，而不是通过图像处理来提取特征。从图像中提取的面片作为输入，并使用可训练卷积滤波器和局部子采样来提取日益复杂的特征层次。
3 MRI-CAD方法的发展趋势
以下部分给出了用于脑肿瘤分类的各种CAD方案的详细方法。这些方法分为全自动和半自动2D& 3D用户交互方法。在所有方法中，框架如图2所示。
图2 磁共振成像计算机辅助诊断的常用方法
3.1 全自动2D& 3D用户交互方法
3.1.1 模糊逻辑算法
文献[28]中使用了一种II型近似推理方法，结合中值、非锐化掩膜和维纳滤波器进行预处理。预处理后的结果是锐化了边缘，降低了噪声，并且总体输出优于使用单个滤波器的结果。该系统使用异常簇确定肿瘤，使用脑脊液（CSF）簇确定肿块效应。对于近似推理，考虑了三个参数，即患者年龄、肿瘤形状（肿块或囊性）和肿块效应的存在。当考虑肿瘤形状时，如果是肿块，肿瘤可能是III级或II级，如果是囊性的，则可能是IV级或I级。
在文献[10]中，使用模糊C均值（FCM）和K-均值聚类方法进行分割。在这两种情况下，FCM聚类产生更好的分割效果。采用广义回归神经网络（GRNN）、径向基函数（RBF）、概率神经网络（PNN）和模糊概率神经网络分类器（FPNNC）进行分类。结果表明，尽管FCM的计算时间较长，但FCM的均方误差小于K-均值法。因此，FCM的准确度相对较高。
文献[55]清楚地描述了使用单个患者的单个平面提供的关于肿瘤的信息不足。重点是研究基于区间2型模糊方法对星形细胞瘤的MR图像进行鉴别的自动肿瘤检测方法。预处理采用2型模糊图像增强（T2FIE）技术，分割采用区间2型模糊集理论和相对熵。在近似推理步骤中，根据8条特征定义规则提取特征，检测并区分星形细胞瘤。
相比之下，文献[9]提出了一种基于多尺度模糊C-均值（MsFCM）的MR图像全自动分类方法，实现低对比度和噪声的鲁棒性。通过各向异性扩散滤波，MsFCM算法从最粗尺度到最细尺度进行分类。分类必须首先进行初始化估计，因为它是一个迭代算法。为了在对比度较差的图像上验证该算法，合成了对比度差异的图像，可以看出，随着对比度的降低，FCM和改进的模糊C均值（MFCM）的性能较差，而MsFCM仍然达到80%以上的重叠率。
对于新生血管评估和脑肿瘤检测，在文献[56]中提出了一种多阶段自动方法，主要分六个主要阶段。该系列磁共振图像通过大脑对称性进行记录。使用相对脑血容量（rCBV）灌注图区分低级别和高级别胶质瘤。该方法的第一个局限性是，检测大脑对称线和配准需要手动校正。其次，可能无法自动确定rCBV阈值。在诊断过程中，有经验的放射科医生需要查看其阈值。优点是每次检查的阈值都可以在CAD工作站中更新。在这项工作中，差分图像方法用于肿瘤分割，核化模糊C-均值（KFCM）方法用于特征提取。rCBV是肿瘤血管生成的指标。MR序列成像仍然是一种成功的鉴别诊断工具，因此到目前为止灌注加权图像（PWI）/rCBV很少用于脑肿瘤分割。
在[47]中，使用MRI进行低/高星形细胞瘤肿瘤分级的非侵入性鉴别也采用了类似的方法。这项工作的重点是仅从MR图像确定分级，而不是使用活检或MRS。主要参数的自动选择是使用混合蛙跳算法（SFLA）完成的。它结合了粒子群算法和文化基因算法（MA）的优点。结果表明，基于形状的特征具有最大的适用性。在这项工作中，与其他特征相比，面积在两个等级之间表现出很大的差异。因此，面积计算是一个主要因素，因为肿瘤的大小在很大程度上决定了它的分级。在其他方法中，FCM分割是肿瘤分级的最佳解决方案。还指出朴素贝叶斯分类器一次只能对一幅图像进行分类，而学习矢量量化（LVQ）和支持向量机分类器可用于海量图像分类。
文献[14]中使用了一种使用K-均值和FCM算法相结合的混合聚类方法进行图像分割。该技术的优点是，K-means比FCM能更快地发现肿瘤，但FCM发现的肿瘤细胞未被K-means检测到。特别是对于恶性肿瘤，K-means算法存在肿瘤检测不完全的问题，但该算法在大数据集上运行良好，且简单快速。FCM与K-means相比，K-means保留了更多关于原始图像的信息，用于准确的恶性肿瘤检测。研究[8]针对强度不均匀的MR图像提出了一种广义粗糙FCM，将其分割为背景、脑脊液、白质（WM）和灰质（GM）。在这种混合聚类方法中，FCM和粗糙c-均值相结合。
3.1.2 自适应神经模糊推理系统
根据文献[46]中的自动种子点选择范围，使用自适应神经模糊推理系统（ANFIS）区分大脑异常和正常脑组织，在参考文献[57]中，它将脑肿瘤区域分为良性和恶性，在[50]中也将脑肿瘤区域分为5种类型。对于预处理，文献[46]使用了各向异性扩散滤波器，该滤波器保留了边缘并去除了噪声。所使用的特征是GLCM（灰度共生矩阵）、局部二进制模式（LBP）和用于训练ANFIS的小波特征。适应神经模糊推理系统的其他输入包括从病理图像中提取的特征、肿瘤面积、同质性和熵。在文献[57]中，使用形态学滤波从二值图像中提取图像成分。为了提高精度，使用形态学操作（如形态学开操作、闭操作、膨胀和腐蚀）完成后分割过程。ANFIS的一个优点是收敛速度快。ANFIS使用基于模糊集理论的模糊规则和模糊推理。在[50]中，ANFIS与ANN和kNN进行了比较。
类似地，用于确定I至IV级星形细胞瘤脑肿瘤的图像分割技术[45]首先进行预处理，使用GLCM进行特征提取，使用特征选择（GA模糊粗糙集），最后使用ANFIS进行图像分割。在这项工作中使用了两个隶属函数（高和低）以及100条if-then规则，形成ANFIS输入。
3.1.3 支持向量机
在[15]中，肿瘤分割和肿瘤区域的检测和描绘分别由全自动系统完成。大脑半球之间的直方图不均匀性用于肿瘤分割检测，因此当肿瘤位于中线时会出现限制。在特征提取方面，最初的空间、频率和多分辨率纹理信息基于Gabor小波方法，该方法能够确定位置、频率和方向。统计方法采用灰度游程矩阵（GLRM）、GLCM、LBP和方向梯度直方图（HOG）。通过这些特征提取方法，证明了像素组或两个图像像素之间的强度关系。研究还发现，随着基于纹理特征的应用，降噪会降低分类精度。
类似地，在[54]中，通过基于一组分类器的自动CAD系统将MR图像恶性或良性肿瘤进行分类。使用直方图分析，确定大脑中的簇数。提取三维和二维肿瘤特征，利用Haar小波对良恶性肿瘤进行有效鉴别。特征选择采用独立成分分析，特征排序采用信息增益。类的预测是通过结合ANN、kNN和SVM等多分类器的决策来完成的。为此，使用乘积、和、中位数和均值的组合规则对三个分类器的决策进行整合。最后，图像被标记为具有最大值的类。该方法对脑肿瘤的特征提取分别需要12秒来提取完整特征向量和4-5秒进行特征选择和降维。
在[3]中，通过利用侧脑室变形（LaV）与脑肿瘤压迫之间的相关性，测量LaV变形，并将其从轴向视图的2D图像转换为特征数据。该方法利用大脑半球对称性，应用动态创建的LAV模板。所提出的方法通过 3D 视图观察模型对齐和 LaV 变形。为了分离脑脊液组织，使用了动态小波融合的FCM（dwFCM）。本研究假设，在大多数脑瘤患者中，肿瘤和水肿存在于一个半球，并符合这一假设；模板图像通过镜像受肿瘤影响较小的半球获得。
使用向量场卷积（VFC）活动轮廓模型进行大脑分割，然后使用[27]中的三个SVM分类器将脑组织分类为GM、WM和CSF。各向异性扩散滤波器用于校正射频不均匀性，这是一种迭代滤波器。像素之间的欧几里德距离和强度平方以及简单的特征用于大脑分割。研究[8]得出结论，只有在没有强度不均匀性和高噪声的情况下，这些特征才能显示出更好的输出，因此用统计特征代替它们可以提供更好的结果。
[43] 中提出了三种分析方法来消除对分类没有影响或影响较小的特征。它们分别是PCA、ICA和皮尔逊相关系数（PCC）。采用支持向量机结合RBF核方法根据患者年龄和肿瘤全脑血容量（CBV）直方图进行肿瘤分级。当特征向量从101个主成分减少到3个时，主成分分析给出了85%的最佳分类精度。在这项研究中，年龄是最好的预测因素，因为它与其他特征无关，也不是血流动力学参数。
3.1.4 人工神经网络
采用不变矩特征提取方法，基于神经网络分类器将MR图像分为恶性、良性和正常三类。基于7个旋转不变量的三次微分，提取了不同的图像特征。特征选择采用基于二元关联规则（AR）的规则剪枝技术。它结合了专家提供的高级信息和提取的低级图像特征，排除了冲突的规则，并且通过规则修剪技术进行特征选择，选择的特征作为分类器的输入。这项工作的一个优点是，不变矩特征提取方法在少数异常特征的基础上进行形状区分。在这种基于AR的神经网络分类中，提取的特征从7个减少到3个。AR方法的一个缺点是在识别规则时提供了用户提供的最小支持值和最小置信度。
有研究基于离散小波变换（DWT）获取MR图像特征，然后使用PCA进行特征降维，最后使用两个分类器进行分类，即[59]中的kNN和前馈-反向传播网络（FFBPNN）。基于有效的工具进行特征提取如小波变换，能够在不同分辨率水平上进行图像分析。但是，小波变换的代价是计算量大和存储量大。同时为了降低特征向量的维数和提高鉴别能力，采用了主成分分析法。输入矩阵大小从1024减少到7。
文献[60]提出了一种采用前馈神经网络（FFNN）、多层感知器（MLP）和反向传播神经网络（BPNN）的脑肿瘤自动分级方法。使用GLCM和GLRM提取脑肿瘤分级的特征。GLRM是沿一定方向具有相似灰度强度的连续像素，GLCM提取二阶统计特征。在GLRM中，精细纹理具有类似灰度强度的短游程，而粗糙纹理由不同强度的长游程组成。模糊熵方法用于选择最优特征。与其他分类器相比，BPNN的分类准确率高达96.7%。
为了准备训练数据，从每个MR图像中提取13个Harlick纹理特征。该数据被引入三个人工神经网络（FFBPNN、递归和Elman网络）作为输入的目标向量。结果解释了Elman网络，带有对数 sigmoid的激活函数，在其他ANN中性能最好，性能比为88.24%。
在另一项研究中，在[62]中提出了一种使用人工神经网络对肿瘤分级的自动脑肿瘤检测和分割方法，准确率为95.30%。为了去除MR图像中常见的椒盐噪声，使用中值滤波器。采用快速包围盒（FBB）方法检测脑肿瘤。这里通过输入10个特征来训练神经网络对肿瘤进行分类。目标矩阵为二至四级，仅为3个等级。
有研究计算每个2D MR图像的强度直方图，并在此直方图上应用Slantlet变换进行特征提取。Slantlet变换输出的大小对应于六个空间位置，这六个位置创建每个图像的特征向量。基于神经网络的二值分类器由这些特征训练而成，如果图像是阿尔茨海默病病理大脑或正常大脑，二值分类器将自动进行推断。在训练阶段，快速收敛由Levenberg–Marquardt算法提供，该算法是BPNN算法的变体。这项研究假设即使分类器输入低至6个特征，其精度也有相当大的提高，其精度与[18]中的方法进行了比较。
使用比例共轭梯度（SCG）将大脑MR图像分为异常或正常，该梯度计算了[64]中BPNN的最佳权重。由于基本反向传播算法的权值是在最陡下降方向上调整的，因此不需给出快速收敛，所以使用SCG算法。小波变换（WT）代表了可变大小的加窗方法，用于特征提取，因此保留了信号频率和时间信息。三级小波分解大大减小了输入图像的大小。虽然提取的特征从65536减少到1024，但它太大，无法计算。因此，基于PCA和BPNN进一步将特征降维为19个主成分。
PCA用于特征提取，PNN(概率神经网络)用于将脑肿瘤分为良性、恶性和正常三类。此外，恶性肿瘤进一步被分为脑膜瘤和胶质瘤。
文献[16]中提出了一种混合、廉价且无创的机器学习方法，用于从MRI自动检测脑肿瘤。每当图像数据库大小增加时，这项工作都需要新的训练。在该技术中，预处理由中值滤波和高通滤波完成，图像分割由反馈脉冲耦合神经网络（FPCNN）完成，特征提取由DWT完成，降维由PCA完成，输入分类为异常和正常图像由前馈BPNN完成。
文献[66]中提出了一种利用CNN进行3*3核自动分割的方法。CNN在使用内核的模块上运行，具有不容易过度拟合的好处，因为与大内核相比，小内核的权重较小。与低级别胶质瘤（LGG）相比，高级别胶质瘤（HGG）使用更深层次的结构，因为更深层次的结构不能为LGG提供更好的结果。对于较小的LGG训练集，更深入的训练意味着包括更多权重层，但可能会导致过度拟合。提取了大约335000和450000个图像块，分别基于LGG和HGG训练CNN。通过数据扩充，获得了大约四倍于这些数字的有效训练样本。
文献[67]中用类似方法研究了使用多相MR图像的脑肿瘤分级，并将结果与BPNN和CNN进行了比较。内核在不同的层次上对一些从CNN获得的自学习特征进行训练。CNN的一个主要优点是，内核从无监督的学习过程中学习，它可以作为模型的噪声抑制器和特征增强器。训练集分布不均匀可能会导致CNN训练失败。对于深度学习机器，一个关键因素是训练样本量。
文献[41]中提出了另一种使用深度学习的方法。基于CNN能同时具有更多全局上下文特征和局部特征的优势。该模型迭代了大约220万例肿瘤图像模块，并遍历了320万例健康图像模块。分割整个大脑所需的时间从25秒到3分钟不等。由于BRATS数据集缺乏3D分辨率，该模型按顺序处理每个2D轴向切片，其中每个像素与不同的图像模态相关联。CNN的一个缺点是，需要分别预测每个分割标签。其优点是，两阶段训练程序允许模型从更真实的标签分布中学习。
3.1.5 自组织映射
文献[35]中提出了一种自动混合自组织映射和模糊K-均值（FKM）算法，用于识别良恶性肿瘤。在该方法中，聚类还执行对水肿部分和肿瘤区域的分割过程。分两阶段进行聚类，一次由SOM(自组织映射)进行聚类，然后由FKM进行聚类。这项工作的优点是，为了提高FKM算法的性能，基于SOM进行了初始级别的聚类。FKM中的贪婪K-均值算法提供了更快的收敛速度。同样在HGG的情况下，该组合算法可以准确地识别肿瘤区域的可变维数。
小波特征被输入到神经网络SOM和SVM中，用于将MR脑图像分类为正常或异常，前者的准确率为94%，SVM的准确率为98%。作为一种无监督的算法，SOM可以自动生成相似图和产生抽象特征，这是区别于其他网络的一个优势。对MR图像进行二级Daubechies-4（DAUB4）小波分解对分类器来说是最方便的。与线性核和多项式核相比，RBF核的分类精度更高。虽然DAUB4小波的计算成本很高，但与Haar小波相比，它提供了更高的分辨率。
常用的分割方法应用有关体素分类的先验知识。这会抑制识别新的组织类别，这些类别不同于训练系统的类别。另一项研究[7]提出了两种无监督的方法来克服这种抑制。从整个体积直方图中提取适当的信息，SOM(自组织映射)在第一种方法中对此进行处理，而第二种方法包括四个阶段。在第二种方法中，使用重叠窗提取二阶和一阶特征，通过进化计算进行特征选择，最后通过SOM聚类算法进行分组。前一种方法是快速的，而后一种方法在恶劣的强度或噪声条件下是鲁棒的。利用遗传算法对特征空间进行降维。
文献[68]提出了一种完全不同的组合方法，该方法使用有监督LVQ和无监督SOM(自组织映射)对T1-w图像进行分割和标记。为了提高分割前的质量，对图像进行了各向异性滤波预处理。平稳小波变换（SWT）及其统计特征的组合提取出多维特征向量，作为SOM的输入。SOM方法用于分割图像，并基于LVQ方法进行参数微调。
文献[49]提出了一种基于生长层次自组织图（GHSOM）的神经解剖分析分割方法，该方法采用基于概率的聚类方案和基于多目标的特征选择，称为GHSOM多目标优化（GHSOM-MOO）。GHSOM是SOM的一个变体，基于无监督的方式发现固有的层次结构并对数据进行分类。GHSOM是一种非固定的层次结构，克服基础SOM的缺点。
重叠和滑动窗口用于每个切片的特征提取，PCA和多目标优化结合非支配排序遗传算法（NSGA-2）进行特征选择。NSGA-2计算的特征平均重叠值大于PCA计算的重叠值，证明NSGA-2优化过程在降维方面优于PCA。
3.1.6 粒子群的优化
参考文献[69]比较了三种自动诊断系统，以检测胶质瘤，并将其分为健康和不健康的脑图像。每个胶质瘤诊断系统涉及四个步骤。首先，利用粒子群优化算法（PSO）、达尔文粒子群优化算法（DPSO）或分数阶粒子群优化算法（FODPSO）对图像进行分割，得到图像的几何轮廓。其次，计算分割图像的方向谱分布（DSD）特征。第三，利用广义Hurst指数（GHE），通过多尺度分析（MSA）对DSD进行特征提取。最后，利用支持向量机对得到的多重分形特征进行分类。这种方法的优点是实现简单，只需要六个多重分形估计来形成特征向量，处理给定的脑部MRI只需四秒钟。FODPSO-DSD-MSA胶质瘤诊断系统表现最好。整个处理时间小于5秒。
在文献[70]中结合了基于多维共生矩阵的MRI和MRS方法对水肿和肿瘤进行分割以及HGG和LGG分级。将MRI和MRS的特征用于训练极限学习机改进的粒子群优化（ELM-IPSO）神经网络分类器。利用体积特征和波谱代谢物比率区分组织类别和肿瘤分级。波谱和（或）纹理特征用于设计ELM-IPSO分类系统。另一项工作[70]明确强调，通过结合多模式质子磁共振成像和大脑形态磁共振图像进行分类仍然是一项具有挑战性的任务。这是因为解剖和病理诊断都需要密集的手动交互进行分割和分类。
使用[71]中的FFNN，通过Haar小波变换进行3级分解，从图像中提取特征，然后应用PCA，将MR大脑图像分为正常和异常。将降维特征赋予FFNN，并采用自适应混沌粒子群优化算法（ACPSO）进行优化。FFNN是一种有监督分类器，本文使用PSO对其进行训练。计算成本较低的粒子群优化算法需要很少的实现代码行和较少的计算内存。为了获得FFNN的最佳参数并提高PSO的性能，在[71]中使用了ACPSO方法。在三种交叉验证方法（K-折叠交叉验证、留一验证和随机子抽样）中，使用了K=5的K-折交叉验证。
3.1.7 随机森林
文献[17]使用集成学习方法RF(随机森林），从MRI T1c序列的图层中分类出四种不同的脑肿瘤类型。基于相关性的特征集选择方法（CFS）对生成的特征集进行降维，重复相同的实验。快速计算、大数据集处理能力和潜在特征评估是RF的优势。CFS将特征尺寸从86减小到15。袋外分类错误率为0.044，降维后，袋外分类错误率为0.0278。与应用特征选择方法相比，使用整个特征空间，RF给出了改进的结果。这种方法的优点是它不需要预处理，既不需要配准也不需要去噪，也不需要单序列MRI诊断。
文献[2]描述了一个基于射频衍生概率的监督分割框架，该框架使用多模态强度、几何结构和不对称特征集。ANTs R软件包用于将RF模型的监督学习功能与正则化概率分割相结合。该软件包是R统计项目和高级配准工具（ANTs）之间的综合可视化和统计接口。采用高斯混合模型（GMM）进行体素分类。它被应用于建模7种脑/肿瘤组织类型。
对于多波谱和单MR图像的实时分割，在[72]中提出了一种基于马尔可夫随机场（MRF）的不同方法和一种由 gossiping 算法和蚁群优化（ACO）组成的混合算法。蚂蚁在食物来源和巢穴之间找到最佳路径。蚂蚁的这种锻造行为被用于启发式优化，这是一种多智能引导的方法，称为ACO。在每次迭代中，每个最优结果迅速传播给下一次迭代。由于这种正反馈，在下一次迭代中，可以找到更接近最优解的有目的的路径。由于这种智能反馈，收敛过程加快。因此，将gossiping 算法与蚁群算法相结合，有助于更好地改进。这种方法分别在模型和真实图像上进行。
3.1.8 其他方法
文献[73]中介绍了一个CAD系统，该系统将MRI脑肿瘤图像分为良性和恶性。在T1加权图像上进行图像锐化，在T2加权图像上进行各向异性扩散滤波。使用非锐化掩膜获得锐化图像的原因是T1加权的清晰度一般通过其锐化度来解释。类似地，各向异性扩散滤波器通过有效地保留细节结构和边界来减少信息损失。alpha混合技术用于合成轴向T1-w和T2-w图像。肿瘤区域的分割采用增强分水岭分割（EWATS）算法。GLCM（灰度共生矩阵）技术用于从分割图像中提取纹理特征。为了有效分类，使用正则化逻辑回归（RLR）。
同时在[74]中，GLCM被证明是基于强度的不同特征提取方法中最好的。WEKA工具分类算法J48（决策树算法）与GLCM特征具有相似性。类似地[75]解释了一种用于早期快速检测脑肿瘤的肿瘤提取方法。肿瘤区域的提取和分类是使用决策树分类器完成的，决策树分类器是一种非参数的、基于规则的分类器，不需要假设每个类别中的变量分布。还具有结构简单的优点。
[76] 使用多模式脑MRI的轴向、矢状面和冠状面对脑肿瘤进行三维立体分割、重建和可视化。对图像进行颅骨剥离，并对每个体素以1 mm的各向同性分辨率进行插值。采用强度差特征提取。为了细化肿瘤区域的内容和边缘，对目前获得的肿瘤掩膜进行形态学操作。最初，腐蚀算子用于去除肿瘤周围的任何残留区域，然后进行扩张以填充肿瘤肿块内的孔洞。
文献[51]脑胶质瘤的分类可以通过灌注测量来实现，因为单靠常规MRI无法实现。本研究旨在发现T2*DSC灌注MRI的相对脑血流（rCBF）、相对脑血流体积（rCBV）和相对信号强度恢复百分比（rPSR）值在区分HGG和LGG方面的潜力。得出结论：rPSR与肿瘤分级呈负相关，而rCBV和rCBF值与肿瘤分级直接相关。DSC灌注MRI广泛用于评估大脑的血流动力学特征（rCBV和rCBF），因为它有助于评估肿瘤的恶性程度。但是，在不同的灌注指标中，rPSR是唯一一个考虑了泄漏因子的参数，用于表征脑组织的异质性在[51]中很明显，放射科医生相信半自动方法。这项工作的局限性在于与手动方法相比，手动可以评估ROI不同的参数。
文献[77]中提出了一种基于融合的分割技术，该技术基于可变形模型和空间关系的混合。三种流行的变形方法：snake、水平集和距离正则化水平集进化用于预测它们在生成脑肿瘤边界方面的性能。通常，可变形方法需要用户初始化。但该方法可以自动生成初始曲线。此研究分为三个阶段：通过扩展极大值变换进行初始曲线放置，使用基于边界的可变形模型收敛最终曲线段，使用最终曲线区域相互比较性能。
为了描述肿瘤边界处MR信号的变化，边界分析方法与[78]中提出的基本边缘检测不同。肿瘤边缘状态与正常/肿瘤组织边界的边界距离和T2信号变化斜率显著相关。基于对90条构造的采样射线的MRI强度采样，这些采样射线来自于肿瘤中点附近由放射科医生标记的点，同时测量了肿瘤边界属性。
文献[79]提出了一种使用线性矢量量化的自动方法，将脑肿瘤分为良性或恶性，并结合纹理和形状特征。特征向量由傅里叶描述系数（FD）和给出形状表示的7个矩不变量以及13个Haralick纹理特征组成。这些是输入到分类器的线性矢量量化，是Kohonen学习规则的监督变量。
文献[80]提出了多参数磁共振成像的数据驱动分析，考虑到病变的磁共振成像异质性，提高了低级别和高级别脑胶质瘤之间区分的显著性。结果表明，该方法显著提高了灵敏度和特异性。基础MRI提供与水肿、对比剂增强、多中心性和/或多灶性、出血、坏死和肿块效应相关的信息，这些都是胶质瘤侵袭性的标志。但由于LGG和HGG的MRI特征重叠，使用基本MRI进行分类通常不确定，敏感性从55%到83%不等。
文献[81]中使用了一种计算机辅助方法，该方法使用开放式CV（开源计算机视觉库）和嵌入式系统检测脑肿瘤组织。opencv与现有方法的比较表明，该方法的准确度最高，执行时间最少。OpenCV是一个开源的计算机视觉和机器学习软件库。
3.2 半自动2D& 3D用户交互方法
3.2.1 模糊C均值聚类 FCM
文献[82]中使用了基于扩展双曲正切（EHT）模型（源自逻辑回归）、高斯混合模型和模糊软聚类技术的基于FCM（UMCF）的统一模型分类。EHT量化了两个变量之间的关系。软聚类最大限度地减少了同一聚类对象之间的差异和不同类之间的相似性。正常细胞、水肿和肿瘤分别用像素值0100和255表示。这项研究的优点是使用EHT模型可以减少假阳性和假阴性。
文献[83]对于星形细胞瘤的WHO分类，高/低等级的划分描述了模糊认知图谱（FCMs）的使用。它对专家的专业知识、经验等进行建模和表示。将神经网络和模糊逻辑的强大特性融合到FCMs中。激活赫比算法（AHL）增强了该算法的分级能力和适用性。通过AHL算法学习专家最有用的经验和知识。FCMs的优点是决策过程具有足够的透明度和可解释性，缺点是通过使用合适的学习算法避免了收敛到不需要的区域。因此，当采用新策略时，学习算法会重新计算权重。为了评估肿瘤分级，专家通常利用8种组织病理学特征：细胞性、有丝分裂、凋亡、巨细胞、多核细胞、坏死、血管增生和多形性。这些关键特征编码了肿瘤的恶性程度。专家可以定性地解释概念之间的因果关系，而不需要用数值来解释因果关系。
3.2.2 支持向量机SVM
为了对胶质瘤进行分级并区分转移瘤和胶质瘤，在[84]中开发了一种融合基本MRI和rCBV图的计算机辅助分类方案，该方案由灌注MRI计算得出。基于SVM-RFE进行特征子集选择。两位神经放射专家手动勾画4个ROI，从中提取特征。结果表明，通过合并rCBV图谱，实现分级区分。缺点是必须勾画ROI，使其成为半自动方法，这会造成观测者间和观测者内的差异性。
文献[42]中使用了一个多分类系统来确定肿瘤的分级和类型。与RBF核一起，使用最小二乘支持向量机（LS-SVM）并与LDA结合。从INTERPRET项目数据库中获得由10类磁共振波谱成像（MRSI）病理学和MRI数据组成的数据集。MRSI预处理步骤包括涡流效应校正、频率校准、通过汉宁滤波器对k空间数据进行滤波以及使用指数滤波器进行基线校正，然后减去原始信号的残差。整个数据被半自动预处理，图像被共同对齐。通过移动和最大化空间相关性，对PD加权图像进行图像配准。此外，通过自动相关性确定（ARD）方法进行特征选择以提高结果的准确性。
在[85]中，使用带有浮动搜索方法的支持向量机预测胶质瘤恶性程度并选择合适的特征。为此，采用基于支持向量机的包装方法对特征子集进行评估，并采用反向浮动搜索（BFS）方法生成特征子集。BFS基于SFS，SFS逐个添加最相关的特征，SBS逐个删除最不相关的特征。这项研究清楚地表明，不同数据集的特征子集提供了分类精度，而不是单个特征。
文献[44]推荐了一种使用遗传算法和支持向量机以及高斯径向基函数核进行脑肿瘤分类的混合系统。实验结果表明，遗传算法将支持向量机的分类精度从56.3%提高到91.7%。通过在[0,1]范围内的线性缩放，将每个特征成分独立标准化到指定范围。这确保了较大值输入特性不会覆盖较小值输入，从而减少预测误差。
对于区域的定义，多维或多波谱分割使用来自同一站点的多个原始图像的信息。提出了一种通过测量同一患者的肿瘤体积随时间的变化来检查肿瘤状态的方法。该方法学习脑肿瘤并选择特征，然后利用支持向量机对新数据中的肿瘤进行自动分割。此外，通过区域生长技术细化肿瘤轮廓。通过优化核种类进行特征选择。由于肿瘤特征随时间或采集条件的变化，自适应训练自动追踪肿瘤。
3.2.3 人工神经网络ANN
参考文献[86]中提出了一种方法，首先用鼠标点击图像，使用半自动或全自动CAD系统识别和界定肿瘤，最后由医生确认为病理组织。该系统对肿瘤进行了鉴定和定量测量。AIR（自动图像配准）软件用于离线校准扩散张量成像（DTI）数据集，从而校正伪影。在每张图谱上，手动绘制胶质瘤ROI，然后对分割的ROI进行纹理分析。使用滑动窗口方法，提取梯度直方图和强度、GRLM和GLCM等特征。Fisher过滤器分数用于识别每个图谱和每个患者的鉴别特征。然后利用主成分分析法减少信息冗余。使用BPFFNN进行监督分类。
在[87]中，使用三层FFNN和反向传播算法区分良恶性星形胶质细胞瘤。MR图像由三名神经放射科医生在不了解病理结果的情况下独立审查和分级。将每个观察者的MR参数读数输入神经网络，将其映射到等效的病理输出。在放射科医生有无印象的情况下，相对受试者工作特征曲线（ROC）面积分别为0.94和0.91，相对于放射科医生的0.84，拥有更好的性能。该方法花费100次迭代和562个学习过程来完美地训练网络。在评估的特征中，恶性肿瘤的最强指标是环形强化的存在，与病理结果的相关性最大。其他指标包括肿瘤异质性、造影增强程度和水肿程度。
为了帮助放射科医生对脑肿瘤进行多分类，在[33]中提出了一个交互式CAD系统。基于内容的活动轮廓（CBAC）模型用于标记保存为分段ROI的肿瘤区域。从这些分割的ROIs中，提取纹理和强度特征集。使用一种组合分类器，即使用MLP学习算法的ANN和使用高斯RBF核的支持向量机的GA。遗传支持向量机为肿瘤分类提供了初步的概率，在准确性和速度上也有一定的优势。来自双分类器的联合输出有助于放射科医生改进诊断。
在医学图像中，均质肿瘤的分割是使用基于强度的活动轮廓模型进行的，如静磁活动轮廓（MAC）、梯度矢量流（GVF）和流体矢量流（FVF），但[88]中的分析表明，许多方案在相同背景下都无法分割均质肿瘤。因此，提出了同时利用活动轮廓内的纹理和强度信息的CBAC。在这种方法中，从二维切片中提取肿瘤体积，称为2.5D分割。该轮廓由静态运动场（SMF）和动态运动场（DMF）迭代引导至肿瘤边界。动态场使轮廓变形以覆盖肿瘤，而静态场使轮廓达到肿瘤边界。为了引导轮廓朝向肿瘤边界，如果轮廓位于肿瘤边界之外，SMF使用梯度力，最后，利用静态场和动态场，CBAC生成活动轮廓来分割肿瘤。
文献[39]中使用了一种用于原发性和继发性脑肿瘤提取的用户交互模型，该模型是一种基于边界的技术，称为GVF。PCA-ANN方法对这些分段ROI进行分类。在训练阶段，采用梯度下降动量反向传播（GDBPM）算法判断权重。这些肿瘤由专家手动分割和分级以供验证。
在[30]中，使用PCA-ANN方法对多种数据集进行了多类脑肿瘤分类。作为一种半自动方案，放射科医生最初对ROI进行了标记。使用CBAC模型分割856个ROI。CBAC使用初始轮廓查找ROI内外的纹理和强度值。进行了三组实验。首先，使用人工神经网络方法检查分类精度。其次，在测试过程中重复同一患者的分段ROI，并使用随机子抽样的PCA-ANN方法。分类准确率从77%提高到91%。第三，相同患者的分段ROI在测试和训练集中并不常见。这样做是为了检查系统的鲁棒性和消除偏差，最终得到85.23%的总体精度。
在[48]中，通过融合非线性最小二乘特征变换（LSFT）和PNN分类器来识别脑肿瘤。通过使用LSFT调节纹理特征，PNN分类器的性能得到显著提高，同时导致维数降低和类别可分性增加。在决策树的初始级别，可区分转移性和原发性脑肿瘤，在下一级别，可区分脑膜瘤和胶质瘤，从而形成两级分层决策树。两个不同的LSFT-PNN分类器用于在决策树的每个级别进行分类。在决策树的第一层和第二层分别采用三次和二次LSFT-PNN。采用非参数Wilcoxon秩和检验进行特征降维。进行了两种交叉验证，一种是留一法（LOO），另一种是外部交叉验证法（ECV）。
3.1.4 其他方法
在[89]中，我们展示了如何使用MRI区分区分或定义肿瘤分级的因素。对36例经病理证实的胶质瘤进行分析，并与活检诊断进行比较，以确定MRI是否可用于将星形细胞瘤分为低度星形细胞瘤、间变性星形细胞瘤和多形性胶质母细胞瘤。评估的MR特征包括边界界定、肿块效应、水肿、肿瘤信号异质性、出血、坏死或囊肿形成以及中线交叉。
基于最小用户交互，文献[23]提出了一种仅在大脑内通过训练和推广使用kNN片段的半自动方法。这种方法值得注意的一个优点是，一旦训练完成，任何新的大脑数据都可以在没有人为干扰的情况下被处理。另一方面，缺点是数据可能是从不同的MRI扫描仪收集的，用于对多个大脑受试者进行训练。这导致了一个问题，磁共振图像强度不一致。这项研究表明，条件随机场（CRF）可以替代MRF，kNN CRF比kNN和kNN MRF具有更好的性能。使用kNN CRF和kNN MRF技术处理每个大脑只需1到2分钟。
在[90]中，K-means算法最初用于分割，但它无法处理数据上的噪声和异常值。因此，分水岭分割被用来分离肿瘤细胞和健康细胞。分水岭方法的缺点是对局部极小值高度敏感。
在[26]中，最初，放射科医生通过视觉识别用于准确分割脑损伤的突出区域。自动分割应用显著信息作为约束标记加快了N-cut分割。通过显著性加权N-Cut实现的分割展示了一种大脑MRI分析技术，该技术可以在无需训练的情况下确定图像的科学价值。McStrip方法用于去除非大脑部分。使用了多尺度对比度、运动感知和曲率特征等特征。基于图形视觉显著性和图像处理显著性（SIM）软件（基于Matlab实现）。
表1和表2中列出了所述综述的合并细节。表1合并了用户交互方法、预处理、特征提取、特征数量、特征类型、降维方法、分割方法、选择的分类器及其输出，分类/肿瘤类型和性能评估。表2总结了所用数据库的模式、数据集和来源。标题下未使用技术的作品已标记为NA未应用/NM-未提及。
4 讨论
大多数综述的研究集中在自动方法上。广泛使用的预处理方法包括中值滤波、N4ITK进行偏差校正、使用BET进行颅骨剥离、图像锐化、配准和各向异性扩散滤波，评分使用率最高。大多数算法尤其是传统的FCM算法对MR图像中的噪声非常敏感，Rician噪声是MR图像中常见的噪声类型，因此必须将重点放在减少Rician噪声的负面影响上。
综述表明，分割主要使用CNN、FCM、SOM、CBAC和MRF。脑MRI分割方法可分为6大类：基于阈值的分割（例如：Otsu方法和Th均值方法）、基于区域的分割（例如：区域分割、合并和生长）、边缘检测、聚类（硬聚类和软聚类、使用FCM和K均值的算法）、统计模型（EM算法、，MRF模型）和人工神经网络。文献[91]还指出，最常用的肿瘤分析技术是基于FCM、区域生长、模糊集和混合。由于各种规格和新应用的增加，选择仅限于特定应用的最合适技术是困难的。在这种情况下，可以结合不同的技术来实现所需的分割目标。因此，在当前场景中，使用混合或组合分割方法，以避免单独使用每种方法的缺点，从而提高分割精度。
将两种或多种技术与神经网络、模糊逻辑和遗传算法等软计算技术相结合的混合技术在图像分割中得到了广泛的应用。参考文献[11]对各种混合分割方法进行了综述，表明K-均值具有更好的性能和更低的计算复杂度。因此，通过将K-均值与其他方法相结合，可以提高分割性能。
在总结现有特征提取技术的基础上，最常用的方法是DWT和GLCM。PCA和GA在降维方面的使用率最高。通过关注高维特征，包括病理学和放射学肿瘤细节，可以减少错误分类。分类主要采用PNN、RF、SVM、CNN、MRF、ANN、SOM和模糊方法，而混合系统的分类精度最高。SVM和RF等分类器也被广泛应用于脑肿瘤的分割。RF主要用在处理大型特征向量和多类问题方面。MICCAIBRATS挑战表明了RF方法是最精确的方法之一。研究表明，基于CNN的算法具有良好的性能，尤其是在二维数据分类领域。CNN的优点是，不同层中的每个内核都是自发学习的，因此不需要预先设置特征，所以，训练样本的数量变得至关重要。
需要强调的一种方法是深度学习，它处理从数据中自动和直接学习复杂特征的过程。文献[34]中对深度学习方法的高性能的综述表明，它可以被认为是胶质瘤分割的最新技术。参考文献[44]得出结论，在即将开展的研究工作中，必须收集由类胶质瘤和高、低级别星形细胞瘤亚类组成的数据集进行分类。此外，我们还发现，7T MRI有助于进一步了解脑肿瘤的发病机制，为新的治疗发展铺平道路。最后，由于胶质瘤分级取决于MR图像的外观，因此肿瘤分割模型必须排除对比度增强的血管，分割对比度增强的肿瘤区域。此外，为了跟踪肿瘤的生长或复发，反复的侵入性手术并不常现实，这使得非侵入性方法很常见。但与此同时，自动方法必须与放射科医生的感知非常相似。如果这是无法实现的一个全自动的方法，交互式的由用户初始化的半自动方法势在必行。
5 结论
对最近脑磁共振图像的分割和分类技术的综合评述表明，早期发现脑肿瘤及其分级是进一步研究的基础。数字图像处理方法以及机器学习技术帮助放射科医生进行有效的诊断，因为混合技术为他们提供了有效的意见和帮助。本文综述了脑胶质瘤（包括星形细胞瘤）的人脑MR图像分割和分类的最新趋势。讨论了各种技术中使用的方法，旨在将这些方法实际应用于临床。这项综述提醒研究者注意，尽管取得了较高的分类准确率，但这些技术仅在在恶性和良性/低级别和高级别两大类别上进行了测试，没有考虑进一步的肿瘤类型分类，如WHO分级系统。本综述旨在探索一种图像处理和机器学习方法的发展，该方法致力于脑肿瘤的分级，尤其是脑胶质瘤中发病率最高的一种：星形细胞瘤分割和分级。
