医学图像分割方法及其应用

医学信息学解锁18（2020）100297生物医学图像分割Intisar Rizwan I Haquea，b，*，1，Jeremiah Neubertc， 2a美国北达科他大学工程与矿业学院b巴基斯坦伊斯兰堡国立科技大学（NUST）c美国北达科他大学工程与矿业学院A R T I C L EI N FO保留字：图像分割深度学习机器学习生物医学图像A B S T R A C T该综述涵盖了在医学成像领域通过深度学习方法进行图像自动分割。目前机器学习的发展，特别是与深度学习相关的发展，证明有助于识别和量化医学图像中的模式。这些进步的关键点是深度学习方法直接从图像中获得分层特征表示的基本能力，这反过来又消除了对手工制作特征的需求。深度学习正在迅速成为医学图像处理的最新技术，并在各种临床应用中提高了性能。在这篇综述中，讨论了深度学习方法的基础知识，并概述了涉及不同医学应用的图像分割的成功实现。最后，一些研究的问题进行了强调，并指出了未来需要进一步改进。1. 介绍医学成像是当今医疗保健系统的重要组成部分，用于执行非侵入性诊断程序。它涉及创建人体和器官内部的视觉和功能表示，用于临床分析。其不同类型包括：基于X射线的方法，例如常规X射线、计算机断层扫描（CT）和乳房X线摄影;分子成像、磁共振成像（MRI）和超声（US）成像。除了这些医学成像技术，临床图像越来越多地用于诊断各种疾病，尤其是与皮肤相关的疾病[1]。医学成像有两个组成部分：1）图像形成和重建，2）图像处理和分析[2]。图像形成涉及一组过程，通过该过程形成三维（3D）对象的二维（2D）图像，而重建依赖于一组迭代算法来通常从对象的投影数据形成2D和3D图像。另一方面，图像处理涉及使用算法来增强图像属性，如噪声去除，而图像分析从图像中提取定量信息或一组特征用于对象识别或分类。由于技术的进步，图像采集变得容易，从而以非常低的成本生成大量高分辨率图像。这使得生物医学图像处理算法的发展有了显著的改进。这反过来又使得能够开发自动图像分析或评估算法以提取有用的信息。这种自动分析的基本步骤是分割，分割是基于视觉上不同的区域对图像进行细分，这些区域对给定问题具有语义意义。这些区域中的每一个通常在其灰度级、纹理或颜色方面具有统一的特征[3]。清晰的分割和可区分的区域对于可能涉及确定纹理或层厚度的均匀性水平的进一步分析至关重要[4]。有时，图像可能包含同一类的多个对象。并且分割过程可以分离包含相同类别的对象的区域，同时忽略其他类别，在这种情况下，它被称为实例分割，而不是语义分割，在语义分割中，相同类别的对象不被分离，但不同类别被分离。所有的图像分割技术可以分为三种* 通讯作者。 工程与矿业学院，北达科他大学（UND），大福克斯，ND，美国。电子邮件地址：intisar. und.edu（I.Rizwan I Haque），jeremiah. und.edu（J.Neubert）。1 I. Rizwan i Haque，现就职于美国北达科他大学工程与矿业学院（CEM），地址：Grand Forks，ND 58202，巴基斯坦伊斯兰堡国立科技大学（NUST）2J.Neubert，是北达科他大学（UND）工程与矿业学院机械工程系的学生，地址是Grand Forks，ND 58202，USA.https://doi.org/10.1016/j.imu.2020.100297接收日期：2019年8月9日;接收日期：2020年1月18日;接受日期：2020年2020年1月26日在线提供2352-9148/©2020的 自行发表通过Elsevier 公司这是一个开放接入文章下的CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）中找到。可在ScienceDirect上获得目录列表医学信息学期刊主页：http://www.elsevier.com/locate/imuI. Rizwan I Haque和J. Neubert医学信息学解锁18（2020）1002972分类：1）手动分割（MS），2）半自动分割和3）全自动分割技术[5]。MS技术要求主题专家首先确定感兴趣区域（ROI），然后绘制ROI周围的精确边界，以正确注释每个图像像素。MS是必要的，因为它为半自动和全自动分割技术的进一步发展提供了地面真实标记的图像。 MS是时间密集型的，并且仅适用于较小的图像数据集。在高分辨率图像的情况下，高分辨率可能导致图像不再具有清晰的边界（弱对比度），从而在ROI边界的像素的选择中的轻微变化可能导致大的误差。手动分割的另一个问题是它是主观的，因为该方法依赖于专家的知识和经验，因此经常遇到显著的专家间和专家内变化[ 6 ]。半自动分割技术涉及小水平的用户与自动算法交互以产生准确的分割结果[7]。用户交互可以涉及选择适当的初始ROI，其随后用于分割整个图像。它可能涉及手动检查和编辑区域边界以减少分割错误。半自动分割技术的示例包括：1）种子区域生长（SRG）算法，其基于用户提供的初始种子点迭代地合并具有相似强度的邻域像素[8]，2）基于水平集的活动轮廓模型，其从由轮廓表示的初始边界形状开始，并通过基于函数的隐式水平的收缩或扩展操作迭代地改变它们，并且具有不需要先验形状知识和ROI的初始位置的优点[9]，以及3）局部区域生长算法，其包括：基于活动轮廓技术，利用区域参数来描述图像的前景和背景，使用小的局部区域，并具有处理异构纹理的优势[10]。全自动分割技术不需要任何用户互动然而，大多数这样的技术基于需要训练数据的监督学习方法，例如形状模型、基于图谱的分割方法、随机森林和深度神经网络。训练数据和在无监督学习方法的情况下的验证数据都需要通过手动分割获得的标记图像，从而施加与前面提到的类似的约束。医学图像自动分割的其他挑战是患者之间ROI的形状、大小、纹理和某些情况下的颜色变化很大，区域之间的对比度较差[11]。源数据采集中的噪声或缺乏一致性也可能导致源图像数据的广泛变化，这在实际应用中经常是这种情况。由于这个原因，基于聚类技术、分水岭算法和基于机器学习（ML）的方法的大多数现有方法具有缺乏全局适用性的基本问题，这将它们的使用限制在有限数量的应用中。此外，通常与基于支持向量机（SVM）或神经网络（NN）的机器学习方法一起使用的人类特征工程是耗时的，并且不能以原始形式处理自然数据，并且通常不适应新信息。另一方面，深度学习方法能够以原始形式处理自然数据，消除了对手工制作特征的需要[3]。这些方法已经有效地用于自然图像上的语义分割，并且还在生物医学图像分割中找到了应用[12]。由于更快的中央处理单元（CPU）和图形处理单元（GPU）大大减少了训练和执行时间，访问大量数据集以及学习算法的进步，深度学习方法的使用量增加了[13]。审查的其余部分结构如下。在第2节中，概述了图像分割的机器学习方法、图像分割的深度学习方法、深度学习架构、实现深度学习提供了用于图像分割的学习体系结构和性能度量。在第3节中，介绍了使用深度学习模型进行不同生物医学图像分割应用的最新研究。在第4节中，对前几节中介绍的研究进行了讨论。最后，总结了基于深度学习的图像分割的研究趋势和挑战，并对未来的工作提出了建议2. 深度学习2.1. 机器学习基于机器学习的图像分割方法的典型应用是对ROI（例如，患病区域或健康区域）进行分类。设计这种应用所涉及的步骤从预处理阶段开始，该预处理阶段可能涉及使用滤波器来去除任何噪声或用于对比度增强的目的。在预处理阶段之后，使用分割技术如阈值化、基于聚类的方法和基于边缘的分割来分割图像。在分割之后，基于ROI的颜色信息、纹理、对比度和大小来提取特征。然后使用特征选择技术如主成分分析（PCA）或统计分析来确定主导特征。随后，所选择的特征被用作ML分类器（诸如SVM或NN）的输入。ML分类器使用输入特征向量以及目标类别标签来确定分离每个类别的最佳边界[14]。一旦ML分类器被训练好，它就可以用来对新的未知数据进行分类，以确定其类别。典型的挑战包括基于原始图像属性确定适当的预处理要求，确定适当的特征和特征向量的长度以及分类器的类型等。2.2. 基于深度学习的分类器（DLC）DLC可以直接处理原始图像，这意味着不需要预处理，分割和特征提取。然而，由于输入值的限制，大多数深度学习方法都需要图像重构虽然一些技术确实需要强度归一化和对比度增强，但如果在训练期间采用稍后讨论的数据增强技术，则可以避免这一点因此，DLC具有更高的分类精度，因为它可以避免与错误特征向量或不精确分割相关的错误[14]。ML和DLC方法的比较如下图1所示。基于DLC的方法已经改变了研究的重点，从传统的图像处理技术的特征工程，网络架构设计，以获得最佳的结果。DLC网络通常具有多个隐藏层，这意味着与基于ML的方法相比，执行更多的模拟操作，因此模型的计算量更大。如图1所示，机器学习分类器采用特征向量作为输入，输出是对象类，而深度学习分类器接收图像，输出是对象类。可以注意到，理论上深度学习可以说是传统人工神经网络（ANN）的增强，因为它由比ANN更多的层组成[13]。它被认为是一种代表性学习，因为每一层都将前一层的输入数据转换为更高和更高抽象级别的新表示[3]。这允许模型学习分层结构中整个数据的局部和相互关系。深度学习模型的每一层中数据到表示的转换是非线性函数的结果。通常，从给定图像的第一层表示中提取的特征将识别特定对齐中的边缘的存在或不存在及其在图像中的位置。第二层通过识别边缘的定位来检测模式，并忽略这些位置I. Rizwan I Haque和J. Neubert医学信息学解锁18（2020）1002973ð Þ ¼ ðÞFig. 1. 使用典型机器学习算法和深度学习的分类器方法的变化。图改编自Ref.[14 ]第10段。而第三层将这些模式关联到对应于类似对象的片段的更大组合中，同时使后续层能够通过这些组合来检测对象[2]。这种直接从数据中学习的分层特征表示导致深度学习在一系列人工智能应用中取得了前所未有的成功[13]。2.3. 深度学习架构在许多深度学习架构中，CNN是使用最广泛的，因为它与传统的NN非常相似。与图2（a）所示的典型NN相反，CNN将图像作为输入，并具有与前一层的一个小区域而不是整个层连接的神经元的三维排列，如下图2（b）所示。CNN由包括卷积层、非线性激活层（诸如整流线性单元层（ReLU））、池化层或全连接层的层组成。卷积层在输入图像的像素和滤波器之间应用卷积运算，以获得包含由滤波器提取的特征的特征图的体积。 ReLU是一个非线性激活层，函数f xmax0;x到输入值增加非提高了训练速度。池化层对输入值进行下采样，以降低图像的空间维度，从而提高计算成本并防止过拟合，并且由于计算基于相邻像素，因此池化层是平移不变的[15]。全连接层通常是CNN的最后一层，就像传统NN的隐藏层一样，这一层中的所有神经元都链接到前一层中的神经元。如前所述，CNN通常用于分类问题。为了使用CNN进行语义分割，输入图像被细分为大小相等的小块。CNN对贴片的中心像素进行分类。然后，该块向前滑动以分类下一个中心像素Xel。然而，这种方法是低效的，因为滑动块的重叠特征没有被重新使用，导致图像的空间信息在特征移动到最终的完全连接的网络层中时丢失。为了克服这个问题，提出了使用全卷积网络（FCN），其中CNN的最终全连接层被更改为转置卷积层，如图2（c）所示，它对低分辨率特征图应用上采样以恢复原始空间维度，同时执行语义分割[11]。图二. （a）一个2层神经网络（一个隐藏层4个神经元和一个输出层3个神经元 ） ， 和 三 个 输 入 ， （ b） 。 卷 积 神 经 网 络 （ CNN ） 和 （ c ） 全 卷 积 网 络（FCN）。血统.该过程涉及确定损失函数的梯度，优化算法使用该梯度来更新网络权重，以使损失函数值最小化2.4. 其他架构2.4.1. 受限玻尔兹曼机（RBM）受限玻尔兹曼机（RBM）是基于能量模型（EBM）原理设计的神经网络。EBM通过将标量能量分配给变量的个体排列来编码变量之间的依赖性。使用观测变量的值进行推断或预测，以最小化能量的方式确定残差变量的值。而学习是通过确定一个能量函数来实现的，该能量函数对于残差变量的正确值产生最小的能量，而对于错误值产生较大的能量。在学习期间最小化的损失函数反过来提供了可用能量函数的优越性的度量。RBM由一个输入层（I1， 一个简单的RBM架构如图所示。3.第三章。基于图1所示的架构。 3、能量函数为具有ai加权输入的成果管理制可定义为：Ei;hi-XaiIi-Xbjhj-XIihjwi;j（ 1）通常，使用反向传播来算法结合优化算法，如梯度i j i;jI. Rizwan I Haque和J. Neubert医学信息学解锁18（2020）1002974¼ ð Þ图三. 受限玻尔兹曼机（RBM）。在RBM的训练期间，针对给定的输入确定网络参数，其最小化在等式（1）中提供的能量函数。 （一）. RBM是概率模型，并且输入层和隐藏层中的神经元的值暗示特定时间点处的状态，并且这些值指示对应的神经元是活动的（状态1）还是不活动的（状态0）。通过堆叠实现的一种类型的RBM被称为深度置信网络（DBN），其中每个层与前一层和后一层通信。最上面的两层包含无向连接，而较低的层具有有向连接。与另一种称为深度玻尔兹曼机（DBM）的RBM网络相反，它只有无向连接。DBM被认为在存在噪声输入的情况下更好2.4.2. 基于自动编码器的深度学习架构自动编码器神经网络是一种无监督学习算法，它通过应用反向传播算法将输入压缩成潜在空间表示，其中目标值与输入相同它包括两个部分：1）网络的编码器部分，将输入压缩成由函数h f x表示的潜在空间表示，以及2）网络的解码器部分，从潜在空间表示重建输入。通过将隐藏层约束为具有比输入层更低的维度来实现压缩。这样的网络被称为不完全网络。较低的隐含层维数导致网络学习训练数据中最突出的或者，也可以应用稀疏性约束，通过使隐藏层中的神经元在大部分时间保持不活动来实现类似的结果。在基于自动编码器的深度学习方法中，输入包括图像，该图像被下采样以获得较低维度的潜在表示，使得自动编码器能够在图像的压缩形式上被训练和学习自动编码器架构如图所示。 四、自动编码器中的一个挑战是隐藏的节点层的数量大于输入值的数量。这具有网络学习空或其中输出等于输入的恒等函数的风险。为了解决这个问题，使用去噪自动编码器，其中通过随机分配大约30-50%的输入值为零来故意扭曲数据。减少到零的实际值取决于网络中存在的数据大小和节点数量。在确定损失函数时，将输出与原始输入进行比较，从而消除了零函数学习的风险。自动编码器的应用是相对有限的，由于不允许其作为生成模型的应用程序的潜在空间表示的不连续性。为了解决这个问题，引入了变分自动编码器。在变分自动编码器中，编码器的输出不是单个编码向量，而是输出两个编码向量;一个是均值向量，另一个是标准偏差向量。这些矢量充当随机变量的参数，输出编码矢量从该随机变量采样。这允许解码器即使在存在见图4。 具有矢量和图像输入的自动编码器架构。训练过程中相同输入的微小变化。自动编码器的随机性质确保潜在空间表示通过设计是连续的，从而允许随机插值和采样。2.4.3. 基于稀疏编码的深度学习架构稀疏编码是一类无监督学习，它确定一组过完备的基向量来表示输入数据。过完备意味着潜在表征的维数高于输入。其目的是确定对应于给定输入的这些基向量的线性组合。过完备网络意味着需要应用额外的稀疏性约束来解决任何退化问题。稀疏编码的优点是它可以识别相似描述符之间的相关性，并捕获图像的显着属性[15]。2.4.4. 生成对抗网络（GANs）在GAN中，其思想是通过神经网络实现一个生成器，以便它对一个转换函数进行建模，该转换函数将随机变量作为输入，并在训练时遵循目标分布。而另一个网络同时被训练为一个神经网络，以区分生成的数据和真实的数据。这两个网络作为对手运行，即第一个网络试图最大化生成数据和真实数据之间的最终分类误差，而另一个网络试图最小化相同的误差。结果，两个网络在训练过程的每次迭代后都有所改善2.4.5. 递归神经网络（RNN）RNN被专门设计为在输入的大小无法预先确定时使用系列类型的输入。序列输入与许多输入不同，因为它会影响其相邻值，因此网络必须识别这种关系。RNN是这样的网络，其当前输出基于当前输入和基于过去值的学习。先验输入信息是网络的一部分，并存储在隐藏状态向量中。这意味着相同的输入可以导致不同的输出，这取决于序列中先前的输入。当用不同的输入序列值重复变换时，网络变得递归，从而产生不同的固定大小的输出向量。隐藏状态随每个输入而更新。深度可以通过添加更多隐藏的I. Rizwan I Haque和J. Neubert医学信息学解锁18（2020）1002975状态层，或者通过在输入和隐藏状态层之间添加非线性隐藏层，或者通过在隐藏状态层和输出层之间添加更多层，或者使用所有三种的组合2.5. 实现深度学习架构的典型方法存在多种方法，通过这些方法已经实现了用于图像分割的深度学习技术。在第一种方法中，神经网络是从头开始训练的，这通常需要大的标记数据集的可用性，并且构建和训练网络是时间密集的。在第二种方法中，可以使用现有的预训练CNN之一，如AlexNet，它被训练用于对120万张高分辨率图像进行分类，可通过ImageNet大规模视觉识别挑战赛2010获得1000个不同的类。这种方法的典型过程是删除网络的最后几层，并用新的特定于任务的层替换它们。在开始层中从数百万图像中学习的低级特征与在最终层中提取的特定于任务的特征合并，以实现用于新图像分类的网络。这提供了减少实施时间的优点，表1缩略语的定义类别实际疾病实际无疾病预测疾病真阳性（TP）假阳性（FP）预测无疾病假阴性（FN）真阴性（TN）2.6. 性能度量使用标准和众所周知的指标，使系统与文献中现有的技术进行比较的图像分割系统的功效进行评估根据系统的功能，选择适当的评估度量取决于许多因素这些指标可以测量计算复杂度，处理时间，内存利用率和准确性等[17]。下面提供了各种性能指标，可用于评估深度学习模型在准确性方面的分割效率TP、FP、FN和TN定义见下表12.6.1. 精度仅需要分别找到少量的权重转移精度正确预测的像素TPTN学习通常用于在ImageNet数据上训练的网络，并且优于权重的随机初始化[17]。图像像素总数<$TP<$FP<$FN<$TN（2）第三种方法涉及使用预训练的CNN从数据中提取特征，随后将这些特征用作训练传统分类器（如支持向量机）的输入。这种方法的优点是可以自动提取大量分类数据的特征，从而消除了人工工程特征提取的耗时需求。一些著名的卷积神经网络包括为生物医学图像分割开发的U- Net[18]和为体积医学图像分割开发的V-Net [19]。U-Net是一种具有收缩路径和扩展路径的FCN。收缩路径由连续的卷积层和最大池化层组成。它用于提取特征，同时限制特征图的大小扩展路径执行上转换，并具有卷积层以恢复分割图的大小，同时丢失定位信息。跳过连接用于从收缩层到扩展层共享本地化信息。这些是并行连接，允许信号直接从网络的一个块传播到另一个块，而不会增加任何计算复杂性。最后，输出之前的卷积层将特征向量映射到所需数量的目标类准确度，如上所述，表示被正确分类的图像像素的百分比。它也被称为整体像素精度。它是最基本的性能度量，但在类别不平衡的情况下，它有错误表示图像分割性能的局限性。当一个细分类支配另一个时，就会发生类不平衡。在这种情况下，占主导地位的类别的较高准确度将掩盖与其他类别相关联的较低准确度，从而提供有偏差的结果。因此，建议使用准确性度量来评估没有类别不平衡时的图像分割性能。上述准确度定义的另一种选择是每类准确度，它确定每个类正确标记的像素的百分比，然后确定它们的平均值[20]。这种方法对于存在类别不平衡的图像很有用。在类不平衡的情况下，必须考虑平均和每类精度。平均每类准确度的限制是降低了各个类的置信度。此外，给定类的较少实例可能导致大的变化，从而影响结果的可靠性。2.6.2. 精度在最终的分割输出中。V-Net类似于U-Net，由以下部分组成：两部分：1）压缩部分和2）解压部分。压缩部分由多个阶段组成，每个阶段包括：精密度正确预测的疾病像素预测的疾病像素总数¼中文（简体）公司简介1-3个卷积层。在每个阶段，残差函数是通过使用基于体积像素的体积数据执行的卷积运算来学习的。压缩路径通过类似于池化层的卷积将分辨率降低一半。但是，池化层并不用于降低内存利用率。参数校正线性单元（PReLU），也称为Leaky ReLU，是ReLU的推广，用作非线性激活函数。解压缩-如上文所定义，精度表示自动分割结果中与地面实况疾病像素匹配的疾病像素的比例。精度是分割性能的有用度量，因为它对过度分割敏感。过度分割导致低精度分数。2.6.3. 召回网络的子区域部分扩展了特征图的空间支持，以产生用于体积分割的足够信息。反卷积用于增加输入的大小，残差函数是召回正确预测的疾病像素实际疾病像素总数¼中文（简体）TPFFN学习类似于网络的压缩部分。输出之前的卷积层产生两个与输入体积大小相同的特征图输出。这两个特征图包含预测的前景和背景区域信息。跳跃连接以类似于U-Net的方式用于将定位信息从网络的收缩部分转发到网络的扩展部分。如上所定义的召回率表示通过自动分割正确识别的基础事实中的疾病像素的比例。它对欠分割敏感，因为这会导致低召回分数。2.6.4. F1测度精确度-召回F1测量值¼ 2� 精确度和召回率（5）I. Rizwan I Haque和J. Neubert医学信息学解锁18（2020）1002976GsVg100%（11）白质，这反过来有助于确定动脉瘤和肿瘤。对于生物医学成像研究人员来说，简体中文精确度和召回率可以联合使用，因为给定分割结果的两个度量的高值意味着预测的分割区域在位置和细节水平方面都与地面实况匹配。F1测量也称为边界F1（BF），确定精确度和召回率的调和平均值，并且对于预测分割和地面真实分割之间的轮廓或边界匹配是有用的。它也被称为骰子相似系数（DSC），其替代定义在下面提供2.6.5. DICE相似系数（DSC）大量的地面真相。AVD（G，S）的值越小，意味着分割精度越高[22]。AVD和MHD对点位置敏感，因此当需要确定精确的边界描绘时，可以更有效地评估分割精度[23]。使用MHD和AVD的另一个优点是，与其他措施相比，这些措施不会严格惩罚低密度分割结果[23]。低密度意味着图像分割具有更精确的边界轮廓，但有几个微小的孔。有关细分指标的更详细阅读，请参阅以下内容骰子2jSGround Truth\SAutomatedj2 �TPjSGround Truthj jSAutomatedj2�TPFPFN可以参考文献[17，20，232.7. 生物医学图像其中S代表分段。从等式中可以看出，DSC考虑了每个类别中的虚警和漏失值，因此优于整体像素精度。DICE也被认为是优越的，因为它不仅评估正确标记的像素数量，而且还确定分割边界的准确性[20]。此外，DICE通常用于通过交叉验证来测量系统性能的可重复性2.6.6. Jaccard相似指数（JSI）存在依赖于成像方法的各种类型的生物医学图像。下面提供了一些广泛使用的生物医学成像技术。以下列表并非详尽无遗，因为随着技术的进步，新的成像技术正在引入，以实现更好和及时的诊断。2.7.1. 临床图像临床图像是患者身体的数字图像，通常用于记录损伤、烧伤或皮肤病变。自动肛门-JSI¼S地面实况\S自动化 ¼TP（七）这些图像的分析可用于跟踪治疗的功效SGround Truth[S AutomatedTPFPFN时间这些图像被广泛用于皮肤病学和化妆品其中S代表分段。Jaccard相似性指数（JSI）也被称为交集-并集（IoU），并且被定义为预测分割和地面实况分割之间的重叠面积与预测分割和地面实况分割之间的并集面积的比率。JSI类似于DSC，因为它们彼此单调或正相关，如从下面的等式可以看出的。治疗以跟踪皮肤或解剖结构的表示之前和之后。临床图像的最广泛应用是用于检测被称为黑色素瘤的皮肤癌。2.7.2. x射线成像X射线成像是用于检测骨折和骨脱位的最广泛使用的成像技术。生成的图像是二维的。美国国立卫生研究院（NIH）提供了开放获取，公司简介 DSCDSC¼2JSI（八）100，000张胸部X光图像，包括相关数据和诊断，2-DSC1美元JSI改进成像分析技术[26]。同样，马萨丘-JSI和DSC之间的区别从上面的等式中可以明显看出，JSI将比DSC更惩罚不正确结果的实例。因此，这两个度量中的任何一个都可以用于分割验证，而不是同时使用这两个度量。2.6.7. 修正Hausdorff距离（MHD）给定两组像素A和B，MHD定义如下：HK;Gmax�max�minfDa;bg;max�minfDa;bg（九）麻省理工学院（MIT）发布了一个数据集，其中包含超过350，000张胸部X光片，用于开发机器学习模型，以自动检测14种常见疾病，如肺炎或肺穿孔等。[27].2.7.3. 计算机断层扫描（CT）CT是一种计算机化的成像程序，其中X射线通过360度指向患者，以产生内部器官，骨骼，软组织和血液的详细横截面图像。aε AbεBbεBaεA体内的血管。传统上，在轴向或横向平面中并且垂直于身体的长轴捕获图像。怎么-其中D（a，b）表示像素a和b之间的欧几里得距离。较小的MHD值指定两点集的更大相邻性，从而表明更好的分割性能[21]。有时第K级距离是基于Hausdorf距离(HD)定义如下：HDG;Smaxfh95S;G;h95G;Sg;（ 10）其中这些也被称为切片的图像可以被重新格式化为多个平面，并且可以用于生成三维图像。它被广泛用于通过定位肿瘤的存在及其大小来检测癌症，并且是最广泛解决的生物医学成像问题之一。美国国立卫生研究院（NIH）已开放访问32，000张CT图像，并提供相关数据和诊断，以提高病变识别的准确性[28]。2.7.4. 磁共振成像（MRI）h95°S; G 95°Kthmin JJ- JJMRI是一种成像技术，用于形成生理和病理的图像sε SgεG其中G表示地面实况。2.6.8.绝对体积差（AVD）�Vs-Vg�逻辑过程，器官和组织内的身体使用强磁场。MRI用于对身体的非骨部分或软组织进行成像。与CT扫描的主要区别在于它确实使用了X射线的电离辐射。与X线和CT扫描相比，MRI扫描可以更好地显示膝关节和肩部损伤。 在大脑中，MRI扫描可以用来区分灰色和其中Vs是分割结果的体积，Vg表示成像研究（OASIS）项目已收集了包含2000多个MRI会话的神经成像数据集[29]。AVD血管紧张素转换酶I. Rizwan I Haque和J. Neubert医学信息学解锁18（2020）10029772.7.5. 超声成像（美国）超声成像技术使用高频声波来产生内部器官、组织和血流的视觉图像。它是在怀孕期间监测胎儿的最广泛使用的技术。它主要用于腹部，血管和甲状腺扫描，通常不用于成像骨骼或含有空气的组织，如肺部。使用美国的好处是它是快速和无辐射的。2.7.6. 光学相干断层扫描（OCT）OCT是一种采用低相干光从生物组织内获取微米分辨率、二维和三维图像的技术。OCT主要用于通过提供视网膜的横截面视图来诊断眼部问题，从而使医生能够清楚地看到每一层。这使得能够进行层映射和厚度测量，这对于诊断是有用的2.7.7. 显微图像显微医学图像用于分析组织的显微结构。待分析的组织通常通过活组织检查获得，然后用染色组分对组织切片进行染色，以在细胞水平上显示细节。复染剂用于为图像提供颜色、可见性和对比度。这些图像被广泛用于癌症的检测。通常分析的特征包括细胞及其核的形状和大小以及细胞在组织中的分布。2.8. 数据增强深度学习神经网络的性能取决于足够数据的可用性。问题是在大多数情况下，训练样本无法达到所需的数量，特别是在医学成像中。为了在缺乏真实数据的情况下增强可用数据集，采用各种数据增强技术来从现有可用数据集创建附加训练数据。用于数据扩充的技术对图像数据应用类别保持变换，并且可以包括：1）在一个方向上水平或垂直地移动图像像素，而不改变整个图像尺寸（图像平移）; 2）通过反转像素的行和列来水平和垂直翻转图像像素（图像翻转）; 3）从0到360度的一定程度的图像旋转（图像旋转）; 4）改变图像的亮度水平以训练模型来解释测试图像中的这种变化; 5）通过添加新的边界像素或通过插值来随机地放大或缩小图像。在大多数这些技术中，丢弃一些现有的像素，并且通过最近邻填充、边界像素的复制、平均或插值来添加一些新的像素。上面讨论的前四种技术称为刚性数据增强技术，即，形状本身保持不变。在第五种技术中，保持水平和垂直增强的比例。然而，如果它是不同的，那么图像将在一个方向上比另一个方向拉伸得更多（图像拉伸）。或者，如果图像在两端仅沿对角线轴的一个方向拉伸也可以使用被称为弹性变形的另一技术，其在感兴趣区域的形状中产生等效于在外力下拉伸的效果。形状的变化类似于固体物体在外部应力下如何变形，该外部应力在应力移除后可恢复最后，可以应用对比度增强来调整图像中的强度变化，因为医学图像可能已经从各种源获得这些增强技术的主要目的是提高深度神经网络的泛化能力，同时避免特征的欠拟合和过拟合。这些技术通常在网络的训练阶段自动应用。此外，在大多数情况下，线性变换是足够的，更安全的使用方法。然而，大量的增强可能会产生特征的变化，这是不现实的。然而，最终的选择将再次在很大程度上取决于医学图像的类型和感兴趣区域的属性。最后，数据增强技术可以用来克服数据的短缺，但是，它不能考虑到所有的变化，可能发生在真实的数据。3. 基于深度学习的生物医学图像分割综述在表2中，提供了对涉及深度学习方法用于生物医学图像分割的最新文章的调查。仅选择将深度学习模型用于生物医学图像分割应用的文章。该表包括文章参考、定义用于图像形成或采集的成像技术的模态、定义用于分割的深度学习架构的方法、简要指出拟议方法的备注部分，最后一列提供了用于评估拟议算法的性能指标和简要结果。从表2中可以看出，这些方法中的大多数都是基于CNN或FCN的方法。这些文章都没有使用迁移学习方法，而一篇文章确实使用了深度学习模型作为特征提取的函数，以便使用结构化支持向量机进行后续分类。大多数应用的模式是CT、MR和US，这也表明了当前的研究趋势。其中一个原因是通过各种竞争或从其他公共来源获得图像数据集的容易性。4. 讨论在本节中，对表2中的一些文章的深度学习方法进行了基本回顾。Roth等人提出使用多级深度卷积网络来分割胰腺，已知胰腺具有非常高的解剖变异性。胰腺的分割对于量化糖尿病患者的器官体积研究中使用了82个此外，应用随机非刚性变形以获得额外的数据实例。选择变形程度以确保变形图像具有像真实数据一样的变化在所提出的自底向上的方法中，首先标记图像块。对于图像块标记，使用块的轴向、冠状和矢状视图获得每个位置的概率响应图。随后通过以缩小方法在不同空间尺度上生成具有高灵敏度但低精度的超像素区域来进行区域标记。CNN用于为每个超像素分配胰腺组织的概率。最后，使用从超像素区域获得的概率响应图和CT强度值从腹部CT扫描检测整个器官。Dou等人提出使用全卷积网络，CNN的所有层都是卷积的或池化的，用于从3DCT扫描分割肝脏，从MR图像分割整个心脏和大血管。这种方法对于消除输入到网络的图像的大小限制是必要的，这是由于完全连接的层。用卷积层替换全连接层意味着输入图像可以具有任意大小，并且分类输出将在空间上针对整个输入图像进行排列。这也消除了在传统的基于块的方法中由于重叠区域而导致的冗余计算的需要。3D深度监督机制简单地从隐藏层中提取特征图，通过连接反卷积层并使用SoftMax函数来放大它们以获得额外的密集预测。SoftMax函数对由实数组成的输入向量的指数执行归一化，并将其转换为I. Rizwan I Haque和J. Neubert医学信息学解锁18（2020）1002978αx如果x0<表2使用深度学习技术进行生物医学图像分割的论文概述参考模态方法言论性能测试和结果Badea等人（2016）[30]临床图像CNN（LeNet和NiN）LeNet和Network in Network（NiN）模型用于烧伤图像的分类，并通过比较皮肤与烧伤和皮肤与轻度烧伤与严重烧伤的分类准确度进行性能准确性;LeNet能够分别实现皮肤与烧伤和皮肤与轻度烧伤与严重烧伤分类的准确率为75.91%和NiN实现了Dhungel等人（2015）[31]X线（乳房X光检查）RBM和CNN深度卷积和深度信念网络是RBM网络的一种，它们被用作条件随机场（CRF）和结构化支持向量机（SSVM）的函数。探讨了从乳腺X线照片中分割乳腺肿块的技术。55.7%为皮肤、轻度烧伤和重度烧伤。骰子;所提出的方法与所有潜在的功能的Dice指数为93%，使用CRF和95%，使用SSVM。Zhou等人（2018）[12]CT CNN针对多器官检测执行所提出的分割技术的性能分析。平均准确度，JSI;所提出的方法使用3D和2D深度CNN分别实现了79%和67%的平均JSI值。对17种器官的结果取平均值。Roth等人（2018）[11]CT FCN（3D U-净额）使用深3D FCN自动分割腹部CT，以描绘每个多器官图像中的动脉、门静脉、肝、脾、胃、胆囊和胰腺。骰子;在测试过程中，该模型的平均DICE评分性能达到（89.3-莫斯科普斯等人（2016年）[32个]MRI和CTA CNN单个CNN用于执行多个图像分割这些任务包括MR脑部图像中的六个组织、MR乳腺图像中的胸肌以及心脏CTA中的冠状动脉。CNN识别成像模式、解剖结构和组织类别。骰子;所提出的方法使用一个CNN训练三个任务，当标记一个与目标无关的类时，所有任务每次扫描的体积百分比中位数低于0.0005%。这意味着在标记期间任务之间的混淆这种情况的一个例子是标记乳腺MR中的皮质灰质Dou等人（2017）[33]3D CT和3DMRICNN提出了一种结合3D深度监督机制的3D全卷积网络，用于从3D CT扫描中分割肝脏。此外，该方法用于从3D MR图像中分割整个心脏和大血管。JSI，DICE，回忆，敏感性，特异性;在心脏分割任务中用于评估血池的所提出的方法这个成绩是参赛队伍中最好的。对于心肌分割，分数较小，JSI和DICE值分别为73.9%和59.1%。Wang等人（2018）[34]Havaei等人（2017）[35]Ngo等人（2017）[36]Chen等人（2018）[22]MRI CNN提出的方法对多个通过使用用于训练的两个器官注释，从胎儿MR切片中提取器官（胎盘、胎儿脑、胎儿肺、母体肾）。此外，仅在一个MR序列中使用注释的肿瘤核心来执行来自MR序列的脑肿瘤核心（无水肿）和全脑肿瘤（有水肿）的3D分割以用于训练。一种基于神经网络的脑肿瘤自动分割方法提出了CNN架构的多种变体。真实数据来自2013年脑肿瘤分割挑战赛（BRATS 2013），这是MICCAI会议的一部分该数据集包括三个子集的训练，测试和排行榜数据集的竞争分别包含30，10和25例患者的主题。MRI RBM提出了一种用于内分泌的分割方法，左心室（LV）的心外膜边界。从MR电影研究的心脏末期（ED）和心脏收缩末期（ES）的所有切片进行分割ED和ES容积由用户手动选择。3D MRI 3D ResNet一个voX el-wise残差网络（VoX ResNet），使用25层被提出用于将关键脑组织分割成白质（WM）、灰质（GM）和脑脊液（CSF）。骰子;所提出的边界框和基于图像特定微调的分割（BIFSeg）实现了胎盘、胎儿脑、胎儿肺、母体肾脏的最佳DICE评分，其值分别为86.41%、90.39%、85.35%和86.33%。DICE，灵敏度，特异性;TwoPathCNN的DICE评分、灵敏度和特异性分别为85%、93%和80%。在三种级联CNN架构中，InputCascadeCNN表现最好，DICE评分