心脏图像分割的深度学习方法与挑战

1心脏图像分割的深度学习：综述陈晨1，刘伟，陈勤1，刘伟，邱华琪1，刘伟，贾科莫·塔罗尼1，2，段金明3，白文佳4，5，丹尼尔·吕克特11 英国伦敦帝国理工学院计算系生物医学图像分析组2 英国伦敦大学城市学院计算机科学系3 英国伯明翰大学计算机科学学院4 伦敦帝国理工学院数据科学研究所，英国伦敦;5 英国伦敦帝国理工学院医学系脑科学部联系方式 *：Chen Chenimperial.ac.uk摘要近年来，深度学习已成为心脏图像分割中使用最广泛的方法在本文中，我们回顾了100多篇使用深度学习的心脏图像分割论文，其中涵盖 了 常 见 的 成 像 方 式 ， 包 括 磁 共 振 成 像（MRI），计算机断层扫描（CT）和超声（US）以及感兴趣的主要解剖结构（心室，心房和血管）。此外，还包括公开可用的心脏图像数据集和代码库的摘要，为鼓励可重复研究提供基础最后，我们讨论了当前基于深度学习的方法所面临的挑战和局限性（标签的稀缺性，不同领域的模型泛化性，可解释性），并为未来的研究提出了关键词：人工智能，深度学习，神经网络，心脏图像分割，心脏图像分析，MRI，CT，US制品类型审查1介绍根据世界卫生组织（WHO）的统计，心血管疾病（CVD）是全球死亡的主要原因。2016年约有1790万人死于心血管疾病，主要死于心脏病和中风1。这一数字仍在逐年增加。近几十年来，心血管研究和实践取得了重大进展，旨在改善心脏疾病的诊断和治疗，现代医学成像技术如磁共振成像（MRI）、计算机断层扫描（CT）和超声（US）现在被广泛使用，其使得能够对心脏解剖结构和功能进行无创定性和定量评估，并为诊断、疾病监测、治疗计划和预后提供支持。特别令人感兴趣的是，心脏图像分割是许多应用中重要的第一步它将图像划分为多个语义上（即解剖学上）有意义的区域，基于这些区域可以提取定量测量，诸如心肌质量、壁厚度、左心室收缩率、1https://www.who.int/cardiovascular_diseases/关于_zh/zh/arXiv：1911.03723v1 [eess.IV] 2019年11Chen Chen et al.心脏图像分割的深度学习：综述报告所述2图1.不同成像模式的心脏图像分割任务概述 为了更好地理解，我们在左边提供了心脏的解剖结构（图片来源：clipart-library.com）。值得注意的是，为了简单起见，我们列出了应用深度学习技术的任务，这些任务将在第3节中讨论。通常，用于心脏图像分割的感兴趣的解剖结构包 括 LV 、 RV 、 左 心 房 （ LA ） 、 右 心 房（RA）和冠状动脉。与心脏图像分割相关的典型任务概述如图1所示，其中介绍了三种最常用模态的应用，即，显示了MRI、CT和US在深度学习兴起之前，传统的机器学习技术，如基于模型的方法（例如， 主动形状和外观模型）和基于图谱的方法已经显示在心脏图像分割中实现良好的性能（Petitjean等人，2015;Peng 等 人 ， 2016;Tavakoli 和 Amini ，2013;Lesage等人，2009年）。然而，它们通常需要重要的特征工程或先验知识来实现令人满意的精度。相比之下，基于深度学习（DL）的算法擅长从数据中自动发现复杂的这些特征直接从数据中学习，通用的学习过程和端到端的方式。这使得基于DL的算法易于应用于其他图像分析应用。得益于先进的计算机硬件（例如图形处理单元（GPU）和张量处理单元（TPU））以及用于训练的可用数据的增加，基于DL的分割算法逐渐优于先前最先进的传统方法，在研究中越来越受欢迎。这种趋势可以在图2A中观察到，图2A显示了心脏图像分割的基于DL的论文数量在过去几年中如何强劲增长。特别是，MR图像分割的出版物数量明显高于其他两个领域，尤其是在2017年。在图2B中可以观察到的一个原因是，自2016年以来，MR分割的公开数据显著增加在本文中，我们概述了三种最先进的心脏图像分割深度学习技术，Chen Chen et al.心脏图像分割的深度学习：综述报告所述3图2. (A)概述了2016年1月1日至2019年8月1日发表的关于本工作中审查的基于深度学习的心脏图像分割方法的论文数量。（B）过去十年中心脏图像分割的公共数据的增加。CT：计算机断层扫描，MR：磁共振，US：超声。在临床实践中常用的方式（即MRI，CT，US），并讨论了目前基于深度学习的分割方法的优势和剩余的限制，阻碍了广泛的临床部署。据我们所知，已经有几篇综述论文提出了关于基于DL的方法用于一般医学图像分析的应用的 概 述 （ Greenspan 等 人 ， 2016 年;Shen 等人，2017;Litjens等人，2017），以及一些专门针对心血管图像分析设计的应用程序的调查（Gandhiet al. ， 2018;Mazurowski 等 人 ， 2019年）。然而，他们都没有提供一个系统的概述，重点是心脏分割应用。这篇综述论文旨在提供从深度学习算法的首次亮相到最新技术水平的全面概述，重点关注各种心脏图像分割任务 （ 例 如 ， LV 、 RV 和 血 管 分 割 ） （ 第 12节）。（3）第三章。特别是，我们的目标是涵盖截至2019年8月1日出版的该领域最有影响力的DL相关作品，并根据特定方法对这些出版物进行分类。此外，除了第2节介绍的深度学习基础知识外，我们还提供了公共数据集（见表6）和公共代码（见表7）的摘要，旨在为新手提供良好的阅读基础，鼓励未来的贡献。更重要的是，我们提供了关于当前研究状况（第3.4节）以及未来工作的挑战和潜在方向（第3.4节）的深入讨论。4）.检索标准为了识别相关贡献，检索了Scopus和PubMed等搜索引擎，以查找标题或摘要中包含（“卷积”或“深度学习”）和（“心脏”）和（“图像分割”）的论文此外，根据论文标题检索了MICCAI、ISBI和EMBC的会议记录。不主要关注分割问题的论文被排除在外。纳入论文的最后一次更新是在2019年8月1日。2深度学习的基础深度学习模型是深度人工神经网络。每个神经网络由一个输入层、一个输出层和多个隐藏层组成。在下面的部分中，我们将回顾几种深度学习网络和最先进的分割算法中常用的关键技术。以获得更详细、更全面的数学Chen Chen et al.心脏图像分割的深度学习：综述报告所述4图3. (A)卷积神经网络（CNN）的通用架构。CNN将心脏MR图像作为输入，通过卷积堆栈和池化操作学习分层特征然后，这些空间特征图通过完全连接的层被展平并减少为矢量这个向量可以有多种形式，取决于具体的任务。它可以是一组类别的概率（图像分类）或边界框的坐标（对象定位）或输入中心像素的预测标签（基于块的分割）或回归任务的实际值（例如，左心室容积估计）。（B）基于CNN分类器的基于块的分割方法。 CNN将一个补丁作为输入，并输出四个类别的概率，其中得分最高的类别是该补丁中中心像素（见黄色十字）的预测。通过将位于不同位置的补丁重复转发到CNN中进行分类，最终可以得到整个图像的像素LV：左心室; RV：右心室;BG：背景; Myo：左心室心肌。深度学习的背景和基础，我们建议感兴趣的读者阅读Goodfellow（2016）。2.1神经网络在本节中，我们首先介绍基本的神经网络架构，然后简要介绍通常用于提高网络学习对图像分割有用的特征的能力的构建块2.1.1卷积神经网络（CNNs）在这一部分中，我们将介绍卷积神经网络（CNN），这是用于图像分析的最常见的深度神经网络类型。CNN已经成功地应用于许多图像分类、对象检测和分割任务的最如图3A所示，标准CNN由输入层、输出层和在输入层与输出层之间的将输入层转换为输出层的功能层的Chen Chen et al.心脏图像分割的深度学习：综述报告所述5×××××××≈以特定形式（例如向量）输出。这些功能层通常包含卷积层、池化层和/或全连接层。一般来说，每个卷积使用n n内核（用于2D输入）或n n n内核（用于3D输入），然后进行批量归一化（Ioffe和Szegedy，2015），之后输出通过非 线 性 激 活 函 数 （ 例 如 ， 整 流 线 性 单 元（ReLU）），用于从图像中提取特征图。然后，这些特征图通过池化层进行下采样，通常是2倍，这会删除冗余特征，以提高统计效率和模型泛化。在此基础上，应用全连接层来降低特征的维数，并找到与任务最相关的特征进行推理。网络的输出是一个固定大小的向量，其中每个元素可以是每个类别的概率得分（用于图像分类），回归任务的实际值（例如左心室容积估计）或一组值（例如用于对象检测和定位的边界框的坐标）。通常，卷积核的大小n通常被选择为较小，例如n= 3，以便降低计算成本。 虽然内核很小，但可以通过增加卷积层的数量来增加感受野（输入图像的区域，可能影响特定卷积内核/神经元的激活）。例如，具有大的7 × 7内核的卷积层可以被具有小的3 × 3内核的三个层代替。参数的数量减少了72/（3（32））2，而感受野保持不变（7 7）。这里参考在线资源2，其通过改变隐藏层的数量和核的大小来一般来说，增加卷积神经网络的深度（隐藏层的数量）以扩大感受野可以提高模型性能，例如。2https://fomoro.com/research/article/receptive-field-calculator网站分类精度（Simonyan和Zisserman，2015）。用于图像分类的CNN也可以用于图像分割应用，而无需对网络架构进行重大调整（Ciresan和Giusti，2012），如图3B所示。然而，这需要将每个图像划分为补丁，然后训练CNN来预测每个补丁的中心像素的类别标签。这种基于补丁的方法的一个主要缺点是，在推理时，尽管由于图像中的由于这种低效率，具有全连接层的CNN的主要应用是对象定位，其目的是估计图像中感兴趣对象的边界框。然后使用该边界框来裁剪图像，形成图像预处理步骤以减少分割的计算成本（Avendi等人，2016年）。为了实现高效的端到端像素分割，更常用的是一种称为全卷积神经网络（FCN）的CNN变体，这将在下一节中讨论2.1.2全卷积神经网络（FCN）FCN 的 概 念 最 早 是 由 Long 等 人 提 出 的 。（2015）用于图像分割。 FCN是一种特殊类型的CNN，没有任何完全连接的层。通常，如图4A所示，FCN被设计为具有编码器-解码器结构，使得它们可以采用任意大小的输入并产生具有相同大小的输出。给定输入图像，编码器首先将输入转换为高级特征表示，而解码器解释特征图并通过一系列转置卷积和卷积运算将空间细节恢复回图像空间以进行逐像素预测。这里，转置卷积用于放大特征图，通常放大2倍。这些转置卷积也可以由解池层和上采样层代替。Chen Chen et al.心脏图像分割的深度学习：综述报告所述6图4. (A)用于分割的全卷积神经网络（FCN）的通用架构。FCN首先将整个图像作为输入，通过编码器学习深度图像特征，通过解码器中的一系列转置卷积层逐渐恢复空间维度，最后预测左心室腔（蓝色区域），左心室心肌（绿色区域）和右心室（红色区域）的像素图像分割这种基于FCN的心脏分割的一个用例可以在Tran（2016）中找到。（B）U型网的示意图。在FCN基本结构的基础上，U-net采用“跳跃连接”（灰色箭头）将特征图从粗到细进行值得注意的是，为了简单起见，我们减少了下采样和上采样块的数量有关详细信息，我们建议读者阅读原始论文（Ronneberger和Brox，2015）。与用于分割的基于块的CNN相比，FCN被训练并应用于整个图像，从而消除了对块选择的需要（Shelhamer等人，2017年）。具有图4A中的简单编码器-解码器结构的FCN可限于捕获图像中的详细上下文信息以用于精确分割，因为一些特征可由编码器中的池化层消除。已经提出了几种FCN变体来传播来自编码器到解码器，以提高分割精度。用于生物医学图像分割的最知名和最流行的FCNs变体是U-net（Ronneberger和Brox，2015）。 基于香草FCN（Long等人，2015），U-网络采用编码器和解码器之间的跳过连接来恢复下采样路径中的空间上下文丢失，从而产生更精确的分割（见图2）。4B）。 几种最先进的心脏图像分割方法Chen Chen et al.心脏图像分割的深度学习：综述报告所述7图5. RNN用于心脏图像分割的示例。带有弯曲箭头的黄色块代表RNN模块，它可以记住过去并使用从过去学到的知识来做出当前的决策。这种类型的网络非常适用于连续数据，如电影MR图像和超声电影，以及体积数据。在该示例中，网络用于从2D心脏MR切片的堆叠中分割心室，这允许在z方向上传播来自相邻切片的上下文信息以获得更好的切片间相干性（Poudel等人，2016年）。采用了U形网或其3D变体，即3D U形网（Ci cek 等 人 ， 2016） 和 3DV-net （ Milletari 等 人 ，2016），作为其骨干网络，实现了许多心脏分割任 务 的 有 希 望 的 分 割 精 度 （T ao 等人，2019;Isensee等人，2017年;Xia等人，2018年）。2.1.3递归神经网络（RNN）递归神经网络（RNN）是另一种类型的人工神经网络，用于序列数据，如电影MRI和超声图像序列。 RNN可以“记住”过去，并使用从过去学到的知识来做出当前的决策，见图5。例如，给定一系列图像，RNN将第一张图像作为输入，捕获信息以进行预测，然后记住这些信息，然后利用这些信息对下一张图像进行预测。RNN家族中两种最广泛使用的架构是LSTM（Hochreiter和Schmidhuber，1997）和门控递归单元（GRU）（Cho等人，2014年），它能够模拟长期记忆。心脏分割的用例是将RNN与2D FCN组合，使得组合的网络能够从相邻切片捕获信息，图6.自动编码器的通用架构。自动编码器采用编码器-解码器结构，其中编码器将输入数据映射到低维潜在表示，解码器解释代码并重建输入。.提高分割结果的切片间一致性（Poudel等人，2016年）。2.1.4自动编码器（AE）自编码器（AE）是一种神经网络，旨在从数据中学习紧凑的潜在表示而无需监督。自动编码器的典型架构由两个网络组成：编码器网络和解码器网络，用于重建输入，见图6。由于学习的表示通常包含原始数据中的有用信息，因此许多研究人员已经采用自动编码器从输入图像或标签中提取一般语义特征或形状信息，然 后 使 用 这 些 特 征 来 指 导 心 脏 图 像 分 割（Oktay等人，2016;Schlemper等人，2018;Yue等人，2019年）。2.1.5生成对抗网络生 成 对 抗 网 络 （ GAN ） 的 概 念 是 由Goodfellow等人（2014）提出的，用于从噪声中合成图像。GAN是一种生成模型，它学习对真实数据的数据分布进行建模，从而能够创建新的图像示例。如图如图7A所示，GAN由两个网络组成：生成器网络和递归网络。在训练过程中，这两个网络被训练成相互竞争：生成器生成旨在欺骗机器人的假图像，而机器人试图Chen Chen et al.心脏图像分割的深度学习：综述报告所述8图7. (A)用于图像合成的GAN概述;（B）用于图像分割的对抗训练概述。辨别真假图像这种类型的训练被称为“对抗训练”，因为这两个该训练方案也可以用于训练分割网络。如图7B所示，生成器由分割网络代替，并且需要分割器将生成的分割图与地面实况分割图（目标分割图）区分开。以这种方式，鼓励分割网络产生解剖学上更合理的分割图（Luc等人，2016;Savioli等人，2018年）。2.1.6用于改进分割的高级构建块医学图像分割作为定量分析和临床研究的重要步骤，要求具有像素级精度。在过去的几年里，许多研究人员开发了先进的构建模块来学习鲁棒的，有代表性的特征，以实现精确的分割。这些技术已被广泛应用于最先进的神经网络（例如，U-net），以提高心脏图像分割性能。因此，我们确定了文献中报道的几种重要技术，并将其与相应的图8. (A)初始模块的朴素版本（Szegedy等人，2015年）。在该模块中，具有不同大小的卷积核被应用于同一输入以进行多尺度特征融合。（B）注意力模块的示意图（Vaswani等人，2017;Oktay等人，2018年b）。注意力模块教导网络注意重要特征（例如与解剖结构相关的特征）并忽略冗余特征。(C) 残余单元的示意图（He等人，2016年）。黄色箭头表示应用于重用上一层中的特征的剩余连接。绿色和橙色块中的数字表示大小对应的卷积或池化内核。在这里，为了简单起见，所有的图表都是根据原始论文中的插图复制的。参考进一步阅读。这些技术是：1. 用于隐藏层中多尺度特征聚合• Inception模块（Szegedy等人，2015年），见图。8A;• 膨胀卷积核（Yu和Koltun，2016）;• 深度监督（Lee等人，2015年）;• Atrous空间金字塔池化（Chen等人，2017年）;2. 自适应卷积核旨在关注重要特征：• 注意力单位（Vaswani等人，2017年），见图。8B;Chen Chen et al.心脏图像分割的深度学习：综述报告所述9--i=1c=1我我Ln我CQC我c=1我我• 挤压和激发块（Hu等人，2018年）;3. 层间连接设计用于重用先前层的特征：• 残余连接（He等人，2016年），见图。8C;其中C是所有类的个数。 另一个损失函数，被设计用于对象分割的函数称为软Dice损失函数（Milletari等人，2016），其在像素级惩罚预测分割图与其目标图之间的失配：• 密集连接（Huang等人，2017年）。2年i=1Cycpc2.2训练神经网络LDice= 1 −1×n.（三）（yc+pc）在能够进行推理之前，神经网络必须训练。这个训练过程需要一个包含成对图像和标签x，y的数据集用于训练和测试，一个优化器（例如随机梯度下降，Adam）和一个损失函数来更新模型参数。 该函数考虑了训练期间每次迭代中网络预测训练的目标是找到合适的网络参数值，以最小化损失函数。2.2.1常见损失函数对于回归任务（例如心脏定位、钙评分、界标检测、图像重建），最简单的损失函数是均方误差（MSE）：n此外，还有几种交叉的变体熵或软Dice损失，例如加权交叉熵损失（Jang等人，2017;Baumgartner等人，2017）和加权软骰子损失（Yanget al.，2017 c;Khened等人，2019），用于解决医学图像分割任务中潜在的类别不平衡问题，其中损失项被加权以考虑罕见类别或小对象。2.2.2减少过度拟合训练用于医学图像分析的深度网络的最大挑战是过度拟合，因为与深度网络中可学习参数的数量相比，训练图像的数量往往有限。已经开发了许多技术来缓解这个问题。以下是一些技术权重初始化（He等人，2015年）和MSE=1（yn i=1-y（i）2，（1）•权重正则化（即，L1/L2正则化）其中， yi是目标值的向量，yi是预测值的向量;n是数据样本的数量。交叉熵是图像分类和分割任务中最常见的损失。特别地，用于分割的交叉熵损失总结了每个类别c的预测概率输出p与其对应的目标分割图y之间的逐像素概率误差：• 脱落（Srivastava等人，2014年度）• 封闭式学习（Kamnitsas等人，2017年a）• 通过仿射变换• 使用在现有大型数据集上预训练的模型进行迁移学习。2.3评估指标为了定量评估自动分割算法的性能，通常使用三种类型的度量：a）基于体积的n CLCE=−1yclog（pc），（2）i=1c =1我Chen Chen et al.心脏图像分割的深度学习：综述报告所述10度量（例如，Dice度量、Jaccard相似性指数）;b）、 表面 基于距离的度量（例如，是说Chen Chen et al.心脏图像分割的深度学习：综述报告所述11轮廓距离，Hausdorff距离）; c）临床性能指标（例如心室容积和质量）。为了详细说明心脏图像分析中常用的临床指标，我们推荐Peng等人的综述论文。（2016年）。在我们的论文中，我们主要报告的方法的精度方面的骰子度量，以便于比较。Dice评分测量两个结果之间的重叠比率（例如，自动分割与手动分割），范围从0（不匹配）到1（完美匹配）。3基于深度学习的心脏图像分割在本节中，我们总结了三种主要成像方式的基于深度学习的应用：MRI，CT和US，以及针对目标结构的特定应用。总的来说，这些基于深度学习的方法提供了一种高效有效的方式来分割不同模态中的特定器官或组织（例如LV，冠状动脉血管，疤痕），从而促进心血管结构和功能的后续定量分析。在这些工作中，这些方法中的很大一部分是针对心室分割而设计的，特别是在MR和US域中。心室分割的目的是描绘心内膜和心外膜左心室和/或右心室。这些分割图对于导出临床指标（诸如左心室舒张末期容积（LVEDV）、左心室收缩末期容积 （ LVESV ） 、 右 心 室 舒 张 末 期 容 积（ RVEDV ） 、 右 心 室 收 缩 末 期 容 积（RVESV）和EF）是重要的。此外，这些分割图对于3D形状分析是必不可少的（Xue等人，2018;Biffi等人，2018）、3D+时间运动分析（Zheng等人，2019）和生存预测（Bello etal.，2019年）。3.1心脏MR图像分割心脏MRI是一种非侵入性成像技术，可以可视化心脏内和周围的结构。与CT相比，它不需要电离辐射。相反，它依赖于磁场场与射频波一起激发心脏中的氢原子核，然后通过测量它们的反应生成图像。通过利用不同的成像序列，心脏MRI允许准确量化心脏解剖结构和功能（例如电影成像）以及病理组织（例如疤痕）（晚期钆增强（LGE）成像）。因此，心脏MRI目前被视为心脏定量分析的金标准（Van Der Geest和Reiber，1999）。一组代表性的基于深度学习的心脏MR分割方法如表1所示。 从表中可以看出，大多数工作都集中在分割心腔（例如LV、RV、LA）上。相比之下，有相对较少的工作分割异常的心脏组织区域，如心肌疤痕和心房纤维化。这可能是由于相关公共数据集有限以及任务的难度。此外，据我们所知，很少有作品将深度学习技术应用于心房壁分割，最近的调查论文也提出了这一点（Karim等人，2018年）。在下面的部分中，我们将详细描述和讨论这些方法在不同的应用程序。3.1.1产品分割Vanilla基于FCN的分割：Tran（2016）是最早应用FCN的人之一（Shelhamer等人，2017）直接在短轴心脏磁共振（MR）图像上分割左心室、心肌和右心室。他们基于FCN的端到端方法实现了具有竞争力的分割性能，在速度和准确性方面都明显优于传统方法。在接下来的几年里，已经提出了一些基于FCNs的作品，旨在进一步提高分割性能。在这方面，一个工作流集中于优化网络结构以增强用于分割的特征学习能力（Khened等人，2019年;Li等人，2019年b;周和杨，Chen Chen et al.心脏图像分割的深度学习：综述报告所述12表1.心脏MRI分割的代表性深度学习方法总结。SAX：短轴视图; 2CH：二腔视图; 4CH：四腔视图; ED：舒张末期; ES：收缩末期。应用精选作品描述图像类型结构产品分割在多供应商、多扫描仪数据集Khened等人（2019）2D Dense U-net with inception moduleSAXBi-ventralFahmy et al.（2019）2D FCN SAX LV引入空间或时间背景Poudel等人（2016）使用RNN对切片间相干性SAX双心室Patravali等人（2017）2D多通道FCN，用于聚合切片间信息SAX双心室Wolterink等人（2017 c）扩张U形网，同时分割ED和ESSAX双心室应用解剖学约束Oktay等人（2018 a）使用额外的基于解剖形状的正则化SAX训练FCN;US LV多级网络半自动方法; CNN（定位），然后是另一个CNN，以获得轮廓参数FCN（定位）+ FCN（分割）;从相邻切片U-net（初始分割）+ CNN（定位和转换）+级联U形网（分段）SAX LVSAX双心室SAX、2CH、4CH四腔混合分割方法Avendi等人（2016，2017）CNN（本地化）+AE（形状初始化）+ 可变形模型左心室心房分割Yang等人（2016）CNN结合Multi-atlasSAXLVNgo等人（2017）基于水平集的深度信念网络分割SAXLVMortazi等人（2017 b）具有自适应融合策略的多视图CNN3D扫描LAXiong等人（2019）基于贴片的双流2D FCN LGE MRI LAXia等人（2018）两阶段管道; 3D U-net（定位）+3D U-net（分割）LGE MRILA全自动化;疤痕分割Yang等人（2018年b）LA分割的多图谱方法，然后通过AE发现心房瘢痕LGE MRI LA;心房瘢痕全自动化;多视角两任务递归注意模型半自动化;用于瘢痕组织分类的2D CNN半自动;用于疤痕分割的2D FCN全自动;用于关节运动特征学习和瘢痕分割的RNN学习时间相干性;LGE MRI LA;心房瘢痕LGE MRI心肌瘢痕LGE MRI心肌瘢痕电影MRI心肌瘢痕主动脉分割Bai等。（2018年b）将标记帧中的标记映射到未标记的相邻帧中进行半监督学习;主动脉电影MRI全心脏分割Yu等人（2017 a）3D U-net与深度监督3D扫描血池+心脏的心肌Li et al.（2017）3D FCN with deep supervision3D scansBlood pool+ Myocardial of the heartWolterink et al. （2017a）扩大CNN与深度监督3D扫描血池+心脏的心肌2019 年 ;Zhang 等 人 ， 2019 a;Cong 和 Zhang ，2018;Jang等人，2017;Fahmy等人，2019年）。例如，Khened等人（2019）开发了一种具有初始模块的密集U形网络，以结合多尺度特征，在具有较大解剖变异性的图像中进行稳健分割Jang等人（2017）;Yang等人（2017 c）;Sanderet al. （2019）;陈等人（2019 e）研究了不同的损失函数，如加权交叉熵，加权Dice损失，深度监督损失和焦点损失，以提高分割性能。在这些基于FCN的方法中，大多数方法使用2D网络而不是3D网络进行分割。这主要是由于大多数心脏MR扫描的典型的低通过平面分辨率和 运 动 伪 影 ， 这 限 制 了 3D 网 络 的 适 用 性（Baumgartner等人，2017年）。引入空间或时间背景：使用2D网络进行心脏分割的一个缺点是，这些网络逐切片工作，因此它们不利用任何切片间依赖性。因此，2D网络可能无法在具有挑战性的切片上定位和分割心脏，例如心尖和基底切片，其中心室的轮廓没有很好地定义。为了解决这个问题，许多作品已经尝试引入额外的上下文信息来引导2DFCN。该上下文信息可以包括从标签或多视图图 像 学 习 的 形 状 先 验 （ Zotti 等 人 ， 2017 ，2019;Chen等人，2019年b）。其他人使用递归单元（RNN）或多切片网络（2.5D网络）从相邻切片提取空间信息以辅助分割（Poudel等人， 2016;Patravali 等人， 2017 年;Du 等人，2019年;Zheng等人，2018年）。Tan等人（2017Zheng等人（2018Vigneault等人（2018Chen等人（2018Xu等人（2018Zabihollahy等人（2018Moccia等人（2019基于FCN电影Tran（2016）二维FCNSAX双心室Lieman-Sifry等人（2017年）一个轻量级的FCN（E-Net）SAX双心室Isensee等人（2017年）2D U形网+3D U形网（整体）SAX双心室Jang等人（2017年）具有加权交叉熵损失的SAX双心室Baumgartner等人（2017年）具有交叉熵的SAX双心室Bai et al.（2018a）Tao et al.（2019年）在大型数据集（约5000名受试者）上训练和验证的2D FCN;SAX、2通道、4通道SAX四个腔室 LVChen Chen et al.心脏图像分割的深度学习：综述报告所述13这些网络还可以应用于利用心动周期中不同时间帧上的信息，以改善分割结果的空间和时间一致性 （Yan 等 人 ， 2018;Savioli等 人， 2018年;Du等人，2019年;Qin等人，2018 a;Wolterink等人，2017年c）。应用解剖约束：可能限制2D和3D FCN分割性能的另一个问题是，它们通常仅使用像素损失函数（例如，交叉熵或软骰子损失）进行这些逐像素损失函数可能不足以学习表示底层解剖结构的特征。因此，有几种方法侧重于设计和应用解剖学 约束来训练网络，以提高其预测精度和鲁棒性。这些约束被表示为考虑拓扑的正则化项（Clough等人，2019）、轮廓和区域信息（Chen等人，2019g）或形状信息（Oktay等人，2018 a;Yue等人，2019），鼓励网络生成更多解剖学上合理的分割。除了在训练时正则化网络外，Painchaud等人（2019）还提出了一种变分AE，以在后处理阶段纠正不准确的分割。多任务学习：还已经探索了多任务学习，以通过执行与主要分割任务相关的辅助任务（例如运动估计）来在训练期间规则化基于FCN的心室分割（Qin等人，2018b）、心脏功能的估计（Dangi等人，2018 b）、心室大小分类（Zhang等人，2018 b）和图像重建（Chartsias等人，2018年;Huang等人，2019年）。同时为多个任务训练网络可以鼓励网络提取在这些任务中有用的特征，从而提高学习效率和预测准确性。多阶段网络：最近，人们对将神经网络应用于一个多级管道，将问题分割成子任务（Vigneault等人，2018年;Zheng等人，2018年;Li 等人，2019a;Tan等人 ， 2017 年 ;Liao 等 人 ， 2019年 ） 。 例 如 ，Zhenget al.（2018）;Li et al.（2019 a）提出了一个感兴趣区域（ROI）定位网络，然后是分割网络。同样，Vigneault et al. （2018）提出了一种称为Omega-Net的网络，它由一个用于心腔定位的U网通过明确定位的ROI和旋转输入图像到一个规范的方向，所提出的方法更好地推广到不同的大小和方向的图像。混合分割方法：另一个工作流旨在将神经网络与经典分割方法（例如，水平集）相结合（Ngo等人，2017;Duan等人，2018 a），可变形模型（Avendi等人，2016，2017;Medley等人，2019），基于图谱的方法（Yanget al.，2016;Rohe等人，2017）和基于图切割的方法（Lu等人，2019年）。在这里，神经网络应用于特征提取和模型初始化阶段，减少了对手动交互的依赖，并提高了随后部署的传统分割方法的分割精度。例如，Avendi et al. （2016）提出了心脏短轴MR图像中LV分割的首批基于DL的方法之一。作者首先应用CNN自动检测LV，然后使用AE估计LV的形状然后使用估计的形状来初始化后续的可变形模型以进行形状细化。结果表明，与传统的可变形模型相比，所提出的集成可变形模型收敛速度更快，分割精度更高。在他们后来的工作中，作者将这种方法扩展到RV段（Avendi等人，2017年）。虽然这些混合方法表现出比以前的非深度学习方法更好的分割准确性，但它们中的大多数仍然需要迭代优化以进行形状细化。此外，这些方法通常被设计用于一个特定的解剖结构。中指出Chen Chen et al.心脏图像分割的深度学习：综述报告所述14最近的基准研究（Bernard等人，2018），大多数最先进的双心室分割算法都是基于端到端的FCN，允许同时分割LV和RV。为了更好地说明从心脏MR图像进行心室分割的这些发展，我们整理了一系列双心室分割方法，这些方法已在表2中报告的自动心脏诊断挑战（ACDC）数据集上进行了训练和测试。为了便于比较，我们只考虑那些在同一在线测试集（50个受试者）上进行了评估的方法。由于ACDC挑战组织者保持在线评估平台对公众开放，我们的比较不仅包括原始挑战参与者的方法（在Bernard等人的基准研究论文中总结）。（2018）），但也提出了三个分割算法后的挑战（即Zotti等人。（2019）;Li et al. （2019a）;Painchaud等人（2019））。从这个比较中可以看出，顶级算法是Isensee等人提出的集成方法。（2017）和Li等人提出的两阶段方法。（2019年a），两者都基于fcn。特别是，与 传 统 的 水 平 集 方 法 相 比 （ Tendritas 和Grinias，2017），这两种方法即使对于更具挑战性的左心室心肌（Myo）分割也实现了相当高的准确性，这表明了基于深度学习的方法的强大功能3.1.2心房分割心房颤动（AF）是最常见的心脏电功能障碍之一，在英国约有100万人受到影响。因此，心房分割在临床中至关重要，可在术前房颤（AF）消融计划和术后随访评价中改善心房解剖结构的评估。此外，心房可以用作疤痕分割的基础，LGE图像的心房纤维化量化。传统的方法，如区域生长（Karim等人，2008）和采用强先验的方法（即基于图谱的标记融合（Tao等人，2016）和非刚性配准（Zhuang等人，2010））在过去已经应用于自动左心房分割。然而，这些方法的准确性高度依赖于良好的初始化和ad-hoc预处理方法，这限制了在临床中的广泛采用。最近，Bai et al.（2018 a）和Vigneault et al.（2018）应用2D FCN直接从标准2D长轴图像（即2腔（2CH）、4腔（4CH）视图）中分割值得注意的是，他们的网络也可以被训练来从2D短轴堆栈中分割心室，而无需对网络架构进行 任 何 修 改 。 同 样 ， Xiongetal.（2019）;Preetha et al. （2018）;卞等人（2018）;Chen等人（2018 a）应用2D FCN以逐切片的方式从3D LGE图像中分割心房，其中他们优化了网络结构以增强特征学习。3D网络（Xia等人，2018;Savioli等人，2018;Jia等人，2018;Vesal等人，2018年;Li等人，2018）和多视图FCN（Mortazi等人，2017 b;Yang等人，2018 a）也已探索从3D LGE图像捕获3D全局信息，以进行准确的心房分割。特别地，Xia et al. （2018）提出了一种全自动两阶段分割框架，该框架包含第一个3D U网，用于从下采样图像中粗略定位心房中心，然后是第二个3D U网，用于以全分辨率在原始图像的裁剪部分他们的多阶段方法具有记忆效率和准确性，在2018年左心房分割挑 战赛（LASC3.1.3疤痕分割疤痕表征通常使用LGE MR成像，a 对比增强 先生3https://www.nhs.uk/conditions/房颤/成像技术LGE MR成像使Chen Chen et al.心脏图像分割的深度学习：综述报告所述15表2.在心脏双心室分割挑战（ACDC）数据集上验证的最新分割方法的分割准确性（Bernard等人，2018）所有方法均在同一测试集（50名受试者）上进行评价。粗体数字是相应结构的最高总体Dice值。LV：左心室，RV：右心室，Myo：左心室心肌;ED：舒张末期; ES：收缩末期。最后更新：2019.8.1.方法描述LVMyo RVIsensee等人2DU-net +3D U-net（ensemble）0.950 0.911 0.923 Lietal. （2019 a）分别用于ROI检测和分割的两个2D FCN;0.944 0.911 0.926Zotti etal. （2019）2D GridNet-MD，配准形状先验0.9380.894 0.910Khened等人（201