医学图像分割的不完美数据集处理综述

0我们将在有限的时间内继续进行这项调查。如果您认为您的已发表作品符合图1所示的层次结构，请发送电子邮件至NimaTajbakhsh（ntajbakhsh@voxelcloud.io），主题为“RevMedSeg”。0拥抱不完美数据集：医学图像分割的深度学习解决方案综述0Nima Tajbakhsh，Laura Jeyaseelan，Qian Li，Jeffrey Chiang，Zhihao Wu和Xiaowei Ding0VoxelCloud公司0摘要0医学影像文献在基于卷积神经网络的高性能分割模型方面取得了显著进展。尽管有了新的性能高峰，最近的先进分割模型仍然需要大量、代表性和高质量的标注数据集。然而，在医学影像领域，我们很少有完美的训练数据集，数据和标注都很昂贵。最近，大量研究已经研究了医学图像分割问题与不完美数据集的关系，解决了两个主要数据集限制：标注稀缺，只有有限的标注数据可用于训练，以及标注弱，训练数据只有稀疏标注、噪声标注或图像级标注。在本文中，我们对上述解决方案进行了详细回顾，总结了技术创新和实证结果。我们进一步比较了调查方法的优点和要求，并提供了我们对标注稀缺和标注弱问题的推荐解决方案。我们希望这篇综述能够增加社区对处理不完美数据集技术的认识。0关键词：医学图像分割，不完美数据集，标注稀缺，标注噪声，标注不可靠，标注稀疏，标注弱01. 引言0医学影像文献在深度卷积模型的设计和性能方面取得了巨大进展，用于医学图像分割的神经网络架构自2015年Ronneberger等人提出UNet以来发生了显著变化。现在的最先进架构受益于重新设计的跳跃连接（Zhou等人，2018b），残差卷积块（Alom等人，2018），稠密卷积块（Li等人，2018），注意力机制（Oktay等人，2018），混合压缩激励模块（Roy等人，2018）等等。尽管架构的进步使得性能达到了新的高度，但它们仍然需要大量的高质量标注数据集，比以前更多。然而，我们很少有一个完美大小和精心标记的数据集来训练图像分割模型，特别是对于医学影像应用，其中数据和标注都很昂贵。医学图像分割数据集的常见限制包括标注稀缺，只有有限的标注数据可用于训练，以及标注弱，训练数据只有稀疏标注、噪声标注或图像级标注。在存在这些数据集缺点的情况下，即使是最先进的分割模型也可能无法推广到真实世界临床环境的数据集。针对这一挑战，医学影像界的研究人员积极寻求解决方案，形成了多样而有效的技术集合，已经证明在处理稀缺和弱标注方面具有能力。0医学图像分割任务。在本文中，我们对这些解决方案进行了深入的回顾，总结了技术创新和实证结果。我们希望这篇综述能够增加社区对医学图像分割数据集的常见限制的现有解决方案的认识，并进一步激发研究界对较少探索的数据集问题的解决方案的探索。02. 相关工作0医学图像分析的最新方法学进展已在多个调查中进行了涵盖。Yi等人（2018）广泛调查了GAN在医学成像中的应用。Cheplygina等人（2019）回顾了医学图像分析中的半监督学习、多实例学习和迁移学习，涵盖了深度学习和传统分割方法。Hesamian等人（2019）调查了用于医学图像分割的深度学习技术，但特别关注架构进展和训练方案。最近，Zhang等人（2019b）回顾了解决广泛医学图像分析中小样本问题的解决方案。相比之下，本调查报告侧重于医学图像分割而不是广泛的医学图像分析，涵盖了处理稀缺和弱注释的策略。本调查报告的具体范围和深入审查使其与Yi等人（2018）；Cheplygina等人（2019）有所区别，后者广泛涵盖了一般医学图像分析的深度学习，与Hesamian等人（2019）专注于0arXiv:1908.10454v1[eess.IV]27Aug20190数据集限制0稀缺注释 § 40数据增强 § 4.10合成增强 §4.1.20传统增强 §4.1.10利用外部标记数据集 § 4.20无目标标签的领域自适应 § 4.2.10具有目标标签的领域自适应 §4.2.20数据集融合 §4.2.30成本效益注释 §4.30主动学习§ 4.3.10交互式分割 §4.3.20利用未标记数据 § 4.40自学习 §4.4.20自监督学习 §4.4.10半监督学习 §4.4.30正则化训练§ 4.50改变图像表示 §4.5.10多任务学习§ 4.5.20形状正则化§ 4.5.30分割后处理§ 4.60局部连接CRF§ 4.6.10全连接CRF §4.6.20CRF作为RNN §4.6.30弱注释 § 50具有图像标签的学习 §5.10类别激活图 §5.1.10多实例学习 § 5.1.20具有稀疏标签的学习 § 5.20具有掩膜补全的选择性损失 §5.2.10无掩膜补全的选择性损失 §5.2.20具有噪声标签的学习 § 5.30无掩膜细化的鲁棒损失 §5.3.10具有迭代掩膜细化的鲁棒损失 §5.3.20图1：本综述论文的组织结构。我们将医学图像分割数据集的限制广泛分为稀缺注释和弱注释。对于每个问题，我们提出了策略（以灰色突出显示），然后提出了建议的解决方案。0医学图像分割的架构进展，以及Zhang等人（2019b）对医学图像分割中仅涉及小样本问题的调查。03. 调查的组织结构0图1显示了医学图像分割数据集的常见限制以及相应的解决方案。我们将数据集的限制广泛分为两类：1）稀缺注释（第4节），其中数据集中只有一小部分图像进行了密集注释；2）弱注释（第5节），其中提供的注释是稀疏的、嘈杂的或仅限于图像级别。我们进一步按照方法原则对稀缺注释的解决方案进行了分组，包括第4.1节中基于数据增强的方法、第4.2节中利用外部标记数据集的方法、第4.3节中成本效益注释的方法、第4.4节中利用未标记数据的方法、第4.5节中的正则化训练方法，最后在第4.6节中进行分割后处理的方法。对于弱注释，我们根据这些方法所解决的弱点类型进行了分组。具体来说，我们在第5.1节中介绍了图像级别注释的方法，在第5.2节中介绍了稀疏注释的方法，在第5.3节中介绍了嘈杂注释的方法。我们在第6节中对这些解决方案进行了比较，并根据底层优势和所需资源提供了我们的推荐解决方案。最后，在第7节中总结了本调查报告。0问题一：稀缺的注释0对于使用监督式深度学习方法进行医学图像分割时，稀缺的注释是一个常见问题。0解决这个问题的传统方法有数据增强、从自然图像中进行迁移学习和权重正则化。然而，这些技术只能部分地解决有限注释的问题。例如，传统数据增强受到原始训练集与增强样本之间的大相关性的限制。从自然图像进行迁移学习只有在2D医学图像分割模型中才有益处，对于常见的3D医学图像分割模型没有益处。传统方法在处理稀缺注释问题方面的能力有限，导致了现代反应式和主动式方法的发展。反应式方法通过使用条件随机场的变体对分割进行后处理，解决了稀缺注释问题。而主动式方法则通过成本效益的注释和合成数据生成来扩大训练集，或者通过利用无标签数据并在训练过程中使用额外的模型正则化来改变训练范式。接下来，我们对医学图像分割中解决稀缺注释这一普遍问题的现代解决方案进行全面总结。04.1. 数据增强0数据增强已经成为解决过拟合问题的有效方法，特别是在缺乏大规模标记训练集的情况下。然而，传统的数据增强方法会导致图像高度相关，因此它们的影响可能有限。除了增强和原始图像之间的内在高相关性之外，罕见的情况也可能在典型的增强过程中得不到适当的增强。0数据增强。另一方面，合成数据增强从与原始训练集相同的流形中采样更多具有不同视觉外观的样本。在本节中，我们回顾传统和合成数据增强方法，因为它们可以提供互补的价值。04.1.1.传统增强传统数据增强已被证明对自然图像和医学图像的过拟合问题有着有效的减轻和测试性能的提高（Zhang等人，2016年）。医学影像中使用的数据增强方法可以根据它们意图操纵的图像属性进行分组（Zhang等人，2019a年）。这些常见的图像属性包括图像质量、图像外观和图像布局。0通过图像质量：与2D自然图像的数据增强类似，图像质量可能受到清晰度、模糊度和噪声的影响。Christ等人（2016年）在数据增强的过程中对CT扫描应用高斯噪声。Sirinukunwattana等人（2017年）在结肠组织学图像上应用高斯模糊进行腺体分割任务。Zhang等人（2019a年）表明，通过调整图像质量进行数据增强可以在MR图像中获得最大的性能提升，其中最大的改进来自于通过应用非锐化掩蔽进行图像锐化。0通过图像外观：通过调整图像外观进行数据增强包括操纵图像强度的统计特征，如亮度、饱和度和对比度。Liskowski和Krawiec（2016年）在分割视网膜血管之前对饱和度和值的HSV颜色空间进行伽马校正。Dong等人（2017年）在3DMR体积中随机增强亮度，以丰富脑肿瘤分割的训练集。当图像呈现不均匀强度时，对比度增强通常是有帮助的。例如，Fu等人（2017年）对荧光显微镜图像应用对比度变换函数，以丰富细胞核分割的数据集。Alex等人（2017年）使用直方图匹配作为一种预处理形式，将3DMR图像与训练数据中任意选择的参考图像进行匹配。0按图像布局：通过改变图像布局进行数据增强包括旋转、缩放和变形等空间变换。Ronneberger等人（2015年）表明，通过随机弹性变形增加训练集对于训练具有很少标注图像的分割网络至关重要。Milletari等人（2016年）还在训练图像上应用了一个2x2x2的控制点和B样条插值的密集变形场。C¸ic¸ek等人（2016年）首先在每个方向上以32个体素的间距从正态分布中采样随机向量，然后应用B样条插值。0（2016年）首先在每个方向上以32个体素的间距从正态分布中采样随机向量，然后应用B样条插值。04.1.2.合成增强医学图像分割的合成数据增强方法可以广泛分为同领域和跨领域图像合成。前者包括0直接在目标领域中合成标记数据。另一方面，后者包括将来自另一个领域的标记数据投影到目标领域，这与域自适应的主题密切相关。因此，我们将详细研究跨领域图像合成方法推迟到第4.2.2节，在该节中我们将详细介绍域自适应技术。尽管如此，我们已经在表1中总结了两个组的代表性方法。接下来，我们将回顾同领域图像合成的方法。0Guibas等人（2017年）提出了一个由GAN和条件GAN组成的框架，用于生成合成的眼底图像和相应的血管掩模。具体而言，GAN以随机向量作为输入，然后生成合成的血管掩模，然后将其发送到条件GAN以生成相应的逼真的眼底图像。作者通过检查分类器是否能够区分合成图像和真实图像来验证合成图像的真实性，但没有证明合成示例是否能够训练出更准确的分割模型。0Shin等人（2018年）使用条件GAN根据病变掩模和脑分割掩模生成合成的MR图像。一旦训练完成，合成网络可以根据用户定义的肿瘤掩模生成合成的MR图像。这种方法的优雅之处在于用户可以重新调整或重新定位掩模中的肿瘤，然后合成网络可以根据肿瘤的新大小和位置生成MR图像。在没有典型数据增强的情况下，使用合成和真实的MR图像训练的肿瘤分割模型相比仅使用真实MR图像训练的模型取得了显著的性能提升。然而，在典型数据增强的情况下，性能差距大部分被弥合。在类似的思路下，Mahapatra等人（2018年）使用条件GAN合成具有所需异常的X射线图像。该模型以具有异常的X射线和肺分割掩模作为输入，然后生成具有与输入X射线相同疾病的合成X射线，同时具有与提供的分割掩模匹配的图像外观。这种方法能够从一个真实的患病图像生成许多合成的患病图像。在大胸膜结节存在的情况下，肺分割具有挑战性，这在训练集中往往被低估。为了克服这个限制，Jin等人（2018年）基于条件GAN训练了一个图像修复模型，可以在无结节的CT切片中合成胸膜结节。作者证明，使用具有合成胸膜结节的图像训练的肺分割模型优于仅使用真实图像训练的模型，其中胸膜结节被低估。0赵等人（2019年）提出了一种数据综合方法，可以从仅有一个标记的MR图像生成一对脑部MR图像和分割掩模。对于脑结构分割任务，建议的数据增强方法在第4.4.3节中进一步讨论，可以使Dice指标比仅使用标记图像训练的模型提高四个点。0表1：用于医学图像分割的图像合成方法的比较。0出版物合成类型域描述0Chartsias等人（2017）使用跨域合成CT→MRI Cycle GAN从CT切片对和相应的心肌掩模对生成一对合成的MR图像。0Zhang等人（2018c）使用跨域合成CT�MRI Cycle GAN与形状一致性损失用于MR和CT扫描之间的转换。分割和合成网络共同训练。0Guibas等人（2017）使用相同域合成Fundus GAN生成血管掩模，并使用有条件GAN生成相应的眼底图像。0Shin等人（2018）使用相同域合成MRI有条件GAN生成给定病变掩模和脑分割掩模的合成MR图像。0Jin等人（2018）使用相同域合成CT有条件GAN合成无结节CT切片中的胸膜结节。0Zhao等人（2019）使用相同域合成MRI混合空间-强度转换网络从一个标记的MRI图像合成MR图像。0Mahapatra等人（2018）使用相同域合成X射线有条件GAN合成具有所需异常的X射线图像。0传统数据增强和基于图谱的数据增强相比，Dice系数提高了3个百分点。04.2.利用外部标记数据集在医学图像中经常遇到的障碍之一是训练数据和临床实践中遇到的数据之间的分布偏移。这种偏移可能是由于使用不同的扫描仪和图像获取协议，或由于成像不同的患者群体和种族所致。由于个体数据集往往较小且通常来自单个机构，它们本质上是有偏差的，并且在真实世界中表现不佳。鉴于个体数据集的局限性，一个自然的解决方法是将多个数据集纳入训练中。可以通过域自适应技术或数据集融合来利用外部标记数据集的注释。域自适应技术试图通过学习一个对这些不同域通用的潜在表示或学习从一个域到另一个域的图像转换来弥合多个域之间的差距。这些域可能包括不同的成像模态或同一模态内的不同图像分布。另一方面，数据集融合简单地利用来自不同来源的数据来训练一个具有优越性能的通用分割模型，该模型的性能优于每个单独数据集上训练的模型。本小节讨论的论文的鸟瞰图如表2所示。04.2.1.没有目标标签的域自适应当测试域（即目标域）标签不可用，但我们只能访问来自不同域（即源域）的标签时，常用的方法是将一个域转换为另一个域。0源→目标：在没有目标标签的情况下，一种方法是将源域图像转换为具有目标域风格的图像，同时保留源域的解剖结构和分割掩模。然后，可以使用在目标风格图像和源掩模上训练的分割网络对目标图像进行预测。Huo等人（2018a）提出了一种联合图像合成和分割框架，0使用未标记的目标图像和源域的标记图像，为目标域启用图像分割。这种联合优化的直觉是，训练过程可以从合成和分割网络之间的互补信息中受益。在这个框架中，主要工作由图像合成网络完成，即CycleGAN，它将标记的源图像转换为合成的目标图像。训练过程中，使用合成的目标图像来训练分割网络。在测试时，直接将目标域的真实图像提交给分割网络，以获得所需的分割掩模。作者在CT扫描中评估了这个框架的脾脏分割任务，其中CT扫描没有分割掩模，但源MR图像带有脾脏掩模。作者表明，使用合成的CT扫描训练的模型可以达到与使用带标签的真实CT扫描训练的模型相当的性能水平。Huo等人（2018b）也采用了类似的方法，用于脾肿大和全颅内体积分割任务，相比现有的最先进方法（一个两阶段的CycleGAN和一个单独的分割网络），Dice系数提高了2%。对于全颅内体积分割任务，使用域自适应的Dice系数仅比使用目标标签训练的模型的Dice系数低1%。Chen等人（2019）使用MR图像掩模，对心脏CT分割任务进行MR到CT域的域转换。他们提出使用CycleGAN将MR转换为CT，反之亦然，并在真实和生成的CT（目标）图像上训练分割网络。他们的方法的新颖之处在于使用了一个共享编码器，该编码器同时用于CT分割网络和CT到MR生成器网络，利用这个多任务设置来防止分割编码器过拟合。作者报告了相对于现有最先进的域自适应技术的Dice系数提高了9%。0目标→源：或者可以将目标域图像转换为源域图像，然后使用源图像训练分割模型。在推理过程中，首先将目标图像转换为源域图像，然后输入到分割网络中生成分割图。0图2：利用外部标记数据集对于稀缺注释问题是有效的。该图比较了相关解决方案在推理过程中的数据流：（a）-（c）涵盖了只在训练过程中使用源域标签的方法，而（d）-（i）涵盖了同时使用源域和目标域标签的方法，在这种情况下，“源”和“目标”这两个术语不再有意义，可以互换使用。（a）目标域图像直接通过在目标域和转换到目标域的图像上训练的分割网络。（b）目标域图像转换为源域图像，然后发送到在源域和类似源域图像上训练的分割网络。（c）目标域图像通过目标域编码器（属于域转换网络）发送到在目标域和类似目标域图像上训练的分割解码器。（d）任一域的图像可以通过同时在两个域上训练的分割网络。（e）两个域的图像通过各自的特定域编码器，然后通过在两个域上训练的分割解码器。（f）类似于（e），但现在域特定的编码特征图通过同时训练的分割编码器和解码器发送。（g）两个域的图像通过同时训练的分割编码器，然后通过域特定的解码器。（h）每个域都有自己的特定编码器和分割解码器，但在它们之间通过共享的分割编码器。（i）每个域在推理过程中都有自己的分割网络，该网络使用其自己域的数据进行训练，并使用域转换进行增强。0分割图。0Giger（2018）提出将CT（目标）域转换为MR（源）域，然后使用现有的基于图谱的算法（MALP-EM）对转换后的MR图像进行分割。其动机是获得脑MRI的分割注释比获得脑CT扫描更容易。他们使用修改后的U-Net进行域转换，需要先对CT和MR图像进行配准。平均而言，他们相对于在CT域中进行分割的基准模型提高了9%的Dice分数。0Chen等人（2018）使用CycleGAN和额外的语义对抗损失，用于区分源分割掩模和转换的目标到源图像的分割预测。作者在两个不同的X射线数据集上评估了他们提出的方法，这些数据集在疾病类型、强度和对比度上有所不同。相对于基准CycleGAN性能，他们实现了2%的Dice改进。给定一组带注释的CT扫描，Zhang等人（2018b）旨在在没有任何X射线分割注释的情况下分割X射线图像。为此，作者首先通过3D到2D投影将带注释的CT扫描转换为数字重建的放射图（DRRs），然后学习DRRs和X射线图像之间的映射。映射是通过任务驱动的GAN执行的，该GAN是带有额外分割损失的CycleGAN，用于为DRR样式图像生成分割结果。通过这些新的约束条件，0建议的方法可以使分割Dice比单独使用其中一个方法或者基准的CycleGAN提高两到三个点。04.2.2.带有目标标签的域适应如果两个域的分割掩模都可用，那么源域和目标域的选择不再有区别。在这种情况下，通过学习共享的特征编码来实现域适应，使得分割网络能够预测出有意义的掩模，而不受输入域的影响。0Chartsias等人（2017年）使用循环GAN从CT切片和其心肌分割掩模的成对合成MR图像和相应的心肌掩模。作者基于CycleGAN构建了图像合成模块，因为它不需要CT和MR图像进行注册，也不需要它们属于同一个患者。一旦生成了合成数据，作者使用合成MR和真实MR图像训练了一个心肌分割模型，表明相对于仅使用真实MR图像训练的心肌分割模型，有15%的改进。然而，Zhang等人（2018c）证明了上述离线数据增强可能只能部分有效，甚至在某些情况下可能会降低性能。相反，他们提出了一个框架，其中数据合成模型和分割模型同时进行训练。他们开发了一个segmentation network that can segment heart chambers in bothCT and MR images by learning a translation between the twodomains. They use a cycle GAN as their backbone and furtheradd a shape consistency loss to ensure anatomical structureinvariance during translation. They improve the segmentationDice score on CT images by 8 points and MR images by 2points over other methods that use both real and synthetic datafor training.0表2：利用外部标记数据集的论文概述。建议的方法在目标领域标签的存在和进行分割的领域等方面有所不同。右侧的Figure列显示了与Figure 2的匹配数据流。0目标领域分割掩模的出版可用性分割领域模态图0没有目标标签的领域适应Huo等人（2018a）�目标MRI，CT（a）0Huo等人（2018b）�目标MRI，CT（a）0Chen等人（2018年）�源X射线（b）0Zhang等人（2018b）�源DRR，X射线（b）0Chen等人（2019年）�目标MRI，CT（c）0Giger（2018年）�源MRI，CT（b）0具有目标标签的领域适应Chartsias等人（2017年）�MRI，CT（i）0Zhang等人（2018c）�MRI，CT（i）0Dou等人（2018年）�MRI，CT（e）0Valindria等人（2018年）�MRI，CT（d），（e），（f），（g），（h）0数据集融合Harouni等人（2018a）�所有领域MRI，CT，US，X射线（d）0Dmitriev和Kaufman（2019年）�所有领域CT（d）0Dou等人（2018年）训练了一个心脏分割网络，由两个并行的领域特定编码器和一个共享解码器组成。在训练过程中，解码器根据输入图像的领域从单个编码器获取输入。网络的训练目标是使解码器对两个领域的图像产生类似的高级语义嵌入。这是通过一个判别器来实现的，该判别器被训练用于区分两个领域。他们在单一领域训练和其他领域适应技术上实现了显著的性能提升，并且在Dice系数上比其他领域适应技术提高了2%。对于源标签和目标标签都可用的情况，通过在两个领域之间共享潜在表示来实现领域适应，但共享特征的位置是网络设计的选择。Valindria等人（2018年）评估了四个不同位置的共享潜在表示的性能：1）具有共享解码器的分离编码器（见图2（e）），2）分离的初始流，后跟共享编码器和解码器（见图2（f）），3）共享编码器和分离的解码器流（见图2（g））和最后，4）具有共享潜在表示的分离编码器和解码器流之间（见图2（h））。他们将这些变体与基线进行了比较，基线由单流编码器-解码器分割网络组成，该网络使用来自两个领域的数据进行训练（见图2（d））。他们的结果表明，基线实际上是0在大多数情况下，第四个变体始终优于基线和其他双流变体，而其他变体通常与或优于大多数变体。04.2.3. 数据集融合数据集融合技术利用多个数据集来训练基于异构、不相交数据集的通用分割模型，具有两个优点：1）更高效的训练，因为多个模型被合并为一个模型；2）增强的正则化，因为来自多个来源的数据可以提供进一步的监督。域自适应和数据集融合都旨在利用多个数据集；然而，它们采取了不同的方法：前者通过最小化域偏移来实现，而后者通过学习区分不同域来实现。在不同模态下使用特定模型对相同器官进行分割是低效的。Harouni等人（2018a）提出了一种独立于模态的模型，该模型使用来自所有模态的数据进行联合训练。网络架构是一个修改过的U-Net，其中基础U-Net执行多器官分割，并在瓶颈层添加了一个分类头，用于执行模态/视角分类（7个类别：X射线、短轴MRI、2腔MRI、4腔MRI、CT、超声4腔B模式、超声多普勒）。作者将他们联合训练的通用网络与为每个任务单独训练的U-Net进行了比较。结果显示，通用网络通常与或优于专用网络的性能。唯一例外的是左心室分割，其中专用的MRI模型显示出明显更高的性能。0Dmitriev和Kaufman（2019）使用来自多个单器官数据集的数据训练多器官分割模型。为此，作者添加了一个额外的通道，该通道将3()5()t}0将类别特定的哈希值填充到解码器网络的每个层中，以类别标签为条件进行分割预测。然而，缺点是未知器官标签的测试图像必须按顺序连续地输入'm'次，以便对所有可能的类别进行条件设置。多数据集训练方案在Dice系数上相对于现有的单数据集方法提高了1.5%。04.3.成本效益的标注也许，解决稀缺标注问题最可靠的方法是获取更多的标记示例。这种方法需要有未标记的医学图像可用，可以访问专家标注员的人员库，更重要的是需要额外的标注预算。然而，为了充分利用标注预算，必须决定如何从大量未标记图像中选择示例进行标注，并且如何在医学专家有限的情况下加速标注过程。前一个问题由主动学习方法解决，该方法确定下一批样本以最大程度地提高模型的性能，后一个问题由交互式分割方法解决，该方法通过将专家标注员的修改传播到整个分割掩模来辅助他们的标注过程。04.3.1. 主动学习主动学习是一种成本效益高的方法，可以扩大训练数据集的规模；因此，在医学图像分割中，由于临床专家的时间有限、标注成本高昂以及未标记数据的数量通常不可忽视，主动学习非常适用于有限的注释预算问题。一般而言，主动学习需要基于一个基础分割模型；因此，至少需要一组基础标注。因此，没有分割掩模或只有弱标注的数据集可能无法直接从主动学习中受益，除非有一个来自相似领域的预训练模型可用作基础分割模型。接下来，我们将介绍主动学习范式的高级概述，然后回顾医学图像分割的主动学习方法。主动学习是一种迭代范式，其中每一轮注释的未标记样本都被精心选择，以最大程度地提高当前模型的性能。算法1显示了主动学习的伪代码。在每次迭代中，分割模型针对未标记图像运行，然后使用一组在模型输出上定义的选择标准来选择下一批样本进行注释。一旦注释完成，新的批次将被添加到训练集中，并使用增强的训练集对分割模型进行微调。此过程重复进行，直到在验证集上的性能趋于平稳。主动学习方法在样本选择标准和注释单元的定义（是整个图像还是只有部分图像需要注释）上有所不同。表3比较了用于医学图像分割的主动学习方法。0算法 1:  主动学习0输入：初始模型  M 0 ，未标记数据集  U 0 ，查询批次大小 k ，迭代次数  T ，主动学习算法  A 输出：标记数据集  L T，更新的模型  M T 1  L 0  ←  � ;0/* 阶段1：查询批次选择 * /04 在  Q t 中注释样本； /* 阶段2：更新模型 * /06 M t  ←  使用  L t  对  M t − 1  进行微调；08  结束09 返回  L T  ,  M T0注释是通过两阶段筛选过程选择的。首先，通过应用一组分割模型来确定不确定的样本。像素级别的不确定性被计算为集合中各个模型生成的预测的方差。像素级别的不确定性然后取平均值，形成整个图像的一个不确定性值。其次，通过去除具有高视觉相似性的样本来进一步细化不确定的图像。使用50%的训练数据，暗示性注释可以达到使用整个训练数据集可以获得的相同性能水平。0Kuo et al.  ( 2018 )提出了一种基于样本不确定性和注释成本的主动学习框架。事实上，这项工作是医学图像分割领域中首次考虑注释成本的主动学习框架。在不考虑注释成本的情况下，主动学习框架将图像视为平等的，忽视了实际上一些图像由于更大的尺寸或包含的目标结构（器官和异常）的数量而产生更高的注释成本。具体而言，他们将主动学习形式化为一个背包0-1问题，目标是选择一批样本进行注释，以便在保持注释成本低于给定阈值的同时最大化模型的不确定性。为了测量样本的不确定性，他们建议在补丁级别而不是图像级别训练FCN，因为补丁FCN不太可能过度拟合全局图像上下文。为了估计每个未标记图像的注释成本，他们使用回归模型，其中预测变量是分割掩模中的总周长和连接组件的数量。建议的成本敏感方法，仅需20%的注释成本，可以达到与使用整个训练集训练的模型相当的性能。Kuo et al.  ( 2018 );Yang et al. 提出的方法0( 2017)，尽管它们存在差异，但都使用一组FCN来估计样本的不确定性，这是缓慢且计算开销大的，因为需要逐步训练一个0出版类型 样本选择策略 注释单元信息多样性 注释成本0Gorriz et al.  ( 2017 ) 迭代整个2D图像0Yang et al.  ( 2017 ) 迭代整个2D图像0Ozdemir et al.  ( 2018 ) 迭代整个2D图像0Kuo et al.  ( 2018 ) 迭代整个3D图像0Sourati et al.  ( 2018 ) 迭代2D图像块0Mahapatra et al.  ( 2018 ) 1-shot整个2D图像0Sourati et al.  ( 2019 ) 迭代2D图像块0Zheng et al.  ( 2019 ) 迭代2D图像块0表3：医学图像分割的主动学习方法比较。建议的方法在注释单元的定义和选择下一轮注释的标准方面存在差异。0在每轮注释之后，使用分割模型的集成。一种更高效的计算模型不确定性的方法是通过在模型上多次运行给定样本，并打开dropout层。然后，通过对不同类别的平均概率进行熵计算来估计像素的不确定性。Gorriz等人（2017年）使用这种高效的样本不确定性估计方法实现了一种经济高效的主动学习框架。具体而言，他们通过首先使用上述基于dropout的方法获得一个不确定性图来计算给定未标记图像的不确定性值，然后通过加权平均方案将该图减少为一个单一值，其中权重来自于分割结果上的距离变换图。其思想是对位于物体边界较远处的不确定像素分配更高的重要性。一旦计算出所有未标记图像的不确定性值，在每轮主动学习中，他们选择具有高不确定性的样本以及一批随机样本进行注释。在每轮中，他们还直接将具有最低不确定性水平的样本及其预测的掩膜添加到训练集中。其理论基础是，如果样本的不确定性低，则模型可能已经创建了高质量的分割掩膜，可以在没有进一步修正的情况下用于训练。通过这种方法，作者已经证明了注释成本的降低55%。与Yang等人（2017年）类似，Ozdemir等人（2018年）提出了一个2阶段的主动学习框架，其中第1阶段识别不确定样本，而第2阶段从不确定样本中选择代表性样本。然而，所提出的方法在不确定性和代表性的衡量方式上有所不同。作者使用基于dropout的方法为每个未标记图像估计不确定性图。为了识别代表性样本，他们使用分割网络学习的潜在空间；然而，为了增加潜在空间的区分能力，他们使用基于熵的正则化技术训练分割网络，该技术鼓励潜在空间特征的多样性。不确定样本在潜在空间中与其他样本的距离越远，样本越具有代表性。不确定性和代表性指标进一步使用Borda计数进行融合。通过使用融合指标对样本进行排名，作者在仅使用整个训练集的27%的情况下实现了与使用完整数据集训练的模型类似的性能。0作者使用这些指标实现了与使用完整数据集训练的模型类似的性能，同时仅使用整个训练集的27%。0Sourati等人（2018年）提出了一种概率主动学习框架，其中根据其Fisher信息估计未标记样本在下一轮注释中被查询的概率。如果样本对模型参数产生更大的梯度，则具有更高的Fisher信息。为了将Fisher信息纳入样本选择过程中，作者将主动学习定义为一个优化问题，其中未标记样本被查询的概率是未知数；约束条件是查询概率应该加起来等于1，并且它们应该与其Fisher信息不成比例地改变；目标是分配查询概率以最大化总体Fisher信息。上述优化问题是针对一批样本解决的，因此已经考虑了样本之间的相互依赖性，消除了进一步从信息样本中选择代表性样本的需求。这种一次性行为使这种方法与之前的工作有所不同，其中信息性和代表性是按顺序考虑的（例如，Yang等人（2017年））。然而，这项工作的一个局限性是，计算复杂度与参数数量的超二次关系，因为Fisher矩阵的行数和列数与网络中的参数数量一样多。这个局限性已经在作者的后续工作中得到了解决（Sourati等人（2019年）），其中Fisher矩阵的行数和列数减少到网络中的层数。当仅使用训练体素的0.5%进行训练时，该方案可以达到与使用整个训练集进行训练的模型相同的性能。0Mahapatra等人（2018）使用贝叶斯神经网络进行主动学习，其中使用基于aleotaric不确定性（数据中的噪声）和epistemic不确定性（CNN参数的不确定性）的组合度量来选择信息样本。因此，这种样本选择策略与以前的方法不同，以前的方法使用用户定义的启发式方法（如预测的标准差）来识别信息样本进行注释。结合图像4()0综合网络，建议的方法只需30-35％的标注像素即可实现全数据性能。与以前的工作不同，郑等人（2019）提出了一种一次性主动学习方法，消除了迭代样本选择和注释的需求。建议的方法包括特征提取网络，将每个图像块投影到潜在空间，以及聚类算法，在潜在空间中发现用于图像注释的代表性图像。作为一种一次性主动学习方法，特征提取网络必须使用未标记的数据进行训练。为此，作者使用了各种无监督模型，如自动编码器和变分自动编码器。对于聚类，作者使用基于K-means和最大覆盖算法的混合方法。2D和3D数据集的结果表明，这种一次性主动学习方法与杨等人（2017）提出的迭代替代方法的性能相当。04.3.2. 交互式分割创建分割掩模不仅对专家标注者来说是繁琐和耗时的，而且在体积医学图像中，必须跨多个切片对同一病变或器官进行描绘，这也会产生相当大的注释成本。交互式分割可以通过允许专家标注者交互式地纠正模型生成的初始分割掩模来加速注释过程。交互式分割与主动学习相结合，实现了经济高效的注释：主动学习确定要进行注释的图像，而交互式分割减少了完成所选图像注释所需的时间。算法2显示了交互式分割的伪代码。如图所示，交互式分割可能需要一个初始分割模型，其输出由人工专家审核，以提供关于可能的分割错误的反馈。用户反馈作为交互式分割方法的核心部分，可以采用鼠标点击、边界框和涂鸦等不同形式的交互。用户交互然后转化为前景或背景注释，初始分割模型可以利用这些注释来改进自身。更新的模型重新生成用户反馈的分割掩模，并重复此过程，直到获得所需的分割掩模。交互式分割对于应对模型的不可避免的分割错误非常有效，这些错误通常是由于领域转移或不具代表性的训练集引起的。接下来，我们总结了近期针对医学图像分割提出的交互式分割方法。0Sun等人（2018a）提出了一种用于分割模糊边界的交互方法，用户首先在对象的大致中心放置一个点，然后模型根据用户指定的结构进行对象分割。为了实现准确的边界分割，作者建议使用一种分割模型，通过比较结构内外的图像块的外观来描绘结构，模仿医生在精确定位边界时进行的内外比较。0算法2：交互式分割0输入：初始模型M0，未标记图像I，迭代次数N，反馈操作R，转换操作C 输出：更新模型MN1 for i ← 1 to N do0/* 生成分割图 * /02 S i  ← M i − 1 ( I ) ; /* 从专家处获得反馈 * /03 F i  ← R ( S i ,  I ) ; /* 转换为新的注释 * /05 M i  ←  微调  M i − 1  使用  A i ;06  结束07  返回  S N0作者使用双向卷积循环神经网络对内外比较进行建模，该网络使用图像块和真值掩膜序列进行双向训练，使网络能够学习前景到背景和背景到前景的外观变化。然而，该方法只允许用户在分割开始时指定一个种子点，即生成的分割掩膜对后续用户交互不敏感。0Wang等人（2018b年）提出了一个由提议网络和细化网络组成的框架，其中前者生成基础分割掩膜，而后者根据用户提供的建议对基础掩膜进行细化。然而，该框架对未见过的图像上下文缺乏适应性。作者在其后续工作Wang等人（2018a年）中克服了这个限制。给定一个测试图像和一个