基于剪切粘贴一致性学习的半监督病变分割方法

6160反转基于剪切粘贴一致性学习的半监督病变分割文朋雅，吴明君新加坡南洋理工大学电气与电子工程学院{boonpeng001，ebkng}@ ntu.edu.sg摘要半监督学习有潜力改善预测分割背景预测一致性损失训练数据饥渴的深度神经网络的数据效率在这项工作中，我们提出了一个简单的半监督学习方法的病变分割任务的基础上的想法，剪切粘贴增强和一致性正则化。通过利用标记数据中可用的掩码信息，我们从未标记图像中合成部分标记的样本，使得通常的监督学习目标（例如，二进制交叉熵）。此外，我们还引入了背景一致性项来正则化在合成图像的未标记背景区域上的训练。我们在两个公开的病变分割数据集上实证验证了该方法的有效性，包括眼底照片数据集和脑部CT扫描部分标记图像标签损失背景目标目标数据集。实验结果表明，该方法取得了一致的和优于其他方法的性能有标号图像标号未标记图像自训练和基于一致性的方法，而不引入复杂的网络组件。1. 介绍众所周知，深度神经网络是数据饥渴型的--需要大量标记的训练示例来很好地生成看不见的测试数据。在医学成像领域，获取标签的成本高得令人望而却步，因为它需要来自受过专业训练的专家的特定领域的知识。为了减轻标签收集的负担，正在积极追求诸如基于半监督学习的数据高效学习方法半监督学习可以在标记和未标记的示例上进行联合学习，并且所得模型的性能优于仅在标记的示例上进行训练。半监督学习方法可以大致分为三类：1）伪标记[12，35，22，2）一致性学习[24，28，7，15，18，16，10]，以及3)辅助任务学习[11，31]。伪标记利用图1.所提出方法的说明。部分标记的样本是通过将来自标记样本的前景对象与未标记图像混合来生成的。对于二元分割任务，预测和目标是正类的概率图。目标网络可以是分段网络的精确副本，也可以是网络的指数移动平均版本⊙表示逐元素乘法。预训练模型为未标记数据生成伪标签，一致性学习鼓励相同输入的不同扰动视图具有相似的特征表示或输出，而辅助任务学习利用从未标记数据导出的代理任务。尽管获得了令人印象深刻的性能增益，但许多方法依赖于向神经网络添加复杂的组件，这给训练过程带来了相当大的计算开销。在这项工作中，剪切粘贴一致性为基础的半监督学习方法提出了病变分割任务。该方法不目标网络复制粘贴分割网络变换6161引入了任何计算密集分量，并特别适合于分割小的不规则物体，例如病变。与器官分割相比，病变在大小、位置和纹理上具有更大的变化，这使得它们更难描绘。基于病变在高分辨率图像中较小且稀疏分布的观察，主要思想是将未标记图像视为一组无病变背景，并使用标记数据中的掩模信息作为前景对象的源，以合成新的训练示例，与剪切-粘贴增强技术相关的过程。剪切-粘贴，也称为复制-粘贴，是图像检测和分割任务所特有的增强技术。这种增强技术使用现有的边界框或分割掩模提取前景对象，并将其粘贴到随机图像上以创建更多样化的剪切-粘贴也已成功应用于自训练设置[8]中的半监督设置，其中标记的掩码被随机粘贴到伪标记的掩码上。 与需要至少两轮训练的自训练设置不同（第一轮-在标记的数据上训练;第二轮-在标记和伪标记数据的混合上训练），我们提出的方法仅需要一轮训练，并且不依赖于固定的伪标记。这项工作的主要贡献有三个方面：1）我们演示了如何构造用于微小对象分割的部分标记样本（例如， 2）提出了一种简单有效的训练目标，用于在标记样本和部分标记样本池上进行联合学习; 3）在两个公共的病灶分割基准上进行了实验，验证了该方法的有效性。12. 文献综述本节回顾了基于一致性的半监督学习和剪切粘贴增强的相关工作，这是所提出的方法中的两个重要组成部分。2.1. 基于一致性的半监督学习许多流行的半监督学习方法是基于一致性正则化，其目的是通过最小化相同输入样本的不同扰动视图的输出分布中的差异来从未标记样本中学习噪声不变表示。为了生成不同的扰动，虚拟对抗训练（VAT）[14]将每个样本向对抗方向扰动，导致输出分布的最大变化，而无监督数据增强（UDA）[28]1 代 码 可 在 https://github.com/BPYap/Cut-Paste- Consistency 上 获得。用更强和更现实的数据增强策略来扰动样本。对于半监督语义分割，已经探索了不同的基于混合的扰动策略，包括通过使用CutMix [30]混合两个未标记样本的预测来生成伪目标的方法[7]。另一种称为ClassMix [15]的方法通过在混合之前将预测的分割图转换为二进制掩码来生成具有更精细对象边界的最近的方法[1，33，32，27]用逐像素对比学习补充一致性正则化。与这些方法只对未标记的样本进行操作不同，本文提出的方法从标记样本中合成部分标记样本，以提高训练样本的多样性。2.2. 切割-粘贴增强第一次介绍实例检测[5]，剪切粘贴已被广泛研究的任务，如实例分割[8]和语义分割[23，29，25，2]。 这个想法 首先，使用先前注释的边界框或分割掩模从一个图像中提取前景对象。然后，将提取的对象与其他图像混合以创建新的训练样本。为了防止神经网络拾取由粘贴操作引起的快捷方式/噪声，已经引入了几种工作来通过对背景的上下文进行建模来生成更逼真的图像。例如，剪切粘贴[20]将对象粘贴在同一水平扫描线上以在粘贴后保持正确的比例，Context-DA [4]训练上下文模型以选择最可能的背景位置进行粘贴，而InstaBoost [6]根据手工制作的描述符计算的外观一致性热图由于相同模态内的医学图像具有相似的外观，因此先前提出的用于对自然图像的背景进行建模的标准在没有实质性修改的情况下可能在这项工作中，一个更简单的替代方案的基础上，measuring-suering像素值的相似性进行了探索。3. 方法与CutMix和ClassMix类似，本文的工作重点是基于混合的扰动策略，用于半监督语义分割。所提出的剪切-粘贴一致性学习的核心思想如下：利用标记数据中可用的掩码信息，通过从标记数据剪切掩码区域并将其粘贴到未标记图像上来生成一组合成样本。这将未标记的图像转换为部分标记的合成样本，并允许交叉熵函数用作训练目标。这对于学习不同背景条件下的病变边界是有用的。由于合成样品被部分标记（即，区域外-6162（一）（b）第（1）款（c）第（1）款（d）其他事项（e）图2. (a)三个眼底图像和三个CT扫描从未标记的数据集中随机采样。(b)合成图像和（c）通过从标记的数据集剪切和粘贴随机病变而生成的标签。(d)合成图像和（e）通过从具有相似颜色（对于眼底图像）或灰度强度（对于CT扫描）的标记图像中剪切和粘贴病变而生成的标记。在粘贴的对象仍然被认为是未标记的一侧），交叉熵目标将不正确地惩罚实际上为正的未标记区域。因此，为了考虑合成样本的背景中的不确定标签，添加背景一致性项以使损失函数正则化。该一致性项鼓励原始图像（在剪切-粘贴之前）和合成图像两者的背景中的类似输出，因为它们的预测在训练过程期间变化。所提出的方法的图示在图中示出。1.本节的其余部分描述了图像合成过程的细节，随后描述了背景一致性正则化和整体损失函数的公式化。3.1. 图像合成大多数现有的半监督学习方法通过单独的损失项的联合优化将标签信息间接地传播到未标记的数据。我们提出的剪切粘贴一致性方法明确地创建了一个直接的链接之间的标记和未标记的数据，通过图像合成过程，粘贴掩蔽区域的标记图像到未标记的图像。该方法允许已知的前景对象（例如，病变）被合并到未标记图像中的各种各样的背景场景中以创建更多样化的训练数据更好的模型推广。为了合成新的样本，每个未标记的图像首先与标记的样本（图像掩模对）匹配。前景对象是从标记的图像与对象掩模，并在与未标记的图像混合混合图像及其掩码被添加到标记数据集，并用作半监督学习的训练集。颜色匹配当将未标记的图像与标记的样本进行匹配时，简单地选择一个随机样本通常会导致合成图像在视觉上不一致，这使得分割网络学习有意义的特征变得微不足道。为了获得更真实的合成图像，根据它们的像素值相似性来匹配样本。对于彩色图像，将未标记图像与具有最低Delta E距离（CIELAB颜色空间中色差的度量）的标记图像进行匹配;对于灰度图像，基于灰度像素强度中的最低L2距离匹配样本图中显示了使用随机和颜色匹配方案生成的一些合成样本。两个人在一起。从图中，经由颜色匹配方案合成的眼底图像看起来比利用随机匹配生成的眼底图像更真实用于CT随机匹配配色61632（x，y）∈DLDD应用阈值（像素值>= 15）无标记图像前景掩模作为网络预测和反转的合成掩模之间的逐元素乘法的结果而获得。原始未标记图像通过目标网络以获得背景目标，然后将其乘以在背景预测的计算中使用的相同的反转合成掩模。在计算背景目标时，采用停止梯度操作，防止目标网络权值的更新。该目标网络可以是正在优化的分段网络的精确后者倾向于为一致性正则化产生更稳定的目标。然后，通过最小化输出分布的均方误差，掩模合成图像图3.后处理步骤，以移除粘贴在LBG（x，x<$，y<$）=<$f（x<$）<$（1−y<$）−f′（x）<$（1−y<$）<$2（一）绑定区域扫描时，颜色匹配方案更可能通过将未标记图像与类似尺寸的扫描匹配来选择在训练过程中，合成样本在运行中生成，每个未标记的图像与从五个最相似的标记样本中随机选择的样本配对。其中f和f ′是关于v的分割网络和目标网络，x、x′和y′分别是原始（未标记）图像、合成图像和合成分割掩模。3.3.总损失函数结合标记项，总损失函数由下式给出：L=L+λu Lu（2）图像混合为了增加合成样本的多样性，在粘贴到未标记的图像之前，将少量的几何和颜色抖动几何抖动由随机L=Lu=0（f（x），y）（3）[Lbce（f（x∈），y∈）+Lbg（x，x∈，y∈）]（4）旋转、随机平移和随机抖动，而颜色抖动包括亮度、对比度和饱和度水平的随机抖动。变换后的前景物体通过高斯模糊与未标记的图像混合.我们发现，在图像混合之前向未标记图像添加少量高斯噪声也是有益的。这也充当背景一致性正则化的噪声应用后处理步骤以从混合图像中屏蔽掉任何可能的越界对象。如示于图3中，这是使用通过用下式对每个未混合图像进行阈值化而获得的图像特定二进制掩模来实现的：（x，x≠，y≠）∈Ds其中λ和s分别是标记数据集和合成数据集，λu是控制未标记损失项贡献的任务特定超参数。值得注意的是，未标记项（Lu）将额外的合成样本作为输入，这与仅将未标记样本作为输入的先前半监督学习目标形成对比BCE表示（加权的）二进制交叉熵损失。由于大多数病变分割数据集严重不平衡，因此将更多权重赋予阳性实例在公元前。具体地，正权重计算为：边界外区域的像素值。3.2.背景一致性正则化Wpos= lnP总计P阳性（五）在合成的图像中，粘贴对象之外的区域仍然被认为是未标记的。为了防止交叉熵目标对潜在假阴性区域的不正确惩罚，将一致性正则化项应用于背景预测。具体地，每个合成图像其中Ptotal指的是所有图像中的像素的总数，Ppos是标记为正的像素的数量。4. 实验和结果本节介绍了在两个公共基准上进行半监督学习实验按元素相乘合成图像6164用于病变分割。此外，还进行了消融研究，以研究所提出方法中每个组件的影响4.1. 数据集在两个公开可用的病变分割数据集上评估了所提出方法的有效性：印度糖尿病视网膜病变图像数据集（ IDRiD ） 2[19] 和 颅 内 出 血 分 割 计 算 机 断 层 扫 描（CT）数据集（CT-ICH）3[9]。IDRiD是一个挑战数据集，由多达81个彩色眼底图像组成，具有四种类型视网膜病变的像素级注释：微动脉瘤（81张图像）、出血（80张图像）、硬性渗出物（81张图像）和软性渗出物（40张图像）。它还包含435个其他图像，具有糖尿病视网膜病变和糖尿病黄斑水肿的图像级注释对于半监督病变分割，这435个图像被视为未标记的数据。CT-ICH数据集包含82个CT扫描，其中36个来自诊断为颅内出血的患者每次CT扫描包括约30个切片，切片厚度为5mm，并且由两名放射科医师手动描绘颅内出血区域。总共从CT扫描数据中提取了2814个切片。与IDRiD不同，其中来自标记数据的每个眼底图像保证包含至少一种类型的病变，CT-ICH数据集中的大多数切片不包含颅内出血。这使得它成为一个严重不平衡的数据集，对于半监督学习来说具有额外的挑战性。为了模拟半监督学习的场景，通过逐患者分层采样选择完整数据集的一部分作为标记数据数据集的其余部分被视为未标记数据。4.2. 实验设置所提出的剪切-粘贴一致性学习方法以六种基线方法为基准，包括完全监督的（即，仅在可用的标记数据上训练）基线和五种现有的半监督学习方法：（i）自我训练[35]，（ii）自我训练+剪切粘贴[8]，（iii）平均教 师 [24] ， （ iv ） CutMix 一 致 性 [7] ， 以 及 （ v ）ClassMix一致性[15]。为了标准化基准测试过程并确保公平比较，所有半监督方法都使用Pytorch [17]库在共享代码库中重新实现数据增强每幅图像及其分割掩模的大小调整为沿短边的512个像素。在训练过程中，标准增强，如随机旋转，随机翻转，和随机灰度（只有ap-grayscaling），2https://idrid.grand-challenge.org/Home/网站3https://physionet.org/content/ct-ich/1.3.1/网站可用于IDRiD）应用于每个输入样本。在推理过程中，预测的分割掩码被放大到它们的原始大小。训练细节流行的U-Net [21]被选为分割网络。对于每个任务，权重衰减值固定为10−5，学习率仅在完全监督的基线上调整。对于所有的半监督学习实验，所选择的学习率保持固定。每个分割网络使用AdamW优化器[13]分别针对IDRiD和CT-ICH数据集优化多达500个epoch和50个随机选择10%的训练样本作为验证数据集，并基于验证数据集的性能应用提前停止。在训练过程中，学习率在前10个历元中线性预热，并在第10个历元后使用余弦调度器逐渐衰减IDRiD和CT-ICH数据集的批量分别设置为5和8。对于IDRiD中的所有任务，剪切-粘贴一致性学习的任务特定加权参数（λu）根据经验设置为0.01，对于CT-ICH数据集中的颅内出血分割，设置对于使用IDRiD进行的病变分割，使用训练集上的不同随机种子重复训练，并报告测试集上的平均每一个测量值。对于使用CT-ICH数据集的出血分割，进行了所有分段网络都使用具有16 GB内存的单个NVIDIA V100 GPU进行优化。4.3. 关于IDRiD表1显示了IDRiD中每个病变分割任务的测试集上的评估结果。对于该数据集，分割性能使用精确度-召回率曲线下的面积（AUC-PR）来测量，遵循来自挑战组织者的精确度性能测量。从该表中可以看出，所提出的剪切-粘贴一致性学习方法始终是性能最好的方法之一，并且在出血（HE）分割中实现了最佳性能。通过对Mean Teacher模型的直接扩展[24]（即，用分割网络的指数移动平均版本替换目标网络），我们的方法在四个病变分割任务上实现了最佳平均结果，与完全监督基线相比具有3.96%的改进，并且与最佳基线方法（自训练+剪切-粘贴）相比具有1.85%的裕度。无论有没有剪切粘贴，自我训练都是一种有竞争力且易于实现的半监督方法。然而，与其他方法相比，它需要更长的训练时间，因为通常需要多轮训练来将标签从标记数据传播到未标记数据。相比之下，剪切-粘贴一致性学习的计算效率更高，因为它6165方法马他EXSE平均监督（仅标记数据）48.6462.4082.9573.8266.95自我训练[35]49.5765.6686.0873.9668.82自我训练+剪切粘贴[8]49.6365.8486.9273.8669.06[24]第二十四话50.3764.7183.2375.8668.54CutMix稠度 *[7]51.1163.1085.1772.1367.88ClassMix一致性 *[15]42.2963.6387.1776.2967.34剪切-粘贴一致性（这项工作）50.2066.6787.2476.9170.26剪切-粘贴一致性 *（本工作）51.0365.9288.4778.2070.91表1.IDRiD中四个病变分割任务的AUC-PR评分（%）比较最佳结果以粗体显示，次佳结果以下划线显示。* 在一致性学习中使用Mean Teacher模型[24]的方法。（缩写：MA -微动脉瘤; HE -出血; EX -硬渗出物; SE -软渗出液）30% 50% 70% 100%方法F1杰克F1杰克F1杰克F1杰克监督（仅标记数据）23.9314.3937.6524.3846.9230.8055.7139.50自我训练[35]27.4916.5240.8826.6048.1832.41--自我训练+剪切粘贴[8]32.5921.2843.0028.4748.5232.43--[24]第二十四话24.7014.7839.6125.7548.2632.21--CutMix稠度 *[7]27.0216.7039.8926.1047.8732.35--ClassMix一致性 *[15]15.018.7733.5421.5049.5133.37--剪切-粘贴一致性 *（本工作）35.6823.9442.5528.6949.8233.38--表2.比较CT-ICH数据集上的F1评分（%）和Jaccard指数（%）以及不同比例的标记示例。100%标签设置表示使用所有可用标签可实现的性能上限。最佳结果以粗体显示，次佳结果以下划线显示。* 在一致性学习中使用Mean Teacher模型[24]的方法。只需一轮训练就可以获得强大的分割性能。4.4. CT-ICH结果五重交叉验证结果，包括F1 得分和Jaccard指数（Jacc.），CT-ICH数据集中的数据见表2。对不同比例的标记示例（30%、50%、70%）进行了评估，100%设置表示所有示例均标记时的性能上限。在30%的标记设置下，我们的方法显著优于监督基线，F1得分提高了11.75%，Jac- card指数提高了9.55%。这说明了当标签稀缺时，将标记的掩模剪切并粘贴到未标记的图像上的好处。在所有半监督设置下，剪切-粘贴consideration成为Jaccard指数方面表现最好的方法有趣的是，注意到ClassMix一致性[15]在30%和50%标记设置下难以超越监督基线，尽管我们尽了最大努力调整其权重参数。原因之一可能是ClassMix最初是针对具有两个以上类别的分割任务提出的，并且仅具有两个类别的CT-ICH数据集的高度不平衡性质可能会产生用于一致性学习目标的混淆和噪声目标在有足够标记样本的70%标记设置同时，所提出的剪切粘贴一致性学习方法在不同比例的标记样本上一致地产生大的性能改进4.5. 消融研究为了研究切割-粘贴一致性学习方法中引入的不同成分的影响，对IDRiD中的硬渗出物（EX）和微动脉瘤（MA）分割任务进行了消融研究。比较示于表3中。从一个普通的随机剪切-粘贴基线（第一行）开始，逐渐添加蒙版模糊、背景模糊、颜色匹配和一致性正则化等组件。随着更多组件的添加，EX段的性能61660.0181.2749.85✓0.0182.3549.78✓0.0182.6049.12✓ ✓0.0184.3148.90✓ ✓ ✓0.0185.2449.29✓ ✓ ✓ ✓0.0185.8650.85✓联系我们0.0188.2450.31✓公司简介0.0188.4751.03✓公司简介0.00986.6050.50✓公司简介0.0388.3749.83✓公司简介0.0587.0350.90表3.IDRiD中硬渗出物（EX）和微动脉瘤（MA）分割任务的消融研究结果（AUC-PR评分）动脉瘤出血1999年12月31日2009年12月31日硬性渗出0.22802019年12月31日软渗出物(a)（b）（c）（d）（e）（f）图4. IDRiD上分割结果的可视化。从左到右列：（a）输入图像，（b）地面真实分割掩码，（c）来自完全监督基线的预测，（d）来自CutMix基线的预测[7]，（e）来自ClassMix基线的预测[15]，以及（f）来自所提出的方法的预测。在每个真实掩模下指示病变的类型，而在每个预测掩模下提供真实掩模和预测掩模之间的交集。站稳步上升。当背景一致性项（第五行与第八行相比提高了3.23%）。这是主掩模背景颜色图像背景λuEX MA模糊模糊匹配一致性一致性6167实验在第六行，研究了基于增强整体图像一致性的剪切-粘贴一致性学习这个公式简单地将粘贴的对象视为干扰项，相当于将合成图像传递给Mean Teacher模型的两个网络虽然这个公式优于香草平均教师模型，它的性能是更差的背景一致性公式相比。这表明，背景置信度制剂的不对称性质有利于从部分标记的合成样品中学习对于背景一致性项，均方误差的表现略好于交叉熵函数（CE）。还测试了不同的λu值在MA分段上，不同配置的结果通常是稳定的，默认设置实现了最佳的整体性能。4.6. 定性结果在IDRiD数据集上对基线和建议方法的分割结果样本进行了比较。4.一般来说，与其他基线相比，所提出的剪切-粘贴一致性学习方法产生的预测具有更少的误报数量。从微动脉瘤分割的ClassMix一致性基线可以观察到失败病例（第1行，第5列）。表1的定量结果表明，班级组合努力达到监督基线的性能。这可能是由于该任务的固有难度，如表1中所有方法与其他病变类型相比，微动脉瘤非常小，通常只有几个像素宽，这对ClassMix来说可能是一个挑战，因为它使用伪标签将两个图像混合在一起。对于像微动脉瘤这样的极小对象，训练阶段的前几次迭代中的伪标签可能包含大部分假阳性，并压倒真阳性病例。我们提出的方法不会受到这个问题的困扰，并且在许多不同形状和大小的病变类型中表现出竞争力5. 讨论部分标记的合成样本的生成这特别适用于病变分割任务，其中病变通常较小并且稀疏地分布在感兴趣区域上。在匹配的未标记图像上粘贴正面实例将现有前景对象暴露于不同的背景场景，这有效地增加了训练样本的多样性，并有助于提高分割网络的泛化能力，如实验所示。此外，介绍了背景一致性正则化项有助于抑制合成样本的未标记区域中的假阴性情况通过将它们结合在一起，所提出的剪切-粘贴一致性学习方法在降低病变分割任务的注释成本方面是有效的。注意，合成过程可能不适用于相对于其他对象通常占据固定位置的大的规则身体结构的分割，诸如肺和肝的分割。生成的样本将包含多个闭塞器官，这些器官不代表真实图像，并且可能导致分割性能下降。同样，所提出的训练目标可能不适合于全景分割任务（例如，城市景观基准[3]），因为背景中可能出现的物体大小和类型的多样性。尽管如此，我们相信，所提出的方法可以作为一个强大的基线，在其他任务涉及半监督分割或检测小的不规则物体。一些例子包括从工业照片中分割制造缺陷，以及从遥感图像中检测小目标。6. 结论提出了一种基于一致性的半监督学习的病变分割方法。通过利用标记图像中的病变掩模生成部分标记的合成样本并强制背景一致性，我们简单但有效的剪切-粘贴一致性方法在涉及眼底图像和脑部CT扫描的两个基准数据集该方法与体系结构无关，可以很容易地集成到其他培训框架中。对于未来的工作，一个潜在的方向是使用先进的技术（如上下文建模[4]和图像协调[34，26]）改进图像合成组件。确认本文的计算工作完全是在新加坡国家超级计算中心的资源上进行的（www.nscc.sg）。引用[1] 我是阿隆索，阿尔贝托·萨巴特，达维德·费斯特，卢伊斯·蒙泰萨诺和安娜·克里斯蒂娜·穆里略。半监督语义分割 与 像 素 级 对 比 学 习 从 类 明 智 的 记 忆 银 行 。2021IEEE/CVF计算机视觉国际会议（ICCV），第8199-8208页，2021年。[2] Adriano Cardace ， Luca De Luigi ， Pierluigi ZamaRamirez，Samuele Salti，and Luigi di Stefano.将自监督单目深度插入无监督域自适应中进行语义分割。2022年IEEE/CVF冬季6168计算机视觉应用会议（WACV），1999-2009，2022页[3] Marius Cordts ， Mohamed Omran ， Sebastian Ramos ，Timo Rehfeld，Markus Enzweiler，Rodrigo Benenson，Uwe Franke，Stefan Roth，and Bernt Schiele.用于语义城市场景理解的cityscapes数据集IEEE/CVF计算机视觉与模式识别国际会议（CVPR），2016年。[4] 尼基塔·德沃尔尼克朱利安·麦拉尔和科迪莉亚·施密德建模视觉上下文是增强对象检测数据集的关键。在欧洲计算机视觉会议（ECCV）的会议记录中，第364-380页[5] Debidatta Dwibedi，Ishan Misra，and Martial Hebert.剪切、粘贴和学习：令人惊讶的简单合成，例如检测。2017年IEEE计算机视觉国际会议（ICCV），第1310-1319页[6] Haoshu Fang，Jianhua Sun，Runzhong Wang，MinghaoGou，Yong-Lu Li，and Cewu Lu.Instaboost：通过概率图引导的复制粘贴来增强实例分割。2019 IEEE/CVF计算机视觉国际会议（ICCV），第682-691页[7] Geoffrey French 、 Samuli Laine 、 Timo Aila 、 MichalMackiewicz和Graham Finlayson。半监督语义分割需要强的、变化的扰动。2020年英国机器视觉会议[8] Golnaz Ghiasi，Yin Cui，A.作者：Dr. Sirinivas，RuiQian，Tsung-Yi Lin，Ekin Dogus Cubuk，Quoc V.Le和Barret Zoph.简单复制粘贴是一种用于实例分割的强大数据增强方法。2021 IEEE/CVF计算机视觉和模式识别会议（CVPR），第2917- 2927页[9] Murtadha D Hssayeni ， Muayad S Croock ， Aymen DSalman，Hassan Falah Al-khafaji，Zakaria A Yahya，andBehnaz Gho-raani.使用深度卷积模型的颅内出血分割。Data，5（1）：14，2020.[10] Reda Abdellah Kamraoui，Ta Vinh Thong，Nicolas Pa-padakis ， Fann yCompaire ， Jose 'VicenteManjo' n ，andPierrickPopcorn：具有一致性正则化和邻域的渐进伪标记。在2021年的MICCAI[11] Hoel Kervadec ， Jose Dolz ， Eric Granger ， and IsmailBen Ayed.课程半监督分割。医学图像计算和计算机辅助干预国际会议，第568-576页。Springer，2019年。[12] Dong-Hyun Lee等人伪标签：简单有效的深度神经网络半监督学习方法。在表征学习挑战研讨会上，ICML，第3卷，第896页，2013年。[13] Ilya Loshchilov和F.哈特解耦权重衰减正则化。2019年，在ICLR[14] Takeru Miyato、Shin-ichi Maeda、Masanori Koyama和Shin Ishii。虚拟对抗训练：用于监督和半监督学习的正则化 方法 。IEEE Transactions on Pattern Analysis andMachine Intelligence，41（8）：1979[15] Viktor Olsson，Wilhelm Tranheden，Juliano Pinto，andLennart Svensson. Classmix：基于细分的数据用于半监督学习的心理状态。2021年IEEE Winter计算机视觉应用会议（WACV），第1368-1377页[16] Yas sineOuali，C e'lineHudelot，andMyriamTami. 具有交叉一致性训练的半2020 IEEE/CVF计算机视觉和模式识别会议（CVPR），第12671[17] Adam Paszke 、 Sam Gross 、 Francisco Massa 、 AdamLerer 、 James Bradbury 、 Gregory Chanan 、 TrevorKilleen 、 Zeming Lin 、 Natalia Gimelshein 、 LucaAntiga 、 Alban Desmaison 、 Andreas Kopf 、 EdwardYang 、 Zachary DeVito 、 Martin Rai son 、 AlykhanTejani 、 Sasank Chilamkurthy 、 Benoit Steiner 、 LuFang、Junjie Bai和Soumith Chintala。Pytorch：一个操作 风 格 的 高 性 能 深 度 学 习 库 。 In H.Wallach ， H.Larochelle、A. B e ygelzime r、F. d'Alc he´-Buc，E. Fox和 R. Garnett ， 编 辑 ， Advances in Neural InformationProcessing Systems 32 ， 第 8024Curran Asso- ciates ，Inc.，2019年。[18] 彭继宗，吉列尔莫·埃斯特拉达，马可·佩德索利，克里斯-田·德罗西尔斯.半监督图像分割的深度协同训练。模式识别，107：107269，2020。[19] Prasanna Porwal，Samiksha Pachade，Manesh Kokare，Girish Deshmukh ， Jaemin Son ， Woong Bae ， LihongLiu，Jianzong Wang，Xinhui Liu，Liangxin Gao，et al.Idrid：糖尿病视网膜病变-分割和分级挑战。医学图像分析，59：101561，2020。[20] Tal Remez，Jonathan Huang，and Matthew Brown. 学习通过剪切和粘贴进行分割。在欧洲计算机视觉会议（ECCV）的会议记录中，第37-52页，2018年。[21] Olaf Ronneberger，Philipp Fischer，and Thomas Brox. U-net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议，第234-241页。施普林格，2015年。[22] Yinghuan Shi，Jian Zhang，Tonghui Ling，Jiwen Lu，Yefeng Zheng，Qian Yu，Lei Qi，and Yang Gao.半监督医 学 图 像 分 割 的 不 一 致 性 不 确 定 性 估 计 。 IEEEtransactions on medical imaging，PP，2021。[23] 苏玉坤，孙瑞洲，林国胜，吴庆尧。弱监督语义分割的上下文解耦增强。在IEEE/CVF国际计算机视觉会议（ICCV）的会议中，2021年10月。[24] 安蒂·塔尔瓦宁和哈里·瓦尔波拉。教师是更好的榜样：加权平均一致性目标改善了半监督深度学习结果。神经信息处理系统的进展，第1195-1204页，2017年[25] Wilhelm Tranheden，Viktor Olsson，Juliano Pinto，andLennart Svensson. Dacs：通过跨域混合采样的域自适应。2021年IEEE计算机视觉应用冬季会议（WACV），第1378[26] Yi-Hsuan Tsai ， Xiaohui Shen ， Zhe Lin ， KalyanSunkavalli，Xin Lu，and Ming-Hsuan Yang.深层图像协调。在IEEE计算机视觉和模式识别会议论文集，第3789-3797页6169[27] Yuchao Wang，Haochen Wang，Yujun Shen，JingjingFei，Wei Li，Guoqiang Jin，Liwei Wu，Rui Zhao，andXinyi Le.使用不可靠伪标签的半监督语义分割。在IEEE/CVF计算机视觉和模式识别国际会议，2022年。[28] Qizhe Xie，Zihang Dai，Eduard Hovy，Thang Luong，and Quoc Le.用于一致性训练的无监督数据增强。In H.Larochelle，M.兰扎托河哈德塞尔M. F. Balcan和H.Lin，编 辑 ， Advances in Neural Information ProcessingSystems，第33卷，第6256-6268页Curran Associates，Inc. 2020年。[29] Jiawei Yang，Yao Zhang，Yuan Liang，Yang Zhang，Lei He，and Zhiqiang He.Tumorcp：一个简单但有效的肿瘤分割对象级数据增强。医学图像计算和计算机辅助干预国际会议，第579-588页。斯普林格，2021年。[30] Sangdoo Yun ， Dongyoon Han ， Seong Joon Oh ，Sanghyuk Chun ， Junsuk Choe 和 Young Joon Yoo 。Cutmix：用于训练具有本地化特征的强分类器的正则化策略。2019 IEEE/CVF计算机视觉国际会议，第6022-6031页[31] 翟晓华，奥利弗，科列斯尼科夫，拜尔.S41：自监督半监督学习。在IEEE计算机视觉国际会议论文集，第1476-1485页[32] Yuanyi Zhong ， Bodi Yuan ， Hong Wu ， ZhiqiangYuan，Jian Peng，and Yu-Xiong Wang.像素对比一致半监督语义分割。2021 IEEE/CVF国际计算机视觉会议（ICCV），第7253-7262页[33] Yanning Zhou，Hang Xu，Wei Zhang，Bin-Bin Gao，and Pheng-Ann Heng. C3-semiseg：通过交叉集学习和动态类平衡的对比半监督分割。2021 IEEE/CVF计算机视觉国际会议（ICCV），第7016-7025页[34] 朱军燕，菲利普·Kra？ henb？ hl，伊莱·谢赫特曼和阿列克谢·A.埃夫罗斯学习一个判别模型，用于感知合成图像 中 的 真 实 感 。 2015 年 IEEE国 际 计 算 机 视 觉 会 议（ICCV），第3943-3951页[35] Barret Zoph，Golnaz Ghiasi，Tsung-Yi Lin，Yin Cui，Hanxiao Liu，Ekin Dogus Cubuk，and Quoc Le.反思预训练和自我训练。神经信息处理系统的进展，33，2020。