没有合适的资源?快使用搜索试试~ 我知道了~
1航海的se:CycleMix:一种基于Scribble监督张克和庄夏海*复旦大学摘要管理大量的完全注释的训练数据可能是昂贵的,特别是对于医学图像分割的任务。Scribble是一种较弱的注释形式,在实践中更容易获得,但从有限的监督涂鸦训练分割模型仍然具有挑战性。为了解决这些困难,我们提出了一个新的框架,用于基于涂鸦学习的医学图像分割,该框架由混合增强和循环consideration组成,因此被称为CycleMix。为了增强监控,CycleMix采用了mixup策略,并采用了专门的随机遮挡设计,实现了涂鸦的增量和减量。为了监管的规范化,CycleMix通过一致性损失强化训练目标,以惩罚不一致的分割,从而显著提高分割性能。两个开放数据集的结果,即,ACDC和MSCMRseg,表明所提出的方法实现了令人振奋的性能,证明了与完全监督方法相当甚至更好的准确性。MSCMRseg的代码和专家编写的涂鸦符号可在https上公开获得://github.com/BWGZK/CycleMix网站。1. 介绍大型的完全注释的数据集对于深度神经网络的泛化能力至关重要。然而,医学图像的手动标记需要有经验的临床专家的巨大努力,这既昂贵又耗时。为了缓解这种情况,现有的工作已经利用弱标记和未标记的训练数据来辅助模型训练,例如半监督学习(SSL)[20,23,27]和弱监督学习(WSL)[14,22,31]。然而,SSL通常要求数据集中的部分图像被准确和精确地注释,*庄夏海为通讯作者。本工作由国家自然科学基金基金(批准号:61971142,(一)循环一致性混合段分段混合S@gm@µ$oy混合全球一致性:本地一致性(b)第(1)款图1.CycleMix基于混合增强和循环一致性对涂鸦训练图像的说明:(a)显示了混合图像和相应标签的操作和结果;(b)说明了一致性正则化的分割结果tated.作为替代方案,我们建议研究一种特殊形式的WSL方法,它只利用涂鸦注释进行模型训练。WSL被提议利用弱注释,例如图像级标签、稀疏注释和噪声注释[24]。其中,涂写,如图中的图像。1(a)是弱标记最方便的形式之一,在医学图像分割中具有很大的潜力[4]。然而,由于缺乏监督,仍然热衷于学习对象的形状先验,这使得边界的分割特别困难。现有的涂鸦学习主要包括两类。第一条研究路线利用先验假设来扩展涂鸦注释[24],例如在同一类别中标记具有相似灰度值和相似位置的像素[13,19]。然而,涂写扩展的过程可能会产生噪声标签,这会恶化62111530195和62011540404)和S才能(不。2020015)。11656训练模型的性能第二图像1Seg1混合augS@gm@µ$oy段2图像22结果第二个学习对抗性形状先验,但需要额外的完全注释的掩码[18,28,35]。已经提出了一系列增强策略,称为mixup,其重点是生成以前未见过的虚拟示例[8,15,16,33,34]。然而,这些策略是为图像分类而提出的,它们可能会改变目标对象的形状先验,从而导致分割任务的不切实际的分割结果。当只有涂鸦监督可用时,由于缺乏精确的注释,使用混淆增强的分割性能可能变得更差和不稳定。为了解决上述挑战,我们提出了Cy- cleMix来学习从涂鸦中分割。如图所示。1,CycleMix基于混合增强和随机遮挡来最大化对涂鸦的监督,并使用一致性损失来正则化模型的训练。首先,我们假设分割模型应该通过更大部分的注释像素从更细的梯度流中受益。因此,我们提出了两步混合增强策略来增强监督,包括图像组合以增加涂鸦和随机遮挡以减少涂鸦。此外,我们在全球和本地两个层面上开发了两级一致性规则化。全局一致性损失在两种情况下惩罚同一图像块的不一致分割,即,在原始图像和混合图像中;而局部一致性损失最小化预测与其最大连接分量之间的距离,利用解剖学的目标结构互连的先验知识。本文的贡献总结如下:• 我们提出了一种新的弱监督分割框架的涂鸦监督,即。,CycleMix,通过整合监督的混合增强和一致性监督的规则化,引入了一种新的MSCMRseg心脏分割数据集。• 据我们所知,拟议的CycleMix是第一个将混合策略用于增强弱监督分割的框架,其中可以从混合训练图像中实现涂鸦的增量和减量。• 我们提出了一致性损失,通过在全局和局部级别惩罚不一致的分割结果来规范来自涂鸦的有限监督,这可以导致模型性能的深刻改善。• CycleMix已在两个开放数据集上进行了评估,即,ACDC和MSCMR,并通过生成与完全监督的ap-2. 相关作品2.1. 从涂鸦监督中涂鸦是指稀疏注释,其中为图像中的一小部分像素提供掩码[24]。现有的方法大多使用选择性像素丢失的注释像素。有作品[1,13,19]试图扩大涂鸦或重建模型训练的完整面具。然而,像素重新标记过程需要迭代训练,这是缓慢的并且容易产生噪声标签。为了避免重新标记,一些作品利用条件随机场来细化后处理中的分割结果[4,6]或作为可训练层[26,36]。然而,这些方法不能为模型训练提供更好的监督。其他作品[28,35]包括一个新的模块来评估分割掩模的质量,这鼓励预测是现实的。例如,Gabriele等人。 [28]提出了对抗训练中的多尺度注意力门,Zhang等人。 [35]使用PatchGAN训练[12]来利用形状先验。然而,这些方法需要完整掩模的额外数据源。2.2. 混合增强数据扩充在防止模型过度拟合有限的训练数据和增强神经网络的泛化能力方面起着至关重要的作用。混合增强是指一系列策略,这些策略将两个图像和相应的标签结合在一起[8,15,16,33,34]。与传统的增强方法相比,即。旋转和叠加,混合方法可以通过混合操作增加增 强 图 像 的 可 写 注 释 。 Zhang 等 人 。 [34] 介 绍 了MixUp,它在两个图像及其标签之间执行线性插值。Man-ifold MixUp在[29]中将输入图像的混合操作扩展到隐藏特征。[8]中的Cutout随机丢弃了图像的方形区域,[33]中的CutMix用其他图像的补丁替换了丢弃的区域。Puzzle Mix在[16]中介绍了一种新的基于显着性和局部统计的混合方法。Co-mixup将两个图像之间的混合扩展到多个图像,并鼓励混合图像的超模多样性。在医学成像中,混合增强已应用于半监督图像分割[5]和对象检测任务[30]。 Chaitanya等人。 [5]得出结论,混淆可能会导致半监督分割的性能提升。虽然混合图像可能看起来不真实,但混合软标签可以提供更多信息,以促进模型的训练[5,11]。2.3. 一致性正则化一致性策略利用了这样一个事实,即如果同一图像被扰动,则分割重新进行。接近11657应该保持一致。一致性正则化3蒂翁×Ⓢ1- -212121 2 12图2. CycleMix的管道,其中两个蓝色虚线框表示相同的混合增强操作。损失函数包括涂鸦监督的损失(用红色注释)和一致性的损失(用绿色注释)。在 图 像翻 译 和 半 监督 学 习 中 得 到了 广 泛 的 应用 。CycleGAN [37]利用前向-后向一致性来增强图像到图像转换的能力。在半监督设置中,在输入图像的两个增强版本上强制执行一致性,以获得未标记图像的稳定预测[17,21,27]。在这项工作中,我们建议利用在全球和本地水平的一致性,以利用混合不变的属性和分割结构的相互关联的事实。3. 方法提出的CycleMix由两个新策略组成,即:将加强潦草监督与加强周期一致性相结合,实现监督的规范化。前者通过两步混合图像合成和随机遮挡实现涂鸦的增量和减量;后者通过两级一致性惩罚来规范模型训练中的监督。图. 2介绍了神经网络的基本结构3.1.1涂鸦的增量我们推测,通过更大比例的注释像素,增加涂鸦将受益于更细的梯度流。此外,我们观察到,涂鸦注释区域通常具有高显着性。因此,我们建议最大化混合图像的涂鸦注释,以有效地获得混合训练图像的显著性的最大化。在这里,我们采用了[16]中的Puzzle Mix来进行UTI-显著性和局部统计特征。请注意,所提出的方法适用于其他混合策略,例如MixUp [34],CutMix [33]和Co-mixup [15]。读者可参阅补充资料以作比较研究。我们应用拼图组合的图像和相应的涂鸦标签。设两个带标注的d维图像为(x1,y1),(x2,y2).从两个训练数据传输的混合结果(表示为(xm,ym))通过以下公式计算xm=M(x1,x2)和ym=M(y1,y2),(1)12 12使用CycleMix。3.1. 涂鸦监督在本节中,我们将混淆策略扩展到涂鸦监督的两阶段增强。在第一阶段,我们通过图像组合增加涂鸦的数量,称为涂鸦的增量,这是将两个图像混合以最大化显著性。在第二阶段中,我们执行一个随机遮挡操作,通过将包含涂鸦的特定区域替换为背景,从而导致涂鸦的减少。最后,通过专用损失实现监管的M(a1,a2)=(1−z)<$Ta1+z<$Ta2,(2)其中M(a1,a2)是关于a1和a2的混合函数;1和2表示维度d d的传输矩阵; z表示维度d的[0,1]中的掩码;是指逐元素乘法。 参数集合1,2,z旨在最大化混合图像的显著性,其通过以下公式计算,{,,z}=arg max[(1−z)<$Ts(x1)+z<$Ts(x2)],1, 2,其中s(x)是图像x的显著性,并且通过取梯度值的l2范数来对于这种优化-函数从生成的mixup图像。11658可以参考[16]了解更多详情。412·12L1212L12122121混合212122112213.1.2涂鸦的减少为了进一步增强涂鸦监督,我们建议从混合图像中随机遮挡包含涂鸦的区域,以生成更多的训练图像。该策略导致混合图像中的涂鸦减少,并且已被证明在增强对象定位性能方面是有效的[33]。令(xo,yo)为从(xm,ym)生成的新训练数据对。我们应用一个随机旋转的矩形区域来遮挡图像,并将被遮挡的涂鸦进入背景,3.2.1全球一致性全局一致性的目标是利用混合不变属性,这要求相同的图像块在两种场景中表现一致,即,原始图像和混合图像。因此,我们提出了全局一致性损失来惩罚不一致的分割。对于图像x1,x2及其混合图像xm=M(x1,x2),相应的分割表示为y_m=S(x),其中S()是s段r。 假设混 合 函 数 的 参 数 , 即 , , 1 , 2 , 和 z 在 方 程 中 。(2)、保持不变,一个应该有,xo=(1 −O)xm(三)M(S(x),S(x))=S(M(x,x)).(九)1212o=(1−O)ym(四)1 2 1 2其中O是维度为n×n的二进制矩形掩码。在我们的实验中,我们选择了一个大小为32×32的矩形。3.1.3涂鸦监督对于涂鸦监督,我们仅对注释像素应用交叉熵函数,忽略其地面真值标签未知的未标记像素。因此,损失未混合的样品(x1,y1)和(x2,y2)的未混合公式为:1这是要求图像x1和x2的混合分割与相同混合操作之后的混合图像xm的考虑到随机遮挡操作,我们修改Eq。(9)如下,(1−O)<$M(y<$1,y<$2)=S((1−O)<$xm)。(十)我们建议使用基于两个分割结果之间的负余弦相似性的对称度量作为全局一致性损失[7,10],Lunmix=2[Lce(y=1,y= 1) +Lce(y=2,y=2)],(5)其中,y=S(x)是x的预测分段,并且,Lcon-g1=2[L NCS(第12页),q12)+LNCS(第21页),q21)]、 (十一)Lce(y)=−y[i,k]log(y其中,p12(1−o)<$M(y<$1,y<$2)和q12S((1−o))o)m×m)分别是混合分段和分段。i∈ΩLk∈K其中,K是标签的索引集合,[i,k]指示第i个像素的标签向量的k元素,y[i,k]等于12混合图像的分割,并且对于p21和q21是类似的;Lncs(·,·)是负余弦相似度,定义为,p·q第i个pixel的概率属于第k类,ΩL指的是具有涂写注释的像素集合,应用CE损耗。此外,由于Puzzle Mix的操作不是Lncs(p,q)=− ||p||3.2.2局部一致性·||Q||2.(十二)对称,即M(x1,x2)M(x2,x1),我们使用对称损耗,称为混合损耗混合,用于生成的样本(x0,y0)和(x0,y0),对于目标物体,混合操作往往会导致混合图像中出现不连通结构.这种现象使得分割模型特别难以1L=[L (yo,yo)+L(yo,yo)]。(七)学习目标物体的形状先验。利用目标结构可以在-增强的涂鸦监督的损失由下式给出Lsup=λ1Lunmix+λ2Lmix,(8)其中λ1、λ2是平衡参数。3.2. 通过周期一致性实现监管规范化在本节中,我们引入两个正则化项,即全局一致性损失和局部一致性损失yL2cece5当量L1·在许多医学应用中,我们提出了局部一致性来消除离散结果。对于未混合的图像x1和x2,局部一致性损失con-l被公式化为:Lcon-l=2[Lncs(y=1, C(y=1))+Lncs(y=2, C(y=2))],(13)其中,C()是对分割结果的形态学操作,其输出输入分割中每个非背景类的最大连通区域。 的目的损失116593)最小化分割距离6ts who·C××PCEPCE图3.ACDC和MSCMRseg数据集的示例由于MSCMRseg图像中的结构边界通常更难区分,因此包括更厚的涂鸦以注释背景,以便进行更多监督。结果及其最大关联区域。如公式中所示。(11),我们使用对称负余弦相似度作为距离度量。最后,训练目标L被公式化为:L=(λ1Lunmix+λ2Lmix)+(λ3Lcon-g+λ4Lcon-l),患有心肌病,这代表了比未增强的心脏MRI对自动分割更多的挑战。金标准分割的LV,MYO,RV的这些图像也被主办方发布。接下来[32],我们将45名患者的图像随机分为3组,其中25组用于训练,5组用于验证,20组用于测试。潦草的注释。对于ACDC数据集,我们使用发布的专家制作的涂鸦注释[28]。为了获得真实的涂鸦注释,我们按照[28]中的原则进一步手动注释MSCMRseg数据集。背景、RV、MYO和LV的涂鸦的平均图像覆盖率分别为3.4%、27.7%、31.3%和24.1%。活泼地图. 图3展示了两个样本图像及其来自两个数据集的注释。请参考补充资料,以了解更多关于涂鸦注释的详细信息。评价我们采用Dice系数[9]来评估每种方法的性能,该方法衡量两个分割掩码的相似性。4.2.实验装置实施详情。我们采用UNet[2]的2D变体(表示为UNet+)作为所有实验的CylceMix网络架构,并已实现斯丘普x`unnsup(x14)使用Pytorch。 由于提供的图像具有不同的我们首先对它们及其注释进行了其中,λ1、λ2、λ3、λ4是利用不同损失组成部分的相对重要性。4. 实验4.1. 数据和评价指标CycleMix在两个开放数据集上进行评估,即、ACDC和MSCMRseg,在文献中已经报道了丰富的结果以供比较。此外,我们使用ACDC数据集进行广泛的参数研究。ACDC[3]数据集由100例患者的二维电影- MRI图像组成。使用不同磁场强度和不同分辨率的两台MRI扫描仪获得电影MRI图像。对于每例患者,为舒张末期(ED)和收缩末期(ES)阶段提供右心室(RV)、左心室(LV)和心肌(MYO)的手动注释。在[28]之后,ACDC数据集中的100个受试者被随机分为3组,每组70个(训练),15个(验证),15个(测试)受试者进行实验。为了与之前使用未配对掩码来学习形状先验的最先进方法相比,我们进一步将训练集分为两半,35个带有涂鸦标签的训练图像和35个带有心脏分割的掩码图像。除非另有说明,否则我们在训练拟议的CycleMix和基线时只使用了35张训练图像。MSCMRseg [38,39]包含晚期钆增强-转换为常见的面内分辨率1。371. 37毫米然后,将所有图像裁剪或填充为212 × 212像素的相同图像尺寸在训练过程中,我们将每个图像的强度归一化为零均值和单位方差。学习率固定为0.0001。 我们根据经验设定λ1=λ2=λ4= 1和λ3=0。05在Eq(14)。所有模型都使用一个NVIDIA 3090Ti 24GB GPU训练了1000个epoch。基线设置。提出的CycleMix是用涂鸦注释训练的。首先,我们将其与在涂鸦注释数据集上训练的基线进行了比较。最近,有几个作品利用GAN网络来学习形状先验。 我们还与这些需要额外的不成对分段掩码来训练GAN网络的测试基准进行了比较。最后,我们考虑了几种监督方法作为上限,这些方法是在完全注释的数据集上训练的。• 基线:我们首先与UNet+进行比较在[ 26 ]中使用注释像素的交叉熵损失进行训练。然后,对UNe t +采 用 不 同 的 混 合 增 强 策 略 , 即 : e. ,MixUp[34] , CutMix[33] , Puz-zleMix [16] , Co-mixup [15].最后,我们包括在ACDC数据集上的实验结果,[28]供参考,即,UNetpce [25]、UNetwpce [28]、UNetCRF [36]。45例患者的LGE MRI图像11660哈伦京 基准:的 上述 基线确实7MRseg。混FFFF图像掩模UNetMixUpCutoutCutMix Puzzle MixCo-mixupCycleMix(我们的)ACDC中位病例ACDC最差情况骰子=.8025骰子=.3289骰子=.8522骰子=.5357骰子=.8532骰子=.5013骰子=.8471骰子=.2292骰子=.6828骰子=.5320骰子=.7122骰子=.1016骰子=.8848骰子=.7407MSCMR中位病例骰子=.3651骰子=.3952骰子=.5167骰子=.6194骰子=.2574骰子=.2269骰子=.8267MSCMR最差情况骰子=.2826骰子=.2676骰子=.4878骰子=.5334骰子=.1933骰子=.1679骰子=.6573图4.在ACDC和MSCMRseg数据集上对所提出的方法进行定量比较。所选受试者是UNet+全监督分割结果的Dice评分的中位数和最差情况。在训练期间不利用额外的未配对的分割掩码。对于更具挑战性的基准测试,我们比较了使用额外的未配 对 数 据 来 学 习 形 状 先 验 的 四 个 作 品 , 包 括PostDAE [18],UNetD [28],ACCL [35],MAAG[28]。我们参考了他们在[28]中报告的ACDC数据集上的分割结果进行比较。• 监督方法:最后,我们在全监督分割中进行了比较。首先,我们将[ 2 ]中的UNet+应用于使用常规交叉熵损失的全标注的训练数据,称为UNet+。然后,将PuzzleMix增强策略应用于UNe t+,得到PuzzleMix F.最后,我们用完全注释的数据训练了CycleMix , 表 示 为 CycleMix F , 并 在 CDC 和MSCMRseg数据集上与UNe t+和PuzzleMi xF进行了比较。4.3. 不同混合策略表. 1展示了CycleMix在ACDC和MSCMRseg数据集上的性能。我们比较了不同的数据增强方法,即。,Mixup,Cutout,Cut- Mix,Puzzle Mix,Comix-up作为强基线。在这里,我们使用了35个主题进行训练,使用70个训练图像的结果在补充材料中呈现。当只有涂鸦注释可用时,Puzzle Mix的性能很差,Dice Scores平均当我们提出加强和规范监督时,CycleMix将性能提高到84的Dice。8%和80。0%,分别为两个数据集,表明改善了22。4%,55。9%。此外,CycleMix的平均Dice Score不仅大大超过了所有弱监督的基线,而且还超过了两种完全监督的方法。特别是在MSCMRseg数据集的挑战性任务中,CycleMix的平均Dice为0.800,6%的增量比CutMix排名,在涂鸦监督排行榜上名列第二。对于完全监督的方法,可以观察到CycleMix(略微)优于表中的UNetF和PuzzleMixF1.一、具体而言,具有涂鸦监督的CycleMix获得了0的平均改善。8%(84.8%对84.0%)和1. MSCMRseg上为1%(80.0% vs 78.9%),ACDC数据集。图. 图4显示了使用完全监督的UNet选择的最差和中等情况的结果。 据观察,Puzzle Mix可能在基于涂鸦监督的分割中失败,特别是在MSCMRseg的验证任务中。这可能是由于其图像块的传输策略,这比基于线性插值或局部替换的其他混合策略更有可能改变目标结构的形状。Co-mixup采用了与Puzzle为62. ACDC数据集上的4%和24。1%,MSC11661因此,分割更加困难,8con-l)。 皮尔维斯LLLL表1.CycleMix在ACDC和MSCMRseg数据集上的性能(Dice评分)与不同混合策略进行比较大胆表示最佳性能,下划线表示第二佳性能。方法数据ACDC MSCMRsegLV MYO RV平均LV MYO RV平均35涂鸦UNet+PCE涂鸦.785±.196.803±.178.832±.172.641±.359.663±.333.622±.304.883±.095.725±.151.753±.116.754±.138.734±.144.650±.231.621±.214.798±.075.746±.203.767±.226.812±.129.740±.216.559±.343.702±.2110.863 ±0.073.752.774.800.705.624.648.848.494±.082.610±.144.459±.077.578±.0630.061 ±0.021.356±.0750.870±0.0610.583 ±0.067.463±.147.641±.136.622±.121.634±.084.343±.067.739±.0490.057 ±0.022.378±.153.697±.149.761±.1050.028 ±0.0120.053 ±0.022.791±.072.378.484.599.654.241.251.800MixUp [34]涂鸦卡顿[8]涂鸦[33]第三十三话涂鸦[16]第十六话涂鸦[15]第十五话涂鸦CycleMix(我们的)涂鸦35个口罩UNet+F[16]第十六话口罩口罩.849±.152.849±.182.792±.140.807±.088.817±.151.865±.089.820.840.857±.055.867±.042.720±.075.742±.043.689±.120.759±.039.755.789模型来学习形状先验,特别是在一个小的训练数据集。CycleMix通过组合混合图像和未混合图像的损失来克服这个缺点,即,混合和解混合,并利用一致性正则化来保留形状先验,这将在消融研究中进一步探索。4.4. 与弱监督方法的表. 2显示了ACDC数据集的结果。之前最好的方法MAMG [28]利用了来自另外35个受试者的未配对掩码,并在多尺度GAN的帮助下实现了81.6%的Dice得分。没有这些口罩,CycleMix仍然实现了一个新的国家的最先进的(SOTA)骰子84.8%的平均水平,与承诺利润超过MAMG。对于具有更多形状变化的RV结构,CycleMix比 MAMG 获 得 了 11.1% 的 显 著 增 益 ( 86.3% vs75.2%)。对于其他方法,CycleMix表现出更显著的性能改进。我们得出的结论是,尽管有额外的掩码,但当训练图像数量较少时,模型可以通过GAN学习非常有限的先验形状。由于混合增强和一致性规则化的涂鸦监督,CycleMix学习了强大的形状先验知识,并设置了一个新的SOTA分割。此外,从表的上半部分可以看出。2,CycleMix始终优于所有其他基于涂鸦监督的方法。特别是Cy- cleMix获得了平均性能增益高达8. 比排名第二的UNetpce高2%4.5. 消融研究本节研究了我们提出的策略的有效性,包括使用非混合损失(Lunmix),混合损失(Lmix),全局一致性损失(Lcon-g),范围,表2.Cy- cleMix在ACDC数据集上的性能(Dice Scores)与最先进的我们参考了他们在[ 28 ]中报告的ACDC数据集上的分割结果进行比较。方法数据LVMyoRVAvg35涂鸦UNetpce [25]涂鸦.842.764.693.766[28]第二十八话涂鸦.784.675.563.674UNet通用报告格式[36]涂鸦.766.661.590.672CycleMix(我们的)涂鸦.883.798.863.84835个涂鸦+35个未配对的面具UNetD [28]涂鸦+面具.404.597.753.585PostDAE [18]涂鸦+面具.806.667.556.676ACCL [35]涂鸦+面具.878.797.735.803MAAG [28]涂鸦+面具.879.817.752.816表. 3介绍细节。全局一致性的有效性:具有注释像素的交叉熵损失的UNet+(#1)可以实现75.2%的平均Dice Score。当我们添加混合损失组合作为额外的分割损失时,平均性能提高了5。7%(75.2%至80.9%);并且当包括全局一致性(con-g)用于正则化时,平均Dice进一步提升至83.0%。这是由于全局一致性的结合可以促使分割模型学习混合不变性,增强模型的学习能力鲁棒形状先验。随机遮挡的有效性:对于模型#4,我们观察到随机遮挡(O)带来令人信服的平均Dice评分改善1。3%(84. 3%对83。0%),证明了其有效性,以提高本地化能力的模型,通过额外的增强scribble子,dom遮挡(O)和局部一致性损失(L11662离子。9LLF表3.消融研究:CycleMix用于不同设置的图像分割,包括未混合样本的丢失(Lunmix)、混合样本的丢失(Lmix)、全局一致性丢失(Lcon-g)、随机遮挡(O)、局部一致性丢失(Lcon-l)。符号 * 表示通过Wilcoxon符号秩检验得出的统计学显著改善,p ≤ 0。05.方法L解混L混合Lcon-gOLcon-lLVMyoRVAvg#1CCCCC×CcC×C×C××C×C×××C×.785±.1960.863 ±0.104mm.867±.1300.898±0.059mm.883±.095.725±.1510.783 ±0.086mm.786±.114.786±.0780.798±0.075mm.746±.203.782±.1730.837 ±0.097mm0.847 ±0.132mm0.863±0.073.752#20.809毫米口径#30.830毫米口径#40.843毫米口径#5.848表4.数据敏感性研究:CycleMix的性能与表5。完全监督分割的比较涂鸦与完整注释的比例不同方法LV MYO RVAvgACDC数据集UNet+F[16]第十六话CycleMixF.883±.130.831±.093.870±.096.912±.082.842±.0810.887±0.066.919±.065.858±.058.882±.088.862.880.886MSCMRseg数据集UNet+F[16]第十六话CycleMixF0.857±.0557tec20±.075.689±.120.867±.042.742±.043.759±.039.864±.034.785±.042.781±.066.755.789.810局部一致性的有效性:当采用局部一致性(con-l)进行形状正则化时,模型#5的表现略好于模型#4,增加0。8%的平均Dice评分(84.8% vs 84.0%)。 特别是在MYO结构方面,con-l有助于获得统计学显著改善1。2%的骰子,表明收益4.7.完全注释数据表. 5提供了ACDC和MSCMRseg数据集上全监督分割的Dice得分。通过完全注释的标签,Puzzle Mix展示了竞争力,提高了Unet+的平均Dice局部一致性的形状正则化的segmenta-从86。2%至88。0%的ACDC,从75。5%至F78岁百分之九具有挑战性的结构。4.6.数据敏感性研究本研究探讨了CycleMix的性能与不同的训练图像的涂鸦注释和完整的注释。在这项研究中,我们包括了来自ACDC的所有70个训练图像,并改变了两组注释之间的比例。表. 四是提出结果。有趣的是,可以观察到,当完整注释的比例达到20%(56:14)时,CycleMix以1的比例胜过完全监督的UNe t+。0%(87.2%对86.2%)的平均骰子。正如预期的那样,CycleMix的性能随着完全注释的受试者比例的增加而增加可以观察到,当完全注释的数据的比例达到40%时,CycleMix的一般性能收敛。这证实CycleMix可以获得令人满意的分割结果方法涂鸦:满LVMyoRVAvg1下午三点.883±.095.798±.0750.863 ±0.073.848270点.880±.115.898±.075.911±.063.902±.080.906±.065.919±.065.825±.072.842±.072.854±.056.851±.065.856±.066. 858±.058.860±.089.876±.1120.883 ±0.076.899±.0580.893 ±0.083.882±.088.8553五十六比十四.8724四十二分二十八秒.8835二十八点四十二分.8846十四点五十六分.88510的ne在MSCMRseg上。相比之下,CycleMix可以改进得更多,但利润率并不像在涂鸦监督中那样令人兴奋。这表明CycleMix在基于涂鸦监督和完全监督的分割中表现出色,但其优势在前一种应用中可能更加明显5. 结论在本文中,我们已经研究了一种新的弱监督学习框架,CycleMix,从涂鸦监督学习分割。该方法利用监督的混合增强和分割的循环一致性来增强分割模型的泛化能力。在两个开放数据集上评价了CycleMix,即,ACDC和MSCMRseg,并实现了具有相对少量的完整注释。11663最先进的表演11新的vC引用[1] Wenjia Bai , Hideaki Suzuki , Chen Qin , GiacomoTarroni ,Ozan Oktay , Paul M Matthews ,and DanielRueckert.带稀疏注释的主动脉图像序列分割的回流神经网络医学图像计算和计算机辅助干预国际会议,第586-594页。Springer,2018. 2[2] ChristianFBaumgartner , LisaMKoch , MarcPollefeys,and Ender Konukoglu.二维和三维深度学习技术在心脏磁共振图像分割中的应用。在心脏统计数据库和计算模型国际研讨会上,第111Springer,2017.五、六[3] Olivier Bernard,Alain Lalande,Clement Zotti,Freder-ick Cervenansky , Xin Yang , Pheng-Ann Heng ,IremCetin , Karim Lekadir , Oscar Camara , MiguelAngel Gonza- lez Ballester , Gerard Sanroma , SandyNapel,Steffen Pe- tersen,Georgios Tavernitas,EliasGrinias,MahendraKhened,VargheseAlexKollerathu,Ganapathy Krishnamurthi,Marc-MichelRohe',X a vierPennec,MaximeSermesant,FabianIsense e,PaulJ?ger,KlausH. 作者:PeterM. 放大图片作者:IvoWolf,Sandy Engelhardt,Christian F. 放大图片作者 : Lisa M. 作 者 : Jelmer M. Wolterink , IbergisJogum,Yeonggul Jang,Yoonmi Hong,Jay Patravali,Shubham Jain,Olivier Jog-bert,and Pierre-Marc Jodoin.用于自动MRI心脏多结构分割和诊断的深度学习技术:问题解决了吗IEEE医学成像学报,37(11):2514-2525,2018。 5[4] 放大图片作者:Yigit Baran Can,Krishna Chaitanya,Basil Mustafa ,Lisa M.Koch ,Ender Konukoglu ,andChristian F. 鲍姆加特纳。学习分割医学图像与涂鸦-监督单独。在DLMIA/ML-CDS@MICCAI,2018年。一、二[5] KrishnaChaitanya , NeeravKarani , ChristianFBaumgartner,Anton Becker,Olivio Donati,and EnderKonukoglu.半监督和任务驱动的数据增强。在医学成像信息处理国际会议上,第29-41页。Springer,2019年。2[6] Liang-ChiehChen , GeorgePapandreou , IasonasKokkinos,KevinMurphy,andAlanLYuille.Deeplab:使用深度卷积网络、atrous卷积和全连接crfs进行语义图像分割IEEE Transactions on PatternAnalysis and Machine Intelligence,40(4):8342[7] Xinlei Chen,Kaiming He.探索简单的连体表征学习。arXiv预印本arXiv:2011.10566,2020。4[8] Terrance DeVries和Graham W Taylor。改进的卷积神经网 络 的 正 则 化 。 arXiv 预 印 本 arXiv : 1708.04552 ,2017。二、七[9] 利 河 骰 子 . 物 种 间 生 态 关 联 量 的 量 度 Ecology, 26(3):297-302,1945. 5[10] Jean-BastienGrill , FlorianStrub , FlorentAltche´ ,CorentinTallec,PierreH.Richemond,ElenaBuchatskaya , CarlDoersch , Bernardo Avila Pires ,Zhaohan Daniel Guo , Moham-madGheshlaghiAza r ,BilalPiot,KorayK a vukcuoglu,Re´miMunos,and MichalValko. Bootstrap你自己的潜在:12[11] Geoffrey Hinton Oriol Vinyals和Jeff Dean。提取神经网 络中 的知 识。 arXiv预 印本 arXiv: 1503.02531,2015。2[12] Phillip Isola,Jun-Yan Zhu,Tinghui Zhou,and AlexeiA Efros.使用条件对抗网络的图像到图像翻译。在IEEE计算机视觉和模式识别集,第11252[13] Zhanghexuan Ji , Yan Shen , Chunwei Ma , andMingchen Gao.基于手写体的分层弱监督学习用于脑肿瘤分割。在医学图像计算和计算机辅助干预上,第175-183页。Springer,2019年。一、二[14] Anna Khoreva 、 Rodrigo Benenson 、 Jan Hosang 、Matthias Hein和Bernt Schiele。很简单:弱监督实例和语义分割。在IEEE计算机视觉和模式识别会议论文集,第876-885页,2017年。1[15] Jan
下载后可阅读完整内容,剩余1页未读,立即下载
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功