没有合适的资源?快使用搜索试试~ 我知道了~
3918基于递归模板优化的少镜头医学图像分割唐兴伟刘善林孙祥义闫晓辉谢计算机科学加州大学欧文分校,92697{htang6,xingweil,shanlins,xiangyy4,xhx} @ uci.edu摘要尽管在医学图像分割方面取得了巨大成功,但深度卷积神经网络通常需要具有手动注释的大型数据集进行训练,并且难以推广到看不见的类别。少镜头学习有可能通过仅从少数标记的示例学习新类来解决这些挑战。在这项工作中,我们提出了一个新的框架,少拍医学图像分割的基础上原型网络。本文的创新之处在于设计了两个关键模块:1)上下文关系编码器(CRE),它利用相关性来获取前景和背景区域之间的局部关系特征;以及2)循环掩码细化模块,其重复地使用CRE和原型网络来重新捕获上下文关系的改变并迭代地细化分割掩码。在两个腹部CT数据集和一个腹部MRI数据集上的实验表明,该方法在DSC方面分别比现有方法平均提高了代码是公开的1.1. 介绍医学图像分割是医学图像分析中的一项基本任务。它用于许多临床应用,包括疾病诊断、治疗计划和治疗递送。解剖结构或病变的分割通常由有经验的医生手动完成,这通常是繁琐且劳动密集的。随着最近深度卷积神经网络的使用,使用计算机程序的自动分割工具可以在非常短的处理时间内在多个任务上实现接近人类的准确度。然而,为了实现良好的性能,这些系统通常以完全监督的方式使用大量注释数据进行训练。获取具有大量手动标签的数据集通常1https://github.com/uci-cbcl/RP-Net非常昂贵和耗时,因为它需要具有多年临床经验的专家。此外,不同医疗设备和机构之间的图像采集协议的差异对基于学习的系统的泛化能力提出了很大的挑战。少次学习已被提出作为在低数据状态下解决这些挑战的潜在解决方案之一[43,46,56,8,22]。主要的少镜头图像分割方法将问题形成为Meta学习[9,10,16],并使用监督学习来训练少镜头学习模型。训练少量学习模型以从具有注释的支持图像的集合中提取类别特定的特征,并且然后通过使用来自支持图像的提取的知识对查询图像执行分割。在测试期间,通过从一组新的支持图像(看不见的类)中提取特征,模型能够分割新的类。已经提出了许多少量学习方法,并且在自然图像分割任务上取得了很好的性能[33,39,6,41,59,67,66,62,17]。然而,将少量学习模型应用于医学图像分割仍处于早期阶段[31,36]。医学图像中的少镜头分割不同于自然图像中的分割。许多方法基于原型网络[43],并且通常应用掩码平均池[6,59,67]来从前景掩码内的特征图中提取类原型。该步骤通常假设掩蔽区域包含足够的特征以区分不同的类别,尤其是前景和背景。然而,这在医学图像中可能并不总是正确的。不同的局部外观和上下文信息在确定前景和背景的边界时更关键。在医学图像分割中,一个清晰的边界将感兴趣区域与背景分开是至关重要的此外,背景通常较大且空间上不均匀,而前景较小且均匀[30],并且存在大量彼此共享非常相似的外观的组织,所有这些都增加了定义前景和背景区域的模糊为了解决这个问题-3919因此,我们鼓励网络显式地对前景和背景像素之间的上下文关系建模,特别是边界周围的像素。在这项工作中,我们介绍了一个新的网络框架,用于使用原型网络(RP-Net:当前P旋转网络)。首先,我们提出了一个上下文关系编码器(CRE)上提取的功能,明确建模的前景和背景特征图之间的关系。在医学图像分割中,前景区域和背景区域之间的关系在确定感兴趣区域的边界为了迫使模型提取和利用局部上下文关系信息,CRE使用相关性来捕获前景和背景区域中的差异。像素特征与上下文关系特征一起增强。上下文关系的显式提取对模型将学习的特征提出了强约束,并迫使其聚焦于感兴趣区域的边界一个原型网络之后,使用这些增强的功能产生预测的面具。其次,我们提出了一个经常性的掩模细化模块,迭代细化使用CRE和原型网络的分割。这种设计从最近的作品[53,32,18]中汲取灵感,这些作品采用迭代改进。更重要的是,预测掩码修改前一步骤中的掩码,这导致更新的局部上下文关系。递归模块用于重新捕获更新的上下文关系并基于新的预测重新计算其上下文关系从前一步骤的分割掩码开始,模型使用前一步骤中的细化预测掩码来使用CRE计算新的上下文特征,然后将其馈送到相同的原型网络。模块的权重在多个迭代中共享,因此它是完全递归的。该循环模块促进学习并迫使模型学习以逐渐细化分割。我们的贡献总结如下:- 上下文关系编码器(CRE)使用前景和背景之间的相关性来增强对象边界周围的上下文关系特征。- 一种用于少镜头医学图像分割的新框架,其通过使用CRE和原型网络的递归模块迭代地细化预测掩模。- 我们在两个腹部CT数据集和一个腹部MRI数据集上进行了实验。实验表明,所提出的框架在ABD-110数据集[49]上的平均分割率为16.32%,在MIC-CAI 15Multi-Atlas Abdomen Labeling挑战数据集上的平均分割率为8.45%,优于[23]ISBI 2019联合健康腹部器官分割挑战[21]中DSC为6.24%。2. 相关工作2.1. 医学图像分割近年来,深度学习为医学图像分析领域带来了重大进展[40],如计算机辅助诊断[38,48,50,52],图像配准[38,48,50,52]等。重建[64,7,63],等等。在医学图像分割方面,深度卷积神经网络的发展已经导致了各种成功的应用,包括组织[44,58,28]、解剖结构[47,3,55,70,11,5]的分割。45,4,25,51]和病变[12,69,57,24,37,61]。最著名和最广泛使用的网络架构之一是U-Net [34]。U-Net使用横向连接来融合来自编码器和解码器的特征提出了许多变体,其设计重点各不相同。V-Net [26]将U-Net的使用扩展到3D体积数据。注意U-Net [29]提出使用门控机制来过滤特征。nnUNet [19]结合了不同的U-Net网络架构,并自动配置不同任务的最佳设置,这是开箱即用的最佳U-Net。这些SOTA方法需要针对其特定任务进行大量的手动注释,它们旨在充分利用注释数据集的功能,并且在分割新类别时受到限制。2.2. 少数学习少镜头学习可以分为三个主要焦点:数据,模型和算法[60]。 关注模型的自然图像中的少镜头分割的一个主流是原型网络[43]。原型网络使用Meta学习的思想[9,10,16],并将平均掩码池应用于池来自支持集的类特定特征,这被称为原型。然后,通过计算与每个类原型的余弦距离来对查询图像进行分割。PANet[59]通过提出一个原型对齐网络来更好地利用支持集,通过使用查询图像作为支持集来预测支持图像,进一步改进了这个想法。在少镜头医学图像分割中,大多数工作都集中在生成新的训练数据以扩大训练集,仅给出几个标签[68,27,31,65]。然而,当需要分割新类时,这仍然需要重新训练模型最近,一些作品专注于设计- ING网络架构,不需要重新训练的模型。Squeeze和excite [36]首先提出了一种专门为医学图像分割设计的少量学习架构。他们建议使用挤压和激发模块将来自支持图像的信息融合到查询图像上,以指导分割臂。[30]提出了本地原型来丰富类原型的表示和使用超像素的自监督训练策略。同样,我们专注于少数拍摄的医学图像分割。3920--∩∅--上 下 文关 系 编码器原型网原型上 下 文关 系 编码器上 下 文关 系 编码器原型支撑掩模支持图像掩 蔽 平均合并特征编码器共享查询GT查询图像上 下 文关 系 编码器迭代原型网特征编码器上 下 文关 系 编码器原型网原型网Lse#初始查询掩码mMMMM掩模3x3转换相关性和特征1x1转换<“,cosM3x3转换和Concatenate1 -面罩查询特征图1. RP-Net由三个主要组件组成:(2)上下文关系编码器(CRE),其使用相关性来增强局部上下文关系特征;(3)循环掩码细化模块,其迭代地使用CRE和原型网络来重新捕获局部上下文特征的变化并细化掩码。我们提出了一个新的框架,该框架使用CRE和循环掩码细化模块来更好地捕获前景对象边界周围的局部特征和形状3. 方法我们首先描述了正式定义的少拍医学图像分割。接下来,我们介绍了RP-Net的体系结构,特别是上下文关系编码器(CRE)和递归掩码细化模块。3.1. 问题定义在少镜头医学图像分割任务中,使用图像和从训练数据集D tr中提取的一组语义标签C tr来训练模型。在推理过程中,该模型从测试图像Dte中分割出一组新的语义类Cte,给出Cte的一些标记示例。注意,CtrCte=。例如,使用语义标签Ctr=肝、左肾和右肾来训练模型,并且在测试时间期间,模型需要分割新的语义类Cte=脾。设N是Cte中的语义类的数量,并且K是Cte中的每个语义类的示例的数量。少数镜头学习问题也被称为N路K-shot学习。在医学图像分割中,大多数作品通常考虑单向单次学习[36,30]。为了实现在推理时间内分割看不见的类的目标,广泛使用情节训练策略[59,30,36]。为了模拟测试时间中仅提供每个类的K个示例的情况,情景训练模式从Dtr以支持和查询数据对[(xs,ys),(xq,yq)]的形式随机抽取每个训练示例。该模型被训练为从支持集(xs,ys)中提取关于语义类的知识,然后将该知识应用于分段查询集xq。在推理时间,仅给出K个支持图像xs及其对应的标签ys,并且模型对查询图像xq执行分割。3.2. 该方法现在,我们介绍RP-Net用于医学图像中的少量学习在本节的其余部分中,我们考虑单向K-shot学习问题。RP-Net的架构如图1所示。我们的方法包括三个步骤:1)提取图像特征,2)使用CRE增强上下文关系特征,3)迭代地应用CRE和原型网络来细化分割掩模。所有阶段都是可区分的,可以进行端到端的培训。3.2.1特征提取网络的输入是一组K个支持图像xs∈RH×W×1和查询图像xq∈RH×W×1,填充到3921∈∈Σ∈{|}×××--1=x为ohcre,sSΣ,P)(x,y,c)=cre,q ,cpj∈Pcre,qJFb(1)CK k=1x为ohy(k,x,y,c)S相同的高度H和宽度W。首先使用仿射变换将支持图像和查询图像全局对齐,这是许多医学图像任务中的常见步骤。该模型首先使用相同的特征编码器fθ提取支持度特征FsRH′×W′×Z和查询特征FqRH′×W′×Z相对于水平。 H′和W′是特征图的高度和宽度,Z是特征通道的数量。U-Net主干的修改版本被用作特征编码器fθ。代替将特征图上采样到原始分辨率,如在原始U-Net中实现的,我们移除U-Net中的最后两这导致支持和查询特征的分辨率为图像分辨率的1/4(H’=H/4,W’= W/4)。3.2.2上下文关系编码器与直接计算特征图之间的相关性相比,将特征图分离为前景和背景特征是重要的。以这种方式计算的相关性是稀疏的,并且在边界周围仅具有非零值,这捕获了对象的形状并且清楚地将像素与背景区分开。在全特征图之间计算的相关性不能实现这一点,因为它不具有区域的边界感3.2.3原型网络在[30,59]之后,我们使用一种相对简单的方法来计算原型,对掩码内和支持图像中的特征向量进行给定支持集Fcre,s的增强图像特征,我们首先通过掩码平均池化计算类cK <$F(k,x,y)y(k,x,y,c)背景为了加强和强调这些功能,我们提出了上下文关系编码器,以增强上下文功能,并迫使模型专注于感兴趣的区域,而不是像素本身的形状和CRE将提取的特征F(为了方便,我们省略下标q和s)和前景掩模m作为输入,并输出增强特征Fcre=fcre(F,m)RH′×W′×Z。 m是来自支持图像的前景类别的掩模(y_s),或查询图像的建议前景掩模。 前景和背景的特征首先通过使用掩模m对F进行掩模来提取:f(F⊙m)和Fb=f和接下来,进行相关性计算。用于获取上下文关系特征其中(x,y)是特征图上的像素的索引,(x,y,c)索引类别c的二进制掩码的空间位置,并且K是支持图像的数量。使用非参数度量学习方法进行分割。原型网络计算查询特征向量和计算原型之间的距离P=pccC. 在距离上应用softmax以在所有类别上产生概率输出。形式上,对于查询特征图Fcre,q的位置(x,y)处的每个像素,我们有:m软= cos(Fcre,q,P),以及exp(−αd(F(x,y),p))每个空间的前景和背景特征向量F的位置(x,y)B我具有偏移 Ff的j)、−i,x且(x-cre,qΣexp(−αd(F(x,y),p))和j:C(x,y,i,j)=ΣF(x,y,z)F(x−i,x−j,z)z其中距离函数d是常用的余弦距离,α是该距离函数的缩放因子,以便与softmax函数配合使用。 α被设置为20 [59]。类别预测可以通过以下方式获得:不是计算每对图像之间的相关性m(x,y)= arg maxm(x,y,c)(四)在F_f和F_b上,我们限制最大位移d以用于在每个位置(x,y)处进行比较。给定最大位移d,我们仅通过限制相关性的范围来计算大小为2d+1的邻域中的相关性C(x,y,i,j)。C3.2.4递归掩模细化软(i,j)。结果,上下文关系特征C的大小为H’W’(2d+1)2。C(x,y)有效地捕获背景像素如何与前景相关的当它接近物体边界时。最后,我们沿着通道维度关联C和Ff,并应用11卷积来融合前景特征和上下文关系特征以获得Fcre。基于经验结果将d设置为5(详见表2)。由于用于计算上下文关系特征的掩码m每次网络进行预测时都会发生变化,我们提出了一个循环掩码细化模块来重新捕获这种变化,并基于先前的预测计算新的上下文关系特征。递归掩码细化模块估计掩码预测m1、m2、…来自初始掩码,其是所有支持掩码的并集:p(二)在医学图像分割中,局部背景特征对于确定前景和目标cos(F(三)3922SS×Σm+×=1−i,j,c soft,nqyKi=1 伊岛 在每次迭代t处,它产生新的分段a。- ABD-30是来自MICCAI 2015的腹部数据集基于mt−1的tion maskmt。这座建筑的设计结构模仿优化算法的步骤。为此,递归模块中的所有权重在多次迭代中共享。该模型被训练以学习逐渐修改掩模,使得最终输出掩模m_n收敛到最优解。注意,在这项工作中,使用支持掩码的平均值来初始化m0,因为图像是仿射对齐的,但是也可以使用其他方法来更好地初始化m0该递归掩码细化模块在前一步骤中获取支持特征Fs、查询特征Fq和掩码mt-1,使用CRE来增强查询特征,并应用原型网络来输出分割掩码mt。msoft,t= cos(fcre(Fq,msoft,t−1),P)(5)我们在训练期间应用循环掩码细化模块的4次迭代,以节省内存和计算成本。在推理时间中,我们应用10次迭代。我们在图2中显示了在推理时间内每次迭代的性能,并且10次迭代足以获得稳定的结果。通过使用双线性插值将m,n上采样到与x,qMulti-Atlas腹部标签挑战[23]。它包含来自具有各种病理的患者的30个3D腹部CT扫描(ABD-30),并且在扫描之间具有强度分布的变化。- ABD-MR是来自ISBI 2019联合健康腹部器官分割挑战的MRI数据集[21]。它包含20个3D T2-SPIR MRI扫描。我们执行相同的5折交叉验证,并仅考虑单向单次学习,遵循与先前工作设置2相同的肝、脾、左肾和右肾被用作语义类。在每个折叠中,一个器官被认为是用于测试的看不见的语义类,而其余的用于训练。此外,为了通过在推理过程中仅选择一个支持图像来减少方差,按照[59],对于测试集中的每个查询图像,我们从测试集中随机抽取一个支持图像,重复该过程5次,并通过对5次运行求平均值来获得最终结果评估指标我们使用与以前的工作[30,36]相同的评估指标Sørensen-Dice系数(DSC)。DSC测量预测掩模m和真实掩模g的重叠,并且被定义为:3.2.5损失函数DSC(m,g)= 2|m∩ g||M|+的|G|(七)我们使用骰子损失和交叉熵来监督我们的网络实现细节所有图像都重新采样,在最终预测的掩模m分割掩码yq:软的,软的和地面实况具有1.25mm的相同xy平面间距1.25mm. 为分割3D体积数据,我们遵循[30,36]中使用的相同协议,将支持和查询图像分成12个块,并分割查询块中的所有切片Lseg=βL dice+L ce通过使用对应块中的中心切片支持图像。在培训期间,一对支持和质疑2Σm(i,j,c)y(i,j,c)骰子Σi,j,cq(i,j,c)(i,j,c)软,n i,j,c(六)的256 256。 支持与查询图像在线对齐使用仿射变换之前,L=−1Σy(i,j,c) log(m(i,j,c))进入网络。RP-Net是从零开始训练我们-ceHWCQi,j,c软的,软的使用Adam作为优化器,初始学习率为0.000150个epoch,学习率降低了10其中β是控制两个损失项,并设置为1。请注意,骰子损失和交叉熵之和的使用广泛用于医学图像分割任务,例如[20]。4. 实验4.1. 设置数据集我们使用两个腹部CT数据集和一个MRI数据集进行实验:- ABD-110是来自[49]的腹部数据集,其包含来自患有各种腹部肿瘤的患者的110个3D CT图像,并且这些CT扫描是在治疗计划阶段进行的。每20个时期。我们还将对准损失添加到训练中如[59]中的RP-Net。4.2. 与最新方法的表1分别显示了RP-Net与先前ABD-110、ABD-30、ABD-MR工作的性能比较。PANet [59]是广泛使用的原型网络[43]的扩展版本,PANet-init意味着直接使用预训练的VGG 16特征提取主干,而无需对少数镜头设置进行任何微调。SE-Net [36]是第一个专门为少数镜头医学图像分割设计的架构。SSL-ALPNet [30]是最先进的少镜头医学图像分割框架,使用L图像及其标注都将被裁剪为固定大小3923数据集方法脾肾L肾河肝是说PANet-init [59]30.95±1.0935.89±1.7529.48±1.0764.90±1.6250.42±0.9178.77± 0.6419.24±0.3740.22±1.7137.48±2.0861.58±2.5353.04±1.5781.89± 1.4517.64±0.7141.54±0.8237.53±1.9764.05±2.2752.025±2.1785.12± 0.9849.91±0.3452.36±0.6019.09±0.3671.83±1.8166.99±1.2081.88± 0.6329.43PANet [59]42.50SE-Net [36]30.89ABD-110SSL-ALPNet [30]65.59仿射55.62RP-Net(我们的)81.91全方位监督[49]95.995.795.796.495.92SE-Net [36]0.2332.8314.340.2711.91PANet [59]25.5932.3417.3738.4229.42ABD-30SSL-ALPNet [30]仿射60.2548.9963.3443.4454.8245.6773.6568.9363.0251.75RP-Net(我们的)69.85±2.3470.48±2.5570.00±0.8979.62±0.9172.48完全监督[70]96.895.392.097.495.4SE-Net [36]51.8062.1161.3227.4350.66PANet [59]50.9053.4538.6442.2646.33ABD-MRSSL-ALPNet [30]仿射67.0262.8773.6364.7078.3969.1073.056573.0265.41RP-Net(我们的)76.35±0.6681.40±2.1085.78±1.1273.51±1.5579.26全面监督[20]----94.6表1.ABD-110、ABD-30和ABD-MR上的DSC与其他方法的比较(单位:%)。实验方法脾肾L肾河肝是说仿射50.4253.0452.02566.9955.62仿射+Grabcut57.9364.1764.2565.2762.91添加的组分仿射+Concat仿射+CRE56.4157.7352.3958.0554.9960.6270.8773.5358.6662.48仿射+ Concat +递归59.9960.6562.3183.0366.50仿射+ CRE +递归78.7781.8985.1281.8881.91VGG1673.5767.4956.8172.0467.48骨干Res18U-Net72.3978.7779.1381.8981.6185.1280.8981.8878.5081.91d=078.4081.9082.1283.8981.58相关半径d=1D=380.0379.1281.8781.7982.0983.4182.181.3281.5281.41D=578.7781.8985.1281.8881.91D=777.5680.2581.7780.2279.95仿射50.4253.0452.0266.9955.62初始化恶魔RP-Net(仿射)63.6078.7763.8981.8961.8985.1273.5981.8865.7481.91RP-Net(恶魔)80.3183.5585.0182.8682.93表2.ABD-110的消融研究(单位:%)。下划线是RP-Net中使用的最终配置自我监督学习和原型网络。仿射是使用仿射变换全局对齐支持和查询图像后的准确性的结果,我们将其用作初始掩码。[30]报告了PANet-init、PANet、SE-Net和SSL-ALPNet在ABD-30和ABD-MR上的性能,因此直接引用这些数字。我们使用公共可用代码运行这些算法来报告他们在ABD-110首先,与PANet相比,RP-Net在三个数据集ABD-110 , ABD-30 和 ABD-MR 上 的 表 现 分 别 优 于PANet39.49% , 43.06% 和 21.75% 第 二 , 与 SE-Net 相比,RP-Net在ABD-110、ABD-30和ABD-MR分别第三,与最先进的方法相比3924×SSL-ALPNet、RP-Net在ABD-110、ABD-30和ABD-MR。这些实验表明,我们的方法可以实现SOTA的准确性与不同的图像模式(CT和MRI)的医学图像数据集此外,我们专注于设计一个新的框架,少拍医学图像分割,它优于其他方法的相同的动机,例如。网,以一个巨大的优势。通过将我们的方法与SSL-ALPNet中提出的自监督训练模式相结合,可以获得额外的增益。4.3. 消融研究消融实验使用ABD-110数据集进行,因为与其他两个数据集相比,它具有更多的数据表2示出了以下实验的结果。为了验证两个添加的组件-上下文关系编码器和回流模块的贡献,我们通过一次添加一个组件来进行实验:1)在没有CRE的情况下训练和测试的模型。为了利用CRE中使用的支持掩码,我们将掩码连接到来自主干的特征图,并应用3 - 3卷积进行公平比较(表示为concat)。2)模型在没有递归模块的情况下训练。请注意,如果我们删除CRE和循环训练,模型将成为PANet [59]。此外,我们与Grabcut [35]进行了比较,Grabcut 是 一 种 使 用 迭 代 Graphcut 的 无 监 督 方 法 。Grabcut可以看作是我们算法的无监督版本。首先,我们验证了使用CRE的效果。Affine + Con-cat是一种通过将支持掩码直接关联到特征图来集成支持掩码的简单方法,其性能优于Affine 3.04%。仿射+CRE实现了使用CRE探索局部特征差异的更复杂的方式,其优于仿射+Concat 3.82%。这表明CRE通过使用相关性更好地捕获局部差异然而,性能改进仍然不显著,原因是掩模预测每次都改变,并且它缺乏重新捕获这种变化并重新计算新的局部差异的机制。循环掩码细化模块用于此目的,我们将在下一段中讨论其效果。其次,我们比较了使用重现掩模细化模块的性能Affine + Concat + Recurrent意味着我们将递归模块应用于级联特征映射,其性能比不使用递归模块(Affine +Concat)高7.84%。这表明,循环训练确实有助于模型找到正确的掩模预测,因为来自支持的初始掩模是对兴趣区域的位置的非常粗略的估计。如果我们将两个添加的组件组合在一起(仿射+CRE+递归),与仿射+Concat+递归相比,我们可以实现15.39%的大改进这表明,在CRE中集成递归模块来重新捕获本地更改是非常重要的,可以大大提高性能。第三,我们与Grabcut进行比较我们的方法在某种意义上Grabcut比基线Affine高出7.29%,这表明迭代地细化 遮 罩 确 实 是 有 益 的 。 RP-Net ( Affine + CRE +Recurrent)的表现优于Grabcut 19%。这种大幅度的改善主要有三个原因。首先,Grabcut仅使用一幅图像,因此仅使用图像强度来分离前景和背景区域。相反,RP-Net利用支持图像来提取前景和背景区域之间的关系知识第二,Grabcut仅在可能的前景区域中细化掩模,该前景区域是人类定义的RP-Net没有这些限制,可以潜在地使用整个图像的信息。第三,RP-Net使用训练数据来训练特征提取器,而Grabcut不是基于学习的方法,仅使用直接从像素强度导出的信息。我们还使用三种不同的特征提取主干进行了实验-VGG 16 [42],Res 18 [13]和U-Net [34]。为了确保输出的特征图是原始图像分辨率的1/4,以便进行公平的比较,我们只在VGG 16和Res 18主干中保留了前两个下采样操作,其余的网络架构保持不变。从表2中可以看出,VGG16骨干网在三种骨干网中表现最差U-Net骨干网的平均性能优于Res 18骨干网2.32%,这主要是因为U-Net中的横向连接融合了低级和高级特征。这表明RP-Net与不同的主干兼容,并且在医学图像分割任务上表现更好的主干(例如U-Net)在与RP-Net组合时将产生类似的增益。相关半径的影响我们在相关层中进行了不同半径d=0,1,3,5,7的实验,其控制在计算相关性时包括多少相邻像素d=0意味着仅在单个点处执行相关计算。请注意,即使d=0,模型也能够使用周围像素的特征,因为f和b用于提取前景和背景特定特征。表2显示我们的方法对半径不是很敏感,这可能是因为RP-Net被设计为一次关注对象边界周围的一个小区域,更大的上下文不一定会带来更多的好处。推理迭代次数的影响3925图2.每次细化迭代时的DSC。该图示出了所提出的模型每次迭代的DSC性能。四个器官的DSC和两个模型的平均值:一个w/re-current训练(紫色)和一个w/o循环训练(青色)。图2在ABD-110中从一个折叠的虽然模型使用循环模块的4次迭代进行训练,但我们可以在推理期间应用更多如图所示,没有循环训练的模型它表明,通过循环训练,模型学习逐渐改进其预测并收敛到稳定的解决方案。Demons [54]是一种使用可变形配准的医学图像配准方法,其性能比简单仿射变换好10.12%。如图2所示,使用更好的初始化(Demons),RP-Net实现了1.02%的改进。虽然更好的初始化改进了结果,但与初始化本身相比,改进很小,并且我们的网络对初始掩码不太敏感,只要它粗略地定位前景区域。出于这个原因,我们只使用初始化掩码从仿射变换,其简单性。在许多情况下,通过仿射配准导出的粗略图或图将是足够的。一些最近的配准方法(例如,DEEDS [15]及其扩展),可以处理大的解剖变异,虽然缺少细节,但可以很好地适合我们的方法。4.4. 定性结果我们在图3中示出了分割掩模如何在多次迭代中收敛到最优解。一般来说,我们可以观察到RP-Net逐渐细化初始掩码,在每次迭代时找到更好的分割掩码,并最终收敛到最优解。RP-Net能够学习从支持图像中提取关于前景和背景之间关系的知识,并通过比较局部差异并修改其预测以符合查询支持迭代0迭代1迭代2迭代10图3.不同迭代下RP-Net预测的示例每行代表测试扫描的一个切片(第1-5行是CT图像,第6-7行是MR图像)。形状和边界。此外,RP-Net生成了令人满意的分割掩模,这些掩模沿着对象边界具有清晰的边界,展示了CRE和递归模块的成功设计5. 结论在这项工作中,我们提出了一个新的少拍医学图像分割框架,细化的分割掩模迭代使用上下文关系编码器和一个经常性的模块。所提出的模型学习增量细化分割掩模,以更好地对齐对象边界。在三个器官分割数据集上的实验表明,RP-Net在DSC方面比以前的最先进方法高出16%。此外,建议的CRE和循环模块是通用的,也可以集成到其他类型的网络,以增强上下文关系的功能。鸣谢本工作得到了NSF基金IIS-1715017、Simons基金会基金(594598)和NVIDIA硬件基金的部分支持。3926引用[1] Guha Balakrishnan,Amy Zhao,Mert R Sabuncu,JohnGut-tag,and Adrian V Dalca.一种用于可变形医学图像配准的无监督学习模型。在IEEE计算机视觉和模式识别会议论文集,第9252-9260页[2] Guha Balakrishnan,Amy Zhao,Mert R Sabuncu,JohnGut-tag,and Adrian V Dalca.体素变形:一种用于可变形医学图像配准的学习IEEE Transactions on MedicalImaging,38(8):1788[3] 陈昊,齐斗,余乐泉,秦静,恒平安. Voxresnet:用于3d mr图像脑分割的深度体素残差网络。NeuroImage,170:446[4] Xuming Chen,Shanlin Sun, Narisu Bai,Kun Han ,Qianqian Liu , Shengyu Yao , Hao Tang , ChupengZhang,Zhipeng Lu,Qian Huang,et al.用于放射治疗的全身计算机断层扫描图像上的危险器官的基于深度学习的自动分割系统放射疗法和肿瘤学,160:175[5] Jose Dolz , Karthik Gopinath , Jing Yuan , HerveLombaert,Christian Desrosiers,and Ismail Ben Ayed.高密度-网络:用于多模态图像分割的超密集连接CNN。IEEE transactions on medical imaging,38(5):1116[6] 董南青和邢P.具有原型学习的少量语义在BMVC,第3卷,2018年。[7] 杜天明,张艳慈,石晓彤,陈爽。用于磁共振成像重建的多层k空间深度学习。在2020年第42届IEEE医学生物学工程学会(EMBC)年度国际会议上,第1564-1567页[8] 李飞飞,罗伯·费格斯,皮埃特罗·裴罗纳。对象类别的一 次 性 IEEE Transactions on Pattern Analysis andMachine Intelligence,28(4):594[9] Chelsea Finn,Pieter Abbeel,Sergey Levine.用于深度网络快速适应的模型不可知元学习。国际机器学习会议,第1126-1135页。PMLR,2017年。[10] Chelsea Finn、Kelvin Xu和Sergey Levine。概率模型不可知元学习。arXiv预印本arXiv:1806.02817,2018。[11] Eli Gibson,Francesco Giganti,Yipeng Hu,Ester Bon-mati , Steve Bandula , Kurinchi Gurusamy , BrianDavidson,Stephen P Pereira,Matthew J Clarkson,andDean C Barratt.基于密集v网络的腹部ct多器官自动分割。IEEE transactions on medical imaging,37(8):1822[12] Mohammad Havaei、Axel Davy、David Warde-Farley、Antoine Biard、Aaron Courville、Yoshua Bengio、ChrisPal、Pierre-Marc Jodoin和Hugo Larochelle。用深度神经网络进行脑肿瘤分割。医学图像分析,35:18[13] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition,第770-778页[14] 马蒂亚斯·海因里希使用概率密集位移网络缩小深度和传统图像配准之间的差距。医学图像计算和计算机辅助干预国际会议,第50-58页。Springer,2019年。[15] Mattias P Heinrich,Oskar Maier,and Heinz Handels.使用离散优化和自相似性的多模态多图谱分割。内脏挑战@ ISBI,1390:27,2015。[16] Timothy Hospedales,Antreas Antoniou,Paul Micaelli,and Amos Storkey.神经网络中的元学习:一个调查。arXiv预印本arXiv:2004.05439,2020。[17] 胡涛,杨鹏万,张池良,余刚,穆亚东,和Cees GMSnoek。基于注意力的多上下文引导的少镜头语义分割。在AAAI人工智能会议论文集,第33卷,第8441-8448页[18] Junhwa Hur和Stefan Roth。联合光流和遮挡估计的迭代残差细化。在IEEE/CVF计算机视觉和模式识别会议论文集,第5754-5763页,2019年[19] Fabian Isensee、Paul F Jaeger、Simon AA Kohl、JensPe- tersen和Klaus H Maier-Hein。nnu-net:一种基于深度学习的生物医学图像分割的自配置方法。NatureMethods,18(2):203[20] Fabian Isensee , Jens Petersen , Andre Klein , DavidZimmerer , Paul F Jaeger , Simon Kohl , JakobWasserthal , Gregor Koehler , Tobias Norajitra ,Sebastian Wirkert,et al. nnu-net:用于基于u-net的医学图 像 分 割 的 自 适 应 框 架 。 arXiv 预 印 本 arXiv :1809.10486,2018。[21] A Emre Kavur,N Sinem Gezer,Mustafa Barıs,SinemAslan,Pierre-Henri Conze,Vladimir Groza,Duc DuyPham , SoumickChatterj e e , PhilippErnst , S av asOüzkan,etal. 混乱挑战组合(CT-MR)健康腹部器官分割。医学图像分析,69:101950,2021。[22] Brenden Lake , Ruslan Salakhutdinov , Jason Gross 和Joshua Tenenbaum。简单视觉概念的一次性学习。在Proceedings of the annual meeting of the cognitive sciencesociety,第33卷,2011年。[23] B Landman,Z Xu,J Igelsias,M Sty
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功