没有合适的资源?快使用搜索试试~ 我知道了~
9162LT-Net:通过学习可逆体素对应的标签转移用于单次医学图像分割王树新1、2、曹石磊2、董伟2、王仁珍4、马凯2、王连生1、孟德宇3、4、郑业峰21厦门大学2腾讯贾维斯实验室3澳门科技大学4西安sxwang@stu.xmu.edu.cn,lswang@xmu.edu.cn,{eliasslcao,donwei,kylekma,yefengzheng} @ tencent.com,wrzhen@stu.xjtu.edu.cn,dymeng@mail.xjtu.edu.cn摘要我们引入了一种一次性分割方法,以减轻人工标注医学图像的负担。主要思想是将单次分割视为经典的基于图谱的分割问题,1其中学习从图谱到未标记数据的体素对应。随后,可以将图谱的分割标签转移到具有所学习的对应关系的未标记数据。然而,由于地面实况对应原始转移逆转转移循环一致重构由于图像之间的模式通常是不可用的,所以必须对学习系统进行良好的监督,以避免模式崩溃和收敛失败。为了克服这个困难,我们求助于在对应问题中广泛使用的前后一致性,并且另外从扭曲的地图集学习到原始地图集的这种循环对应学习设计使各种额外的、基于循环一致性的监督信号能够使训练过程稳定,同时也提高了性能。我们通过全面的实验证明了我们的方法优于基于深度学习的单次分割方法和经典的多图谱分割方法。1. 介绍医学图像的精确分割可以刻画出人体内不同的解剖结构和异常组织,可用于临床诊断、治疗计划等。有了足够的注释良好的数据,*同等缴款。Shuxin Wang在腾讯实习期间为这项工作做出了贡献。†通讯作者。[1]我们遵循Zhao et al. [44]用“一次”这个词来形容它的一般性--这意味着所提出的模型只需要一个范例注释来学习分割医学图像。图1:我们通过诉诸基于经典图谱的分割概念来解决一次性医学图像分割问题,其中学习了从图谱到未标记数据的体素此外,我们创新性地从变形的地图集学习到原始地图集的向后对应关系,以提供基于周期一致性的监督。深度卷积神经网络(DCNN)在这种分割任务中实现了突破性的性能[34,31,19]。然而,获得医学图像的3D注释以用于DCNN的完全监督训练是劳动密集型的并且容易出错。因此,非常需要仅需要一个或几个注释示例用于训练的基于DCNN的分割方法,以使得能够有效地开发和部署实际解决方案。缺乏大规模的真实世界的注释是一个长期存在的问题,在医学图像分割。在深度学习时代之前,大量关于医学图像分割的文献集中在基于图谱的分割[6,33,27,28,41,7]。关键思想是一个或多个标记的参考体积(即,图谱)被非刚性地配准到目标体积[6,33],或者被提供以学习与目标体积的逐块对应关系[41,7],然后图谱的标签被传播到未标记数据对应逆转对应Atlas标签Atlas标签9163目标体积分割。基于地图集的方法的一个有趣的特点是,它们只需要一个或几个注释数据,自然匹配最近兴起的深度学习中的少数学习概念经典的最先进的(SOTA)基于地图集的分割方法[41,7]依赖于本地描述符的丰富纹理特征。通过在局部区域重复进行卷积运算,DCNN特别擅长提取多尺度局部语义特征。因此,将DCNN应用于开发用于医学图像分割的先进的基于图谱的方法是直观和有吸引力的。最近的研究[44,26,13,42,10,43,38]表明,经典的基于图谱的分割原理可以用DCNN实现,并且实现了不错的性能。在所有这些著作中,有两篇与我们的一次性学习有关[44,42]。在第一项工作中,Zhao等人 [44]提出从地图集到未标记图像的一组空间和外观变换。通过对不同的未标记图像应用随机组合的空间和外观变换,该模型可以合成不同的标记数据集从这个意义上说,它提供了额外的标记数据用于训练分割器。这项工作的局限性之一是,分割准确性是通过数据增强间接提高的,这导致了用于训练负责学习这两种转换的网络的第二项工作[42]提出了一个框架,该框架联合训练两个网络进行图像配准和分割,假设这两个任务将相互帮助,因为它们高度相关。然而,在许多临床场景中,当需要分割时,不需要配准与这两项工作不同的是,我们提出用深度学习框架直接模仿经典的基于图谱的分割,该框架将图谱和目标图像作为输入,并预测从前者到后者的对应映射。以这种方式,分割标签可以从图谱转移到具有预测对应性的未标记目标图像。为了有效地学习对应关系,我们通过添加一个网络和对抗训练来增强VoxelMorph[3]的主干[17]。学习对应在许多计算机视觉任务中起着重要作用,例如,光流[29,40]、跟踪[32,22]、补丁匹配[2]、配准[3,13,26,42]等。在众多有启发性的著作中,前向-后向一致性被广泛应用于对应问题. 具体来说,我们的框架不仅学习了从地图集到未标记图像的前向对应关系,而且还学习了从扭曲地图集到原始地图集的后向对应关系(见图1)。1)。反向对应关系的引入自然会-补充了双向扭曲的完整周期,使得额外的基于周期一致性的监督信号能够使仅具有一个注释的学习过程更加鲁棒,同时保持解剖结构的一致性。此外,我们还在图像空间、变换空间和标签空间三个相关空间中进行了监督,并在实验中验证了监督的有效总之,我们提出了一个标签传输网络(LT- Net),通过学习可逆的体素对应来将分割图从图谱传播到未标记的图像我们的主要贡献如下:• 为了解决缺少注释的问题,我们的方法采用经典的基于图谱的分割思想来在DCNN的表示能力的支持下,所提出的方法提高了特征空间中的图像匹配的性能,为标签传输提供解剖学上有意义的对应。• 我们以端到端的方式将对应学习扩展到我们的一次性分割框架,其中向前向后循环一致性需要一个在图像、转换和标签空间中提供额外监督的重要角色。• 我们证明了我们的方法优于基于深度学习的一次性分割方法,ods [44,3]和经典的多图谱分割方法[21]从脑磁共振成像(MRI)数据集分割28个解剖结构。我们还通过消融研究证明了在每个单独空间中循环一致性监督的益处2. 相关工作一次性学习:关于一次性学习的早期工作主要集中在图像分类[14,15],基于这样的假设,即当样本很少时,可以利用先前学习的类别来帮助预测新类别。多年来,这个概念已被用于机器学习和计算机视觉问题的各个分支,如模仿学习[12,16],对象分割[36,4,30,35],神经架构搜索[45,11]等。最近,Zhao等人[44]开发了一种基于数据增强的一次性医学图像分割框架,该框架使用从参考图谱到未标记图像的学习变换。具体而言,空间和外观变换模型都被学习,然后用于合成额外的标记样本以用于数据增强。我们的工作还探讨了一次性设置的医学图像分割,以减轻人工注释的负担的9164主要区别在于,我们在网络设计中直接针对分割,并在框架中加入前后一致性,以确保对学习的充分监督。基于数据库的分割:基于图谱分割是医学图像分析中的经典主题,从基于单一图谱的[33,44,26,13,42,10]发展到复杂的,基于多图谱的方法[25,18,41,10,43,38,21]。最近,受DCNN成功的激励,研究人员用深度学习模型重新激活了这个经典概念。使用一个地图集,研究人员从三个方面探索了这种方法:学习用于数据增强的变换[44],与另一个配准任务[26,13,42]组合,以及学习变形场以重新采样初始二进制掩模[10]。而对于多个图谱,最近的工作试图用DCNN实现多图谱分割的关键组件,例如,图谱选择[43]、标签传播[38]和标签融合[43,9]。我们的工作通过基于单个图谱的分割与对应学习生成对抗网络(GAN)框架来解决一次性医学图像分割问题它属于单一地图集类别,这提供了两个优点。首先,对于复杂的器官,例如,对大脑来说,详细注释额外的少量样本可能是相当大的负担。其次,不需要考虑多图谱方法中涉及的复杂过程尽管依赖于单个地图集,但我们提出的框架优于使用多达五个地图集的先进多地图集方法[21](参见第6.4节)。计算机视觉通信:对应关系在计算机视觉中起着重要的作用。实际上,许多基本的视觉问题,从光流[29,40]和跟踪[32,22]到补丁匹配[2]和配准[3,13,26,42],都需要一些视觉对应的概念[39]。光流和配准可以看作是像素/体素级对应问题,而跟踪和补丁匹配可以看作是补丁级对应问题。通过将基于地图集的分割视为对应问题,我们从这些研究领域中吸取教训,以指导我们框架的设计。前后一致性:前向-后向一致性在许多计算机视觉问题中得到了广泛的应用,特别是在对应学习问题中。例如,前向-后向一致性是评估指标[22]以及跟踪的不确定性度量[32]。最近的无监督光流估计方法[29,40]采用了前后一致性来定义一个被排除在训练之外的遮挡区域。此外,前向-后向一致性是边缘,我们的工作是第一个在深度学习框架内基于单次图集的分割中采用周期一致性。3. 函授学习的基本框架准备工作:我们首先回顾了基于图谱的图像分割的基本概念,其中可以通过配准过程来估计看不见的对象的分割。设(l,ls)为标号像对,其中l∈Rh×w×c是地图集图像, Ls∈Rh×w×c是它的对应分割图,h,w,c是体素的数量分别沿冠状、矢状和轴向方向。实际上,输入图像被定义在3D空间R∈R3内,这也适用于未标记图像池{u(i)|u(i)∈Rh×w×c}. 在下面的例子中,我们使用u来表示一个未标记的图像,用于一个整洁的概念。 让F(F代表前向,用于区分第4节中介绍的后向操作)表示在配准过程中将l向u弯曲的前向对应映射。具体地,可以将ΔpF视为在Δ p上定义的空间变化函数,其通过位移向量将u的坐标映射到l的坐标。我们使用lpF来表示在l上应用pF(即,根据φpF)将l向u翘曲:u<$=lpF,( 1)其中,n是一个warp操作,u是变形的atlas。分割图可以以与以下相同的方式扭曲:地图集:u<$s=lspF,( 2)其中u′s是u的合成分段。如果将l和u很好地拟合在一起,则u′s被认为是u的精确分段。在这个意义上,我们把基于图谱的分割作为一个标签转移过程。使用深度学习进行基于神经网络的分割:为了用DCNN对配准函数进行建模,通常采用生成器网络G F来匹配l和u之间的局部空间信息,并输出DCNN。例如,VoxelMorph [3]使用U-Net [34]作为GF来学习图像对应关系。通过最小化两个无监督损失函数来优化网络的参数:图像相似性损失Lsim(u,u′)和变换平滑损失Lsmooth(Lsmooth)。介绍鲁棒的-针对医学图像中的全局强度变化的灵敏度我们对Lsim使用局部归一化互相关(CC)损失[42,44],这促进了局部区域中的相干性。对于L光滑,它是用αpF的一阶导数来表示的:ΣCycleGAN,这是最流行的框架,图像到图像翻译[46]。 据我们所知-L平滑(ΔPF)=t∈Nǁ∇(∆pF(t))ǁ2,(3)91652联系我们经纱经纱未标记∆������������阿特拉斯山脉∆������������经纱|������������−����������|经纱|����������− ���������̅|解剖结构一致性解剖学差异一致性联系我们�����������������������赛格学会������了阿特拉斯山脉变换一致性图像一致性:医学影像:细分:发电机:通信:数据流:监督图2:我们提出的标签传输网络(LT-Net)的概述在基于图谱的分割工作流程中,创新性地引入了前后向循环一致性设计这有助于我们探索新的监督信号,为指导函授学习提供更强大的驱动力。具体来说,我们采用了图像,变换和标签空间的循环一致性损失,其有效性已在实验中得到验证。其中,t∈f迭代于f ∈ p F中的所有空间位置,并且我们利用沿x、y、z方向的相邻体素之间的空间梯度差来近似f ∈ f(f ∈p(t))f ∈2[3]。最小化Lsim会 促使u'逼近u,而最小化Lsmooth则会正则化BFP F为光滑。此外,平滑正则化可以是被认为是一种策略,以减轻过度拟合问题,同时编码的解剖先验。辅助GAN损耗:除了VoxelMorph使用的两个基本损失之外,我们还将GAN [17]引入到我们的基本框架中,以提供额外的监督。在我们的框架中,GAN子网包括GF和一个子网-工作D.一个普通的GAN将使CJD从真正的底层对应映射中区分出ClpF然而,在实践中,通常不可能获得一对临床图像之间的真实对应。相反,我们让D将合成图像u'与联合从这个意义上说,u<$v是一个dspF的代名词,GF被训练来生成dspF,它可以用来合成u<$真实到足以混淆D;同时,D是-更擅长标记合成图像。这种授权策略为GF提供间接监督,pF,并允许使用大量未标记的图像对网络进行端到端的训练。因此,图像对抗损失LGAN被定义为:LGAN(l,u,u<$)=Eupd(u)[D(u)2]目标函数为minGFmaxDLGAN(GF,D).24. 学习可逆循环对应在上一节中,我们介绍了基于图谱的单次分割的基线方法。我们提出的框架是建立在这个基线上,并增加了一个循环一致性约束,以进一步提高分割性能。我们命名为标签传输网络(LT-Net)的建议框架。与以前的作品[44,42]不同,这些作品只学习了从at-las到未标记图像的前向对应关系,我们还学习了从扭曲地图集到原始地图集的后向对应关系。据作者所知,这项工作是第一次尝试利用循环对应进行深度学习的单次(基于图谱)分割具体来说,我们提出了一种向后对应学习路径:pB=GB(u<$,l),其中dence map,而G B是反向生成元(参见图2中的BDP B和G B)。使用新添加的图像B,我们可以使用扭曲操作来反转合成图像u′以重建图谱:<$l=u<$pB,(5)我们称之为重建的地图集伴随反向学习路径,一个简单的除了+Elpd(l),upd(u)[D(u<$)−1],(4)其中GF和D被交替训练来竞争,2我们函授学习的基本框架在补充材料中有更详细的说明和解释。9166SS网络因此,我们的完全变换平滑损失变为L smooth = L smooth(F)+L smooth(B)。(六)更重要的是,对应周期的完成使得各种监督信号能够提高单向对应学习的性能。具体地说,我们提出了四个新的,周期一致性驱动的监督损失(参见。图2中的监控块这些监督损失都是由直观设计的,如下所述。• 在图像空间中,重建的和原始的图谱图像(l和l)应该是相同的(图像consis.tency)。• 在变换空间中,概念上向前和向后翘曲应该是彼此的反函数,使得图谱向unla翘曲钟形图像可以被扭曲回它原来其中,ρ(x)=(x2+λ2)γ是鲁棒的广义Charbon-nier罚函数[37],并被广泛用作光流估计中的光度损失[29,40]。 在本工作中,我们使用相同的设置,其中= 0。001,γ = 0。45[29]。标签空间中的周期一致性监督:在许多应用中,仅基于强度的图像匹配是约束不足的,并且可能导致错误的匹配。海绵相应的解剖结构可以从一个位置移位或扭曲到另一个位置,只要扭曲的图像和目标图像看起来相似即可。在对应映射上强制平滑约束(如VoxelMorph [3])是缓解此问题的常用方法在这项工作中,我们进一步探索标签空间中的驱动力,以引导对应学习朝着解剖学意义的方向发展。当在标签空间中考虑监督信号时,自然会出现解剖周期一致性约束在我们的工作框架内。设<$ls=u<$s_pB表示<$l的重构分割映射。为了对地图ls上的ls和原始s段i之间的差异进行建模,[31]定义为:2l(t)<$l(t)是(转换一致性)。Lanatomycyc(ls,<$ls)=1−1S st∈N.(九)• 最后,在标签空间中,真正的分割ls和重建的分割ls应该相同。l2(t)+t∈Nl2(t)t∈N(the解剖学一致性)。此外,它们还必须在方法上与合成片段不同(解剖学差异一致性)。尽管在概念上很简单,但在我们的框架中这些监督信号的全面包含和组合在实验中被证明是有效的-我们的LT-Net明显优于当前的SOTA,并且消融研究证明了在单个空间中监督的好处。下面,我们将详细描述每一种损失。由于我们的目标是学习可用于将图谱的分割图转移到每个未标记图像的对应关系,因此我们还提出了解剖差异一致性损失,以间接调整合成分割图u的质量。 如前所述,这种损失是基于一个简单的直觉:在前向和后向路径中图谱和未标记图像之间的解剖学差异在标记空间中应该是循环一致的。因此,损失表述为:Ldiffcyc(ls,u<$s,<$ls)=图像空间中的周期一致性监督:En-通过我们的新的前向-后向循环对应学习框架,我们可以恢复合成图像,Σt∈Np(|ls(t)−u<$s(t)|−|u<$s(t)−<$ls(t)|)的情况。(十)重建地图集我们采用L1损失来加强真实图谱和重建图谱之间的一致性,其定义为Lcyc(l,<$l)=El<$pd(l)[<$$>l−l<$1]。(七)5. 优化目标和实施给定上述监督信号的定义,我们的完整优化目标被定义为转换空间中的周期一致性监督:就前后一致性而言,对应关系应该是可逆的,这 意味着L=LGAN+Lsim+λ1Lcyc+λ2(L解剖周期+L平滑+L反式+L差异环),(十一)在前向路径中从一个位置翘曲到另一个位置的体素应当在后向路径中翘曲回到其原始位置。因此,我们定义一个转换一致性损失来强制执行此约束,Σ其中λ1和λ2是平衡重要性不同的损失。我们使用相同的重量为最后四个损失的方程。(11),因为它们在幅度上是可比较的,并且我们发现在我们的原始实验中结果对它们的相对权重不敏感 设λ1= 10Ltrans(∆pF , ∆pB) =t∈Nρ(pF(t)+pB(t+pF(t),(8)遵循CycleGAN [46],因此设置λ2= 39167以使相应的损失值与Lcyc处于相同的水平。图像空间、变换空间和标签空间中的监督信号相互影响、相互制约,将学习系统推向解剖学意义的方向。我们使用Keras [5]和Ten- sorFlow [1]后端实现所有模型。对于前向和后向路径中的生成器网络,我们采用与VoxelMorph [3]相同的3D U- Net架构,以便稍后进行公平比较。对于网络,我们使用PatchGAN的扩展3D版本[20]来确定图像补丁是真实的还是合成的。所有网络都是使用Adam求解器从头开始优化的[24]。学习率初始化为0。0002在培训过程中保持不变。每个minibatch处理每个GPU的一对卷(一个图集和一个未标记的图像),同时并行运行两个Tesla P40 GPU在测试过程中,从图谱到测试未标记图像u(i)的前向对应映射GpF由GF预测,然后u(i)的分割映射由等式(1)产生。(二)、6. 实验我们证明了我们的LT-Net在脑MRI分割任务上的优越性最重要的是,评估了循环对应学习框架的有效性(第6.2节)。如前所述,前后一致性是对应问题中的经典约束通过引入反向对应路径,可以利用额外意义的监督信号来驱动学习过程朝向更鲁棒和解剖学意义的方向。因此,在循环一致性框架内,我们随后检查了消融研究中几种新提出的循环一致性损失的影响:变换空间中的变换一致性损失、标签空间中的解剖一致性损失和差异一致性损失以及来自两个空间的损失的组合(第6.3节)。接下来,我们将我们的方法与经典的多图谱方法进行了比较(第6.4节),证明了计算机视觉中基于图谱的分割的传统思想可以使用深度学习进一步提升。最后,我们将SOTA方法与单次拍摄医学图像分割进行了比较,证明了我们的框架优于其他基于DCNN的方法(第6.5节)。合成的图像和翘曲的分割地图的非标记图像的例子也提出了视觉评价。6.1. 数据集和评估指标数据集:我们使用来自马萨诸塞大学医学院儿童和青少年神经发育计划(CANDI)的公开数据集[23]。该数据集包括103个T1加权MRI扫描(57名男性和46名女性),表1:VoxelMorph [3]及其扩展版本的平均Dice评分(%)(括号中为标准差),扩展版本逐渐包含图像对抗性损失LGAN和周期一致性损失Lcyc。最小值和最大值分别代表最小和最大骰子分数(%),测试数据集。平均值(标准品)MinMax体素变形76.0(9.7)61.780.1公司简介79.0(3.1)72.781.9+ LGAN+L循环79.2(2.8)72.782.1站点标签。受试者来自四个诊断组:健康对照、精神分裂症谱、双相情感障碍伴精神病和双相情感障碍不伴精神病。 我们使用了28个解剖结构(列表见补充材料)中使用的VoxelMorph [3]。体积大小范围从256×256×128到256×256×158体素。为了提高计算效率,我们在大脑中心周围裁剪了一个160×160×128的区域,这个区域足够大,可以容纳整个大脑。我们随机选取20卷作为测试数据,其余的用于训练。在训练数据中,选择与解剖平均值最相似的体积作为唯一的 注 释 图 谱 ( 与 Vox-elMorph [3] 中 采 用 的 策 略 相同)。评价指标:我们使用Dice相似性系数[8]来评估每个模型的分割准确性,该模型测量手动注释和预测结果之间的重叠。6.2. 前向后向一致性的有效性我们调整VoxelMorph [3]-SOTA DCNN配准模型-用于我们的问题设置,并将其用作初始性能基线。具体来说,我们将其训练为一个单一的图谱模型来学习前向对应关系,并根据每个未标记图像的学习对应关系来扭曲图谱如第3节所介绍的,我们的基本框架采用与VoxelMorph相同的主干进行前向对应学习,但添加了GAN以进行额外的监督。然后,在基本框架的基础上,我们的LT-Net引入了一个向后的对应学习路径,形成一个完整的循环对应。自发框架通过循环结构,我们进一步在图谱和重建图谱之间添加图像周期一致性损失Lcyc。For detailedcompar- isons, we first add LGAN alone, and then Lcyctogether.定量比较结果见表1。 结果表明,3. 0%和3. 2%改善当逐渐添加LGAN和Lcyc时实现。这表明LGAN可以提高我们的对应学习问题的性能,这与9168表2:新提出的监督信号的消融研究。我们显示了平均Dice评分(%)和标准差。此外,Min和Max表示测试数据集中的最小和最大Dice分数(%)。对应地,可以扭曲图谱的分割图以合成每个未标记图像的分割图。因此,可以将合成分割图弯曲回来,以使用后向对应来恢复图谱的分割图理想情况下,双扭曲前后的图谱分割图应该相同,我们使用解剖一致性损失L解剖周期. 表2数量表3:我们的LT-Net与多图谱方法MABMIS [21]的比较,使用越来越多的图谱。我们显示了具有标准偏差的平均Dice评分(%)。此外,Min和Max表示测试数据集中的最小和最大Dice分数(%)。数量平均值(标准品)MinMaxMABMIS270.4(4.4)63.075.9MABMIS374.5(5.2)63.280.4MABMIS477.8(3.9)72.082.5MABMIS581.1(3.6)76.085.6LT-Net182.3(2.5)75.684.2实践经验表明,图像对抗性损失通常在图像到图像转换任务中表现良好。 值得注意的是,Lcyc不会对GAN设置带来实质性的进一步改进。 然而,正如我们所做的前面提到的,并将在接下来的实验中显示,循环设计的好处是,它使我们能够将额外的监督信号纳入学习框架,可以进一步提高性能。接下来,我们将VoxelMorph骨干加上LGAN和Lcyc作为新的基线,并设计实验来检查新提出的监督信号的有效性。6.3. 监控信号的消融研究变换空间中的循环一致性:从图谱学习到未标记图像的对应关系用于通过在前向路径中环绕图谱来合成u′,而在后向路径中,另一个对应关系从u′学习回到图谱。前向和后向的对应关系应该是周期一致的。我们进行了消融研究,稠度损失Ltranss,并将结果示于表2中。从表中,我们可以观察到Ltranss带来1。与基线相比改善7%这可能意味在图像级的强度匹配--不管循环对应设置--不足以防止DCNN的过拟合,以及在其它空间中引入监督(例如,标签空间)具有进一步改进性能的潜力。标签空间的周期一致性:与前向充分体现了这种监督的效果我们可以-发球时,L解剖循环带来一个1。3%的改善时,与基线相比,和额外的0。9%的改善,当进一步结合转换consideration损失。L型解剖循环可以保证组织的完整性和内部的一致性,从而提高组织的性能。解剖结构的重要性。解剖周期一致性损失不考虑每个未标记图像的中间合成分割图u,然而,这是我们的LT-Net的最终目标。为了更加强调u,在标签空间中提出了解剖差异一致性损失Ldiffcyc,以正则化片段之间的差异地图集和未标记图像的映射。表2中的结果表明,通过间接正则化未标记图像的分割图,我们实现了0。9%进一步改善。6.4. 与经典多图谱方法的比较传统的多图谱方法曾经实现了基于图谱的分割的SOTA结果我们将我们的LT网络与MABMIS [21]进行了比较,MABMIS由基于树的分组配准方法和迭代分组分割方法组成。结果示于表3中。我们可以观察到,我们的方法只使用一个图集优于MABMIS使用多达五个图集。此外,经典的多图谱分割因时间复杂而臭名昭著消耗虽然MABMIS需要14分钟才能用英特尔® R分割一个案例, 核心i3-4150CPU(使用两个地图集),我们的LT-Net只需要204秒与一个单一的特斯拉P40GPU。6.5. 与SOTA方法的比较除了VoxelMorph之外,我们还将我们提出的LT- Net与 DataAug [44] 进 行 了 比 较 , DataAug [44] 是 一 种SOTA方法,用于单次医学图像分割,依赖于基于配准的数据增强。此外,我们使用83个受试者的标记训练池训练了一个完全监督的U- Net[34],这是一次性方法的上限。结果示于表5中。仅使用一个注释数据进行训练,我们的框架达到95。平均Dice评分上限的1%,但标准差明显较此外,我们可以观察到,我们的LT-Net的性能优于VoxelMorph和DataAug,平均值(标准品)MinMax基线79.2(2.8)72.782.1+L反式80.9(2.7)73.683.2+ L解剖周期80.5(2.5)74.283.1+ L反式+L解剖周期81.4(2.6)74.483.8+L反式+L解剖周期+ L差异周期82.3(2.5)9169表4:VoxelMorph [3]、DataAug [44]、U-Net [34]和我们提出的LT-Net在各种大脑结构中的分割准确度(平均Dice评分,%)。由左结构和右结构组成的标签被组合(例如,海马)。缩略语:白质(WM)、皮质(CX)、脑室(Vent)和脑脊液(CSF)。体素变形81.787.176.774.086.384.779.683.374.062.969.887.159.266.550.976.6DataAug90.593.387.582.393.287.381.382.873.766.372.290.572.569.263.380.3LT-Net85.890.983.180.091.687.985.588.480.568.479.792.471.671.667.182.3U-Net(上限)92.093.191.887.993.190.688.188.782.579.084.992.280.375.369.885.9表5:我们的LT-Net与VoxelMorph [3],DataAug [44]和完全监督的U-Net [34]的比较。我们显示了平均Dice评分(%)和标准差。此外,Min和Max表示测试数据集中的最小和最大Dice分数(%)。GroundTruth U-Net VoxelMorphDataAugLT-Net平均值(标准品)MinMax体素变形76.0(9.7)61.780.1DataAug80.4(4.3)73.884.0LT-Net82.3(2.5)75.684.2U-Net(上限)86.5(6.3)83.789.2切片样本1切片样本2切片样本3切片样本4图3:通过使用学习的前向对应性扭曲图谱获得的合成图像的冠状MR切片示例每列都是不同的患者。六、3%和1. 9%,分别。表4显示了各种大脑结构的分割准确度。我们在图中可视化了来自不同患者的合成体积u的一些示例切片。3.第三章。我们观察到合成图像在解剖结构方面接近于未标记图像。此外图4显示了U-Net,VoxelMorph,DataAug和我们提出的LT-Net预测的大脑结构注释和分割图的一些示例切片。与其他两种一次性方法相比,LT-Net预测大脑结构的方式更具解剖学意义。7. 结论在这项研究中,我们追溯了两个经典的思想-基于图集的分割和对应在计算机视觉,并将它们应用到一次性的医学图像分割与DCNN。首先,我们将概念-图4:通过VoxelMorph [3]、DataAug [44]、U-Net [34]和我们的LT-Net预测的大脑结构注释和分割图每一排都是不同的病人。红色箭头指出了与LT-Net相比,其他一次性方法预测的缺陷(放大后最佳)。基于地图集的分割和一次性分割的一般思想之间的实际差距。这为我们设计深度网络提供了一些重要的思考。其次,我们采用了前向-后向一致性策略,这使得我们能够在三个空间(即图像空间、变换空间和标签空间)中设计一些新的监督信号,从而使学习具有良好的监督和有效的指导。我们希望这项工作能够激发深度学习时代一次性学习医学图像分割确认本工作得到了国家自然科学基金项目(批准号:2001)的资助。61671399)、中央大学基础研究基金(批准号:20720190012)、广东省重点领域研究与发展计划(批准号:2018 B 010111001)和Sci-深圳市科技计划项目(No. ZDSYS201802021814180)。合成未标记切片样品3切片样品2切片样品19170引用[1] Mart´ın Abadi,Ashish Agarwal,Paul Barham,EugeneBrevdo,Zhifeng Chen,Craig Citro,Greg S. Corrado,Andy Davis , Jeffrey Dean , Matthieu Devin , 等 .TensorFlow:异构分布式系统上的大规模机器学习。arXiv预印本arXiv:1603.04467,2016。[2] Christian Bailer,Kiran Varanasi,and Didier Stricker. 基于CNN的阈值铰链嵌入损失光流匹配正在进行IEEE会议计算机视觉和模式识别,第3250-3259页,2017年。[3] 作者:Guha Balakrishnan,Amy Zhao,Mert R.作者声明:by J.达尔卡VoxelMorph:一个用于可变形医学图像配准的学习框架. IEEE Trans.医学成像,2019。[4] 塞尔吉·凯利斯、凯维斯·科基齐·马尼尼斯、乔迪·庞特·图塞特、劳拉·里尔·塔伊·克雷默斯和吕克·V·安·古尔。单镜头视频对象分割。正在进行IEEE会议计算机视觉和模式识别,第221-230页,2017年。[5] 弗朗索瓦·肖莱。K 时代https://github.com/fchollet/keras,2015.[6] D.作者:Louis Collins作者声明:Holmes Peters,andAlan C.埃文斯.基于3D模型的自动神经解剖分割。Human Brain Mapping,3(3):190-208,1995.血淋淋的在Proc. Int'l Conf.计算机视觉,第1134- 1141页。IEEE,2003年。[15] 李飞飞,罗伯·费格斯,皮埃特罗·裴罗纳。一次性学习对象类别。 IEEE Trans. 模式分析机器内部,28(4):594[16] Chelsea Finn、Tianhe Yu、Tianhao Zhang、Pieter Abbeel和Sergey Levine。通过Meta学习的一次性视觉模仿学习。arXiv预印本arXiv:1709.04905,2017。[17] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。神经信息处理系统进展,第2672-2680页,2014年。[18] 罗尔夫·A约瑟夫·赫克曼Hajnal,Paul Aljabar,DanielRueckert,and Alexander Hammers.结合标签传播和决策融合的自动解剖脑MRI分割。NeuroImage,33(1):115[19] Mohammad Hesam Hesamian , Wenjing Jia , XiangjianHe,and Paul Kennedy.用于医学图像分割的深度学习技术:成就和挑战。数字成像杂志,第1-15页[20] Phillip Isola,Jun-Yan Zhu,Tinghui Zhou,and Alexei A.埃夫罗斯使用条件对抗网络的图像到图像翻译。正在进行IEEE会议计算机视觉和模式识别,第1125-1134页,2017年。[7]PierrickCoupe',Jose'V. 弗拉基米尔?曼乔?恩[21] Hongjun Jia,Pew-Thian Yap和Dinggang Shen。迭代Pruessner、Montserrat Robles和D.路易斯·柯林斯补丁-使用专家先验的基于分割:应用于海马和脑室分割。NeuroImage,54(2):940[8] 利 河 骰 子 . 物 种 间 生 态 关 联 量 的 量 度 Ecology , 26(3):297[9] Zhipeng Ding , Xu Han , and Marc Niethammer.VoteNet:一种用于多图谱分割的深度学习标签融合方法在Proc. Int'l Conf.医学图像计算和计算机辅助干预,第202-210页,2019年。[10] 尼古拉·K Dinsdale,Mark Jenkinson,and Ana I. L.南...空间扭曲网络用于MR图像中 在proc 医学影像计算和计算机辅助干预,第284-291页,2019年。[11] 董轩逸和杨毅。通过自评估模板网络进行一次性神经结构搜索。arXiv预印本arXiv:1910.05733,2019。[12] Yan Duan,Marcin Andrychowicz,Bradly Stadie,Ope-nAI Jonathan Ho , Jonas Schneider , Ilya Sutskever ,Pieter Abbeel,and Wojciech Zaremba.一次性模仿学习。神经信息处理系统,第1087-1098页,2017年[13] 穆罕默 德·S. 作者:Elmahdy, Jelmer M. Wolterink,Hessam Sokooti,Ibergis Rehgum,and Marius Staring.前列腺CT放疗中联合配准和分割的对抗优化在Proc. Int'lConf.医学图像计算和计算机辅助干预,第366-374页。Springer,2019年。[14] 李飞飞,罗伯特·费格斯,皮埃特罗·裴罗纳。一种无监督的对象类别一次性学习的基 于 多 图 谱 的 多 图 像 分 割 与 基 于 树 的 配 准 。NeuroImage,59(1):422[22] Zdenek Kalal,Krystian Mikolajczyk,and Jiri Matas.前向-后向错误:自动检测跟踪故障。在第20届模式识别国际会议上,第2756-2759页IEEE,2010。[23] David N. 放 大 图 片 作 者 : John W.Hodge , Pallavi S.Rane,Nikos Makris,and Jean A.弗雷泽CAN-DI共享:儿 科 神 经 影 像 学 数 据 资 源 。 Neu- roinformatics , 10(3):319-322,Oct. 2011年。[24] Diederik
下载后可阅读完整内容,剩余1页未读,立即下载
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 利用迪杰斯特拉算法的全国交通咨询系统设计与实现
- 全国交通咨询系统C++实现源码解析
- DFT与FFT应用:信号频谱分析实验
- MATLAB图论算法实现:最小费用最大流
- MATLAB常用命令完全指南
- 共创智慧灯杆数据运营公司——抢占5G市场
- 中山农情统计分析系统项目实施与管理策略
- XX省中小学智慧校园建设实施方案
- 中山农情统计分析系统项目实施方案
- MATLAB函数详解:从Text到Size的实用指南
- 考虑速度与加速度限制的工业机器人轨迹规划与实时补偿算法
- Matlab进行统计回归分析:从单因素到双因素方差分析
- 智慧灯杆数据运营公司策划书:抢占5G市场,打造智慧城市新载体
- Photoshop基础与色彩知识:信息时代的PS认证考试全攻略
- Photoshop技能测试:核心概念与操作
- Photoshop试题与答案详解
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)