没有合适的资源?快使用搜索试试~ 我知道了~
三维医学图像的弹性边界投影分割
2109三维医学图像的弹性边界投影分割倪天伟1,谢玲喜2,3(),郑黄杰4,Elliot K.作者:Alan L.Yuille21北京大学2约翰霍普金斯大学3诺亚4上海交通大学5约翰霍普金斯医学院{twni2016,198808xc,alan.l.yuille}@ gmail.comzhj865265@sjtu.edu.cnefishman@jhmi.edu摘要我们专注于一个重要但具有挑战性的问题:使用2D深度网络处理用于医学图像分析的3D分割。现有的方法要么应用多视图平面(2D)网络,要么直接使用体积(3D)网络用于此目的,但它们都不是理想的:2D网络不能有效地捕获3D上下文,并且3D网络既消耗内存又由于缺乏预训练的模型而不太稳定。在本文中,我们桥梁之间的差距,2D和3D使用一种新的方法称为弹性边界投影(EBP)。关键的观察是,虽然对象是一个3D体积,但我们在分割中真正需要的是找到它的边界,这是一个2D表面。因此,我们在3D空间中放置多个枢轴点,并且对于每个枢轴,我们确定其沿密集方向集到对象边界的距离。这将在每个枢轴周围创建一个弹性壳,该壳初始化为完美球体。我们训练一个2D深度网络来判断每个终点是否落在物体内,并逐渐调整外壳,使其逐渐收敛到边界的实际形状,从而达到分割的目的。EBP允许基于边界的分割,而无需将3D体积切割成切片或块,这从传统的2D和3D方法中脱颖而出。EBP在腹部器官分割中实现 了 有 希 望 的 准 确 性 。 我 们 的 代 码 将 在https://github.com/twni2016/EBP发布。1. 介绍医学图像分析(MedIA),特别是三维器官分割,是计算机辅助诊断(CAD)的重要前提,这意味着广泛的应用。近年来,随着深度学习的蓬勃发展,卷积神经网络已被广泛应用于该领域[23,22],这在很大程度上提高了基于手工特征的传统分割方法的性能[17,18],甚至在许多器官和软组织中超过了人类水平的准确性。二维网络[23、31]3D网络[22、33]AH-Net[20个]EBP(我们的)纯2D网络?CC纯3D网络?C使用3D数据?CCC3D数据未被裁剪?C3D数据未重新缩放?C可以预先训练吗?CCC分割方法RRRB表1. EBP与以往方法的比较在网络维度、数据维度、数据预处理方式、网络权重、细分方法等方面进行了研究。由于篇幅所限,我们没有在这里引用所有相关的工作最后一行中的R和B分别代表基于区域和基于边界的方法。现有的用于医学图像分割的深度神经网络可以分为两种类型,在处理对象的维度上彼此不同第一种类型将3D体积切割成2D切片,并训练2D网络以单独[31]或顺序[6]处理每个切片第二种方法是训练3D网络直接处理体积数据[22,20]。尽管后者被认为具有潜在的更强的考虑3D上下文信息的能力,但它有两个缺点:(1)缺乏预先训练的模型使得训练过程不稳定,并且在一个器官中调整的参数不太可转移到其他器官,以及(2)大量的内存消耗使得难以接收整个体积作为输入,然而将分块预测融合到最终体积中仍然是不平凡的,但很棘手。在本文中,我们提出了一种新的方法来弥合2D网络和3D分割之间的差距。我们的想法来自于器官通常是单连接的并且局部平滑的观察,因此,代替执行逐体素预测,可以通过找到其实际上是2D表面的边界来进行分割我们的方法被称为弹性边界投影(EBP),它使用球坐标系将不规则边界投影到一个矩形上,在这个矩形上可以应用2D网络。EBP从目标内或目标外的枢轴点开始2110|V|+| W|器官和一个有弹性的外壳。这个壳由不同方向的半径参数化,初始化为一个完美的球体(所有半径都相同)。目标是调整壳,使其最终收敛到边界我们训练了一个2D网络来预测每个终点是位于器官内部还是外部,并相应地增加或减少该方向的半径。这是一个迭代过程,当壳的变化足够小时终止。在实践中,我们在3D空间中放置了许多枢轴,并总结了所有收敛的壳,用于离群点去除和3D重建。表1示出了EBP与先前的2D和3D方法之间的比较。EBP具有三重优势。首先,EBP允许使用2D网络来执行体积分割,其吸收训练稳定性和上下文信息。其次,由于内存使用量小,EBP完全处理3D对象,而不将其切割成切片或补丁,从而避免了融合预测的麻烦。第三,EBP可以通过放置多个枢轴来采样丰富的训练案例,这在有限数据注释的场景中特别有用我们评估EBP分割腹部CT扫描中的几个器官,并证明其有前途的性能。本文的其余部分组织如下。第2节简要回顾了相关工作,第3节描述了所提出的EBP算法。在第4节中给出实验之后,我们在第5节中得出结论。2. 相关工作计算机辅助诊断(CAD)是一个旨在帮助临床医生的研究领域。目前,许多CAD方法从医学图像分析开始,以获得对扫描器官、软组织等的准确描述。.在这个领域中最流行的话题之一是对象分割,即。在三维数据中,如本文所研究的腹部CT扫描,确定哪些体素属于目标最近,深度卷积神经网络用于图像分类的成功[15,28,11,13]已转移到自然图像[27,7]和医学图像[23,22]中的对象分割。自然图像和医学图像之间最显著的差异之一在于数据维度:自然图像是平面的(2D),而诸如CT和MRI扫描的医学数据是体积的(3D)。为了解决这个问题,研究人员提出了两条主要的管道。第一个将每个3D体积切割成2D切片,并训练2D网络单独处理每个切片[23]。这些方法通常会丢失3D上下文信息,为此采用了各种技术,例如使用2.5D数据(将一些2D图像堆叠为不同的输入通道)[24,25],从不同的视角训练深度网络并在最后阶段融合多视图信息[32,30,31],以及应用递归网络来处理序列数据[6,4]。第二个训练了一个3D网络来处理体积数据[8,22]。这些方法虽然能够看到更多的信息,但通常需要更大的内存消耗,因此大多数现有方法都适用于小补丁[10,33],这留下了最后一个阶段来融合所有补丁的输出。此外,与可以从自然图像数据集借用预训练模型的2D网络不同[9],3D网络通常从头开始训练,这通常导致不稳定的收敛特性[29]。一种可能的解决方案是将每个3D卷积分解为2D后接1D卷积[20]。关于2D与用于医学图像分割的3D模型可参见[16]。在深度学习时代之前,平面图像分割算法通常被设计用于检测2D对象的边界[12,1,3,26,19]。尽管这些方法在医学图像分析领域的表现明显优于深度神经网络[17,18],但我们借用了寻找2D边界而不是3D体积的想法并设计了我们的方法。3. 弹性边界投影3.1. 问题、现有方法和缺陷我们感兴趣的问题是从腹部CT扫描中分割器官。假设输入图像是U,具有Hx×Hy×Hz体素的3D体积,并且每个体素U(x,y,z)表示指定位置处的强度用Haunsfield单位(HU)测量 标签V与U共享相同的维度,并且V(x,y,z)指示U(x,y,z)的类注释。 不失一般性,我们假设V(x,y,z)∈ {0,1},其中1表示靶器官,0表示背景。假设我们的模型预测体积W,并且V={(x,y,z)|V(x,y,z)=1}和W={(x,y,z)|W(x,y,z)=1}分别是地面实况和预测中的前景体素,我们可以使用Dice-Sørensen 系数(DSC )计算分割精度:DSC(V,W)=2×| V W|,其范围为[0,1],其中1表示完美预测。让我们将目标表示为W =f(U; θ)。因此,f(·;θ)的设计有两种典型的方法。第一个训练3D模型直接处理体积数据[8,22],而第二种方法通过将3D体积切割成切片并使用2D网络进行分割来工作[24,31]。2D和3D方法都有其优点和缺点。我们欣赏3D网络考虑体积线索的能力(放射科医生也利用3D信息做出决策),然而,3D网络有时不太稳定,可以说是因为我们需要从头开始训练所有权重,而2D网络可以使用来自自然图像的预训练模型(例如,[21]《易经》:“以物易物,以物易物。2111MMM(((中文中文中文pgeneratesgenerates预测(更新(((中文(简中文(简中文(简图1. EBP的整体流程图(最佳彩色视图)。我们展示了在边界B内由p i v ot p(第二个r o w中的红色中心v o x el)生成的特定次数的迭代(第二个r o w中的绿色v o x el)之后的弹性壳。的organ(蓝色vox elsin第二行)。 数据生成过程从由r(0)初始化的完美球体开始,然后我们获得I(t),O(t)对(第三和第四行)在训练阶段乘以r(t)在测试阶段,O(t)由我们的模型M在给定I(t)的情况下预测。在此之后,通过添加O(t)将r(t)调整为r(t+1)来完成一次迭代。最后,弹性壳收敛到B。化)。另一方面,处理体积数据(例如,3D卷积)通常在训练和测试中都需要较重的计算我们的目标是设计一种算法,它同时利用2D和3D的方法。3.2. EBP:总体框架我们的算法被命名为弹性边界投影(EBP)。顾名思义,我们的核心思想是预测器官的边界,而不是其中的每个像素。考虑二进制体积V,其中V指示前景体素集。我们将其边界B=B +V定义为位于前景体素1和背景体素1之间的一组(连续)坐标。由于B是一个2D曲面,我们可以使用矩形对其进行参数化然后应用2D深度网络来解决它。我们首先定义一组枢轴P={p1,p2,. . .,pN},其中m=1,2,. . .,M. 对于每一对pn和dm,存在半径rn , m , 其指示边界沿此方向有多远,即,,en ,m=pn+rn,m·dm∈B2. 当B不凸时,可能单个枢轴看不到整个边界,所以我们需要多个枢轴来提供补充信息。提供了足够多的枢轴以及密集分布的方向集合D,我们可以近似边界B,从而恢复体积V,这实现了分割的目的。因此,体积分割简化为以下问题:给定一个枢轴pn 和 一 组 方 向 D , 确 定 所 有 的 rn , m , 使 得 en ,m=pn+rn,m·dm∈B。这个任务很难直接解决,这促使我们考虑以下反问题:给定pn,D和一组rn,m值,确定这些值是否正确描述边界,即,是否每个en,m从感兴趣区域(ROI)随机采样例如对象的3D边界框。然后,在球面坐标系中,我们定义一组固定的di-段D={d,d,. . .,d},其中每个d都是2若p位于边界外,则可能存在射线en,m(r)=pn+r·dm不与B相交的某些方向。在这种情况下,我们定义rn,m=0,即沿着这些方向,边界1 2Mm塌缩到枢轴本身。 在所有其他情况下(包括p位于单位向量(xm,ym,zm),i.e. ,x102+y2+z2=1,对于在边界内),可能有多于一个的RM满足该条件,在这种情况下,我们取最大的RM。当有1实现中使用的实际定义略有不同如果有足够数量的枢轴,算法通常会按照预期重建整个边界。有关实施细节,请参见第3.4和3.52112n,mnn,mn,m00n,mn,m0落在边界上。 我们训练一个模型M:O=f(I;θ)来实现这一目标。这里,输入是生成的图像部分,(x,y,z)可以是浮点坐标,在这种情况下,我们使用三线性插值来获得C(x,y,z)。In<${U(pn+rn,m·dm)}M={U(en,m)}M得双曲余切值.U(em=1m=13.4. 培训:数据生成和优化n,m)是U在位置en,m,in处的强度值如果必要的话,由相邻体素插值请注意,I出现在一个2D矩形中。输出是相同大小的映射O,每个值om表示en,m是否位于边界内,以及它离边界有多远EBP的总体流程图如图1所示。在训练阶段,我们对P进行采样并生成(I,O)对来优化θ。在测试阶段,我们随机抽样为了优化模型M,我们需要一组训练对{(I,O)}。为了最大限度地减少训练数据和测试数据分布之间的差距,我们模拟了训练阶段的迭代过程和样本数据的方式。我们首先定义方向集D ={d1,d2,. . . ,dM}。我们使用球坐标系,这意味着每个方向都有一个方位角αm1∈[0,2π)P′并初始化所有r′’s with a constant value,和极角φm2∈[−π/2,π/2]。 组织训练好的模型对每个p′进行训练,直到收敛,将这M个方向表示为矩形,我们将D表示为即,O′中的所有条目都接近于0(正如我们稍后将看到的,需要收敛,因为一次性预测可以不准确)。 最后,我们使用Ma元素的方位角集合和Mp元素的极角集合的笛卡尔积,其中Ma×Mp=M。Ma方位角是均匀的所有e′’s to recover the volume 我们将详细说明分布式,即,αm1= 2m1π/Ma,但Mp极详细信息见以下小节。3.3.数据准备:距离边界在准备阶段,基于二进制注释V,我们的目标是定义一个重新标记的矩阵C,其每个条目C(x,y,z)存储每个整数坐标(x,y,z)和NV之间的有符号距离。C(x,y,z)的符号表示(x,y,z)是否位于边界内(正:内部的;消极的:outside; 0:on),absolute值表示该点与边界(点集)之间的距离。我们按照惯例来定义角在赤道附近具有更密集的分布,即,,m2=cos−1(2m2/(Mp+1)−1)−π/2,使得M个单位向量近似均匀地分布在球面上。因此,对于每个m,我们可 以 找 到 对 应 的 m1 和 m2 , 并 且 单 位 方 向 向 量(x<$m,y<$m,z<$m)满足x<$m=cosαm1cos<$m2,y<$m=sinαm1cos<$m2 和 z<$m=sin<$m2 , 关 于 iv el y。dm=(x<$m,y<$m,z<$m). 在实践中,我们固定Ma=Mp=120,这是采样密度(与精度密切相关)和计算成本。然后,我们对一组枢轴P={p1,p2,. . .,pN}。在每个pn处,我们构造一个半径为R0的单位球面,|C(x,y,z)|=min(x′,y′,z′)∈VDist[(x,y,z),(x′,y′,z′)],即,r(0)=R0 对于所有m,其中上标0表示(一)其中,我们使用距离Dist[(x,y,z),(x′,y′,z′)]=经历的迭代次数。在第t次迭代之后,每个终点的坐标计算如下:.|x −x′|2+的|y −y′|2Σ1/2+的|z − z′|2(the欧几里德dis-(吨)n,m= pn(吨)n,m·dm .(二)距离),而也可以使用广义的我们应用KD树算法进行快速搜索。如果其他使用所有m的坐标,我们查找地面实况以获得输入-输出数据对:使用距离,例如,,101-距离,我们可以应用其他有效的算法,例如,漫灌,用于构建基质C.总的计算成本是O(N0logN),其中.(吨)n,mΣ(吨)n,m.(吨)n,m(吨)n,mΣ、(3)N0= HxHyHz是体素的数量,N x= |V|是边界集3的大小。然后调整r(t)因此,6:,的。Σ在计算C之后,我们将所有背景体素的C(x,y,z)乘以−1,使得C(x,y,z)的符号distin-r(t+1)=max(吨)n,m(吨)n,m,0,(4)从外部体素中猜测内部体素在以下3这里有一些技术细节。KD树建立在边界体素的集合上,即,,具有至少一个(六个中的)邻域体素的整数坐标具有不同的标签(前景与背景)直到达到收敛,从而所有的终点都落在在边界上或坍缩到pn本身7。6等式4不是严格正确的,因为dm不能保证是e(t)到达最近边界的最快方向然而,在这方面,从自身。对于每种情况,平均有N = 50,000个这样的体素,并且在该KD树上执行N0个单独的搜索大约需要20e+R我e、OeRe=U=C+C2113n,mn,m.由于CΣ(吨)n,mn,m是到边界的最短距离,等式(4)不(吨)分钟为了加速,我们限制|C(x,y,z)|≤τ,这意味着距离足够大的所有坐标都被截断(这实际上是更合理的训练我们用不小于τ4的π−∞-距离过滤所有像素,它运行每一个fast5,并且通常将搜索次数减少到小于N0的1%。因此,每个案例的数据准备时间不到1分钟。改变en,m的内-外性质。7如果pn位于边界内,那么所有端点最终都会收敛到边界上。否则,沿所有方向其中e(0)在边界之外,r(t)将逐渐减少到0,因此终点会塌陷到pn本身。在3D重建中将不考虑这些折叠终点(见第3.6节)。e2114n,mn,mnn,mn当3D 目 标是 非 凸的 时 , 存在 射 线en , m ( r )=pn+r·dm与边界具有多于一个相交的可能性在这种情况下,算法将收敛到最接近初始球体的那个我们在训练和测试中并不特别对待这个问题因为我们假设如果(i)大多数端点接近边界和(i i)枢轴足够密集,则可以恢复好的边界当LA=1和LB=0时,它退化为在边界处使用单个切片。 具有相对大的LA和LB(例如,,在我们的实验中LA=LB=5),我们受益于看到更多的上下文,这类似于体积分割,但网络仍然是2D的。不管LA和LB如何,O中的通道数保持为1。其次,利用距离预报的空间一致性,提高了a,c,y的精度.当半径在这里,我们做一个假设:通过查看亲-当前迭代(吨)n,m我们可以在边界处的投影图像,预测不准确随机抽样M个数ε.ΣN0,σ2其中σ为沿任何方向的半径应增加或减少大于τ的距离(我们使用τ=2、小,添加到(吨)n,m,m,并将噪声输入馈送到M。在实验中)。 所以,我们约束C(x,y,z)∈[−τ,τ]。这带来了三重好处。 第一,数据生成通过空间一致性,我们意味着以下近似值-对于每个方向m总是满足条件:过程变得更快(见前一小节);第二,迭代允许生成更多的训练数据;第三,.(吨)n,mΣ。+ εm·dm=CΣ(吨)n,m +εm·cosβ.Σdm,e(t),最重要的是,这使得预测更容易,更合理,因为我们只能在边界的一个小邻域内期望准确的.其中βdmΣ(吨)n,m 是dm(六)和nor-在训练集构建之后,我们优化M:e(t)处的错误方向.虽然这个角度往往很难O =f(I; θ)用常规方法,例如本文采用了随机梯度下降法。 M的详细信息请参见第4.1节。作为一个侧面的评论,我们的方法可以通过增加N来生成丰富的训练数据,从而增加枢轴的采样密度,这在标记的训练集非常小时特别有用。3.5. 测试:迭代和推理测试阶段与训练阶段非常相似,首先是一组随机放置的枢轴和围绕每个枢轴的单位球体。 我们调整参数θ和θ直到收敛或最大数(与提供地面实况的训练不同,迭代在测试中可能不收敛)。在此之后,所有枢轴的所有结束点(除了折叠到对应枢轴的那些)被收集并馈送到下一阶段,即,三维重建。采用以下技术来提高测试精度。首先,在每个训练/测试轮0处的输入图像I(t),i=c(t),在由下式定义的当前壳处获得强度值:为了计算,我们可以将等式(6)的左侧取为:εm的线性函数,并使用εm的多个样本估计其在0处的值。这种技术的行为类似于数据增强,并提高了测试的稳定性。第三,我们缩小了训练和测试数据分布之间的差距。请注意,在训练阶段,所有r(t)值都是使用地面实况生成的,而在测试阶段,它们是由网络预测累积的。因此,如果模型从未在这样的“真实”数据上训练,则不准确性可能随着迭代而累积为了缓解这个问题,在训练阶段,我们遵循课程学习的思想,逐渐用预测代替等式(4)中的附加项[2]。在图1中,我们表明这种策略确实提高了验证的准确性。最后但并非最不重要的是,我们注意到,在测试阶段中的大多数假阳性是由外部枢轴产生的,特别是那些位于具有相似物理特性的另一个器官内的枢轴。在这种情况下,外壳可能会收敛到一个非预期的边界,这会损害分割。为了缓解这个问题,我们引入了一个额外的阶段,以确定哪些枢轴位于靶器官内。实现这一点(吨)n,m. 然而,这类信息往往不足,通过构建一个所有枢轴都是节点的图,为了准确地预测O(t),所以我们通过向I(t)添加更多通道来补充它。第1个通道由M定义边缘连接在相邻的枢轴之间。的每条边的权值是交集对并集(IOU)半径值、s(t)n个,. 有两种类型的通道,由弹性壳限定的两个体积之间的速率。为此,我们随机抽取了几千个点n,l,m其中LA用于对边界进行采样,LB,用于对内部体积进行采样:在感兴趣区域(ROI)中,并计算它们是否落入N个壳中的每一个壳内,基于此,我们可以估计任何枢轴对的IOU然后,我们找到RRee得双曲余切值.eC2115L.Σ(吨)n,lA,m(吨)n,m+1A−。LAΣ+ 一半最小割将整个图划分为两部分,内部部分被认为是内部枢轴的集合只(t)′B A类(五)考虑了由内枢轴产生的端点sn,lB,m=LB+1rn,m−L+1/2。在3D重建中。S=r2116|V|+| W|步骤1步骤2步骤3在KDE点云之前预测内部枢轴点图2. 3D重建的一个例子(最好用彩色显示)。我们从预测位于目标内部的所有枢轴(绿色和蓝色点分别表示地面实况和预测内部枢轴)在步骤1中,由这些枢轴生成的所有收敛的终点形成点云。在步骤2中,应用核密度估计器(KDE)来去除离群值(在第二图中以红色椭圆在第三步中,我们采用图形算法进行三维重建,最后我们对点云进行体素化。3.6. 3D重建最后一步是基于所有端点重建3D体积的表面。注意,总是存在许多假阳性(即,,预测的端点不落在实 际 边 界 上 ) , 因 此 我 们 采 用 核 密 度 估 计(kerneldensityestimation,KDE)来去除它们,基于这样的假设:在足够数量的枢轴下,边界周围的端点密度远大于其他区域。我们使用带宽为1的Epanechnikov内核,并保留所有整数坐标对数似然不小于-14。最后,我们应用一个基本的图形框架,以适应-plish 这个目标 ,其工作原理 如下。我们首先 使用Delaunay三角剖分在幸存的端点上建立网格结构,然后删除外接圆半径大于α的不合适的四面体。在我们获得阿尔法形状之后,我们使用细分算法将其体素化为具有孔洞填充的体积。最后,我们应用表面细化的体积3切片。这保证了一个封闭的边界,填充获得最终分割。我们在图2中说明了3D重建的示例。3.7. 讨论和与先前工作的关系EBP的核心贡献是为3D分割提供基于2D的方法。据我们所知,深度学习文献中没有研究过这个想法。传统的分割方法,如Graph- Cut [3]和GrabCut [26],将2D分割转换为找到最小切割,最小化目标函数的1D轮廓,与我们共享类似的想法。EBP不是通过使用逐体素或逐块差异来手动定义损失函数,而是直接用猜测来测量损失,并迭代地接近正确的边界。这与活动轮廓方法有关[14,5]。从降维的角度来看,EBP为2D分割方法[23,24,25,32,31]的大型语料库添加了不同的解决方案,这些方法将3D体积切割成2D切片,而不考虑图像语义。我们的解决方案享有的能力,提取丰富的训练数据,即。,我们可以从无限多个枢轴中采样(不需要整数坐标)。这使得EBP在训练数据较少的情况下尤其突出(见实验)。此外,与纯3D方法[8,22]相比,我们提供了一种更有效的体素采样方式,减少了计算开销和参数数量,从而降低了过度拟合的风险。4. 实验4.1. 数据集、评价和详细信息我们在48个高分辨率CT扫描的数据集中评估EBP每个体积的宽度和高度均为512,沿轴向轴的切片数量从400到1100不等。这些数据是从一些潜在的肾脏供体中收集的,并由我们团队中的四位放射科专家进行注释。标记四个腹部器官,包括左肾、右肾和脾。每次扫描大约需要1小时。所有注释随后由经验丰富的委员会认证腹部放射科医生验证。我们随机选择这些卷中的一半用于训练,并使用剩余的一半用于测试。不同器官的数据分割是相同的我们计算DSC为每个个案,即,DSC(V,W)=2×| V W|其中V和W分别是地面实况和预测对于第二个数据集,我们参考医学分割十项全能(MSD)数据集(web-10.0)中的脾脏子集。2117n,m网址:http://medicaldecathlon.com/)。这是一个包含41个案例的公共数据集,其中我们随机选择21个用于训练,其余20个用于测试。这个数据集与我们的数据集有很大的不同,因为空间分辨率变化很大。虽然宽度和高度仍然都是512,但长度可以在31到168之间变化。DSC也用于精度计算。两个最近发布的基线名为Rbet [31]和VNet [22]用于比较。RNTR是一个基于2D的网络,它使用一个由粗到细的流水线和一个显着性变换模块。我们直接遵循作者的实施。 VNet是一个基于3D的网络,该算法从原始图像块中随机裁剪成128×128×64块图像块进行训练,并使用三维滑动窗口然后是测试阶段的平均得分。虽然Rounds不需要3D边界框(ROI),而EBP和VNet需要,但这被认为是公平的,因为3D边界框相对容易获得。此外,我们还评估了Rendezvous与3D边界框,并发现很少的改进相比,原来的Rendezvous。EBP的模型M:O=f(I; θ)被实例化为基于UNet的 2D 神 经 网 络 [23] 。 输 入 图 像 I 具 有 分 辨 率M=Ma×Mp=120×120。我们设置LA=LB=5,并为两个部分附加3个通道的d(因此每个部分有8个通道,并应用群我们的网络有3个下采样和3个上采样块,每个块都有三个连续的2组扩张(速率为2)卷积。还存在短(块内)和长(块间)残余连接。输出O是一个单通道符号距离矩阵。4.2. 定量结果结果总结在表2中。在所有这些器官中,EBP实现了与RNN相当的分割精度,并且通常显著优于VNet。根据我们自己的数据,EBP的效果略差于RBP,但在脾脏组中,RBP报告的最差情况的DSC要低得多(78。75%)高于EBP(89. 67%)。诊断后,我们发现,在几个连续的二维切片中,Rounds未能检测到该器官的一部分,但EBP通过检测边界,成功地恢复了这种情况。这表明在许多情况下,EBP和RBP可以为器官分割提供灵活的信息。此外,在MSD脾脏数据集(一个具有挑战性的公共数据集)上,EBP的表现优于RNP超过2%。此外,(i)EBP报告的MSD脾脏最差情况为77。07%,远高于48. 45%的人报告;(ii)Risk报告的所有标准偏差都明显较大。以上两点都表明EBP具有更高的稳定性。我们可以观察到,VNet经常遭受更低的状态,在我们自己的数据集上,我们训练了两个VNet模型-一个其中,如表2所示,比Risk和EBP略差;而另一个报告的结果甚至更差86 岁 。 30±6 。 平 均 50% , 95 。 最 多 32% , 73.66%minDSC。 类似的现象,主要由于优化基于3D的网络的困难,也在[8,20,30]中观察到。我们还观察了MSD脾脏数据集中空间分辨率的影响。该数据集具有相对较低的空间分辨率(即,31这给VNet带来了额外的困难(它需要128×128×64片待采样)。为了解决这个问题,我们对所有卷进行标准化,以增加沿着长轴切片。表2中所示的VNet结果在该归一化数据集中计算(在DSC计算中,所有体积都被归一化回原始分辨率以进行公平比较),而Rnth和EBP直接在原始非标准化数据集上工作。此外,VNet报告了71。07±36。非标准化数据集上的平均DSC为27%,少数情况下出现严重的假阴性。这意味着VNet严重依赖于数据同质性,而EBP则不依赖。对胰腺这种几何形状不规则、边界模糊的复杂器官也进行了研究。我们发现基于体素/区域的方法(如Rounds)在其上表现良好,在我们自己的数据集上准确率超过80%然而,EBP预测了许多假阳性,因此在相同的设置下只有大约60%的准确性。经过仔细的诊断,我们发现EBP算法在分割胰腺时容易将胰腺周围的小肠、下腔静脉和十二指肠等器官误认为胰腺。胰腺分割的薄弱有几个原因。首先,这些周围器官与胰腺交织在一起,并且它们的边界的某些部分在几个体素内重合。其次,从强度分布的角度来看,它们的边界看起来与胰腺的边界相似,这增加了EBP的难度。第三,对于不规则形状的器官,EBP的三维重建是不准确的,因为难以选择超参数α来将预测点云的凸包修剪成地面真实的不规则形状。4.3. EBP如何找到边界?现在,我们讨论EBP如何找到边界。我们研究两个方面,即。1例右肾亚组中等难度病例的收敛性和一致性。我们首先调查收敛性,我们指的是是否每个枢轴pn,经过足够数量的迭代,可以收敛到一个边界。我们用的是101-标准差和最差的概率O′范数来衡量收敛性,牧师 此外,培训过程中不保证-收敛到一个好的 模型,例如,,右肾指示沿半径的修订量 与其值达到低水平(正但小于2118方法左肾右肾脾默沙东脾平均MaxMin平均MaxMin平均MaxMin平均MaxMin[31]第三十一话94 50 ±2。66 九十七69九十三64九十六。09±2。21九十八1887岁3594 63 ±4。21九十七3878岁7589岁。70±1260九十七25四十八45VNet [22]91. 95 ±4。63九十五23七十一4092. 97 ±3。67九十七48八十5192. 68 ±3。25九十六。7583岁1892. 94 ±3。58九十七3581. 96EBP(我们的)九十三45±1。62九十七28九十88九十五26±1。59九十七45九十1994 50 ±2。64九十六。7689岁。6792. 01 ±4。50九十六。48七十七。07表2.比较我们的多器官数据集和MSD基准中脾脏类的分割准确度(DSC,%)。内报告每组、平均值(具有标准偏差)、最大和最小精度0的情况。(5)实现了完全收敛。结果示于图3中。我们可以看到,从大多数内支点开始,弹性壳最终可以收敛到边界。在图中,我们显示了200次迭代,但实际上,为了加速,我们只执行10次迭代,然后将所有“结束点”发送到3D重建。也就是说,虽然没有达到收敛,许多终点实际上并不位于边界上,但它是可能的。图3. 左:O ′的范数在第一个200迭代中,1名男女三维重建算法可以滤除这些异常值。这是因为我们已经采样了大量的枢轴。因此,位于边界附近的终点将伴随着许多其他终点,而位于目标内部甚至外部的终点将被孤立。通过应用核密度估计(KDE),我们可以过滤掉那些孤立的点,使3D重建不受影响。接下来,我们研究一致性,为此,我们采取一些枢轴对,并计算以它们为中心的会聚壳之间的DSC。在第3.5节中介绍了该标准,以区分内枢轴和外支点假设由一对内枢轴生成的壳应该具有很大的相似性,而由一个内枢轴和一个外枢轴生成的壳不应该具有相似性。为了最大限度地进行公平的比较,我们取所有的边界枢轴,定义为至少有一个邻居在外面的内部枢轴。然后,我们对至少有一个是边界主元的所有主元对进行采样,并进行统计。 对于那些内部-内部枢轴对,平均DSC(73. 46%)远大于(51。39%)的内外枢轴对。该实验表明,如果两个相邻的枢轴都位于目标内,则它们更有可能彼此一致,否则获得低DSC的机会变大8。最后,我们进行了一个有趣的实验,以进一步揭示如何跨枢轴DSC变化的相对位置的枢轴到边界。从一个内支点开始图3提供了一些统计数据。在所有这些曲线上,我们8、这里有一个注解。理论上,对于内枢轴和外枢轴,如果两个弹性壳都是完美生成的,则它们的DSC应该为0。然而,这并不常见,因为外枢轴的弹性壳也被初始化为球体,其可能与边界相交。在这种情况下,最初位于目标内的所有结束点将开始增长,直到它们到达目标的另一个边界。因此,它有一个非零的DSC与一些内枢轴。选项。粗曲线在15个枢轴上取平均值,每个枢轴都显示为细曲线。右:当枢轴保持沿着固定方向前进直到其离开目标时记录的枢轴间DSC(我们不绘制超过该点的曲线)。在某处观察突然下降,这往往表明枢轴从内到外的瞬间。5. 结论本文介绍了EBP,这是一种训练2D深度网络进行3D对象分割的新方法。其核心思想是建立一个弹性壳,并调整它,直到它收敛到目标的实际边界。由于壳在球坐标系中被参数化,因此我们可以应用2D网络(低计算开销、更少参数、预训练模型等)。)来处理体积数据(更丰富的上下文信息)。在腹部CT扫描中对几个器官进行了实验,EBP实现了与2D和3D竞争对手相当的性能。此外,EBP可以从少量的注释样本中抽取足够的训练数据,这在医学图像分析中具有优势。我们从这项工作中了解到,高维数据往往遭受冗余(例如,并非每个体素在3D体积中都是有用的),并且挖掘区别性部分虽然具有挑战性,但通常导致更有效的模型。今后,我们将继续研究这一课题,并尝试克服EBP的弱点,使其能够应用于更广泛的3D视觉问题,特别是当物体具有特殊形状时。致谢本文得到了Lustgarten胰腺癌研究基金会的我们感谢教授。感谢林周晨支持我们的研究。 我们感谢教授 。 沈 伟 博 士 Yan Wang , Weichao Qiu , ZhuotunZhu,Yuyin Zhou,Yingda Xia,Qihang Yu,RuntaoLiu and Angtian Wang进行了有益的讨论。2119引用[1] 达纳·H·巴拉德。推广霍夫变换检测任意形状。PatternRecognition,13(2):1112[2] YoshuaBengio , Je´romeLouradour , RonanCollobert ,andJason Weston.课程学习。机器学习国际会议,第41-48页。ACM,2009年。5[3] Yuri Y Boykov和M-P Jolly。ND图像中目标最佳边界区域分割的交互式图割。IEEEInternational Conference onComputer Vision,第1卷,第105-112页,2001年。二、六[4] 蔡金正、卢乐、谢元普、邢福永、杨林。基于卷积神经网络的基于图的决策融合在mri中的胰腺分割。医学图像计算和计算机辅助干预国际会议,第674-682页。Springer,2017. 2[5] Tony F Chan和Luminita A Vese。没有边的活动轮廓IEEE Transactions on Image Processing,10(2):2666[6] Jianxu Chen,Lin Yang,Yizhe Zhang,Mark Alber,and Danny Z Chen.结合全卷积和递归神经网络的三维生物医学图像分割。神经信息处理系统的进展,第3036-3044页,2016年。一、二[7] Liang-ChiehChen , GeorgePapandreou , IasonasKokkinos,Kevin Murphy,and Alan L Yuille.Deeplab:使用深度卷积网络、atrous卷积和全连接crfs进行语义IEEE Transactions on Pattern Analysis and MachineIntelligence,40(4):834-848,2018。2[8] O¨zgu¨ nC¨ic¨ek , AhmedAbdulkadir , SoerenSLienkamp ,Thomas Brox,and Olaf Ronneberger.3d u-net:从稀疏注释学习密集体积分割。医学图像计算和计算机辅助干预,第424-432页。施普林格,2016年。二六七[9] Jia Deng,Wei Dong,Richard Socher,Li-Jia Li,KaiLi,and Li Fei-Fei. Imagenet:一个大规模的分层图像数据 库 。 在 IEEE Conference on Computer Vision andPattern Recognition,第248-255页,2009中。2[10] Mohammad Havaei、Axel Davy、David Warde-Farley、Antoine Biard、Aaron Courville、Yoshua Bengio、ChrisPal、Pierre-Marc Jodoin和Hugo Larochelle。使用深度神经网络分割脑肿瘤。医学图像分析,35:18-31,2017。2[11] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。在IEEE Conferenceon Computer Vision and Pattern Recognition,第770-778页2[12] 保罗·VC·霍夫
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- RTL8188FU-Linux-v5.7.4.2-36687.20200602.tar(20765).gz
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
- SPC统计方法基础知识.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功