没有合适的资源?快使用搜索试试~ 我知道了~
9501从单类数据集康斯坦丁·德米特里耶夫和Arie E.Kaufman Stony Brook University,StonyBrook,NYkdmitriev@cs.stonybrook.edu摘要多类分割最近在自然图像和视频中取得了显着的性能。这一成就主要归功于大型多类数据集的公开可用性。然而,存在某些领域,例如生物医学图像,其中获得足够的多类注释是费力的并且通常是不可能的任务,并且仅单类数据集可用。虽然这些领域中现有的分割研究使用私有多类数据集或专注于单类分割,但我们提出了一个统一的高效框架,通过结合单类数据集并利用一种新的方式调节卷积网络来实现分割,从而实现多类分割的鲁棒同时学习。我们展示了各种方法,将条件信息,执行广泛的评估,并显示令人信服的多类分割性能的生物医学图像,其中执行当前国家的最先进的解决方案(高达2.7%)。与目前的解决方案不同,这些解决方案是为特定的单类数据集精心定制的,我们利用来自各种来源的数据集此外,我们还展 示 了 我 们 的 方 法 对 自 然 图 像 的 适 用 性 , 并 在Cityscapes数据集上对其进行了评估。我们进一步讨论我们提出的框架的其他可能的应用。1. 介绍语义分割的深度学习已经取得了巨大的进步,这些进步的主要因素之一是大规模多类数据集的公开可用性这种多样的可用数据集不仅提供了训练和评估不同分割模型的手段,而且还提供了展示不同标签的手段。然而,与自然图像相比,存在某些领域,其中尽管分割研究至关重要,但地面实况注释和标记的生成是极其昂贵的,并且仍然是推进研究的瓶颈。生物医学图像就是这样一个领域,其中各种结构的准确分割是一个基本问题,特别是在临床研究中。在传统的临床实践中,在诊断过程中常常忽略分割。然而,生物医学图像的手动分析(包括测量)受到大的可变性的影响,因为其取决于不同的因素,包括感兴趣的结构、图像质量和临床医生此外,分割是支持计算机辅助诊断(CAD)[9,14]以及手术和治疗计划的各种医疗系统中的重要组成部分。此外,早期癌症检测和分期通常取决于分割的结果。在放射图像的分割方面已经取得了显著的进展,例如磁共振成像(MRI)和计算机断层扫描(CT)3D扫描。放射学图像显示各种对象,如腹部器官(图1)。(1)在一张图片中。然而,为这些图像创建专家注释是一项耗时且密集的任务,因此难以生成多类数据集有限数量的分割算法已经被提出并在多类数据集上进行 了 评 估 。 其 中 包 括 私 人 或 公 共 数 据 集 , 如VISCERAL [20],由于缺乏资金而无法使用。除了通常是私有的之外,这些多类数据集通常在大小上受到限制(小于30卷)并且来自单个机构,在该机构中,它们是使用相同的成像协议和成像设备生成的另一方面,单类数据集的生成需要更少的时间和精力,并且它们通常作为挑战的一部分公开提供,例如Sliver07[15](图1)。1b)和NIH胰腺[16](图。第1c段)。此外,这些单类数据集来自不同的机构,并表现出因素的可变性,如恶性肿瘤的存在,成像协议和重建算法。然而,虽然单类数据集通常在单个图像中包含相同的对象,但仅以二进制掩码的形式为特定类别的对象提供地面实况注释,并且来自9502(一)肝胰腺胃(b)第(1)款脾肾脏(c)第(1)款(d)其他事项图1:单类数据集可以在各个领域找到,包括生物医学图像,如CT扫描。虽然可以在单个CT扫描上看到各种器官(a),但是每个器官的轮廓的手动生成是密集的,因为通常只有临床医生可以分析这样的图像,并且是耗时的任务,这导致缺乏全面的多类数据集。作为挑战的一部分,提供了几个单类数据集:(b)肝脏分割数据集(Sliver07)[15],(c)胰腺分割数据集(NIH Pancreas)[16];而有些由于道德或法律方面的原因仍然是私人的:(d)肝脏和脾脏分割的数据集。虽然本质上是相同的,但这些数据集中的图像集并不重叠,这使得它们同时用于训练变得复杂。不同的数据集不重叠。 因此,简单地组合数据集来训练用于多类别分割的单个模型是有障碍的。传统上,单类数据集已被用于为特定类别的分割开发高度定制的解决方案。在本文中,我们介绍了一种新的和有效的方法来训练和调节一个单一的卷积网络(convnet)的多类分割的目的使用非重叠的单类数据集进行训练。我们的方法允许模型隐式地共享所有被建模的目标类的所有参数。这驱动模型有效地学习不同类对象之间的空间连接,提高其泛化能力。据我们所知,我们的工作是第一个描述使用条件的convnet的目的分割,并证明了使用单一模型在非重叠的单类数据集上训练。我们工作的贡献是:(1)第一个应用程序,据我们所 知,条件的convnet为se-(2)所提出的条件化框架能够利用在单类数据集上训练的单个模型进行有效的多类分割,与单独的类特定模型相比,大大(3)在用于肝脏、脾脏和胰腺分割的公开可用数据集上改进了最先进的结果(高达2.7%),并显著降低了计算成本。此外,我们证明了我们提出的方法对自然图像的适用性,并在Cityscapes数据集上进行了评估[5]。此外,我们讨论了所提出的方法的可能2. 相关工作收集大规模的,仔细注释的数据集进行语义分割的困难是众所周知的,[37,39,46]。已经提出了一系列方法来学习使用弱标记数据执行分割。弱注释,以图像标签[22],点和涂鸦[1,18],边界框[6]及其组合[30,41]的形式,已被探索用于学习图像分割模型。虽然弱监督分割中的这些工作在精神上是相似的,但与我们的工作相比,它们主要不同。他们仍然作为-从预定义的目标类的集合中的每个对象的注释的可用性,如果一个存在于图像中。关于CT图像,每个切片将需要针对切片上存在的每个靶器官的一组注释,无论是种子、边界框还是标签。然而,单类数据集没有这样的注释,并且只提供一个特定类的细节。解剖结构的分割,特别是腹部器官,被认为是一个困难的问题,因为它们在大小、位置和形状上表现出高度的可变性(图11)。①的人。各种基于convnet的分割方法已被提出用于腹部器官分割。大多数使用单类数据集的方法专门用于特定器官的分割,例如肝脏[10,25]或胰腺[13,34]。此外,这些作品经常描述复杂和复杂的多阶段方法[45]。已经提出了一些更普遍适用的基于convnet的方法,并在多个器官上进行了测试[11]。这些方法描述了用于分割单个器官的模型,并且将单独的分割融合在一起以产生最终轮廓。然而,虽然显示出最先进的性能,但这些模型必须单独训练和应用于每个器官的分割,这表明计算资源和额外训练时间的使用效率低下。此外,这种单独训练的模型不嵌入腹部器官之间的空间相关性,因此可能对每个特定的单类过拟合9503数据集。此外,这些模型通常还需要预处理和后处理步骤,这使得模型更加复杂和针对医学图像中解剖结构的同时多类或多器官分割,已经提出了其中大多数使用概率地图集[4,29,40]和统计形状模型[28]。这些方法需要配准训练数据集中的所有体积图像。该预处理步骤在计算上是昂贵的,并且由于患者之间的腹部器官的尺寸、形状和位置的相当大的变化而常常是不完美的最近,一个小小的convnet-拉长 目标是预测一组分割掩码{y_c_m},8c_m_2c_g_i_n表示未看见的输入图像x_i。3.1. 基础模型所提出的框架的基础组件是一个3D全卷积U形网架构,例如具有跳过连接的编码器-解码器(图1)。2a)。此外,我们采用了3D密集连接的卷积块[17,19],其有效地利用了CT扫描中可用的体积信息。更正式地说,该模型包括复合函数的密集连接单元Fl(·),第l层的输出xl定义为:的解决方案[35]提出了同时多个-器官分割然而,所有这些方法都被开发出来了。xl= Fl([x0,xl,...,Xl-1的]),(1)在公开不可用的多类分割数据集上进行了选择和评估此外,所使用的多类数据集由单个机构获得,并表现出相同的图像质量,没有慢性异常。相比之下,我们利用不同的单类数据集,并描述了一种新的方式来调节一个convnet开发一个多类分割模型的高泛化能力。条件反射在图像合成中有着广泛的应用。一系列的作品[23,38,42,43]在生成图像的条件下,某些属性,如类别或标签,已显示出成功和令人信服的结果。Ma等人[26]提出了一种基于任意姿态的人物图像合成框架。Zhu等[49]模拟了图像到图像转换的潜在结果的Reed等人[32]演示了给定所需内容及其在图像中的 位 置 的 图 像 合 成 然 而 , 用 于 语 义 分 割 的 条 件Convnets的领域在本文中,我们描述了一种方法的条件- ing一个convnet的分割的目的,评估方法的分割腹部器官和城市场景,并讨论了一组其他可能的应用。3. 方法相对于为单类数据集中的每个对象生成单独的模型,我们描述了一个框架,可以同时学习多类知识给定一组单类数据集。考虑一组单类数据集{D1,..., 其中,每个数据集Dk={(Xk;Yk,cm)},k2{1,.,K}包含一组输入im。年龄Xk={xk}和一组对应的二进制段。在哪里[…] ]是来自先前层的特征图的连接操作在我们的实验中,Fl(·)被定义为α = 0的泄漏整流线性单元(LReLU [27])。3,然后是3 <$3 <$3卷积。该模型的编码器部分包括一个卷积层,后面是六个密集连接的卷积块,通过2个2x22x2 maxpooling层顺序连接。每个密集块中的特征通道的数量与其深度成比例该模型的解码器部分利用具有步幅的转置卷积作为上采样层,并且与编码器拓扑对称最后一个卷积层以sigmoid函数结束详见补充资料。3.2. 调节与为每个类cm2 C训练单独模型的经典方法不同,我们的框架能够从单类数据集推断多个类的分割和关系,并学习用单个模型为所有类cm生成分割。为了将这种能力引入到模型中,我们提出了一种新的方法,用需要分割的目标类cm来调节基础卷积模型虽然 某 些 条 件 化 方 法 已 广 泛 用 于 生 成 对 抗 网 络(GAN)[8,26,32]中进行图像合成,但据我们所知,还没有尝试对分割的convnet进行我们的目标之一是保持基本模型完全卷积、简单和高效,以避免可能对性能产生负面影响的广告开销。为达致这个目的,我们建议把我分段掩码Yk,cm={yk、c、im}的对象cm2C,m=K将信息作为中间激活在执行卷积运算之后和之前1、…M. 此外,输入图像X在每个数据集中展示所有类的对象。此外,我们还假设数据集Dk不具有相同的{(Xk;Yk,cm)}对,例如Di\Dj=;,8i,j,并且每个数据集可能具有不同数量的类。这些是-假设大大放宽了初始条件,并试图使问题的描述更一般和更有挑战性。应用非线性。虽然有条件GAN [32]的一些示例建议学习条件函数,但我们提出了一种计算效率更高的分割方法具体来说,我们建议使用以下函数:(cm,Hj,Wj,Dj)=OHj<$Wj<$Dj<$hash(cm),(2)9504e我M训练数据Y0,c0Y1,c1Yk,cm基础模型eL-1c层lxe高×宽×深l llLL lDLeL(b)第(1)款层l高×宽×深(一)eLDL-1LL lL布拉奇(c)第(1)款图2:在训练过程中仅使用单类数据集来调节convnet执行多类分割的拟议框架的示意性概述。(a)基础模型使用来自k个单类数据集的图像,并在类标签上进行调节后,产生最终的分割掩码。调节可以针对(b)编码器或(c)编码器来完成。(c)基本模型的解码器层,或两者。其 中 , k 是 逐 元 素 乘 法 , OHj<$Wj<$Dj 是 大 小 为Hj<$Wj<$Dj的张量,所有元素都设置为1,hash(·)是预定义查找表的散列函数也就是说,函数<$ ( cm , Hj , Wj , Dj ) 创 建 一 个 大 小 为Hj<$Wj<$Dj 的 张 量 , 所 有 值 都 设 置 为 hash(cm)。因此,所提出的第l层的调节,其中输入xl的大小为Hl<$Wl<$Dl,被定义为:xl=[xl-1,xl(cm,Hl,Wl,Dl)](3)其中xl-1是前一层的输出(图1)。2b、2c)。重要的是要注意,拟议的条件不不依赖于类的可能属性,例如位置、形状等。这样做是为了提高所提出的框架的泛化能力。在训练期间,网络在对上进行训练(xk;yk,cm),从不同的对解码器中的层进行调节,解码器可以使用所提供的条件信息和编码器特征图中存在的此外,我们希望条件信息直接访问多个层将使优化更容易。在第4.1节中,我们测试了我们的假设,并报告了各种条件反射设置的表现。4. 实验在本节中,我们将对我们的框架进行广泛的分析,使用不同类型的损失函数和各种调节方式进行实验,并将结果与为每个单类数据集单独定制或为多类我我数据集Dk,同时以相应的对二进制地面实况分割掩码yk,cm的类cm进行分组。在推理时间期间,网络顺序地以所有cm2C为条件,以生成输入图像x m中的所有对象的分割掩码{ymcm}。虽然这种使用预定义查找表的方法在没有额外变量被训练的情况下保持了框架的简单性和紧缩性,但它也具有一些实际益处。特别地,在添加新的目标分割类cM+1的情况下,框架将仅需要查找表的新条目和简单的微调,而不像如果我们已经学习了条件函数则预期的更昂贵的重新训练。然而,一个自然的问题出现了:给定一个L层的深哪一层的调理是最有益的?我们假设,给定一个像架构这样的编码器-解码器,当数据集。 我们表明,我们的条件多类隔离-分割框架优于当前最先进的用于生物医学图像的单类分割方法。此外,我们证明了所提出的方法的城市场景分割的适用性。数据集为了评估所提出的框架并测试我们的假设,我们的工作利用了三个腹部CT体积数据集。特别地,我们使用了20卷公开可用的肝脏分割的Sliver 07数据集[15]、82卷公开可用的胰腺分割的NIH Pan creas数据集[16]以及来自我们的肝脏和脾脏分割的附加数据集的74卷。因此,在我们的实验中, 2个C={肝、脾、胰腺}。 中的分割掩码后一个数据集已被二进制化并存储为单独的单类文件。图1b、1c、1d和图6(第一列)中示出了CT图像和相应的真实分割掩模后编码器解码器输出分割x0的X1XKCC...CC了c0C1Cmᵩ类标签调节c -级联Layerl2Layerl1...eLayerl0eLayerl1eLayerl2DXLayerl0XXDXXCM9505PPP一般策略是将每个数据集按80/20的比例分成训练集每个数据集中的体积大小为512 <$512 <$Z0,其中Z0是轴向切片的数量。每个数据集都是在不同的检查时用不同的扫描仪和协议收集的,并包含各种切片间间距的体积,此外,还显示了各种病理,如肝肿瘤和脾肿大病例数据集的这种多样性使我们能够在具有挑战性的环境中测试所提出的方法。其他基于convnet的分割工作由杨等人。[44],其在1000个肝脏CT图像的私人数据集上显示 了95%的DSC。最后,我们将我们的结果与Roth等人 [35]的两阶段粗到细的基于多器官对流的解决方案进行了比较,该解决方案在私有多类数据集上进行了评估,并分别获得了95.4%、92.8%和82.2%的肝脏、脾脏和胰腺DSC。在本节描述的所有实验中,我们设置αi= 1并使用基于DSC的损失函数:输入图像经过最低限度的预处理:Pc c2YciYci每个数据集都以相等的概率进行采样,Li(Yi,Yi)= 1-PP.(五)已经提取了大小为256×256×32的子体积此外,所有列车-Yci+Yelvici已经用小的随机旋转、缩放和移位来增强了示例。训练所提出的框架是在来自所有使用的单类数据集的示例上训练的。该框架的优化目标如下:L ( Y , Y ) =α1β1L1 ( Yc1 , Yc1 ) +... +αnβkLk(Ycm,Y<$ cm),(四)其中Li(Yci,Yci)是单类数据集Di的损失函数,超参数αi指定特定类ci对总损失的影响,βi={0,1}指定批处理中类ci的二进制掩码的存在。推理在推理期间,可以手动指定目标分割类ci。然而,为了简化在推理期间框架的使用,我们建议通过迭代遍历查找表中的所有实体来自动化指定目标分段类的过程或者,特别是对于腹部器官的分割,可以定义一组肝脏和胆囊,例如肝脏和胆囊,临床医生经常一起分析。实现所提出的框架使用Keras库和TensorFlow后端实现。我们使用Adam优化器从头开始训练我们的网络[21]初始学习率为0.00005,β1=0。9,β2= 0。999,批量大小为2,迭代次数为25K4.1. 消融实验预测的分割掩模通过将它们阈值化为0.5而被二值化。来衡量二进制分割掩码Y和Y,我们使用常见的Dice Similarity Coefficient(DSC)度量,定义为如DSC(Y,Y )=2YY YY.我们比较一下我们的结果此外,我们还尝试了二进制交叉-熵损失函数,表现出明显较差的性能。我们通过分析我们的基本模型的性能开始我们的实验,这些模型分别为每个类cm训练,而不使用条件反射。我们把这个实验称为个体,每个模型的学习曲线如图所示。3a.我们观察到,在前25K次迭代中,模型未能接近最先进的性能接下来,我们测试了一种简单的方法,即在单类数据集上训练单个模型,通过预测相同尺寸但具有三个额外通道的体积来产生合理的多类分割结果,每个通道用于每个类cm,例如肝脏,脾脏和胰腺。我们把这个实验称为无条件,学习曲线如图所示。3b.结果表明,训练不收敛,这是预期的,并且可以通过模型难以从训练示例中不一致的二进制掩码中推断多类分割来解释。此外,这种方法是内存受限的,特别是对于高分辨率图像和卷,并且只有少量的类可以以这种方式建模。由无条件模型产生的分割的示例可以在附录中找到。接下来的实验描述了条件模型的结果。在实验条件2中,我们测试了一种简单的方法,通过提供条件信息作为输入体积的第二通道来调节模型。特别地,我们使用从[-1,1]采样的随机实值为每个cm创建条件变量的查找表具体地,每个训练3D子体积已经在第二通道中被增强,其中,所有元素都设置为hash(cm)。学习Y+Y相对于当前最先进的分割方法,其被特别提出用于单类分段并且被定制用于特定类。特别是,我们与Zhou等人的工作进行了比较。[48],该工作描述了用于胰腺分割的两步粗到细的基于convnet的解决方案,并在NIH胰腺上产生了82.4%的DSC [16]数据集。 我们还比较了-图中所示的曲线。3c表明该模型能够以利用所提供的条件信息并学习生成多类分割。然而,类似于实验条件(见图1)。3d),其中编码器中的每个怎么-9506(a) indivs(b)nocond(c)cond-2nd(d)cond-enc(e)cond-dec图3:在前25K次迭代期间为每个cm2C=肝、脾、胰腺生成的各种条件化模型的训练曲线(x轴)。绿虚线表示训练准确度(DSC,%)(y轴),橙色实线表示测试准确度,红色实线表示当前最先进的结果。我们注意到,与在每个数据集上单独训练的独立模型相比,在不同数据集上联合训练的这些模型具有更好的泛化性能,同时提高了训练和测试精度。最后,我们对基本模型的解码器部分进行了条件化实验。我们把这个实验称为cond-dec。图中所示的学习曲线。3e验证了我们的假设,并显示出优越的分割性能。这个实验中的训练比其他实验收敛得更快。除了优于为单类分割精心定制的解决方案和在私有数据集上设计的多类分割解决方案(见表1)之外,我们的框架还显示出显着的泛化能力。本实验的分割结果示例如图11所示。6.我们观察到,即使在图1所示的困难情况下,该模型也能准确地描绘出所有的目标对象。图6(最后一行),其中由于成像协议,所有器官除了拥挤在一起之外,还具有相似的强度,并且它们的边界难以区分。通过该模型进行这种精确分割的原因可能是由于(1)在被建模的所有类别之间的高度隐式参数共享,以及(2)解码器路径利用可用条件信息并逐渐恢复目标类别的空间信息我们还进行了额外的实验条件- ing解码器和编码器在同一时间,并研究了条件的影响,只有部分解码器在不同的深度。这种方法没有任何好处,并且与条件信息直接可用于解码器中的每一层时相比,这些实验中的性能较差类之间空间连接的重要性为了检验我们的假设并探索类之间空间相关性对模型性能的重要性特别是对于CT图像,我们将基线性能(表1)与通过用器官间脂肪组织常见的强度值随机替换70%的相应体素而破坏不同类别的图像的性能进行一个例子,一个损坏的图像脾脏是说明图。4.有趣的是,脾脏和胰腺类的单独损坏实际上对肝脏分割的准确性没有影响,肝脏分割的准确性仅在2%范围内下降。然而,当其他器官受损时,脾脏和胰腺的分割都受到显著影响,与基线相比,性能平均下降15.3%我们相信这支持了我们的假设,即模型在推理过程中学习和利用目标类之间的空间相关性,而剥夺这些相关性会降低性能。对自然图像的适用性所描述的条件化技术的开发目标是普遍适用,而不是仅限于医学图像。为了证明我们的方法对其他领域的适用性,我们训练了一个自然图像的语义分割模型。虽然自然图像的数据集通常是多类的图像中的多个对象被注释-我们相信我们的框架在自然图像数据集上的验证是有价值的我们使用具有挑战性的城市场景理解数据集Cityscapes [5]来评估我们的它包含2,975个精细注释的训练,500个验证和1,525个测试图像,具有19个语义类的1024×2048个分辨率。此外,数据集c3=胰腺c2 =脾脏c1=肝脏9507原始图像地面实况预测图4:损坏图像的示例,其中70%的脾脏体素被器官之间脂肪组织常见的强度值替换。表1:肝脏、脾脏和胰腺分割的不同模型的分割准确度(平均DSC,%)比较(越高越好)。模型肝脾胰腺Yang等[第四十四届]95.0--Zhou等[48个]--82.4Roth等人[35]第三十五届95.292.882.2因迪夫斯91.574.442.9没有条件14.721.818.6第二次89.771.744.4第二88.176.957.3第二代95.893.785.1带有20,000个粗略注释的训练图像,尽管这些在本实验中没有使用。我们选择了三个基本类:路,车,人。为了模拟单类数据集,每个多类注释图像被转换为一组三个二进制掩码。我们使用与3.1节中描述的相同的此外,为了测试模型对cm值的敏感性,用从[-20,20]中采样的值预先定义查找表。每张图像的大小调整为512×1024,数据集通过随机左右翻转和亮度扰动进行增强。使用4的小批量和基于DSC的损失函数(等式5)对模型进行40K次迭代的训练。根据上采样至原始分辨率的测试图像的类交并(IoU)度量对结果进行了评价结果的例子如图所示五、我们的模型在某些类上实现了接近最先进解决方案的性能[2,3,47],没有预训练或后处理步骤,并且只使用精细注释的数据。虽然在这个数据集上更新最先进的技术不是我们在这个实验中的目标,但考虑到它是一个多类数据集,我们相 信在数 据集上预 先训练 基础模 型,如Synthia[33],并使用额外的注释数据,可以提高图5:Cityscapes验证集的分割结果示例。表2:Cityscapes测试集上不同类别的分割准确度(每类IoU,%)比较(越高越好)。模型路车人Chen等人[二]《中国日报》98.796.588.2Chen等人[3]第一章98.696.387.6Zhao等人[47个]98.796.286.8第二代96.491.076.2我们的方法在这个数据集上的性能,如其他作品所示[2,3,36,47]。5. 讨论在本文中,我们描述了一个框架,用于从单类数据集学习多类分割,通过一种新的方式来调节多类分割的convnet。我们进行了广泛的实验评估的各种方式的条件模型,并发现,提供每个层的解码器直接访问的条件信息产生最准确的分割结果。所提出的框架进行了评估的任务分割的医学图像,单类数据集的问题自然出现。虽然计算效率更高,但该方法优于当前最先进的解决方案,这些解决方案专门为每个单类数据集量身定制。此外,我们证明了我们的方法的适用性,自然图像的语义分割使用Cityscapes数据集。虽然我们的工作已经使用放射性CT扫描和城市场景的自然图像进行了验证特别是,可以想象我们的框架如何应用于病理学9508Ground truth肝脏脾脏胰腺图6:cond-dec模型生成的不同数据集的CT图像分割结果示例。结果以2D形式呈现以用于说明目的,但实际结果是3D的。从上到下的行:Sliver07 [15],NIH Pancreas [16],我们自己的肝脏和脾脏分割的额外数据集。从左到右:数据集中可用的基础事实轮廓(绿色和黄色),以及以每个cm2C={肝脏,脾脏,胰腺}为条件的分割结果,其以紫色轮廓表示。虽然我们的附加数据集的分割轮廓一起显示(绿色和黄色),但它们是以二进制掩码的形式单独生成和存储的。图像.病理学数据集显示出类似的碎片化-目前不存在各种生物组织(如脑或乳腺)的病理学图像的统一数据库,研究集中在单独的子问题上。与我们的实验类似,可以根据不同组织样本中转移的cancel细胞的目标类型调节convnet。此外,人们还可以想象出于实例级分割的目的而调节convnet的类似应用,其中每个实例可以根据某些属性(例如大小、颜色等)或更复杂的东西(例如物种或种类)来此外,Rebuffiet al.[31]描述了一种为了分类的目的而学习多个视觉域中的数据表示的方法我们的框架可以增加这样的作品分割的目的。我们未来的工作将集中在扩大问题,并结合来自不同领域的图像。特别是对于放射学图像,观察是否在CT和MRI图像的混合上训练的模型将能够推断出在一种成像模态中标记的类别并将其转移到另一种成像模态。确认这项工作得到了美国国家科学基金会资助NRT1633299、CN S1650499、马库斯基金会和美国国立卫生研究院国家心肺血液研究所的部分支持,奖励编号为U01HL 127522。内容完全由作者负责,不一定代表NIH的官方观点。 广告支持由纽约州先进技术中心生物技术中心提供;石溪大学;冷泉港实验室布鲁克海文国家实验室;和纽约州经济发展部根据合同C14051。9509引用[1] Amy Bearman,Olga Russakovsky,Vittorio Ferrari和LiFei-Fei。What’s the point:带有点监督的语义分割。Proc. 欧洲计算机视觉会议(ECCV),第549-565页,2016年。[2] Liang-Chieh Chen , Maxwell D Collins ,Yukun Zhu ,George Papandreou , Barret Zoph , Florian Schroff ,Hartwig Adam,and Jonathon Shlens.寻找高效的多尺度架构密集图像预测。arXiv预印本arXiv:1809.04184,2018。[3] 陈良杰、乔治·帕潘德里欧、弗洛里安·施洛夫和哈特维格·亚当。重新思考语义图像分割的atrous卷积。arXiv预印本arXiv:1706.05587,2017.[4] Chengwen Chu , Masahiro Oda , Takayuki Kitasaka ,Kazu- nari Misawa , Michitaka Fujiwara , YuichiroHayashi , Yuki- taka Nimura , Daniel Rueckert , andKensaku Mori.基于空间分割概率图谱的腹部三维CT图像多器官分割。医学图像计算和计算机辅助干预国际会议(MICCAI)论文集,第165-172页[5] Marius Cordts , Mohamed Omran , Sebastian Ramos ,Timo Rehfeld,Markus Enzweiler,Rodrigo Benenson,Uwe Franke,Stefan Roth,and Bernt Schiele.用于语义城市场景理解的cityscapes数据集。IEEE计算机视觉和模式识别会议(CVPR),第3213-3223页[6] 戴季峰、何开明、孙建。Boxsup:利用边界框来监督卷积网络进行语义分割。 Proc. 的IEEE InternationalConference on Computer Vision(ICCV),第1635-1643页,2015年。[7] Jia Deng,Wei Dong,Richard Socher,Li-Jia Li,KaiLi,and Li Fei-Fei. Imagenet:一个大规模的分层图像数据 库 。 Proc. 的 IEEE计 算 机 视 觉 和 模 式 识 别 会 议(CVPR),第248-255页,2009。[8] Emily L Denton,Soumith Chintala和Rob Fergus。使用对抗网络的拉普拉斯金字塔的深度生成图像模型神经信息处理系统进展(NIPS),第1486-1494页[9] Konstantin Dmitriev , Arie E Kaufman , Ammar AJaved,Ralph H Hruban,Elliot K Fishman,Anne MarieLennon,and Joel H Saltz.使用随机森林和卷积神经网络集成对CT图像中的胰腺囊肿进行 Proc. 医学图像计算和计算机辅助干预国际会议(MICCAI),第150-158页,2017年。[10] 七斗,陈昊,金月明,余乐泉,秦静,恒平安。3D深度监督网络用于CT体积的自动肝脏分割。医学图像计算和计算机辅助干预国际会议(MICCAI)论文集,第149-157页,2016年。[11] MichalDrozdzal,GabrielChartrand,EugeneVorontsov,Mahsa Shakeri,Lisa Di Jorio,An Tang,Adriana Romero ,Yoonne Bengio,Chris Bazzan ,andSamuel Kadoury.医学图像分割中学习归一化输入的迭代估计。医学图像分析,44:1[12] Mark Everingham , Luc Van Gool , Christopher KIWilliams,John Winn,and Andrew Zisserman.pascal视觉 对 象 类 ( voc ) 的 挑 战 。 International Journal ofComputer Vision,88(2):303[13] Amal Farag,Le Lu,Holger R Roth,Jiamin Liu,EvrimTurk-bey,and Ronald M Summers.使用级联超像素和(深度)图像块标记的自下而上的泛折痕分割方法IEEE Transactions on Image Processing,26(1):386[14] 迈克尔·戈茨 、克里斯蒂安·韦贝尔、布拉姆·斯蒂尔杰斯、克劳斯·梅伊·海因和K·梅尔。在脑肿瘤分类任务中从少量标记数据中学习神经信息处理系统(NIPS),2014。[15] TobiasHeimann , Bram Van Ginneken , Martin AStyner , Yu- lia Arzhaeva , Volker Aurich , ChristianBauer , AndreasBeck , ChristophBecker ,ReinhardBeichel,G yoür gyBe k es,etal. CT数据集肝脏分割方法的比较和评价IEEE医学成像学报,28(8):1251[16] Roth Holger,Farag Amal,Turkbey Evrim,Lu Le,LiuJi-amin , and Summers Ronald. 数 据 来 自 胰 腺 CancerImaging Archive,2016.[17] Gao Huang , Zhuang Liu , Kilian Q Weinberger , andLaurens van der Maaten.密集连接的卷积网络。IEEE计算机视觉和模式识别会议(CVPR),1(2):3,2017。[18] 黄子龙、王兴刚、王佳思、刘文宇和王京东。具有深度种子区域生长的弱监督语义分割网络。IEEE计算机视觉和模式识别会议,第7014-7023页[19] Sim onJe' gou , MichalDrozdzal , Da vidVazquez ,AdrianaRomero和Yoshua Bengio。百层提拉米苏:用于语义分割的全卷积密集网。IEEE计算机视觉和模式识别研讨会(CVPRW),第1175[20] Osc a rJimenez-delToro , HenningMüller , MarkusKrenn ,Katharina Gruenberg , Abdel Aziz Taha , MarianneWinter- stein , Ivan Eggel , Antonio Foncubierta-Rodr'ıguez,Orcun Goksel,And ra'sJakab,etal.解剖结构分割和界标检测算法的基于云的评估:内脏解剖基准。IEEE医学成像trans-actions,35(11):2459[21] Diederik P Kingma和Jimmy Ba。Adam:随机最佳化的方法。arXiv预印本arXiv:1412.6980,2014。[22] Alexander Kolesnikov和Christoph H Lampert。种子、展开和约束:弱监督图像分割的三个原则。 Proc. 欧洲计算机视觉会议(ECCV),第695-711页,2016年。[23] Christoph Lassner , Gerard Pons-Moll , and Peter VGehler.穿着衣服的人的生成模型。arXiv预印本arXiv:1705.04098,2017。[24] 林宗义、迈克尔·梅尔、塞尔日·贝隆吉、詹姆斯·海斯、皮埃特罗·佩罗纳、德瓦·拉马南、皮奥特·多尔·拉尔和C·L·劳伦斯·齐特尼克。Microsoft COCO:上下文中的公用对象。9510Proc. 欧洲计算机视觉会议(ECCV),第740-755页,2014年。[25] Fang Lu,Fa Wu,Peijun Hu,Zhiyi Peng,and DexingKong.通过卷积神经网络和图切割自动3D肝脏定位和分割。国际计算机辅助放射学和外科杂志,12(2):171-182,2017。[26] 马丽倩、徐佳、孙倩茹、Bernt Schiele、Tinne Tuyte-laars和Luc Van Gool。姿态引导的人物图像生成。神经信息处理系统进展(NIPS),第405-415页[27] 安德鲁湖,加-地Awni Y. MaasHannun和Andrew Y.Ng.整流器的非线性改善了神经网络声学模型。2013年ICML音频、语音和语言处理深度学习研讨会论文集[28] 冈田俊之、林古拉鲁、堀正俊、萨默斯、富山纪之、佐藤良信.使用条件形状定位和无监督强度先验的CT图像腹部多器官分割。医学图像分析,26(1):1[29] BrunoOl iv eira , SandroQuei ro's , PedroMorais ,HelenaRTorres,Joa BocoGomes-Fonseca,JaimeCFonseca,andJoaBocoL Vila cBoca. 一种基于密集变形场重建的多图谱策略医学图像分析,45:108[30] George Papandreou , Liang-Chieh Chen , Kevin PMurphy,and Alan L Yuille.用于语义图像分割的深度卷积网络的弱监督和半监督学习。IEEE计算机视觉国际会议(CVPR),第1742-1750页[31] Sylvestre-AlviseRebuffi , HakanBilen 和 AndreaVedaldi。使用残余适配器学习多
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 保险服务门店新年工作计划PPT.pptx
- 车辆安全工作计划PPT.pptx
- ipqc工作总结PPT.pptx
- 车间员工上半年工作总结PPT.pptx
- 保险公司员工的工作总结PPT.pptx
- 报价工作总结PPT.pptx
- 冲压车间实习工作总结PPT.pptx
- ktv周工作总结PPT.pptx
- 保育院总务工作计划PPT.pptx
- xx年度现代教育技术工作总结PPT.pptx
- 出纳的年终总结PPT.pptx
- 贝贝班班级工作计划PPT.pptx
- 变电值班员技术个人工作总结PPT.pptx
- 大学生读书活动策划书PPT.pptx
- 财务出纳月工作总结PPT.pptx
- 大学生“三支一扶”服务期满工作总结(2)PPT.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)