基于先验感知神经网络的腹部多器官分割

10672基于先验感知神经网络的部分监督多器官分割周玉音1李哲2宋白3王冲4陈鑫磊5韩梅6艾略特·菲什曼7艾伦·L. Yuille11约翰霍普金斯大学2谷歌研究3牛津大学4字节跳动公司5Facebook6 PAII Inc.7约翰霍普金斯医学院摘要准确的腹部多器官CT分割对于计算机辅助介入等临床应用至关重要。由于数据注释需要来自有经验的放射科医师的大量人工劳动，因此通常对训练数据进行部分标记，例如，胰腺数据集仅具有标记的胰腺，而将其余部分标记为背景。然而，这些背景标签在多器官分割中可能是误导性的，因为为了解决这些部分标记数据集的背景模糊性，我们提出了先验感知神经网络（PaNN），通过显式地结合腹部器官大小的解剖先验，用特定领域的知识指导训练过程。更具体地，PaNN假设腹部中的平均器官尺寸分布应该近似于它们的经验分布，从完全标记的数据集获得的先验统计由于我们的训练目标很难使用随机梯度下降直接优化，我们建议将其重新表述为最小-最大形式，并通过随机原 始 - 对 偶 梯 度 算 法 对 其 进 行 优 化 。 PaNN 在MICCAI2015挑战赛“脑穹窿之外的多图谱标记”中实现了最先进的性能 我们报告了84.97%的平均Dice得分，超过现有技术3.27%的大幅度。1. 介绍本文主要研究腹部区域的多器官分割问题，该区域包含肝脏、胰腺和肾脏等多个器官。医学图像内部结构的分割，CT扫描是许多临床应用的必要先决条件，例如这项工作的一部分是在周宇音、王冲、陈新蕾和韩梅在谷歌工作时完成的。†同等贡献。图1.几个腹部器官（肝脏、脾脏、左肾、右肾、主动脉、下腔静脉）的3D可视化，以显示患者腹部器官尺寸分布的相似性。计算机辅助诊断、计算机辅助干预和放射治疗。与心脏、脑等其他内部结构相比，腹部器官由于形态结构复杂、软组织对比度低等原因，分割难度要大得多。随着深度卷积神经网络（CNN）的发展，许多医学图像分割问题只有在完全监督可用时才能取得令人满意的结果[33，32，45，41，30，4]。 尽管最近取得了进展，但医学放射学图像的注释这导致缺乏高质量的标记训练数据。更重要的是，如何有效地整合特定领域的专业知识（例如，解剖学先验）与分割模型[10，25]，如器官形状，大小，仍然是一个悬而未决的问题。我们的关键观察结果是，在医学图像分析领域，存在相当数量的腹部CT扫描形式的数据集[31，33，34]，而不是涂鸦[17，36，37]、点[3]和图像级标签[26，27，40]。为了满足不同的研究目标或实际用途，这些数据集被注释为目标不同的器官（腹部器官的子集），例如，胰腺数据集[31]仅标记了胰腺，而将其余部分标记为背景。10673小型完全标记数据集更多部分标记数据集肝脏胃主动脉食管胆囊脾脏肾脏（右）肾脏（左）胰腺IVCAG（R）AG（L）P S静脉图2.概述了用于部分监督多器官分割的拟议PaNN。它是用一小组完全标记的数据集和几个部分标记的数据集训练的。PaNN使网络输出的器官大小分布规则化，使其近似于从完全标记的数据集获得的腹部区域中的先验统计。这项工作的目的是充分利用这些现有的部分注释的数据集，以协助多器官分割，我们称之为部分监督。为了解决部分监督的挑战，直观的解决方案是以半监督的方式直接在标记数据和部分标记数据上简单地训练分割模型[29，2，26]。然而，它1）未能利用医学图像 与自然图像相比自然地更受约束[24]; 2）直观上是误导性的，因为它将未标记的像素/体素视为背景。为了克服这些问题，我们提出了先验感知神经网络（PaNN）通过结合器官大小分布的先验知识来处理这种背景模糊性。我们通过先验感知损失来实现这一点，先验感知损失作为一种辅助和软约束来正则化不同 器 官 的 平 均 输 出 大 小 根 据 解 剖 学 上 的 相 似 性（图）。1）在不同的患者扫描[10，25，15]中，通过来自完全标记数据的统计来估计先验比例。整个流水线如图所示二、重要的是要注意，训练目标很难使用随机梯度下降直接优化。为了解决这个问题，我们建议以最小-最大形式制定我们的目标，这可以通过随机原始-对偶梯度算法进行优化[20]。总而言之，我们的贡献有三个方面：1) 我们提出了先验感知神经网络，它结合了来自医学图像的特定领域的知识，通过使用部分注释的数据集来促进多器官分割。2) 由于训练目标很难用随机梯度下降法直接优化，因此有必要重新定义训练目标。将其以最小-最大形式表示并通过随机原始-对偶梯度进行优化[20]。3) 即使使用更少的注释，PaNN也明显优于以前的最先进技术。达到84。MICCAI 2015挑战赛“Multi-AtlasLabeling Beyond”的97%the2. 相关工作目前，用于语义分割的最成功的深度学习技术源于一个共同的先行者，全卷积网络（FCN）[21]。基于FCN，已经提出了许多最近的先进技术，例如DeepLab[5，6，7]，SegNet [1]，PSPNet [43]，RefineNet [18]等。这些方法大多基于监督学习，因此需要足够数量的标记训练数据来训练。为了应对监督有限的情况，研究人员开始研究弱监督设置[26，27，9]，例如，只有边界框或图像级标签是可用的，并且半监督设置[26，35]，即，使用未标记的数据来扩大训练集。帕潘德里欧等[26]提出EM-适应，其中在期望步骤中估计未知像素的伪标签，并且在最大化步骤中执行标准SGD。Souly等人[35]证明生成对抗网络对于半监督分割的有用性。在医学成像领域，由于标注的困难性，获取足够的标记数据变得更加容易，因为标注必须由专家完成。虽然完全监督的方法（例如，UNet [30]，VoxResNet[4]，DeepMedic [14]，3D-DSN [11]，HNN [32]）在以下方面取得了显著的业绩改善：肝脏#1肝脏#2肝脏#3动态对准胰腺#1胰腺#2胰腺#3PaNN调谐脾脏#1脾脏#2脾脏#310674对于诸如脑MR分割、腹部单器官分割和多器官分割的任务，半监督或弱监督学习仍然是更现实的解决方案。例如，Baiet al. [2]提出了一种基于EM的迭代方法，其中CNN在标记和后处理的未标记集合上交替训练。在[42]中，涉及监督和无监督对抗成本来解决半监督腺体分割。DeepCut [29]表明，也可以通过执行类似[26]的迭代优化方案来利用医学图像分割中的边界框等弱注释。然而，这些方法未能捕获解剖学先验[19]。在医学成像中包括先验与其在自然图像中的使用相比可能具有更大的影响，因为医学图像中的解剖对象在形状、位置、大小等方面自然受到更多约束。最近的一些作品[10，25]证明，这些先验知识可以通过生成模型学习但是这些方法的计算量很大. Kervadec等人[15]提出直接对大小施加不等式约束也是结合解剖先验的有效方法。与这些方法不同，我们建议通过将腹部区域统计信息嵌入训练目标中来从部分注释中学习，这不需要额外的训练预算。3. 先验感知神经网络我们的工作旨在解决多器官分割问题的帮助下，多个现有的部分标记的数据集。给定CT扫描，其中每个元素指示体素的Housefield单位（HU），目标是找到每个像素/体素的预测标签图。3.1. 部分监督我们考虑了一种新的监管范式，部分监督，用于多器官分割。这是由于存在大量数据集，其中仅一个或几个器官以医学图像分析中的腹部CT扫描[31，33，34]的形式标记，这可以作为多器官分割的部分监督（参见补充材料中的列表）。基于领域知识，我们的方法假设了医学图像分析中常见的数据集的以下特征首先，医学图像的扫描协议是标准化的，脑、头颈部、胸部、腹部和骨盆的CT扫描，这意味着其中注释Yl已知并且T个部分标记的数据集SP={SP1，SP2，. SPT}，第t个数据集定义为SPt ={IPt，YPt}。L={1，2，…nL}和P t={1、2、… nPt}分别表示SL和SPt的图像索引。 F或每个元素yij∈YL，yij表示第i幅图像Ii∈IPt中第j个像素的注释，并且从L中选择，其中L表示腹部器官空间，即，L={ 脾 ， 胰 腺 ， 肝 ， . {\fn 方 正 粗 倩 简 体\fs12\b1\bord1\shad1\3cH2F2F2F}对于第t个部分标记数据集SPt，yij∈YPt R1选自L、P、L和R2。在基于2D的分割模型中，第i个输入Ii是来自整个CT扫描的轴向、冠状或矢状视图的切片2D图像[45，32，44，39]。基于3D在分割模型中，Ii是来自整个CT体积的裁剪的3D补丁[8，22]。注意，半监督和全监督是部分监督的两种极端情况，当部分标签的集合是空集（LPt=0）时，且分别等于完备集（LPt=L）。一个简单的解决方案是简单地从完全标记的数据和部分标记的数据训练分割网络，并交替地更新网络参数和部分标记的数据的分割（伪标签）[44，2]。虽然与完全监督的方法相比，这些EM类方法已经实现了显著的改进，但是它们需要高质量的伪标签，并且不能明确地结合关于形状或大小的解剖先验为了解决这个问题，我们提出了一个先验感知神经网络（PaNN），旨在显式嵌入anatomical先验，而不会产生任何额外的预算。更具体地说，通过引入额外的惩罚来强制执行解剖先验，该惩罚充当软约束以正则化器官大小的平均输出分布应该模仿它们的经验比例。通过计算完全标记的数据集的器官大小统计来获得该先验总体框架的概述如图所示。2，详细的培训程序将在下面的章节中介绍。3.2. 事先知道的损失考虑由Θ参数化的分割网络，其输出概率p。 设q∈R（|L|+1）×1是完全标记数据集中的标签分布，其中qlde-划线第l个标签（器官）的比例。然后，我们估计部分标记数据集中像素的平均预测分布为内部结构在一定范围p¯=1ΣTΣ Σpij，（1）根据扫描协议（见图1），①的人。第二，在-内脏器官具有解剖学和空间关系，例如胃肠道，即，胃，十二指肠，小肠-Nt=1i∈Ptj其中pij=[p0，p1，...， p|L|]表示概率v ec-ij ij ij ij睾丸和结肠以固定顺序连接部分监督设置可以正式定义如下。给定一个完全标记的数据集SL={IL，YL}第i个输入切片Ii中第j个像素的tor，N是像素/体素的总数记住，T是总数量。部分标记数据集的BER。10675IJIJIJIJIJ为了嵌入先验知识，先验感知损失被定义为3.3. 推导通过替换Eq。（1）到Eq.（2）e展开q，p′阿普尔转化为标量，我们重写Eq。（2）作为KLmarginal（q|p′），lKL（q|p<$）= −100。 l lll（二）Σ|L|1吨/天L qlogp<$+（1− q）log g（1−p<$）+constJ=−{qllogpl+=−{qlogp<$$>+（1 −q）log（1−p<$）}+const，Cl=0Nijt=1i∈Ptj它测量两个分布的匹配概率，（1−ql）log（1−1ΣTNΣ Σpl）}+ const.通过Kullback-Leibler微分求q和p′。注意在计算时，每个类都被视为一个与其余类。t=1i∈Ptj（六）匹配概率在这里，Eq的基本原理。（2）不同规模的产出分布p′应该近似于它们的经验边际比例q，这一般反映了特定领域的知识。请注意，q是完全标记的训练数据的标签分布的全局估计，它保持不变。因此，H（q）是常数，在网络训练期间可以忽略然而，我们观察到，直接应用随机梯度下降仍然是有问题的，正如我们将在第二节中详细介绍的那样三点三特别是在我们的情况下，我们的最终培训目标是minJL（Θ）+λ1J P（Θ，Y P）+λ2J C（Θ），（3）Θ， YP其中JL（Θ）和JP（Θ，YP）是完全标记数据和部分标记数据的交叉熵损失。并且YP表示计算的伪标签以及来自部分标记的数据集的现有部分标签。 注意，优先权损失JC被用作软全局约束以稳定训练过程。反从等式（2）和Eq。（6）我们可以看到，平均分布-or g大小的减少是对数损失，这与标准的机器学习损失（如Eq.（4）和等式（5）平均值在对数损失之外。而直接用随机梯度下降法求极小值是非常困难的，因为方程（1）所诱导的真实梯度。（2）不是独立项的总和，则随机梯度将内在地有偏[20]。为了弥补这一点，我们建议使用随机原始-对偶梯度优化KL发散项[20]。我们的目标是通过从对数损失中取出样本平均值，将先验感知损失转化为等价的最小-最大问题我们引入了两个辅助变量来辅助优化，原始变量α和对偶变量β。首先，以下恒等式成立-logα=max（αβ+1+log（−β））（7）β由于log函数的特性基于等式 （7）定义ν∈R| L| ×1作为与原始变量p′相关的对偶变量，并定义μ∈R|L|×1作为与原始变量（1−p<$）相关联的对偶变量。然后我们有其中，JL（Θ）定义为：-logp<$l=maxνl.Σp<$lνl+1+log（−νl）1ΣΣΣ|L|.L lLΣ（8）LJL=−Ni∈Ljl=01（yij=l）logpl，（4）-log（1−p<$）=maxµl（1−p<$）µ+1+log（−µ）、其中 pl表示第i个图像中的第j个像素到第 l 个 猫的softmax概率。Jp（Θ，Yp）由下式给出：关于我们|L|其中vl（或μl）表示v（或μ）的第l个亚将其替换为EQ。（2）/Eq.（6）最大化KL发散等价于以下最小-最大优化问题：Σ。Σminmaxqlp<$lνl+1+log（−νl）1JP=−N{1（yij=l）logpl（五）Θν，μLΣ。ΣL lL lt=1i∈Ptjl=0+1（y′10676IJIJ=l）logpl}，+（1−q）LΣ。（1−p<$）µ+1+log（−µ）Σ（九）优惠最小最大qlνl−（1−ql）µlp<$l+qllog（−νl）其中第一项对应于具有其标签YPgiven的像素，即，yij∈LPt. 第二项修正-Θν，μLΣ。Σ+（1−ql）µl+log（−µl），响应于未标记的背景像素，并且YP需要在模型训练期间被估计为一种伪L这使样本平均值脱离对数损失。监督，即，y′∈L − LPt.注意，我们忽略了上面公式中的常数。10677|Z|+| Y|算法1：PaNN的训练过程输入：完全标记的训练数据SL;部分标记的训练数据S P;超参数：λ1，λ2;输出：分割模型Θ;开始在SL上训练分割模型Θ;计算SL上的先验分布q;初始化ν=−1/q和μ=1/（1−q）;重复用Θ估计伪标签YP;通过随机梯度上升更新ν和μ;通过随机梯度下降更新Θ;返回Θ3.4. 模型训练我们考虑训练一个用于多器官分割的完全卷积网络[21，6，30]，其中输入图像是2D切片[39，32，45]或3D裁剪的补丁[8，22]。培训过程可分为两个阶段。在第一阶段，我们只训练完全标记数据集SL通过优化Eq.（4）通过随机梯度下降（也意味着在方程中λ1=0和λ2=0（三））。该阶段的目标是找到网络权重的适当初始化Θ0，这可以稳定训练过程，第二阶段。在第二阶段，我们通过等式在完全标记的数据集SL和部分标记的数据集SP的（三）、可以看出，我们有两组变量，即，网络权重Θ和三个辅助变量{v，μ，YP}。我们采用交替优化，它可以分解成两个子问题：• 修正Θ，更新{ν，μ，Y P}。在给定网络权重Θ的情况下，我们可以首先估计部分标记的数据集SP中的背景像素的伪标记YP。同时，ν和μ的优化是一个极大化问题。因此，我们做随机梯度上升来学习ν和μ。至于初始化，我们分别将ν设为−1/q，将μ设为−1/（1−q）• 修正{ν，μ，Y P}，更新Θ。通过固定三个辅助变量，我们可以通过标准的随机梯度下降来更新网络权重Θ。可以看出，我们的算法被公式化为最小-最大优化。我们总结了算法1中优化的详细过程。4. 实验4.1. 实验装置数据集和评估指标。我们使用MICCAI 2015 Multi-Atlas Abdomen La中beling Challenge作为完全标记的数据集SL，其包含30个腹部CT扫描，总共3779个轴向对比增强腹部临床CT图像。 每例共标注13个解剖结构，包括脾、右肾、左肾、胆囊、胆囊、肝、胃、主动脉、下腔静脉、门静脉、脾静脉、胰腺、左肾上腺、右肾上腺。每个CT体积由85 ×198个512×512像素的切片，具有体素空间分辨率的（0。54块54]×[0. 98块98]×[2. 五块五。0]）mm3。对于部分标记的数据集SP，我们使用脾脏分割数据集1（称为A）、胰腺分割数据集2（称为B）和肝脏分割数据集1（称为C）。为了使这些部分标记的数据集平衡，从每个数据集中数据集构成部分监督。在标准交叉验证评估[33，32，23，45，39]之后，我们将完全标记的数据集SL随机划分为5个互补折叠，每个折叠包含6个病例，然后应用标准5折叠交叉验证。对于每个折叠，我们使用4个折叠（即，24例）作为对剩余褶皱的全面监督和测试。我 们 使 用 的 评 估 度 量 是 Dice-Sørensen 系 数（DSC），其测量预测体素集合Z与地面实况集合Y之间的相似性。 其数学定义为DSC（Z，Y）=2×| Z Y|.我们报告用于性能评价的13个实施详情。与[45，32，33，39]类似，我们使用[-125，275]HU的软组织CT窗口范围然后将每个切片的强度重新调整为[0]。02550]。[0，15]的随机旋转用作在线数据扩充。我们的实现是基于当前的状态-最先进的2D3 [7，6]和3D模型4[30，28]。我们提供了一个广泛的研究如何部分标记的数据集facilitate多器官分割任务，并在不同的设置下列出彻底的比较。如第3.4、整个培训程序分为两个阶段。第一阶段与全监督训练相同，即，我们专门训练完全标记的数据集SL，用于一定数量的迭代M1。在第二阶段，我们切换到M2次迭代的完全标记数据集和部分标记数据集的并集上的最小-最大在每个小批中，标记数据和部分标记数据的采样率为三比一。有人建议[2]，1可在http://medicaldecathlon.com上查阅2可登录https://wiki.cancerimagingarchive.net/display/Public/Pancreas-CT获取3https://github.com/tensorflow/models/tree/硕士/研究/deeplab4https://github.com/DLTK/DLTK10678模型监督部分标记数据集平均骰子A B C充分0.7535✓✓✓✓✓✓0.7593半自动[2]0.76320.75960.7669✓✓✓✓✓✓0.7650ResNet50 [12]部分（我方）0.76620.76310.7705✓✓✓✓✓✓0.7716PaNN（我们的）0.77120.77050.7833充分0.7614✓✓✓✓✓✓0.7637半自动[2]0.76490.76470.7719✓✓✓✓✓✓0.7714ResNet101 [12]部分（我方）0.76950.76840.7735✓✓✓✓✓✓0.7770PaNN（我们的）0.78190.77480.79043D-UNet [8]3D-UNet-fully-sup0.7066半自动[2]部分（我方）PaNN（我们的）✓ ✓ ✓✓ ✓ ✓✓ ✓ ✓0.71930.71630.7208表1.性能比较（DSC）与全监督和半监督方法。粗体下划线表示最佳结果，粗体表示次佳结果。以在每次迭代中更新伪标签YP因此，在实践中，YP每10 K次迭代更新一次。此外，超参数λ1和λ2被设置为1。0和0。1，分别。学习率的衰减策略与第一阶段相同。在第二阶段，最小化步骤和最大化步骤的初始学习速率分别设置为10- 5和2×10- 5对于2D实现，第一阶段的初始学习率为2×10−5，并采用多学习率策略M1和M2分别设置为40K和30K。在[33，7，14]之后，我们应用多尺度输入（尺度因子为{0。75，1。0，1。25，1。五一75，2。0}）在训练和测试阶段。 对于3D实现，第一阶段的初始学习率为5e-4，并采用固定的学习率策略。M1和M2分别设置为80K和1004.2. 实验比较我们将所提出的PaNN与一系列最先进的算法进行比较，包括1）全监督方法（表示为“-fully-sup”），其中我们仅在完全标记的数据集SL上进行训练，2）半监督方法（表示为“-semi-sup”），其中我们在完全标记的数据集SL和部分标记的数据集SP上训练网络，同时处理SP作为一个按照代表性方法[2]标记，以及3）朴素部分监督方法（表示为与PaNN不同，我们在等式中设置λ2=0。（3）验证事前知悉损失的有效性。部分监督的好处。如表1所示，在三种监督方式中，部分监督的绩效最好，其次是半监督和完全监督。观察到这样的现象并不奇怪，原因有二。首先，与完全监督相比，半监督具有更多的训练数据，尽管其中一部分没有注释。其次，与半监督相比，部分监督涉及更多的感兴趣器官的注释像素。PaNN的效果从表1中，PaNN通常比朴素的部分监督方法实现更好的性能，这证明了我们提出的PaNN的有效性。例如，当将部分数据集设置为A，B和C的并集时，PaNN使用2D模型或3D模型都能获得最佳结果。与3D模型相比，2D模型通常在每个设置中观察到更好的性能这可能是因为目前3D模型仅作用于局部片（例如，64×64×64），这导致缺乏整体信息[38]。一个德-2D和3D模型的尾讨论列于[16]中。更具体地说，PaNN优于朴素部分 监督方法1。28% 使用ResNet-50 ，1.69%，ResNet-101作为骨干模型。此外，我们还观察到令人信服的性能增益为0。45%使用3D UNet [8，30]作为骨干模型。同时，通过增加部分标记数据集的数量（从仅使用A，B或C到三个的合并），不同方法的性能改进例如，以ResNet-101为骨干，在半监督下获得的最大改进为0。82%（从76。37%到77。19%），而且部分监督为0。51%（从76。84%到77。35%）。相比之下，PaNN获得了更显着的改善1。56%（从77。48%到79。04%）。这样的观察表明，PaNN能够处理更多的部分标记的训练数据，并且不太容易受到背景模糊性的影响。逐器官分析为了揭示PaNN的详细效果，我们在图中呈现了一个器官接一个器官的分析3 .第三章。我们使用ResNet-50作为主干模型（ResNet-101具有类似的趋势）和部分标记的数据集C（表明肝脏是靶器官）。图 3，我们观察到几乎每个器官的完全监督方法都有明显的统计学改善（p值p<0. 001保持所有腹部器官的11/13）。对于那些困难的或-10679图3. 13个腹部结构的箱形图中的性能比较（DSC），其中部分标记的数据集C与ResNet-50一起用作骨干模型。我们提出的PaNN提高了整体平均DSC，也降低了标准差。Kidney/AG（R）、Kidney/AG（L）分别代表右肾/肾上腺和左肾/肾上腺。名称脾肾脏（R）肾脏（L）胆囊食管肝主动脉IVC平均骰子平均表面距离Hausdorff距离[33]第三十三话0.9260.8660.8970.6290.7270.9480.8520.7910.7821.93626.095[13]第十三话0.9200.8940.9150.6040.6920.9480.8570.8280.7902.26225.504[28]第二十八话0.9390.8950.9150.7110.7430.9620.8910.8260.8151.86162.872结果13个器官p0.70.8900.8980.8830.6850.7540.9360.8700.8190.8174.55938.661PaNN*（我们的）0.9610.9010.9430.7040.7830.9720.9130.8350.8321.64125.176PaNN（我们的）0.9680.9200.9530.7290.7900.9740.9250.8470.8501.45018.468表2. 2015年MICCAI Multi-Atlas腹部标签挑战排行榜上的性能比较。我们的方法实现了最大的Dice分数和最小的平均表面距离和Hausdorff距离。PaNN* 仅使用80%的训练数据作为完全监督数据集，并使用其余20%的数据作为部分标记数据（通过随机删除8/13个器官的标签），而不使用额外的数据。在本表中，由于空间限制，我们仅显示8/13个器官甘斯，即，小尺寸或具有复杂几何特征的器官，如胆囊（来自67，26%到72。26%）、食管（69. 35%到7121%），胃(from 84. 09% 至 87 。 21% ） 、 IVC （ 从 77. 34% 到8070%）门静脉&脾静脉（66. 74%到68。75%），泛- creas（从71 。 45% 到 73 。 62% ） 、 右 肾 上 腺 （ 53. 65% 到 5556%）和左肾上腺（49。51%到53。63%）。这一令人鼓舞的结果表明，我们的方法从额外的知识部分标记的数据和正则化损失可以帮助促进网络在一定程度上增强区别性信息。同时，我们还观察到除了部分标记结构之外的器官的明显性能改善（即，肝脏）。如胆囊、胃、下腔静脉、胰腺等功能均由68. 百分之九十七，八十五。百分之五十七78岁百分之五十九七十一94%到72百分之二十六 87岁21%，80。百分之七十七十三。分别为62%。这表明PaNN的优越性不仅源于更多的训练数据，而且还源于PaNN可以有效地结合腹部器官大小的解剖学先验，这是有助于多器官分割。定性评价。我们还展示了一组定性的例子，即，3例5层切片，见图1。4，我们放大以可视化改进区域的更精细细节。在这些样本中，我们观察到PaNN是唯一成功检测胰腺尾的方法。第4（a）段。在图4（b）中，所有其他方法都无法检测门静脉和脾静脉，而PaNN证明了这些静脉的几乎完美的检测。对于图4（c）至图4（e），除了胰腺的明显改善之外，左肾上腺（最小的腹部器官之一）也被PaNN清楚地分割。4.3. MICCAI 2015 Multi Atlas标签挑战赛我们在2015年MICCAI Multi-Atlas Ab- domen标签挑战中测试了我们的模型我们提交的顶级模型（在表2中表示为本挑战中采用的评价指标包括Dice评分、平均表面距离[32]和Haus-dorff距离[22]。我们将PaNN与表2中挑战排行榜的其他顶级提交进行了比较。正如它所示，提出的PaNN实现了最佳性能下的所有三个评价指标，很容易超越先验最佳结果的大幅度。在不使用任何附加数据并且甚至从挑战数据中随机移除部分标签的情况下，我们的方法（在表2中表示为“PaNN*”）仍然获得83的最新结果。17%，超过了此前的最好成绩，1.00.90.80.70.60.50.40.30.20.1全 监 督 半 监 督PaNN脾肾（R）肾脏（左）胆囊食管胃主动脉下腔静脉&胰腺AG（右）AG（左）DSC10680GroundTruth完全监督半监督部分监督PaNN（一）（b）第（1）款（c）第（1）款（d）其他事项（e）图4.不同方法的定性比较，其中部分标记的数据集C用作部分监督，ResNet-101作为骨干模型。我们展示了3个案例（5个切片）作为例子。改进的分割区域从轴向视图放大，以显示更精细的细节。器官完全监督半监督部分监督（我们的）PaNN（我们的）胆囊0.82250.83990.8465零点八四六七主动脉0.91100.90960.91210.9133IVC0.80830.81750.79950.8266胰腺0.78310.79940.80790.8193avg. 骰子0.90080.90600.90630.9103表3.在新收集的数据集上进行性能比较。完整结果见补充材料。DLTK UNet [28]在平均骰子中增加2%。值得注意的是，由于我们只使用2D单视图算法，因此我们的方法远远没有达到其潜在的最大性能。有人建议[45，38，44]使用多视图算法或模型集成可以进一步提高性能。4.4. 推广到其他数据集我们还将我们的算法应用于一组不同的临床CT图像，其中20例用于训练，15例用于测试。手动标记总共9个结构（脾、右肾、左肾、胆囊、肝脏、胃、主动脉、IVC、胰腺）。每个病例由四位经验丰富的放射科医生进行分割，由一位独立的资深专家证实。每个CT体积由512 × 512像素的319×1051个切片组成，并且具有体素空间分辨率（[0. 523块977]×[0. 523块977]×0. 5）mm3。我们使用所有3个数据集A、B和C的并集作为部分监督。结果总结在表3中，其中所提出的PaNN还实现了与现有方法相比，效果更好。5. 结论在这项工作中，我们提出了PaNN，用于多器官分割，作为一种更好地利用现有部分标记数据集的方法。 在诸如放射治疗或计算机辅助外科手术的若干应用中，内科医生和外科医生已经进行了目标结构的分割。同时，为了处理部分标记数据所带来的背景模糊性，提出的PaNN通过正则化网络输出的器官大小分布来利用解剖学先验，使其在腹部区域的先验统计我们提出的PaNN使用最先进的模型显示出有希望的结果。鸣谢。 这项工作得到了Lustgarten胰腺癌研究基金会的部分支持。10681引用[1] Alex Kendall Badrinarayanan，Vijay和Roberto Cipolla。Segnet：用于图像分割的深度卷积编码器-解码器架构。IEEE Transactions on pattern analysis and machineintelligence，39（12）：2481-2495，2017。2[2] Wenjia Bai 、 Ozan Oktay 、 Matthew Sinclair 、 HideakiSuzuki 、 Martin Rajchl 、 Giacomo Tarroni 、 BenGlocker 、 Andrew King 、 Paul M Matthews 和 DanielRueckert。基于网络的心脏磁共振图像分割的半监督学习在MICCAI，2017年。二三五六[3] Amy Bearman，Olga Russakovsky，Vittorio Ferrari和LiFei-Fei。这有什么意义：带有点监督的语义分割。在欧洲计算机视觉会议上，第549-565页，2016年。1[4] 陈昊、齐斗、余乐泉、秦静、衡平安。Voxresnet：用于 3d mr 图 像 脑 分 割 的 深 度 体 素 残 差 网 络 。NeuroImage，2017. 一、二[5] 陈良杰，乔纳森T巴伦，乔治帕潘德里欧，凯文墨菲，和艾伦L尤伊尔。语义图像分割与特定任务的边缘检测使用cnn和区分训练域变换。在CVPR，2016年。2[6] Liang-ChiehChen ， GeorgePapandreou ， IasonasKokkinos，Kevin Murphy，and Alan L Yuille.Deeplab：使用深度卷积网络、atrous卷积和全连接crfs进行语义IEEE Transactions on Pattern Analysis and MachineIntelligence，40（4）：834-848，2018。二、五[7] Liang-Chieh Chen，Yukun Zhu，George Papandreou，Flo- rian Schroff，and Hartwig Adam.用于语义图像分割的具有粗糙可分离卷积的编码器-解码器。2018. 二、五、六[8] O¨zgu¨ nC¨ic¨ek ， AhmedAbdulkadir ， SoerenSLienkamp ，Thomas Brox，and Olaf Ronneberger.3d u-net：从稀疏注释学习密集体积分割。在MICCAI，2016. 三五六[9] 戴季峰、何开明、孙建。Boxsup：利用边界框来监督卷积网络进行语义分割。在ICCV，2015年。2[10] Adrian V Dalca，John Guttag，and Mert R Sabuncu.用于非监督生物医学分割的卷积网络中的解剖学先验。在IEEE计算机视觉和模式识别会议论文集，第9290-9299页，2018年。一、二、三[11] 七斗，陈昊，金月明，余乐泉，秦静，恒平安。基于深度监督网络的CT肝脏自动分割在MICCAI，2016.2[12] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在CVPR，2016年。6[13] 马蒂亚斯·海因里希基于行为、自相似上下文和联合融合的多器官分割。2015. 7[14] Konstantinos Kamnitsas 、 Christian Ledig 、 Virginia FJNew- combe 、 Joanna P Simpson 、 Andrew D Kane 、David K Menon、Daniel Rueckert和Ben Glocker。高效的多尺度三维cnn与全连接的crf准确的脑病变分割。医学图像分析，36：61-78，2017。二、六[15] Hoel Kervadec，Jose Dolz，Meng Tang，Eric Granger，Yuri Boykov，and Ismail Ben Ayed.弱监督分割的约束cnn损失。医学图像分析，2019。二、三[16] 马修·赖医学图像分割的深度学习。arXiv预印本arXiv：1505.02000，2015年。6[17] Di Lin，Jifeng Dai，Jiaya Jia，Kaiming He，and JianSun. Scribblesup：用于语义分割的Scribble-supervised卷积 网 络 在 Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition，pages 31591[18] Guosheng Lin，Anton Milan，Chunhua Shen，and Ian DReid. Refinenet：用于高分辨率语义分割的多路径细化网络。在CVPR，2017年。2[19] Geert Litjens、Thijs Kooi、Babak Ehteshami Bejnordi、Ar- naud Arindra Adiyoso Setio 、 Francesco Ciompi 、Mohsen Ghafoorian、Jeroen Awm Van Der Laak、BramVan Gin-ne k en和ClaraISa'nchez。深度学习在医学图像分析中的应用医学图像分析，42：60-88，2017。3[20] 刘宇，陈建树，李登。一种利用序列输出统计的无监督学习方法。在NIPS，2017年。二、四[21] 乔纳森·朗埃文·谢尔哈默和特雷弗·达雷尔用于语义分段的全卷积网络。CVPR，2015。二、五[22] F.米列塔里N. Navab和S. A.艾哈迈迪V-net：用于体积医学图像分割的全卷积神经网络。2016年国际3D视觉会议。三、五、七[23] Isabella Nogues，Le Lu，Dallong Wang，Holger Roth，Gedas Bertasius ， Nathan Lay ， Jianbo Shi ， YohannesTse-hay，and Ronald M Summers.基于整体嵌套神经网络和结构优化的ct图像淋巴结在MICCAI，2016. 5[24] Masoud S Nosrati和Ghassan Hamarneh。医学图像分割中先 验 知 识 的 简 化 ： 调 查 。 arXiv 预 印 本 arXiv ：1607.01092，2016。2[25] Ozan Oktay，Enzo Ferrante，Konstantinos Kamnitsas，Mattias Heinrich，Wenjia Bai，Jose Caballero，Stuart ACook