高效的多标记脑肿瘤分割网络FSENet的设计与应用

聚焦、分割和擦除：一种高效的多标记脑肿瘤分割陈轩1 *[0000−0002−6570−1049]，刘俊浩1 *[0000−0002−7538−6759]，Wei Xiong2、Chee-KongChui1[0000−0001−9463−4781]、Sim-Heng Ong1[0000−0003−2766−8150]1新加坡国立大学{xuan.chen，liewjunhao}@ u.nus.edu{mpecck，eleosh}@ nus.edu.sg2 信息通信研究所wxiong@i2r.a-star.edu.sg我们抽象。在多标签脑肿瘤分割中，类不平衡和类间干扰是常见且具有挑战性的问题。在本文中，我们提出了一种新的端到端的可训练网络FSENet来解决上述问题。建议的FSENet具有肿瘤区域池化组件，以限制在肿瘤区域（“focus”）内的预测，从而减少对所述特定非肿瘤区域的内部流动。此外，该网络将更具挑战性的多标记脑肿瘤分割问题分解为若干个简单的片段分割（“片段”），其中，对特定肿瘤组织上的病灶进行分割。为了减少班级之间的干扰，我们在工作中采用了一个简单而有效的想法：我们擦除分割的区域，这是为了表示分割的区域中的每个区域都不存在肿瘤（“擦除”），这减少了不同肿瘤类别之间的竞争。我们的单模型FSENet在多模态脑肿瘤分割基准2015（BraTS 2015）上排名第3，而不依赖于集合或复杂的后处理步骤。保留字：脑肿瘤分割·卷积神经网络·类间干扰1介绍脑肿瘤虽不是常见病，但严重危害患者的健康，死亡率高.自动脑肿瘤分割将极大地帮助医学诊断和治疗规划，因为手动分割是耗时的并且需要高度的专业知识。由于肿瘤在位置、形状、大小和对比度方面的多样性，分割任务非常具有挑战性，这限制了强先验的应用。因此，研究者们花费了大量的时间和精力来研究这一课题。* 作者平均2X. Chen*，J.H.Liew*，W.Xiong，C.K.Chui，S.H.OngFig. 1. FSENet概述。在输入图像上示出了用于恶意使用的操作。 （1）所述共同区域政策首先界定所述共同区域（“FO-CUS”）。 （2）在该多个区域中，每个分类器都将每个片段分配给一个区域（“片段”），并将每个片段分配给一个新的分类器（“分级”），从而形成一个级联框架。最后，将所有分割的组织组合以产生多标记结果。蓝色、绿色、红色和黄色分别表示水肿、增强核心、坏死和非增强核心变暗的区域表示擦除的区域。饼图说明了班级不平衡的问题（最好用彩色显示）用于脑肿瘤分割的方法通常可以分为两类，即，生成方法和判别方法。显式建模肿瘤解剖和外观统计的生成方法[19，23]通常具有更好的泛化能力，但需要更多的专业知识和精心的预处理步骤。判别方法[1，4，7，11，22]虽然严重依赖于训练数据的质量，但可以直接从人类标记的数据中学习任务相关的需求。判别方法的一个示例是机器学习，其已成功应用于该领域。在深度学习时代到来之前，传统的机器学习方法通常依赖于手工特征的专门选择，例如，一阶纹理[1]，直方图和空间位置[4]以及高维多尺度特征的混合[7]以实现良好的性能。然而，通过试错法来穷举地搜索特征的最佳组合另一方面，深度卷积神经网络（DCNN）能够提取更合适的特征用于识别。通过用梯度反向传播逐渐更新网络来自己完成任务，因此在医学图像处理界[2，5，6，10，11，14，20，22，24，25]中得到了普及。多标签脑肿瘤分割中面临的常见问题是类不平衡和类间干扰。阶级不平衡问题表现为两个方面肿瘤与肿瘤组织的非肿瘤比率5.6%百分之十六点八非肿瘤百分之九十八点八百分之十三点四肿瘤百分之一点二64.2%输入目标输入图像“段”结果“(1)肿瘤区域池化（“段”“段”(2)带擦除的级联二进制分类器分类器4分类器3 分类器2分类器1FSENet3方面首先，非肿瘤区域的大小可以是肿瘤病变大小的数十倍或甚至数百倍。第二，一些肿瘤组织比其他肿瘤组织大得多，例如，水肿与水肿。 坏死核心我们将BraTS 2015 [15，18]的训练集中每个类别的统计数据绘制为图1中的饼图1显示阶级不平衡问题。类间干扰是由不同肿瘤组织之间共享的相似特征引起的，导致难以区分每个类，并且还干扰它们的预测。在本文中，我们提出了一种新的网络名为FSENet，旨在解决这些问题。图1示出了所提出的FSENet的概述虽然分割每个肿瘤组织是高度挑战性的，但是将整个肿瘤与非肿瘤区域分离是相对容易的。因此，我们首先用全肿瘤分类器识别肿瘤区域，然后用肿瘤区域合并组件提取肿瘤区域的特征，使得可以通过丢弃大部分阴性样本特征来减轻大的非肿瘤区域的影响。这一步告诉网络它应该注意的地方，在我们的F S E Ne t的“f o c u s”f e u r e处定义。为了减少类间干扰，采用了一个简单而有效的想法：在进行下一肿瘤标记的分割之前擦除先前分割的肿瘤组织。我们首先将多标签分割问题分解成几个二进制子问题，这些子问题更专门用于区分特定的肿瘤组织。进一步采取这一步骤，我们可以根据典型的脑肿瘤结构，即：先水肿，后强化核，坏死，无强化核。此外，在分类器之间引入擦除过程以从特征图中擦除特征，如果它们被先前的分类器确信地分类为前景通常，内部组织，如坏死，在尺寸、形状、对比度和分布上更不规则因此，擦除分割的外部组织类别将减少它们对剩余的更具挑战性的标签的预测的干扰该步骤展示了我们的F S E Ne t的“序列”和“序列”。总的来说，我们的承诺有四个方面：– 我们提出了一个肿瘤区域池化组件，以迫使预测仅在提取的肿瘤区域上进行，以抑制来自占主导地位的非肿瘤区域的负面影响。– 我们建议用一个由级联的二进制分类器组成的组件替换一级多标签分割，以简化和专门化问题，并避免类间干扰。– 我们开发了一个端到端的训练管道，实现了显着的性能提升超过基线（没有提出的组件），只有1.7%的开销。– 我们的单型号FSENet在BraTS 2015排行榜上获得第三名的性能，无需繁重的模型合奏或复杂的后处理步骤。4X. Chen*，J.H.Liew*，W.Xiong，C.K.Chui，S.H.Ong2相关工作类不平衡是医学图像分析中的一个常见问题。例如，在肝脏计算机断层摄影（CT）图像中，病变比肝脏小几倍，并且可能仅占据几个像素。已经提出了各种方法来解决类不平衡问题。一种方法是通过手动过采样或欠采样来保持阳性样本和阴性样本的合理比例[2，9，22]。然而，如在多标签分割中，该方法仅适用于基于块的框架，而不适用于将整个图像作为输入的框架。另一种典型的方法是修改损失函数[5，20]，使得网络对类别不平衡问题不太敏感虽然[20]声称使用Dice损失的有效性与Dice损失不同，加权交叉熵损失[5]更灵活，因为它适用于二进制和多标签分割。然而，它受到加权因子的精心选择的影响。在我们的方法中，我们使用的粗二值分割结果来定位肿瘤区域，然后提取的区域进行精细的多标签分割。通过提取肿瘤区域，非肿瘤样本自然减少，因此对细粒度预测的影响较小。所提出的方法被实现为一个区域池组件，这是能够工作在一个基于图像的框架内，不需要超参数。顺序预测也是处理类不平衡问题的一种可行的方式，以及通过使用几个专门的分类器来简化困难的一阶段多标签其在多标记分割中的有效性序列预测通常通过级联多个模型来实现[2，3，5，8，10，11，25]。第一个模型执行一个类似的功能，我们提出的区域池组件，这是识别感兴趣的区域（ROI）。下面的模型在识别出的RoI的帮助下被训练来处理更例如，在[2]中，用于将整个肿瘤与非肿瘤区域分离的一个3D-UNet与区分不同脑肿瘤组织的第二个3D-UNet级联。级联多个模型的一个明显缺点是，由于端到端训练不适用，因此整体此外，每个CNN提取的深度卷积特征不能被充分利用，从而降低了计算效率。在我们的论文中，我们通过级联分类器而不是级联模型来实现顺序预测，从而使所提出的FSENet可以执行端到端训练。所有分类器共享首先由完全卷积网络提取的特征，而不是像级联模型那样拥有自己的网络，从而可以很好地类似地，级联分类器以更专门和有效的方式解决困难的多标签分割问题主要区别在于分类器之间引入了新的擦除操作，这能够减轻由于不同组织共享的相似特征而在此擦除操作抑制FSENet5擦除擦除掩模分类器1分类器2分类器3分类器4保留单位肿瘤ROI级联二进制分类器关于Erasing…残余水肿T2 T1c T1 FLAIR上下文…RoIAlign肿瘤区域合并保留单元增强核心…保留单元坏死…非增强res-unit核心…Res-UNet图二. 所提出的FSENet的架构。输入通过Res-UNet进行深度卷积特征的提取。全肿瘤分类器产生二元肿瘤/非肿瘤分割以定位肿瘤，然后肿瘤区域池化组件相应地从特征图中提取有效区域。所提取的特征图通过级联的二进制分类器，其中擦除用于在“out-to-o-innn err”或“rd "中对所述序列段进行最小化的计数。擦除过程的示例在左下框中可视化。特征将擦除掩模与Hadamard乘积相乘，得到擦除特征图。对应于由先前分类器产生的置信前景预测的区域的响应。分类器以“外部到内部“的方式级联，以实现特定的分割，并且以外部组织不会干扰内部组织的分割的方式进行3FSENet所提出的FSENet包括两个新颖的组件，即：肿瘤区域池化和具有擦除的级联二元分类器FSENet的架构如图所示。二、按照惯例，所提出的网络的输入是所有四个可用信道的级联，即、对比增强T1加权（T1c）图像、T1加权（T1）图像、T2加权（T2）图像和流体衰减反转恢复（FLAIR）图像，以充分利用多模态信息。我们将输入前馈到全卷积网络，以提取深度卷积特征。特征图通过全肿瘤分类器，该分类器将肿瘤和非肿瘤分离。分类器1分类器2分类器3分类器46X. Chen*，J.H.Liew*，W.Xiong，C.K.Chui，S.H.Ong图三. FSENet中残差单元和分类器的配置。绿色矩形内的部分是残差卷积块（res-conv）。残差单元（res-unit）由两个res-conv组成虚线所示部分仅包括在分类器肿瘤区域。根据二元肿瘤/非肿瘤分割结果，肿瘤区域池化模块知道从特征图中提取肿瘤区域的焦点在哪里，使得可以在后续预测中减轻来自主导非肿瘤区域的负面影响。所提取的特征图被顺序地馈送到具有擦除组件的级联二进制分类器，使得与特定组织相关的更具区别性的表示被强调，从而有利于更准确的逐像素分类。擦除操作有助于抑制类间干扰，并且因此有助于后一类的预测以提高整体性能。最终的多标记分割结果是由四个二元分类器以及全肿瘤分类器给出的预测的融合3.1Res-UNetUNet [24]在医学图像处理[5，6，14]中具有广泛的应用在输出步长大于1的网络中，小而分散的组织的特征和地面真实信息可以完全消失。因此，UNet是合适的选择，因为生成的特征图共享输入图像的大小。为了在不妨碍梯度反向传播的情况下增加网络能力，我们用残差卷积块（res-conv）替换了UNet中的每个卷积层（图2）。3）如[13]中所提出的，其将UNet变成其剩余对应物（Res-UNet）。采用Res-UNet作为我们的主干架构来提取深度卷积特征。然而，所提出的组件可以很容易地推广到任何完全卷积网络，并且不限于此特定的Res-UNet。将全肿瘤二元分类器附接到Res-UNet以将整个肿瘤与非肿瘤区域分割。通过将全肿瘤分类器的预测值P0∈RHXW设为0.5的常数值进行阈值化，可以得到二值肿瘤/非肿瘤分割结果S0∈RHXW利用Res-UNet提取的特征图和二元肿瘤/非肿瘤分割结果S0被进一步用于FSENet的以下组件中，其在下面详细讨论。保留转换雷孔夫N-DBNReLUm-dBNReLU保留单元BNReLUBNReLU乙状1x1转换，13x3转换，m3x3转化率，m3x3转换，n3x3转换，nFSENet73.2肿瘤区域合并脑肿瘤组织通常在MR图像中占据少量像素，而非肿瘤区域比肿瘤大几倍（图1），这导致严重的类别不平衡问题，因此导致学习困难。为了解决这个问题，我们提出使用RoIAlign [12]从原始特征图中提取肿瘤区域的特征，使得以下分类器仅需要关注肿瘤区域以进行后续的细粒度分割。提取肿瘤区域具有两个益处。首先，由于非肿瘤区域包含大的非测量区域（黑色区域），因此可以在其分割上节省计算资源，因为这是相对容易的任务。第二，随后的细粒度多标记分割将不会受到大的非肿瘤区域的存在的阻碍。RoIAlign根据RoI建议定位肿瘤区域，然后将特征图中的有效区域转换为具有固定空间范围HRoI× WRoI的RoI特征图。 基于由全肿瘤分类器生成的二元肿瘤/非肿瘤分割结果S0产生RoI建议。为了避免扭曲问题，ROI建议被设置为包含肿瘤区域的最小正方形边界框。考虑到在从大空间维度到小空间维度的池化操作期间不会丢失太多细节，我们在实验中凭经验将HRoI和WRoI都设置为等于然后，将主要包含与肿瘤区域相关的特征的RoI特征图馈送到具有擦除的四个级联二进制分类器，以将每个像素分类到其正确的目标类。3.3带擦除的类间特征相似性和类不平衡性（图1）。1）通常在不同肿瘤组织中表现出。根据我们的观察（表1中的模型2），在一个阶段中实现最佳多标签分割将是具有挑战性的我们建议将多标签分割问题分成几个二进制问题，而不是同时考虑所有标签，从而将困难的单阶段任务转化为更易于处理的多阶段任务。与多标签分类器不同，每个二元分类器能够学习目标类别的更具区分性的任务相关表示，以用于更准确的二元分割。二元分类器的配置如图所示。3.第三章。然而，简单地将多标签分类器分解成若干二进制对分器可能不一定导致性能的改进。这是因为相对较小和分散的组织（如坏死组织）的预测由于阳性样品的稀缺和来自其他类别的竞争而仍然是困难的。因此，整体性能是次优的，并且应当被改进。 为了解决该问题，我们首先将分类器级联在“外向线性”中，因为它具有特定的结构，即：e. 增强核心区、坏死区、无增强核心区。介绍了一种8X. Chen*，J.H.Liew*，W.Xiong，C.K.Chui，S.H.Ong- 分类器之间的擦除过程，以擦除先前分割的组织的响应，使得通常在尺寸、形状、对比度和分布上更不规则的剩余类免于较早类的竞争和干扰擦除操作是将RoI特征图与擦除掩码逐元素相乘F′=F⊙M（1）其中F和F′分别是RoI特征图和擦除的RoI特征图，M是擦除掩码，⊙是Hadamard乘积。在图1的左下框中示出了演示擦除过程的示例。2.在每个二进制分割阶段之后，RoI特征图中的响应被逐渐擦除，从而导致更少的特征，并且因此导致更困难的肿瘤组织的后续分割中的更少的竞争和干扰假 设 由 每 个 二 元 分 类 器 产 生 的 预 测 表 示 为 Pi∈RHRoI×WRoI ， i∈{1，. . .，4}，其值在范围[0，1]中，指示将对应像素分类到目标类别的置信度。基于预测Pi生成分时掩码Mi：Mi（x，y）=1 −Pi（x，y）（2）其中Mi（x，y）∈[0，1]。擦除掩模是反向注意掩模，其聚焦于未分割区域，同时抑制由先前分类器预测的置信前景区域的响应。而不是完全删除的分割区域通过阈值的预测与一个特定的恒定值，建议擦除掩模只抑制他们的响应在一定程度上根据预测的信心。这避免了阈值的选择，并且允许预测置信度不是很高的区域（通常沿着边界）部分地通过掩码作为以下分割中的支持上下文。为了向分类器提供对整体肿瘤结构的更好理解，我们在我们的FSENet中引入了上下文分支（图1）。2），其包含[26]中提出的金字塔池化模块。多尺度上下文信息与作为分类器的输入的被擦除的RoI特征图级联，从而提供附加参考以辅助分割。3.4损失和最终结果该网络包含一个全肿瘤分类器来识别肿瘤区域和四个类特异性分类器来分割不同的肿瘤组织。对于每个分类器，我们采用交叉熵损失和骰子损失。在医学图像处理界[20]中广泛使用的骰子损失可以定义为：ΣK我掷骰子2=1 −ΣKk=1pkgkΣK（三）k=1pk+k =1gkFSENet9骰子我0其中p，k是像素的预测，g，k是对应的地面实况，K是像素的总数。总损失是所有损失的加权和：L总计= ΣαiLi我Σ+βiLi⑷我其中i ∈ {0，. . . ，4}分别表示全肿瘤分类器和四个类特异性分类器，Li是第i个分类器的交叉熵损失，α i和β i是强调或减轻某个损失的超参数。我们对所有损失赋予同等重要性，因此α i和β i，i ∈ {0，. . . ，4}被设置为1。为了生成最终的多标签分割结果，预测RHRoI×WRoI，i ∈ {1，. . . ，4}首先被投影以具有其原始尺度P′∈RH×W，i ∈ {1，. . . ，4}，其表示每个像素属于该类别的概率。对于非肿瘤类，我们有P′=J−P0，其中J∈RH×W是全一矩阵。通过argmax函数融合五个预测，得到最终的多标签分割结果。4实验4.1数据集和实验设置我们在多标记脑肿瘤分割基准2015（BraTS 2015）[15，18]上评估了所提出的FSENet，其包括4个肿瘤组织类别和一个非肿瘤类别（标记=0）。4种类型的肿瘤组织为坏死（标签=1）、水肿（标签=2）、非增强核心（标签=3）和增强核心（标签=4）。BraTS2015在训练集中包含220个高级别胶质瘤（HGG）病例和54个低级别胶质瘤（LGG）病例，并且在测试集中包含110个每个病例包括四个体积，其对应于四种模态，即、T1、T1c、T2和FLAIR。一个体积由155幅大小为240×240的MR图像组成根据三个预定义区域上的Dice相似性得分（Dice）、阳性预测值（PPV）和灵敏度（Sens）来评估性能即全肿瘤（标记1+2+3+4）、肿瘤核心（标记1+3+4）和活性肿瘤（标记4）。Dice评分、PPV和灵敏度分别定义为：骰子（P，T）=2 |P1∩ T1||+的|T1|T1|PPV（P，T）= |P1∩ T1||P1|Sens（P，T）=|P1∩T1||T1|（五）其中P∈ {0，1}是预测，T∈ {0，1}是基础事实，P1和T1分别是其中P = 1和T = 1的像素集合，并且|·|集合的大小。训练/测试设置在训练阶段，仅使用包含肿瘤组织标记的切片（19676个切片）。我们训练我们的FSENet从10X. Chen*，J.H.Liew*，W.Xiong，C.K.Chui，S.H.Ong最小批量大小等于2的scratch将对应于相同脑部MR切片的T1、T1c、T2和FLAIR对训练和测试集中的所有患者病例进行预处理，以使用基于学习的两步标准化来校正强度不均匀性[21]。在测试阶段，对于每个患者病例，所有155个切片都被馈送到网络中进行推理。我 们 的 实 现 基 于 PyTorch1 平 台 ， 使 用 12GB 内 存 的 NVIDIAGeForceTITAN Xp GPU初始学习率被设置为1× 10−3，并在15个epoch后降低10倍。在部署之前，我们总共对FSENet进行了25个epoch的训练。为了促进学习，我们在训练期间使用地面实况来生成ROI建议。然而，掩码总是基于等式（2）中所述的网络的预测来生成。我们使用随机梯度下降（SGD），动量和权重衰减设置为0。九比零。0005分别。在训练期间，以0.5的概率水平翻转输入图像。不使用其他数据增强。在测试阶段，我们采用水平翻转作为数据增强。简单的连通元分析被应用作为后处理步骤，以去除噪声。我们还试验了更复杂的后处理步骤，如3D denseCRF [16]，但仅观察到边际改善。考虑到在边际增益和沉重的计算成本之间的权衡，我们没有使用任何复杂的后处理技术在其余的实验。还值得一提的是，所有的实验结果都是由一个单一的模型，没有沉重的模型合奏。4.2消融分析我们使用来自训练集的274例患者病例中的220例（220例HGG病例和54例LGG病例）进行了一项系统性消融研究，其余54例用于验证。我们在表1和图1中给出了定量和定性分析。分别为4。为了更好地证明具有擦除模块的级联分类器在减轻类间干扰和有利于困难类的预测方面 的有效性， 我们还报告 了非增强核 心类别上的 平均交集（IoU）得分，这是最难预测的类别，因为它的不规则性和重复性。我们首先研究FSENet中肿瘤区域池化组件的效果。如前所述，肿瘤区域池化有助于缓解类别不平衡问题，使得模型可以专注于学习用于多标记分割的有用的任务相关表示，而没有主要非肿瘤区域的干扰。首先，我们注意到，如果应用正常的交叉熵损失，则没有区域池化组件的模型1无法将几乎所有像素学习和预测相反，我们使用1http://pytorch.org/FSENet11表1.基线与我们的模型型号方法骰子PPVSens平均IoUTRP MultiS上下文擦除W不一W不是W T一10.7440.6860.7210.6160.5770.6890.982 0.910 0.80522.12C0.751↑9. 百分之四0.735↑7. 百分之一0.688↓4. 占6%0.628↑1. 百分之九0.6860.774↑ 18. 9% ↑12. 百分之三0.9650.837 0.659↓ 1. 占7%↓ 8. 0% ↓18.百分之一24.6↑11。百分之三3CC0.8900.776 0.708↑ 19. 6% ↑ 13. 1% ↓1. 百分之八0.8970.8310.788↑ 45。6% ↑ 44. 0% ↑14.百分之四0.8920.768 0.677↓ 9. 2% ↓ 15. 6% ↓15. 百分之九28.1↑27。百分之一4CCC0.8910.775 0.711↑ 19. 8% ↑ 13. 0% ↓1. 百分之四0.9120.843 0.792↑48.1%↑ 46.1%↑ 14.9%0.8780.763 0.675↓ 10. 6% ↓ 16. 2% ↓16.百分之二28.3↑28.1%5CCCC0.8920.782 0.734↑19.9%↑14.0%↑ 1.8%0.9020.8170.766↑ 46。4% ↑ 41. 6% ↑11.百分之二0.8910.790 0.745↓ 9. 3% ↓ 13. 2% ↓7. 百分之五28.3↑28.1%每个度量部分下的三列分别对应于在整个肿瘤（W）、肿瘤核心（T）和活性肿瘤（A）上实现的分数（百分比是相对于M的相对变化）。“T R P”是指使用通用区域聚合物组合物的情况。“多个”意味着多个数据段存储在多个文件中。“CONT E X T”是指如果CONT E X T B R N C H I S处于闭合状态，则会出现“CONT E X T”。“擦除”表示擦除过程。加权交叉熵损失，其中每个类别的加权因子是对应类别的归一化逆频率。我们将相同的加权交叉熵损失应用于模型2以进行公平比较。显然，即使使用加权交叉熵损失函数，模型1仍然给出不令人满意的结果（图2中的第二行）。4））。尽管由于过度地将像素预测为前景类而导致其高灵敏度得分，但是所生成的结果是不期望的。模型2生成更准确的分割结果，并且因此在大多数评估类别中优于模型1，如表1所示。 以下是“focus”设置的效果。为了简化多标签分割任务，我们建议将一阶段多标签分割问题分解为几个二进制分割。我们希望这些更专业的分类器在区分每个类别时表现更好，从而提高整体结果。为了检验这一点，我们还训练了一个模型，该模型将RoI特征图馈送到4个二进制分类器，用于单个肿瘤组织分割（模型3），而模型2则应用softmax层进行一阶段多标签分割。我们发现模型3在大多数指标类别中显著优于模型2，这支持了我们的假设。在模型3中，类间干扰问题仍未解决。更进一步，我们将所提出的擦除过程引入模型4以研究其有效性。然而，与模型3相比，模型4仅实现稍微更好的性能，这可能是由于上下文信息的丢失因此，添加了一个上下文分支以形成模型5。附加的上下文信息为分类器提供参考12X. Chen*，J.H.Liew*，W.Xiong，C.K.Chui，S.H.Ong（b）第（1）款见图4。 基线和FSENet之间的定性比较。 第一行显示了两个示例的地面真值和T1c图像。由基线模型（模型1）生成的分割结果及其对应的误差图像在第二行中示出。由FSENet（模型5）产生的分割结果及其对应的误差图像在第三行中示出 颜色代码与图中相同。1（最好用彩色显示）来了解肿瘤的结构连同上下文分支和擦除过程，模型5在大多数评估指标中优于模型3。所提出的FSENet在Dice相似性得分方面实现了最佳性能，Dice相似性得分是医学图像分割中非常重要的评估度量，并且预测最困难的非增强核心类（表1）。在Res-UNet（约 6550万个参数）之上，FSENet仅引入了约110万个额外参数（约1.7%的开销），以实现与基线（模型1）相比的性能显著提升。我们发现，我们的FSENet可以准确地识别和分割每个肿瘤组织（图1）。4）.图3的第三行中的误差图像。4表示预测误差通常沿边界发生。我们的FSENet的一个值得注意的优点是，没有hyperparameter是required。总体而言，该流水线在处理多标签脑肿瘤分割中的类不平衡和类间干扰问题FSENet13表2. BraTS 2015网络骰子PPVSens2秩W T AW T AW T A浙江[17]0.87 0.75 0.64 0.87 0.81 0.61 0.89 0.75 0.721中文（简体）0.85 0.74 0.64 0.83 0.80 0.63 0.91 0.73 0.722Pereira等人[22日]0.78 0.65 0.75- -- --Kamnitsas等人[14个]0.84 0.63 0.63 0.82 0.85 0.64 0.89 0.62 0.66-FSENet0.85 0.72 0.61 0.86 0.83 0.66 0.86 0.68 0.6334.3与最先进方法的我们通过将测试集结果提交到官方BraTS 2015在线评估平台来评估FSENet的性能。结果报告于表2中。我们还比较了我们提出的FSENet与几个国家的最先进的方法。“zhouc1”和“isenf1”这两种方法然而，由于BraTS 2015不要求参与者在同行评审的出版物中证实他们的成就，我们无法确定作者及其方法的细节。拟议中的FSENet在领导者委员会中排名第三此外，我们还展示了两个国家的最先进的基于CNN的方法，在同一数据集上进行评估的性能。在[22]中，考虑到HGG和LGG的不同特征，分别训练了两个基于补丁的框架，用于HGG和LGG情况下的多标签分割。由[14]提出的名为DeepMedic的多尺度3D CNN具有两个卷积路径，以便更好地利用多尺度特征进行预测。如表2所示，所提出的FSENet实现了有竞争力的单模型性能。我们还提出了几个例子，我们的FSENet在图中生成的分割结果。5，显示了拟议管道的有效性。我们目前无法报告FSENet在BraTS 2017挑战中的表现，因为对数据集的访问仅限于挑战参与者。将来当数据集公开时，将基于BraTS2017数据集进行性能分析。5结论在本文中，我们提出了一个端到端的流水线命名为FSENet的挑战性的多标签脑肿瘤分割任务，它遵循“聚焦，分割和作为”的应用程序。为了解决共同分类器的相似性和干扰问题，引入了两个新的组件，即肿瘤区域池化和带擦除的级联二进制分类器。我们证明了2排名以提交论文时的排行榜为准14X. Chen*，J.H.Liew*，W.Xiong，C.K.Chui，S.H.Ong图五.由所提出的FSENet产生的多标签分割结果的示例。第一行显示了BraTS 2015测试集的T1c图像。我们的FSENet生成的结果显示在第二行中。 颜色代码与图中相同。1（以颜色显示效果更佳）本文讨论了肿瘤区域池化组件的有效性，并且还讨论了其与其他技术相比在其基于图像的多标记分割框架的灵活性方面的优点，并且不受超参数的精心选择的限制带有擦除组件的级联二进制分类器将困难的一阶段多标签分割分为多个二进制分类器，以捕获更具区分性的任务相关特征。此外，为了抑制在强有力的预分配中来自更容易被分割的类别的竞争和干扰，双分类器以“外-内”的方式进行分配，我们展示了所提出的FSENet在基线模型上的优势，证明了所提出的管道的有效性。此外，我们的FSENet在BraTS 2015排行榜上获得了第三名的单模型性能，而无需依赖于沉重的模型合奏或复杂的后处理技术。其他应用，如肝肿瘤分割和整个心脏分割，与多标记脑肿瘤分割共享类似的特征和挑战。我们打算在未来的这些应用程序的FSENet的性能进行调查。6确认我们感谢NVIDIA公司捐赠本研究中使用的Pascal Titan Xp GPU。FSENet15引用1. Bauer，S.，Fejes，T.Slotboom，J.维斯特河Nolte，L.P.，Reyes，M.：基于层次分类和规则化的脑肿瘤图像分割。在：2012年医学图像计算和计算机辅助干预国际会议（MICCAI）BraTS研讨会（2012年）2. Beers，A.，Chang，K.布朗，J.，Sartor，E.，Mammen，C.，Gerstner，E.，Rosen，B.Kalpathy-Cramer，J.：用于生物学上知情的脑肿瘤分割的顺序3D U-NetsarXiv预印本arXiv：1709.02967（2017）3. Casamitjana，A.， Cata`，M.， 我是一个 Combalia，M.， Vilaplana，V. ：CascadedV-Net使用ROI掩模进行脑肿瘤分割。In：International Conference onMedical Image Computing and Computer-Assisted Intervention（MICCAI）BrainLes ionWo rks ho p.pp. 381电影Springer（2017）4. 陈旭，Nguyen，B.P.，Chui，C.K.，Ong，S.H.：自动化脑肿瘤分割-使 用 内 核 字 典 学 习 和 超 像 素 级 特 征 的 站 。 在 ： IEEE In-ternalConferenceonSystems，Man，andCyber netics（SMC）中。pp. 25475. 天啊P.F.埃尔莎法医Ettlinger，F.，Tatavarty，S.，Bickel，M.，Bilic，P.，Rempfler，M.，Armbruster，M.，Hofmann，F.，Dannastasi，M.，等：使用级联全卷积神经网络和3D条件随机场在CT中自动肝脏和病变分割在：国际医学图像压缩和压缩会议-压缩和压缩-压缩（MICCAI）。pp.4156. Ci cek，O.， Abdulkadir，A.， Lienkamp，S. 美国， Br ox，T.， Ronneberger，O. ：3DU-Net：从稀疏注释中学习密集体积分割。医学图像计算和计算机辅助干预国际会议（MICCAI）。pp. 42402TheDog（2016）7. Cobzas，D.，Birkbeck，N.施密特，M.，Jagersand，M.Murtha，A.：三维变分使用高维特征集的脑肿瘤分割在：IEEE Interna-ti onalCo nfere nceo nComputerVisio n（ICCV）中。pp. 一中国（200）8. Colmeiro，R. R.，维拉斯特罗角Grosges，T.：多模态脑肿瘤分割使用3D卷积网络。在：医学图像处理和处理国际会议上-pp. 226电影Springer（2017）9. Feng，X.，中国科学院，Meyer，C.：基于块的3D U-Net用于脑肿瘤分割。间全国医学图像计算和计算机辅助干预会议（MICCAI）（2017）10. Gadermayr，M.，Dombrowski，A.K.，Klinkhammer，B.M.，布尔，P.，Merhof，D.：用于分割肾脏的整个载玻片图像的CNN级联。arXiv预印本arXiv：1708.00251（2017）11. Havei，M.，Davy，A.，沃德-法利，D.，Biard，A.，Courville，A.Bengio，Y.，伙计C.的方法，Jodoin，P.M.，Larochelle，H.：基于深度神经网络的脑肿瘤分割。医学杂志35，1812. He，K.， G.，G.， 做吧，P Girshi ck，R. ：MaskR-CNN。IEEEInternatonal计算机视觉会议（ICCV）（2017）13. 他，K.，张，X.，Ren，S.，孙杰：用于图像识别的深度残差学习。IEEE计算机视觉与模式识别会议（CVPR）pp. 77014. Kamnitsas，K.，莱迪格角Newcombe，V.F.，Simpson，J.P.，A.D.凯恩梅农D.K.吕克特，D.，Glocker，B.：高效的多尺度3D CNN，其具有用于集中式结构片段的完全连接的CRF。医学杂志36，6116X. Chen*，J.H.Liew*，W.Xiong，C.K.Chui，S.H.Ong15. Kistler ， M. ， Bonaretti ， S. ， Pfahrer ， M. ， 尼 克 拉 乌 斯 ， R. ，Bu¨chler，P. ：虚拟用户骨架数据库：生物医学研究与合作的开放存取资源库。Journal of Medical Internet Research 15（11），e245（2013年11月）。https：//doi.org/10.2196/jmir.2930，http://www.jmir.org/2013/11/e245/16. K r¨ahenb u¨hl，P.， K oltun，V. ：在完全连接到带有使用的地理位置的文件时的效率。 I n：AvancesinNeur alI npr o c e s i n g S y s i n g Pr o c e s i ng S ysi ngP r o c e s i n gSys i n g S i n gi pp. 10917. 门泽，B.H.Jakab，A.，Bauer，S.，Kalpathy-Cramer，J.，Farahani，K.Kirby，J.，Burren，Y.，Porz，N.Slotboom，J.维斯特河等：BraTS2015在线评估平台。电子邮件www.virtualskeleton.ch/BRATS/Start201518. 门泽，B.H. Jakab，A.，Bauer，S.，Kalpathy-Cramer，J.，Farahani，K.Kirby，J.，Burren，Y.，Porz，N. Slotboom，J.维斯特河等：多模式脑肿瘤图像分割基准。IEEE Transactions on Medical Imaging34（10），199319. 门泽，B.H.Van Leemput，K.，Lashkari，D.Weber，MA，Ayache，N.，Golland，P.：多模态图像中脑肿瘤分割的生成模型。在：医学图像计算和计算机辅助医学研究国际会议（ MICCAI） 。pp. 15102TheDog（2010）20. Milletari，F.，Navab，N.，Ahmadi，S.A.：V-net：用于体积医学图像分割的全卷积神经网络。第四届国际3D视频会议. pp. 565-571 IEEE（2016）21. 纽 湖 G. ， 你 好 J K. ，Zhang ， X. ： MRI 存 储 系 统 的 新 版 本 。IECTRANSACTIONSONMEDICIMAGIING19（2），14322. Pereira，S.，Pinto，A.，阿尔维斯Silva，C.A.：MRI图像中使用卷积神经网络的脑肿瘤分割IEEE Transactions on Medical Imaging35（5），124023. Prastawa，M.，Bullitt，E.，Ho，S.，Gerig，G.：脑肿瘤分割框架是基于非线性检测的。MedicImageAnalys8（3），27524. Ronneberger，O.