区域感知融合网络用于不完全多模态脑肿瘤分割

3975RFNet：区域感知融合网络用于不完全多模态脑肿瘤分割余杭鼎1，2新余2益阳2*1百度研究2悉尼科技大学ReLERdyh.ustc. gmail.com，{ xin.yu，yi.yang} @ uts.edu.au摘要大多数现有的脑肿瘤分割方法通常利用多模态磁共振成像（MRI）图像来实现高分割性能。然而，在临床实践中经常发生丢失某些模态图像的问题，从而导致严重的分割性能下降。在这项工作中，我们提出了一个区域感知的融合网络（RFNet），能够exploit不同的组合的多模态数据自适应和有效的肿瘤分割。考虑到不同的模式对不同的脑肿瘤区域敏感，我们设计了一个区域感知的融合模块（RFM）Flair T1c T1T2标签在RFNet中，根据不同的区域从可用的图像模态进行模态特征融合。受益于RFM，RFNet可以通过有效地聚集模态特征来自适应地从不完整的多模态图像集中分割肿瘤区域。此外，我们还开发了一个基于分割的正则化器，以防止RFNet的不充分和不平衡的训练所造成的不完整的多模态数据。具体而言，除了从融合模态特征获得分割结果之外，我们还从相应的编码特征中单独分割每个图像模态。以这种方式，每个模态编码器被迫学习区别性特征，从而提高融合特征的表示能力。 值得注意 的是， 在BRATS2020 、BRATS2018和BRATS2015数据集上的大量实验表明，我们的RFNet显著优于最先进的技术。1. 介绍脑肿瘤分割的目的是分割不同的脑肿瘤区域，对于临床评估和手术计划至关重要为了提高分割精度，大多数现有方法[16，43，17，29，11，4，38]同时使用四种模态，即流体衰减*这项工作是丁宇航在百度研究院实习时完成的。易阳为通讯作者。图1.图示了模态对不同脑肿瘤区域的不同灵敏度。从左至右：四种模态的图像，即，显示了三名患者的Flair、T1c、T1和T2以及相应的标记。在分割结果中，不同的颜色表示不同的脑肿瘤区域。反转恢复（Flair），增强T1加权（T1c）、T1加权（T1）和T2加权（T2）。然而，在临床实践中，由于不同的扫描协议和患者条件，丢失模态问题非常常见。因此，这些标准的脑肿瘤分割网络不能在实践中直接部署。已经提出了不完全多模态脑肿瘤分割方法[3，10，14，44Havaei等人[14]和Dorentet al. [10]计算作为融合特征的可访问多模态特征的均值和方差。然而，这种融合平等地对待每种模态，而不管不同的缺失场景，因此可能无法有效地聚合特征后来，Chenet al.[3]和Zhouet al.[44]利用注意力机制来强调不同无障碍模式的贡献。然而，它们没有充分利用肿瘤区域与图像模式之间的关系特别地，不同的模态包含不同的外观，因此对不同的肿瘤区域具有不同的敏感性例如，如在图1中可见。1、T1c对红色和蓝色肿瘤区域更敏感，而Flair和T23976为绿色肿瘤区域提供更多信息。这一观察结果促使我们应该对不同的模态和不同的区域给予不同的关注，以实现准确的脑肿瘤分割。考虑到模态和区域之间的关系，我们提出了一个区域感知的融合网络（RFNet）聚合各种可访问的多模态特征从不同的区域自适应。我们的RFNet是由一个编码器-解码器架构，其中四个编码器被用来从不同的模态图像中提取特征。为了建立图像模态和肿瘤区域之间的关系，我们在RFNet中引入了区域感知融合模块（RFM）RFM首先将模态特征划分为不同的区域（即，Tumor子结构）。概率图指示每个像素处的肿瘤区域的概率。然后，RFM在每个区域中生成相应的注意力权重，以自适应地控制不同图像模态的贡献。由于脑肿瘤通常占据大脑的一小部分因此，我们防止全局特征在数值上太小。然后，我们采用两个完全连接的层和一个sigmoid激活来获得图像模态和肿瘤区域的全局特征的注意力权重以这种方式，RFM将为对某些肿瘤区域更敏感的模态生成更大的权重，从而导致用于准确分割的有区别的融合特征。由于缺少异模态数据，RFNet将面临不平衡训练的问题。具体来说，RFNet可能会尝试从多模态数据中寻找最简单的方法来分割脑肿瘤。换句话说，网络主要通过利用对区域敏感的模态而不是所有模态信息来分割每个区域。然而，当一些模态缺失时，这将导致较差的分割准确性。为了解决这个问题，我们开发了一个基于分割的正则化。特别地，采用权重共享解码器来单独地分割每个模态。以这种方式，每个模态编码器被迫学习所有肿瘤区域的区别特征。因此，RFNet可以分割不同的区域，甚至当一些模态丢失。受 益 于 所 提 出 的 融 合 模 块 和 正 则 化 器 ， RFNet 在BRATS2020，BRATS2018和BRATS2015上实现了比最先进方法更高的准确性。这证明了我们方法的优越性。总的来说，我们的贡献有三个方面：• 我们提出了一个区域感知的融合网络（RFNet）不完整的多模态脑肿瘤分割。特别地，我们引入了一个新的区域感知融合模块（RFM），明确考虑到模态和区域之间的关系。与RFM的帮助下，RFNet有效地聚合不同的组合模式的功能，并产生区分融合功能的分割。• 为了解决RFNet的不平衡训练问题，我们提出了一种基于分割的正则化器。所提出的正则化器强制每个模态编码器产生用于分割所有肿瘤区域的判别特征，从而进一步提高融合特征的判别性。• 利用所提出的融合模块和正则化器，RFNet在广泛 使 用 的 BRATS2020 、 BRATS2018 和BRATS2015基准上实现了与最先进技术相比更高的分割2. 相关工作在本节中，我们简要回顾了不完全多模态脑肿瘤分割的最相关的工作。此外，由于我们提出了一个特征融合模块来解决丢失的模态问题，现有的深度多模态融合方法也进行了审查。2.1. 不完全多模态肿瘤分割不完整数据在实际应用中非常常见，例如缺乏注释问题[40，31，8]和缺失模态问题[37，28，19，42]。在这项工作中，我们专注于不完整的多模态脑肿瘤分割，其目的是从各种缺失的异模态MRI图像中分割脑肿瘤。因此，与标准的脑肿瘤分割[13，21，41，23]相比，从不完整的多模态数据分割脑肿瘤更实用，但更具挑战性。Shen等人[24]将各种缺失模态视为不同的域，然后利用对抗学习将来自这些域的图像投影到分割期间的统一特征空间中。然而，由于难以同时对齐不同的和多样化的分布，因此他们的方法只能处理少量的缺失模态。Zhou等[44]根据不同模态之间的相关性生成缺失模态然而，当很少模态可用时，他们的方法可能不适合，因为仅一个或两个模态不足以为缺失的模态生成可靠的特征。除了特征对齐[24]和特征补充[44]之外，几个先前的作品[10，3，14]试图利用特征融合来解决缺失模态问题：Havaei等人[14]通过计算可用特征的均值和方差来聚合部分模态。Dorent等人[10]通过采用多模态变分法3977--自动编码器Chen等人[3]通过级联聚合不完整模态，并联合利用特征解纠缠以获得模态不变和判别表示。然而，这些现有技术都没有充分考虑脑肿瘤区域与不同模态之间的关系，因此没有有效地聚集特征。相比之下，我们的RFNet以区域感知的方式融合特征，从而获得每个区域分割的判别信息。此外，我们还提出了一个基于分割的正则化器，以促进RFNet的训练过程2.2. 深度多模态融合近年来，已经见证了多模态应用[36，12，2，30，1]的激增，例如多视图分类[12，39]，多视图定位[25，26，27]，视觉问答[2]和视觉识别[12，12，2，30，1]。语言导航[1，33，5]相应地，有效的多模态融合技术[34，22，9]也受到了大量的研究关注。Wang等人[34]提出了一种通道交换网络，以无参数的方式聚合模态，而Perez-Rua等人。[22]采用结构搜索法对给定的数据集设计最优的特征融合模块。Dolz等人[9]不仅在每个模态网络中而且在两个模态嵌入网络之间引入密集连接与以前的工作不同，我们显式地考虑到图像模态和肿瘤区域/子结构之间的关系因此，我们的RFM能够自适应地融合不同的模态特征，从而产生更多的判别特征进行分割。3. 该方法在这项工作中，我们设计了RFNet不完全多模态脑肿瘤分割。特别是，我们开发了一个RFM模块，有效地利用现有的方式在功能融合。此外，我们还提出了一个基于分割的正则化，以进一步提高每个模态编码器的特征表示，从而facilitating最终的分割性能。在本节中，我们将详细介绍我们设计的RFNet以及提出的正则化项。3.1. 任务定义不完全多模态脑肿瘤分割旨在分割三个脑肿瘤区域，即整个肿瘤、肿瘤核心和增强肿瘤，来自多模态MRI图像的各种组合，包括Flair、T1c、T1和T2。整个肿瘤由所有三个肿瘤亚区域组成，即，坏死和非增强肿瘤核心（NCR/NET）、瘤周水肿（ED）和GD增强肿瘤（ET）。肿瘤核心由四模态编码器T2Rand简体c∈Ω ���维姆&简体中&C⊛L！“s$l（）**+编号&Fl/01*1C∈Ω2���m×2���������2c⊛第2号c∈Ωm33c第三张×2⊛：卷积价格$2C∈Ω美元/美元δm维姆×2：乘法联系我们$d编权值分担译码器⊗ ⊛C ：连接×2：上采样Ω：{Flair，T1c，T1，T2}图2.我们提出的RFNet的插图四个编码器，即，EFlair、ET1c、ET1和ET2分别从四种模态中提取特征。 Dsep是我们基于分割的正则化器网络，而Dfuse与设计的RFM用于获得最终的分割预测。 δ m模拟不同的缺失场景。NCR/NET与ET的关系，而增强肿瘤则与ET有关。图1分别以红色、绿色和蓝色示出了NCR/NET、ED和ET为了衡量我们提出的方法对各种缺失的情况下，我们评估其分割结果的所有15个组合的四种图像模式和平均分数报告比较。在训练过程中，所有模态和标签都可用，我们通过将缺失的模态特征设置为零来模拟缺失的场景。3.2. 体系结构概述我们采用具有后期融合策略的3D U-Net [6]架构来构建我们的RFNet。 如 图二、四个编码器，即，Emm∈{Flair， T1 c， T1， T2}分别从四种模态中提取特征。解码器Dsep被设计成分割每个模态separately，从而协助我们的四个编码器在学习代表性的区域特征。此外，D_sep共享用于四个图像模态的权重被投射到一个共享的潜在空间。这也显著地促进了后续的特征聚合和融合。解码器D融合器被设计为从聚合特征获得最终分割结果，如图10中可见。图二.在每个阶段，编码器的功能融合的RFM设计。注意，RFM不仅采用四个编码器特征，而且还采用来自先前层的特征作为输入。这是因为先前的层特征可以用于嵌入肿瘤区域的语义信息，从而使RFM区域感知。在瓶颈（即，第四阶段S4），则不存在可用于RFM的先前层特征。因此，我们利用额外的卷积层来将编码器特征嵌入到图1中的融合模块的语义特征中。二、3978·不i、jJ i、jJK，分别。 αk是区域k的权重，并且H· W· ZΣΣΣi、j3.3. 区域感知融合模块考虑到图像模态对不同区域的不同灵敏度，如图12所示1，我们的RFNet旨在对每个地区的不同模式给予不同的关注。以这种方式，可以获得肿瘤区域的判别特征，从而提高分割精度。 为此，我们开发了RFM模块，其被设计为以区域感知的方式融合可用的模态特征，如图1B中可见。3.第三章。RFM主要由概率图学习和区域感知的多模态特征融合两部分概率图学习：为了实现区域感知特征，我们的RFM首先学习概率图，该概率图指示每个位置处的脑肿瘤结构（包括健康脑区域）的概率。如图3，从前一层fde的解码器特征和可用的编码器获得概率图特征© m∈Ω[f mδm]。使用编码器功能是因为它们提供了更详细的空间信息-并且可以提高概率图的准确性。©表示连接操作，而Ω表示模态集，包括Flair、T1c、T1和T2。δm被设置为0或1，指示m模态是否缺失。概率图学习过程被定义为：exp（j（fpm;θj））δ天赋⊗NCR/N0T⊗F（）*+W⊛关注模块123eNCR/N0TδT1c⊗0TT1&W⊛关注模块C123e0T⊛CcδT1⊗联系我们���T1W ⊛关注模块123e04δT2⊗中国56简体⊛cW⊛关注模块123e56上采样L78伊尔德我的博客是第78地面实况不同区域特征：：NCR/NET：ET：ED：BG不同模态特征：：Flair：T1c：T1：T2：融合功能：乘法c：级联：卷积w：加权和图3.我们的区域感知融合模块（RFM）的插图。首先学习概率图，将多模态特征划分为不同的区域。然后，设计注意力机制以区域感知的方式聚合特征。下午i，j（一）yi，j =Σexp（（fpm;θ）），哪里 fpmi、j表示来自fde的要素i、j和αk= 1−Σykk′∈Kyk′1. LDL被公式化为：©m∈ΩΣfm·δmΣ。i和j表示第i个对象，并且Ti、j第j级/级别。ypm是LDL（y，y）=1−Σ2·ykyk1、 （四）学习概率图。表示区域分类器并且θj是相应的参数。K表示脑肿瘤区域集合，包括BG（背景）、NCR/NET、ED和ET。概率图（如图所示）4）在地面实况的监督下通过加权交叉熵损失LWCE[3]和Dice损失LDL学习，表示为：N S数量Lpm=LWCE（ψj（y（pm），yi）+LDL（ψj（y（pm），yi），k∈KKnum·（yk1+yk1）其中表示预测与地面实况掩模之间的重叠，并且K_num表示K中的区域的数量。区域感知多模态融合：在概率图的帮助下，RFM已经成功地将多模态特征划分到不同的区域。因此，对每个区域中的划分特征进行区域感知融合。特征划分是通过将fea-i=1j =1i、ji、j（二）图与概率图，写为：其中N和S_num表示训练数据的数量，并且fk=©m∈Ω[fm·δm]·ypm，（5）阶段ψj表示第j个k中的上采样操作阶段，旨在匹配概率图的分辨率ypm和地面真实掩码yi。LWCE被公式化为：LWCE（y，y）=Σ−αk·yk·log（yk）1，（3）k∈Kk∈K3979∥· ∥其中，fk1表示肿瘤区域k中的可用模态的划分特征，并且fm表示模态m的编码器特征。如图3、在特征划分之后，模态方面在-在不同区域中单独学习张力权重其中，1表示L1范数，W、H和Z表示3D体积的宽度、高度和切片数1为了简单起见，我们省略下标i和j，以免引起任何混淆。3980NKNi，m我i，m--i，mi=1我我T2 T1c+T2Flair+T1c Flair+T1c地面+T2+T1+T2真相FlairStage1（最高分辨率）T1cT1T2输入模态Stage2阶段3第4阶段（最低分辨率）概率图和地面实况图5.注意力模块的图示。区域范数池化通过yk的平均概率对f k的全局特征进行归一化，以获得用于生成注意力权重的特征。一些模态编码器被很好地训练以能够识别相应的肿瘤区域，而其他编码器则不能。这将导致当辨别模态缺失时肿瘤分割中的严重准确度降级。为了解决这个问题，我们提出了一个基于分割的正则化。如示于图2、RFNet采用权值共享的解码器Dsep对每个模态图像进行分割。非常地 相应的加权交叉熵损失和图4. 四个阶段的概率图可视化左：四种图像模态。右：来自我们网络的不同阶段/级别中的图像模态的不同组合的估计概率图和相应的地面实况。以聚集相应的特征。图5示出骰子损失被用作正则化项，写为：Lreg=ΣΣ。LWCE（ysep，yi）+LDL（ysep，yi）Σ， （六）i=1m∈ Ω在再学习中注意力权重的生成过程琼湾具体地，区域k的全局特征通过平均池化操作获得，然后通过概率图y（p m）进行归一化。考虑到脑肿瘤通常仅占据脑中的小区域的事实，采用该区域然后，采用两个全连接层以及Leaky ReLU层和sigmoid激活来将归一化特征嵌入到模态注意力权重中。如图5所示，然后将所生成的注意力权重应用于划分的特征fk，以调整来自可用模态的贡献，从而获得有区别的融合特征。考虑到不同区域中不同模态的不同敏感性，RFM针对每个区域使用单独的注意模块来生成对应的注意。重量，如图所示。3.第三章。通过给予更多的关注对于更敏感的模态，RFM能够为每个区域生成更具代表性的特征为了将这些区域特征馈送到解码器，在图1中。3、RFM采用卷积运算，随后是卷积瓶颈。还采用了与剩余学习类似的快捷连接[15]。3.4. 基于分段的正则化器丢失多模态数据的现象通常会引入不平衡的训练问题[32]。具体来说，深度神经网络通常选择主要基于区分方式来分割肿瘤区域。因此，我们认为，其中，y（sep）表示来自模态m的第i个对象的预测分割掩模。基于分割的正则化器强制每个模态编码器对每个肿瘤区域是有区别的。以这种方式，RFNet能够获得代表性的编码器特征，从而提高分割性能。3.5. 整体亏损如图2，D融合被用来从融合的特征预测最终的加权交叉熵损失和Dice损失用于对齐预测将多个分段映射到对应的地面实况分割图，表示为：Lfuse=Σ。LWCE （ yfuse ， yi ）+LDL （ yfuse ，yi）Σ，其中，是来自所预测的分割掩码。第i个主题。 因此，我们的RFNet的总体损失为定义为：L=Lpm+Lreg+ Lfuse。（八）4. 实验4.1. 实现细节RFNet 采 用 3D-Unet [6] ， 具 有 四 级 编 码 器（Emm∈Ω）和解码器（Dsep和Dfuse）。建筑细节可参考补充资料。K1×H×W×Z简体中文关注模块平均池化塞普平均池化FC(4C+1）FC128×44C×H×W×Zkw：除法c：级联w：加权和：Leaky ReLU：3981×× ×最大历元其在测试图像上滑动并且具有50%的重叠表1.在BRATS 2020上与最先进的方法进行比较，包括HeMIS [14]、U-HPED [10]和RobustSeg [3]完全、核心和增强分别表示整个肿瘤、肿瘤核心和增强肿瘤的Dice评分所有的结果都是用作者的程序重现的方式骰子评分（%）完成核心增强FT1T1cT2HeMISU-HVEDRobustSeg我们HeMISU-HVEDRobustSeg我们HeMISU-HVEDRobustSeg我们联系我们79.8564.5863.0152.2984.4572.5065.2982.3181.5669.3773.3183.0384.6485.1985.1980.7568.5454.9382.6983.3771.5885.0181.5887.4086.1387.1088.0788.3384.2788.8182.2071.3971.4182.8785.9776.8488.1085.5388.0987.3388.8789.2488.6886.6389.4786.0576.7777.1687.3287.7481.1289.7387.7389.8789.8990.6990.6090.6888.2591.1154.2269.4142.4224.9777.6075.5941.5856.3855.8970.8675.0757.4077.6979.0578.5857.4373.0136.7351.1577.8576.4955.1059.2961.8776.8679.5163.4678.6879.9980.4061.8876.6854.3060.7282.4480.2868.1866.4668.2081.8582.7670.4681.8982.8582.8771.0281.5166.0269.1983.4583.4073.0773.1374.1484.6585.0775.1984.9783.4785.2131.4363.2416.539.0070.3070.7113.9928.5828.9168.3170.8029.5371.3671.6771.4928.7066.5912.3320.8768.7467.8222.5328.7330.4869.5371.3230.6069.8469.7470.5036.4667.9128.9934.6871.4270.1139.6739.9242.1970.7871.7743.9071.1771.8771.5246.2974.8537.3038.1575.9378.0140.9845.6549.3276.6776.8149.9277.1276.9978.00联系我们◆◆Ⓧ Ⓧ Ⓧ联系我们◆ ◆◆ ◆◆◆联系我们◆ ◆◆ ◆ ◆◆ ◆ ◆◆ ◆ ◆◆ ◆ ◆平均75.1081.2484.1786.9865.4567.1973.4578.2347.7348.5555.4961.47对于图像预处理，MRI图像由数据收集器进行颅骨剥离、共配准并重新采样至Imm3分辨率。在这项工作中，继[3，10]之后，我们还切除了大脑外部的黑色背景区域，并将每个MRI模态归一化为大脑区域中的零均值和单位方差。在训练期间，输入图像被随机裁剪为80 80 80，然后用随机旋转、强度偏移和镜翻转来增强。我们训练我们的网络300个epoch，批量大小为2。利用Adam [18]优化网络，β1和β2分别为0.9和0.999并且权重衰减被设置为1e-5。此外，我们采用学习率2e-4乘以（1-时代）p与BRATS2020包含369个训练对象，我们将其随机分为219、50和100个对象，分别用于训练、验证和测试BRATS2018包含285个培训科目，分别分为199、29和57个科目进行培训、验证和测试。此外，我们使用与BRATS2018 中 [10] 相 同 的 拆 分 列 表 进 行 三 重 验 证BTATS2015包含274个培训科目。在[14，3]之后，我们将数据集分为242，12和20个主题，分别用于训练，验证和测试。由于BRATS2020是最新和最大的数据集，因此在这项工作中，我们主要关注BRATS2020。评价指标：骰子系数[7]用于测量所提出的方法的分割性能，定义为：2·yk¯Tyk¯1K 1在文献[3]的基础上，我们首先对80×80×80块图像进行Dicek¯（y，y）= y+、（9）相邻的补丁。 然后，最后的分割图通过融合这些补丁的预测来获得以来不是所有的脑肿瘤都包含增强区域，我们采用后处理策略来减少增强肿瘤的假警报。具体地说，当预测为增强肿瘤的像素的数量太小（即，小于500），我们认为这是假警报，并且我们将这些像素视为非增强肿瘤，如[10]中所述。4.2. 数据集和评估指标数 据 集 ： 我 们 在 来 自 多 模 式 脑 肿 瘤 分 割 挑 战（ BRATS ） [20] 的 三 个 数 据 集 上 评 估 RFNet ， 即BRATS2020、BRATS2018和BRATS2015。三个数据集中的对象都包含四种不同的MRI模态，Flair、T1c、T1和T2。其中k¯表示不同的肿瘤类别，包括整个肿瘤、肿瘤核心和增强肿瘤。Dic ek¯表示肿瘤类别k¯的Dice评分。较大的Dice分数表示预测更类似于地面实况，并且因此指示更好的分割准确性。4.3. 与最新技术水平的在表1和图6中，我们将我们的RFNet与三种最先进的方法进行了比较，包括HeMIS [14]，U-HPED [15]和U-HPED [16]。[10]和RobustSeg [3]。HeMIS [14]利用可用模态特征的均值和方差作为用于分割的聚合特征。U-HVED [10]引入了多模态变分自动编码器（MVAE）[35]，以将不同的不完整多模态图像投影到共享的LA中。p= 0。9 .第九条。3982× ××表2.RFNet上的消融研究报告了15个多模态组合的平均Dice分数“Reg”：所提出的基于分割的正则化器，“RFM”：开发的区域感知融合模块“PostPro”：后处理技术。方法平均Dice评分（%）完整的核心增强基线83.2071.7253.73+RFM85.0775.9156.78+注册86.0776.8957.96+Reg+RFM86.9878.2359.05+Reg+RFM+PostPro86.9878.2361.47表3.我们的正则化子和RFM的必要性。“wi rec regu-larizer”：采用基于重建的正则化器而不是基于分割的正则化器。“modal-wise” and “channel- wise”:FlairT1cT1T2输入模态[14]第十三届中国国际医疗器械展览会T2T1c+T2Flair+T1c+T2Flair+T1c+T1+T2分割预测和地面实况帐篷空间RobustSeg [3]将内容代码与外观代码分离以进行分割，并引入门控特征融合来聚合多模态特征。这些方法都没有明确地利用模态和区域之间的关系，忽视了训练的不平衡问题。如表1所示，我们的方法实现了优异的分割性能。例如，与第二最佳方法，即，RobustSeg [3]，我们的RFNet将平均Dice分数提高了2。81%，4. 78%和5。在整个肿瘤、肿瘤核心和增强肿瘤中分别为98%此外，我们的方法在所有十五个多模态组合上优于现有技术的方法这证明了我们方法的优越性。4.4. 消融研究图6.与最新技术水平的比较。左：四种图像模式。右：通过不同方法从图像模态的不同组合预测的分割掩模和相应的地面实况。增强肿瘤的抑制性能。为了证明区域感知操作的有效性，我们对每个模态特征应用模态方面的注意（即，每种模态的标量）和对所有连接特征的通道式关注。如表3所示，没有所提出的区域感知操作的模型产生较差的分割精度。这是因为向整个图像应用相同的注意力权重（在表3中，采用基于重构的正则化器来替换所提出的基于分割的正则化器，并且实现更好的性能。这是因为基于重建的正则化器主要关注于恢复大脑外观在表2中，我们对RFNet进行了消融研究。基线模型利用3 3 3卷积层来聚合编码器特征。如表2所示，所提出的区域感知融合模块和基于分割的正则化器都可以显著改善网络。例如，采用RFM将三个肿瘤区域的平均Dice评分增加1。87%，4. 19%和3。05%，分别。这是因为RFM能够有效地聚合特征，从而为分割提供代表性信息此外，由于所提出的正则化器帮助模态编码器区分每个区域，因此应用具有RFM的正则化器进一步改善分割结果，如表2中可见。引入后处理技术，减少了增强肿瘤的虚警，从而改善了分割效果。而不是学习用于肿瘤分割的区别性表示。4.5. BRATS2015和BRATS2018的比较除了BRATS2020之外，我们还将我们的方法与表4和表5中的BRATS2015和BRATS2018的最新技术进行了比较。请注意，U-HVED[10]和RobustSeg [3]只在一个数据集上进行实验，BRATS2018或BRATS2015。因此，我们使用其官方代码获得了U-HPED [10]的BRATS 2015准确度，并从作者处获得了Ro- bustSeg [3]的BRATS 2018结果如表4和表5所示，我们的方法在两个数据集上显著提高了分割精度。例如，BRATS2018上的三个肿瘤区域的平均Dice分数被加强方法平均Dice评分（%）完整的核心增强线正则化子85.3875.5059.64按通道85.8176.3660.11模态方面85.8777.0261.01RFNet86.9878.2361.473983BG：NCR/NET：ED：T1+T2T1c+T2BG：NCR/NET：ED：Flair+T1c+T2：Flair：T1cFlair+T1c+T1+T2：T1：T20.77590.48050.52240.89590.37900.73020.74920.87990.44390.83700.45810.52460.94130.35000.77010.77180.92860.38830.4603FlairT1cT2T1cT1FlairT1c+T2T1c+T1Flair+T1T1+T2输入模态分割预测和地面实况图7.预测的分割图的可视化。左：四种图像模态。右图：由我们的RFNet根据所有15种图像模态组合和相应的地面实况预测的分割图。补充材料中提供了更多的视觉结果。表4.与BRATS2015上的最新技术水平进行比较。“†”：根据作者代码复制。表5.与BRATS2018的最新技术水平进行比较。“*"：作者提供。方法平均Dice评分（%）完整的核心增强HeMIS [14]78.6059.7048.10U-HVED [10]80.1064.0050.00RobustSeg* [3]84.3769.7851.02我们85.6776.5354.15我们的+PostPro85.6776.5357.12了1. 30%，6. 75%和6。我们的RFNet的10%。这验证了我们的方法的优越性。4.6. 可视化分割结果的可视化：在图7中，我们可视化来自所有十五个多模态组合的RFNet的分割结果。图7示出了我们的方法能够在各种缺失场景中很好地分割脑肿瘤。例如，RFNet仅使用Flair和T1c模态图像预测准确的注意力权重的可视化：在图8中，我们示出了我们生成的注意力权重，其用于在每个区域中自适应地融合可用的模态。由于RFNet中的更深阶段编码了对于分割至关重要的高级语义信息，因此我们选择在第四阶段可视化注意力权重。更多的例子可以参考补充材料。在推断过程中，由于缺失的模态特征（零张量）不提供任何信息，因此我们将相应的注意力权重设置为零。如图8，T1c模态（红色）接收图8.在第四阶段通过我们的RFM对生成的注意力权重进行可视化。四个面板展示了缺失模式的不同情况。在每个面板中，注意力权重（以数字表示）用于自适应地在不同区域（以行表示）中聚合可用的模态（以颜色表示）。较大的彩色框表示对应模态的较大注意力权重。在ED中，Flair（蓝色）和T2（黄色）模态的研究较多 。 这 与 图 1 中 的 观 察 结 果 一 致 1 ， 其 中 T1 c 对NCR/NET和ET更敏感，而Flair和T2对ED敏感。因此，RFNet能够为敏感模态提供更大的注意力权重，从而获得每个区域的区分特征。5. 结论在本文中，我们提出了一个区域感知的融合网络（RFNet），有效地聚合各种可用的模式不完整的多模态脑肿瘤分割。我们新设计的区域感知融合模块（RFM）考虑到不同的模态对脑肿瘤区域表现出不同的敏感性。因此，RFM实现更有代表性的融合功能，从不同的模态图像准确分割。此外，我们开发的基于分割的正则化器不仅改善了我们的模式编码器在每个肿瘤区域提取的特征表示，而且还加快了我们的RFNet的训练。大量的实验表明，我们的方法显着优于最先进的。0.36030.52300.37460.48920.24200.69500.47280.51720.48470.52140.78710.40590.24680.72250.81770.4461T1T2Flair+T2Flair+T1cFlair+T1cFlair+T1Flair+T1cT1c+T1Flair+T1c地面+T1+T2+T2+T2+T1+T2真相方法平均Dice评分（%）完整的核心增强HeMIS [14]68.2254.0743.86U-HVED† [10]81.5764.6856.76RobustSeg [3]84.4569.1957.33我们86.1371.9358.98我们的+PostPro86.1371.9364.133984引用[1] Peter Anderson，Qi Wu，Damien Teney，Jake Bruce，MarkJohnson，NikoSünderhauf，IanReid，StephenGould，and Anton Van Den Hengel.视觉和语言导航：在真实环境中解释视觉基础的导航指令。在IEEE计算机视觉和模式识别会议论文集，第3674- 3683页[2] Stanislaw Antol ， Aishwarya Agrawal ， Jiasen Lu ，Margaret Mitchell，Dhruv Batra，C Lawrence Zitnick，and Devi Parikh.Vqa：可视化问答。在IEEE计算机视觉国际会议论文集，第2425- 2433页[3] 程晨，齐斗，金月明，陈昊，秦静，恒凤安。通过特征解纠缠和门控融合进行稳健的多模式脑肿瘤分割。在医学图像计算和计算机辅助干预上，第447-456页[4] Chen Chen ， Xiaopeng Liu ， Meng Ding ， JunfengZheng，and Jiangyun Li.用于mri中实时脑肿瘤分割的3d扩张多纤维网络。医学图像计算和计算机辅助干预国际会议，第184-192页。Springer，2019年。[5] Howard Chen ， Alane Suhr ， Dipendra Misra ， NoahSnavely，and Yoav Artzi.着陆：视觉街道环境中的自然语言导航和空间推理。在IEEE/CVF计算机视觉和模式识别会议的论文集中，第12538-12547页[6] O¨zgu¨ nC¨ic¨ek ， AhmedAbdulkadir ， SoerenSLienkamp ，Thomas Brox，and Olaf Ronneberger.3d u-net：从稀疏注释学习密集体积分割。医学图像计算和计算机辅助干预，第424-432页，2016年[7] 李·戴斯物种间生态关联量的量度Ecology，26（3）：297[8] 丁宇航、于欣、杨毅。建模的概率分布的未标记的数据，一次性医学图像分割。在AAAI人工智能会议上，2021年。[9] Jose Dolz ， Karthik Gopinath ， Jing Yuan ， HerveLombaert，Christian Desrosiers，and Ismail Ben Ayed.高密度-网络：用于多模态图像分割的超密集连接CNN。IEEE Transactions on Medical Imaging，38（5）：1116[10] ReubenDorent，SamuelJoutard，MarcModat，Se'bastienOurselin和Tom Vercauteren。用于联合模态完成和分割的异模态变分编码器-解码器。在医学图像计算和计算机辅助干预国际会议上，第74-82页，2019年。[11] Lucas Fidon、Wenqi Li、Luis C Garcia-Peraza-Herrera、Jinendra Ekanayake、Neil Kitchen、Sebastien Ourselin和Tom Vercauteren。用于脑肿瘤分割的可扩展多模态卷积网络。医学图像计算和计算机辅助干预国际会议，第285-293页。Springer，2017.[12] 韩宗博、张长青、傅华珠、周天一乔伊。可信多视图分类。2021年学习表征国际会议[13] Mohammad Havaei、Axel Davy、David Warde-Farley、Antoine Biard、Aaron Courville、Yoshua Bengio、ChrisPal、Pierre-Marc Jodoin和Hugo Larochelle。用深度神经网络进行脑肿瘤分割。医学图像分析，35：18[14] Mohammad Havaei、Nicolas Guizard、Nicolas Chapados和Yoshua Bengio。Hemis：异模态图像分割。医学图像计算和计算机辅助干预国际会议，第469-477页，2016年[15] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE Conference on Computer Vision and PatternRecognition，第770-778页[16] Fabian Isensee、Paul F Jaeger、Simon AA Kohl、JensPe- tersen和Klaus H Maier-Hein。nnu-net：一种基于深度学习的生物医学图像分割的自配置方法。NatureMethods，18（2）：203[17] Konstantinos K