通过样式增强和双重归一化实现通用跨模态医学图像分割

Prostate BraTS30405060708090Dice (%)EasyHardOursDeepAllDoFE1208560通过样式增强和双重归一化实现通用跨模态医学图像分割0周子琦 1 齐磊 2 杨鑫 3 倪东 3 史英焕 1* †01 南京大学 2 东南大学 3 深圳大学0zhouzq@smail.nju.edu.cn qilei@seu.edu.cn {xinyang, nidong}@szu.edu.cn syh@nju.edu.cn0摘要0对于医学图像分割，想象一下如果一个模型只是在源领域的MR图像上进行训练，那么它在目标领域的CT图像上直接进行分割的性能如何？这种设置，即通用跨模态分割，具有临床潜力，比其他相关设置（例如领域自适应）更具挑战性。为了实现这个目标，我们在本文中提出了一种新颖的双重归一化模型，通过利用增强的源相似和源不相似图像进行通用分割。具体而言，给定一个单一的源领域，为了模拟未见目标领域中可能出现的外观变化，我们首先利用非线性变换增强源相似和源不相似图像。然后，为了充分利用这两种类型的增强，我们提出的基于双重归一化的模型采用共享骨干网络，但使用独立的批归一化层进行分别归一化。之后，我们提出了一种基于样式的选择方案，在测试阶段自动选择适当的路径。在三个公开数据集（即BraTS、跨模态心脏和腹部多器官数据集）上进行了大量实验，结果表明我们的方法优于其他最先进的领域泛化方法。代码可在https://github.com/zzzqzhou/Dual-Normalization获得。0*通讯作者：史英焕。本工作得到了中国国家重点研发计划（2019YFC0118300）、国家自然科学基金重点项目（62192783）、CAAI-HuaweiMindSpore项目（CAAIXSJLJJ-2021-042A）、中国博士后科学基金项目（2021M690609）和江苏省自然科学基金项目（BK20210224）的支持。†周子琦和史英焕隶属于南京大学新软件技术国家重点实验室和国家医疗卫生数据科学研究院。齐磊隶属于东南大学计算机科学与工程学院。杨鑫和倪东隶属于深圳大学医学超声国家地区重点技术工程实验室、生物医学工程学院、健康科学中心、医学超声图像计算实验室、马歇尔生物医学工程实验室。0T2 T10(a) T2和T1的示例切片。0(b) 性能。0图1. (a) BraTS数据集的示例切片；(b)在跨中心前列腺分割任务和跨模态脑肿瘤分割任务上，我们的方法与“DeepAll”和“DoFE”方法的比较。01. 引言0近年来，深度卷积神经网络在医学图像分割方面取得了深远的进展[22, 30,35]。得益于这些最新的努力，医学图像分割的准确性已经得到了大幅提高。尽管取得了成功，但是训练（或标记）数据与测试（或未标记）数据之间的分布偏移通常会导致训练好的分割模型在部署时性能严重下降。分布偏移的原因通常来自不同的方面，例如不同的采集参数、不同的成像方法或不同的模态。为了对抗领域偏移，已经研究了几种实际设置，其中无监督领域自适应（UDA）基于分割[6, 14,44]是最流行的一种。具体而言，在UDA设置中，假设可以观察到测试或未标记数据，模型首先在标记的源领域（即训练集）和未标记的目标领域（即测试集）上进行训练，通过减小它们之间的领域差距。然后，训练好的模型被用于分割目标领域的图像。然而，这些基于UDA的模型要求目标领域能够2208570在一些实际应用中，满足这个先决条件有时很困难或不可行。例如，为了保护个人隐私信息，某些机构的目标域（或测试集）无法直接访问。为了减轻UDA中对目标域的要求，我们考虑了一个更可行但具有挑战性的设置，即领域泛化（DG），以实现对领域偏移的通用医学图像分割。我们注意到，大多数现有的DG模型仅在具有小变化的交叉中心设置中表现良好，而很少有人研究大领域偏移（例如，跨模态）可能严重恶化其性能[25, 26,40]。我们现在通过说明两种可推广的分割场景（即交叉中心和交叉模态）来阐明我们的动机。具体而言，在图1b中，我们展示了我们的方法（称为“Ours”）、“DeepAll”基线和一种最先进的交叉中心DG方法（“DoFE”）[40]在两个不同的DG任务上的结果。第一个任务是交叉中心前列腺分割任务[27]。如图1b所示，所有这些方法在这个任务上都取得了相对较高的Dice分数（>80%），而且不同方法之间的差距相当小。然而，当我们将这三种方法应用于BraTS数据集[29]，即交叉模态的脑肿瘤分割数据集时，“DeepAll”和“DoFE”方法的Dice分数急剧下降（<40%），而我们的方法仍然达到了竞争性的Dice分数（>50%）。这种大幅度性能下降的原因在于存在大的领域偏移。例如，在图1a中，我们展示了BraTS数据集[29]中的T2加权和T1加权图像。需要分割的脑肿瘤用红色曲线标出。显然，T2和T1模态显示出明显的不同外观。因此，我们注意到，跨模态DG任务比交叉中心DG任务更具挑战性，因为前者需要处理更大的领域偏移。在本文中，我们旨在处理具有大领域偏移（例如，跨模态任务）的DG任务，而大多数先前的DG方法并不是为此而设计的。我们的设置具有其临床意义。例如，由于成像过程中的一些不可预测因素（例如，光源干扰）引起的大分布偏移对当前的泛化方法构成了挑战。此外，在某些情况下，目标域中的数据稀缺性使得UDA变得难以实现。简而言之，我们打算开发一种鲁棒的方法来实现对领域分布偏移不敏感的建模。基于以上动机，我们提出了一种通用的跨模态医学图像分割方法，该方法在单个源域（例如CT）上进行训练，并直接应用于未知的目标域（例如MRI）而无需重新训练。我们注意到，在医学图像中，模态差异通常表现为灰度分布差异。0由于存在领域偏移，我们意识到需要模拟未知目标领域中可能出现的外观变化。为了解决这个具有挑战性的跨模态DG任务，我们引入了一个模块，可以将源域随机增强为不同的风格。具体而言，我们利用B´ezier曲线[31]作为变换函数生成两组图像：一组图像与源域图像相似（即源相似域），另一组图像与源域图像存在较大的分布差异（即源不相似域）。然后，我们引入了一个带有双重归一化模块的分割模型，以保留源相似域和源不相似域的风格信息。最后，我们开发了一个基于风格的路径选择模块，以帮助目标域图像选择最佳的归一化路径，以实现最佳的分割结果。本文的主要贡献总结如下：0•我们提出了一种深度双重归一化模型，用于解决更具挑战性的DG任务，即通用的跨模态分割，可以直接对来自未知目标领域的图像进行分割，无需重新训练。0•我们通过基于贝塞尔曲线生成源相似和源不相似图像来增加源域的多样性，并开发了一个双归一化网络进行有效利用。此外，我们在测试阶段提出了基于样式的路径选择方案。0•大量实验证明了我们的有效性。在BraTS数据集上，我们的方法在T2和T1CE源域上分别达到了54.44%和57.98%的Dice系数，与UDA[5]（T2源域上的59.30%）非常接近，作为我们的上限。在跨模态心脏和腹部多器官数据集上，我们的方法优于最先进的DG方法。02. 相关工作0无监督域自适应。无监督域自适应（UDA）的目的是学习一个在有标记的源域和无标记的目标域上保持良好性能的模型[2, 3, 6, 14, 28, 39,44]。UDA最近引起了相当大的关注。一些UDA方法利用像素级的分布对齐，并采用生成网络来缩小源域和目标域之间的域差距[6, 14,44]。Chang等人[3]使用对抗训练策略来对齐源域和目标域之间的特征分布，以保持不同域之间的语义特征一致性。此外，Chang等人[2]为每个域分别分离批归一化层，使模型能够区分域特定和域不变的信息。然而，在某些情况下，例如由于隐私保护的原因，无法在训练过程中访问数据。目标域在训练过程中不可用，导致UDA方法无法直接使用。BN(𝒟𝑠𝑠)BN(𝒟𝑠𝑑)𝑒𝑠𝑠𝑒𝑡𝑒𝑠𝑑Select Closest 𝑒𝑑BN(𝒟𝑠𝑠)BN(𝒟𝑠𝑑)𝒟𝑠𝑠𝒟𝑠𝑑ℒ𝐷𝑖𝑐𝑒𝑠𝑠+ℒ𝐷𝑖𝑐𝑒𝑠𝑑3208580DN0测试图像0在目标域上测试0DN0变换0样式增强模块基于双归一化的网络0图2.我们方法的整体框架。我们首先使用样式增强模块将源域生成不同的样式，并将其分为源相似域（Dss）和源不相似域（Dds）。然后，我们在（Dss）和（Dsd）上训练一个双归一化（DN）分割网络。最后，我们使用基于样式的选择模块在目标域上测试训练好的网络。0由于隐私保护的原因，无法在训练过程中访问数据。目标域在训练过程中不可用，导致UDA方法无法直接使用。0域泛化。与UDA不同，域泛化（DG）通过仅在源域上训练模型，旨在直接推广到在训练过程中无法观察到的目标域[4,8, 11, 13, 34, 41,42]。最近，已经提出了大量关于DG任务的工作。在以前的努力中，一些方法旨在通过最小化多个源域之间的域差异来学习域不变表示[10, 12, 15, 21, 23, 32,42]。此外，一些方法使用元学习，通过将源域分割为元训练和元测试域来模拟域转移的情况，采用分集训练策略[1, 7,19, 20,26]。此外，一些方法通过修改归一化层（例如批归一化（BN）和实例归一化（IN））来解决DG任务[9, 33, 36,37]。例如，Pan等人[33]提出了IBN-Net，它在一个统一的框架中合并了IN和BN层，其中IN可以保持不变的表示，而BN能够同时保留有区分性的特征。此外，Seo等人[37]引入了领域特定优化归一化（DSON），通过优化领域特定的归一化层来学习所有源域之间的联合嵌入空间。Segu等人[36]利用领域特定的批归一化层来收集分布统计信息，以建模源域和目标域之间的特征关系。还存在一些数据增强方法，以增加源域的多样性，以提高对未见目标域的泛化能力[38,43, 45,46]。在医学图像分析中，一些先前的工作研究了可推广的医学图像分割任务。例如，Zhang等人[43]提出了一种深度堆叠变换方法，该方法使用一系列变换来模拟特定医学成像模态的域转移。Wang等人[40]构建了一个领域知识池，用于存储领域特定的先验知识，然后使用领域属性来聚合来自不同域的特征。0Liu等人进一步改进了交叉域医学图像分割的性能，将连续频率空间插值与情节式训练策略相结合。然而，大多数现有的医学图像分割的DG方法都是在小的域分布偏移下工作的。当出现大的域偏移时，它们可能会遭受性能下降。03. 方法论03.1. 定义和概述0我们将我们的单个源域表示为Ds={xsi,ysi}Nsi=1，其中s表示域ID，xsi是源域s中的第i个图像，ysi是xsi的分割掩码，Ns是样本的总数。我们的目标是在源域Ds上训练一个分割模型Sθ：x→y，其中x和y表示源域Ds中的图像集和标签集，Sθ表示分割模型，θ是模型参数。我们希望模型Sθ能够很好地泛化到未见过的目标域Dt。具体而言，我们首先提出了一个样式增强模块，使用几个变换函数将源域Ds增强为源相似域Dss和源不相似域Dsd。然后，基于生成的Dss和Dsd域，我们的方法引入了一个配备有双归一化(DN)模块的网络。我们在Dss和Dsd域上训练基于DN的模型。DN可以在模型训练后保留域样式信息。最后，根据DN中的域样式信息和目标域的实例样式信息，我们可以选择DN中最接近的归一化统计量来归一化目标域的特征，并获得最佳的分割结果。我们的方法的示意图如图2所示。现在我们讨论我们方法的技术细节。03.2. 样式增强模块0对于可泛化的医学图像分割任务，使用单个源域来训练模型非常困难。不同模态之间的样式偏差会严重降低性能。从这个角度来看，我们𝑃3(𝑃2)𝑃0𝑃2𝑃0𝑃3𝑃1𝑃2𝑃0𝑃2𝑃1𝑃2𝑃0𝑃3DN(z; d) = γdz − µd√σd2 + ϵ + βd,(1)µt+1d= (1 − α)µtd + αµtd,(2)(σt+1d)2 = (1 − α)(σtd)2 + α(σtd)2,(3)4208590P0(P1)0P3(P2)P0(P1)0原始图像0图3. T2加权MR脑图像和增强图像。0我们提出了一个简单而有效的样式增强模块，从源域生成不同风格的图像。流行的医学图像模态（例如X射线、CT和磁共振图像（MRI））通常是灰度图像。如图1所示，在T2加权MR脑图像中，整个肿瘤区域比周围区域明亮得多。相反，在T1加权MR脑图像中，整个肿瘤的前景比背景区域暗。生成不同风格的简单思路是调整图像的灰度值分布。受之前的工作ModelGenesis的启发，我们采用几个单调非线性变换函数将原始图像的像素值映射到新值。因此，可以实现改变图像灰度分布的操作。与[47]类似，我们使用平滑且单调的Bézier曲线作为我们的变换函数。SBézier曲线可以由两个端点（P0和P3）和两个控制点（P1和P2）生成。该函数定义如下：0B(t)=0n �0i=00� 0在n个样本中，第i个样本的数据为Pi(1-t)^(n-i)ti，其中n=3，t∈[0,1]。0其中t是沿着线的长度的分数值。所有Bézier曲线的定义域和值域都是[-1,1]。在图3中，我们展示了原始的T2加权BraTS图像及其增强图像。我们设置P0=(-1,-1)和P3=(1,1)以获得一个增加的函数，并设置相反以获得一个减少的函数。当P0=P1且P2=P3时，Bézier曲线是一个线性函数（显示在列2、5中）。然后，我们随机生成另外两对控制点。具体而言，我们设置P1=(-v,v)和P2=(v,-v)（v∈(0,1)）。我们为每个图像随机生成两个不同的v，因此我们得到两个增加的曲线（显示在列3和4中）和两个通过反转得到的减少的曲线（显示在列6、7中）。最后，我们得到了6个非线性变换函数（三个增加的和三个减少的）用于增强。在我们的三个任务中，我们将每个样本归一化到[-1,1]。需要注意的是，我们只对前景区域执行变换操作。显然，在灰度医学图像中，单调地改变灰度分布可以产生不同的样式。0增加的变换函数对图像样式的影响较小。因此，我们将通过增加变换函数获得的这些转换后的图像分类为与源域图像相似的图像，我们称之为源相似域（Dss）。相反，通过减小变换函数生成的这些图像将被视为源不相似域（Dsd）。我们假设那些灰度分布接近源域图像的图像在训练在D ss上的模型上具有良好的泛化性能，而其他与源域具有较大分布差距的图像在训练在 D sd上的模型上可以很好地泛化。我们使用这两个域来训练下一节介绍的基于DN的模型。03.3. 基于双归一化的网络0已经证明批归一化[16]可以使神经网络更容易在其内部潜在空间中捕捉数据偏差[24]。然而，由BN捕获的数据偏差取决于领域分布，这可能会降低在新领域上的泛化能力。对于我们的样式增强图像，简单地采用BN将使模型失去 D ss 和 Dsd的领域特定分布信息。因此，我们的模型可能无法在目标领域上很好地泛化。为了在 D ss 和 D sd中捕获不同的领域分布信息，受到以前的工作[2]的启发，我们在模型中采用两个不同的BN层来分别归一化 D ss 和 Dsd的激活特征。我们将其称为双归一化（DN）。DN模块可以写成0其中 z 表示来自域 d 的模型的激活特征，d 表示域标签，γd 和 β d 是域 d 的仿射参数，( µ d , σ d 2 ) 表示来自域 d的输入特征 z 的均值和方差，ϵ >  0是一个小的常数，以避免数值不稳定。在训练过程中，BN层通过指数移动平均法估计激活特征的均值和方差，更新因子为 α 。对于DN，它们可以写成0其中 t 表示当前训练迭代次数，µ t d 和 ( σ t d ) 20是 t 次迭代时域 d的估计均值和方差。DN的估计均值和方差可以被视为域分布信息。在对目标域进行测试时，这些域分布信息 ( µ d , σd 2 ) 可以与目标域的分布信息 ( µ t , σ t 2 )进行比较。从而使模型能够选择适合的域分布统计量来归一化来自目标域的激活特征。ed = [e1d, e2d, ..., eLd ] = [(µ1d, σ1d2), (µ2d, σ2d2), ..., (µLd , σLd2)],52086003.4. 基于样式的路径选择0DN模块允许模型学习 D ss 和 D sd的多个源分布。因此，在DN中估计的统计数据可以被视为D ss 和 D sd的域样式信息。因此，我们得到一个轻量级的集成模型，每个域除了归一化统计数据外，共享相同的模型参数。DN模块的模型在 D ss 和 D sd上进行训练。训练后，DN模块将保留来自域 d的训练数据的统计数据 µ d 和 σ 2 d ，以及仿射参数 γ d 和β d 。因此，我们将得到两个系列的 µ d 和 σ d 2，可以表示为0其中 d 表示 D ss 和 D sd 的域标签，上标 l ∈ { 1 ,  2 , ..., L} 表示模型中的第 l个BN层。这可以被定义为某个域的批归一化嵌入[36]。在我们的工作中，我们将 e d 表示为域 d的样式嵌入。对于目标样本 x t，我们可以通过前向传播来捕获实例统计量 ( µ t , σ t 2 )。目标域样本的样式嵌入 e t 可以描述为0et = [e1 t, e2 t, ..., eL t] = [(µ1 t, σ1 t2), (µ2 t, σ2 t2), ..., (µL t, σL t2)].0每个e1t表示前向传播过程中某一层l上目标域样本的实例风格统计。一旦目标域样本的实例风格嵌入可用，就可以通过计算et和ed之间的距离来衡量目标域样本xt与Dss和Dsd之间的相似性。为了衡量源域和目标域之间的风格嵌入之间的距离，我们采用满足三角不等式的对称距离函数。在我们的方法中，我们选择欧氏距离。第l层嵌入的距离可以表示为0W(el t, el d) =  ∥µl t −  µl d∥22 +  ∥σl t2 −  σld2∥22. (4)0我们通过对所有层的风格嵌入el t和eld之间的距离求和来衡量目标样本xt和源域d之间的距离：0Dist(et, ed) = 0l ∈{1, 2,...,L} W(el t, el d). (5)0一旦计算出与每个源域的距离，我们可以选择最近的源域样式嵌入和仿射参数γd和βd来归一化目标域的输入特征zt：0c = arg min d Dist(et, ed). (6)0目标域特征zt的归一化表示为0Norm(zt; c) = γczt − µc√σc2 + ε + βc. (7)0由于我们的模型除了Dss和Dsd上的批归一化层之外共享所有参数，所以我们训练的模型可以通过公式(7)中的归一化特征对目标域进行预测。我们将Sθ(∙)表示为我们的分割模型，其中θ表示模型中除了批归一化层之外的参数。因此，我们可以将目标域t上的预测结果表示为Sθ(zct)，其中zct表示公式(7)中的归一化目标域特征。03.5. 训练细节0如前所述，DN模块在我们的模型中包含两个独立的批归一化层，一个用于Dss，另一个用于Dsd。一开始，我们通过样式增强模块将源域扩充到Dss和Dsd中。然后，我们将它们馈送到基于DN的模型中以获得软预测。之后，我们通过分割损失优化模型Sθ。为了解决相对较小的前景和相对较大的背景之间的类别不平衡问题，我们使用Dss和Dsd的软Dice损失之和来训练分割网络：0Lseg = LDice(Sθ(xss), yss) + LDice(Sθ(xsd), ysd), (8)0其中 (xss, yss) 和 (xsd, ysd)表示来自Dss和Dsd的图像和相关的独热编码标签对，Sθ(∙)产生软预测。我们在图2中展示了我们方法的整体框架。04. 实验04.1. 实验设置0数据集和预处理。我们介绍了三个数据集（即BraTS数据集[29]，跨模态心脏数据集[48]和腹部多器官数据集[17,18]）进行评估。跨模态脑肿瘤分割挑战2018数据集（BraTS）[29]由四种MR图像模态组成，即T2、Flair、T1和T1CE。跨模态心脏数据集[48]包含来自不同临床站点的20个未配对的MRI和CT体积，其中包含四个心脏结构，即左心室心肌（LVM）、左心房血腔（LAB）、左心室血腔（LVB）和升主动脉（AA）。腹部多器官数据集包含两种不同的模态。一种是来自ISBI 2019 CHAOS挑战赛[17]的T2-SPIRMRI训练数据，共有20个体积。另一种是来自[18]的公开可用的CT数据，共有30个体积。该数据集包含四个腹部器官，即肝脏、右肾（R. Kid）、左肾（L.Kid）和脾脏。我们使用专业放射科医生提供的这些数据集的手动描绘作为评估的标准答案。6208610表1. 在BraTS数据集上不同方法的比较。↑：数值越大越好，↓：数值越小越好。0源域：T2 源域：T1CE0方法 Dice (%) ↑ Hausdorff距离 (mm) ↓ Dice (%) ↑ Hausdorff距离 (mm) ↓0Flair T1 T1CE 平均 Flair T1 T1CE 平均 Flair T1 T2 平均 Flair T1 T2 平均0无适应 70.01 5.58 9.33 28.31 20.52 56.51 50.03 42.35 37.53 59.13 11.13 35.93 26.32 18.97 50.23 31.840源相似 71.49 5.83 8.87 28.73 20.46 57.01 56.29 44.59 45.58 62.56 18.66 42.27 21.06 19.60 50.21 30.29 源不相似 0.48 47.48 36.52 28.16 60.28 22.3522.84 35.16 15.68 5.54 65.87 29.03 55.69 58.41 17.02 43.710DeepAll 77.44 13.65 14.42 35.17 13.54 35.06 30.28 26.29 38.48 48.67 19.26 35.47 26.79 19.65 48.21 31.55 IBN-Net [33] 76.56 5.41 6.77 29.5813.02 55.75 51.28 39.96 50.23 46.66 15.52 37.47 21.56 22.98 50.67 31.74 DSON [37] 75.69 5.75 9.90 30.45 25.23 34.68 35.28 31.73 55.60 59.4413.40 42.81 30.50 29.91 36.06 32.16 MLDG [19] 71.23 5.47 8.83 28.51 15.64 56.02 51.01 40.89 29.53 51.38 3.56 28.16 32.84 23.06 55.39 37.10DoFE [40] 74.91 5.72 9.31 29.98 14.18 55.64 50.43 40.08 32.25 56.82 4.12 31.06 31.66 21.08 56.69 36.48 Fed-DG [25] 75.77 5.82 9.51 30.37 14.4554.03 51.06 39.85 33.03 58.30 4.09 31.72 32.07 22.35 56.08 36.83 Ours 75.87 49.36 38.09 54.44 13.44 20.15 23.56 19.05 47.31 63.64 63.00 57.9821.03 18.06 17.56 18.880表2. 在心脏数据集上不同方法的比较。↑：数值越大越好，↓：数值越小越好。0心脏MRI → 心脏CT 心脏CT → 心脏MRI0方法 Dice (%) ↑ Hausdorff距离 (mm) ↓ Dice (%) ↑ Hausdorff距离 (mm) ↓0AA LAC LVC MYO 平均 AA LAC LVC MYO 平均 AA LAC LVC MYO 平均 AA LAC LVC MYO 平均0无适应 27.10 28.92 2.24 1.88 15.04 87.06 86.09 84.71 84.64 85.62 4.61 3.91 3.94 4.52 4.24 101.08 100.53 100.22 101.30 100.780DeepAll 39.07 38.65 41.56 41.17 40.11 26.51 30.05 28.41 25.03 27.50 18.12 18.04 19.44 17.71 18.33 108.92 105.05 108.55 111.69 108.55 IBN-Net [33] 28.48 25.28 32.3128.43 28.63 80.64 82.17 76.38 75.65 78.71 25.79 24.98 24.71 26.10 25.39 61.42 62.12 69.85 79.24 68.16 DSON [37] 43.09 40.24 42.66 42.00 42.00 26.56 28.51 22.73 25.2125.75 26.13 27.21 24.75 21.52 24.90 78.86 77.20 78.20 89.67 80.98 MLDG [19] 50.34 48.30 46.69 45.49 47.71 17.06 20.64 18.43 17.68 18.45 23.65 28.31 25.62 20.79 24.5975.64 70.31 69.58 71.46 71.75 DoFE [40] 51.38 48.51 46.47 44.99 47.84 15.20 17.02 16.38 18.22 16.70 25.96 25.87 25.49 22.96 25.07 77.25 68.01 75.41 79.06 74.93 Fed-DG[25] 52.41 49.14 46.77 43.93 48.06 16.83 21.14 19.95 20.36 19.57 25.47 28.08 24.25 22.21 25.00 80.29 82.54 79.68 72.51 78.76 Ours 51.42 50.20 52.86 52.31 51.70 16.1416.76 15.11 16.20 16.05 33.38 31.65 33.29 30.45 32.19 59.04 69.01 68.24 66.03 65.580对于图像预处理，我们将图像的强度值归一化到[-1,1]。对于腹部多器官数据集，我们裁剪每个案例中包含分割目标的体积。根据UDA的先前工作[49]，我们随机选择80％的患者数据作为训练集，20％作为测试集，并将每个切片调整为256×256。在训练过程中，我们执行数据增强，例如随机裁剪、随机旋转、随机缩放等。0实施细节。我们使用U-Net[35]作为我们的分割骨干网络，将所有的BN层替换为我们的DN模块。我们使用PyTorch框架在4个Nvidia RTX 2080TiGPU上实现我们的模型，每个GPU具有11GB的内存。对于所有数据集，我们使用批量大小为64的模型进行50个epoch的训练。我们选择Adam优化器作为我们的优化器，初始学习率lr为4×10^-3。此外，为了稳定训练，学习率lr按照多项式规则进行衰减。0评估指标。我们采用了两个常用的评估指标，即Dice系数（Dice）和Hausdorff距离（HD）。Dice系数衡量了预测结果与真实标签的重叠比例。Dice值越高，分割性能越好。Hausdorff距离定义了度量空间中两个集合之间的距离。HD值越低，性能越好。04.2. 与最先进方法的比较0在表1中，我们报告了BraTS数据集中源域T2和T1CE的结果。“无适应”表示直接将模型应用于单个源域上的目标域的结果。此外，我们还报告了在D ss和Dsd上训练的模型的结果，分别被描述为“源相似”和“源不相似”。我们还包括了几种最近提出的SOTA方法。首先，“DeepAll”（即在聚合的源域上进行训练并在目标域上进行测试）被视为我们评估的基准。此外，我们选择了五种DG方法进行比较，包括基于归一化的方法IBN-Net[33]和DSON [37]，基于元学习的方法MLDG[19]和Fed-DG[25]，以及基于领域不变特征学习的方法DoFE[40]。上述所有DG方法都专注于学习或保持领域不变的信息，而我们的方法专注于选择最相似的领域信息来帮助在目标域上进行泛化。正如我们所预期的，我们的方法在Dice分数和HD的平均结果上都优于其他方法。具体而言，在源域T2上，我们的方法实现了最高的平均Dice分数（54.44%）和最低的平均HD（19.05mm）。与其他方法的最佳结果相比（与“DeepAll”相比），我们将Dice分数提高了大幅度的19.27%。类似地，在源域T1CE上，我们的方法改善了Dice分数Input ImagesDeepAllIBN-NetDSONMLDGDoFEFed-DGOursGround TruthInput ImagesDeepAllIBN-NetDSONMLDGDoFEFed-DGOursGround TruthInput ImagesDeepAllIBN-NetDSONMLDGDoFEFed-DGOursGround Truth7208620表3. 在腹部多器官数据集上的不同方法比较。↑：数值越大越好，↓：数值越小越好。0腹部MRI → 腹部CT 腹部CT → 腹部MRI0方法 Dice (%)  ↑ Hausdorff距离 (mm)  ↓ Dice (%)  ↑ Hausdorff距离 (mm)  ↓0脾脏 右肾 左肾 肝脏 平均 脾脏 右肾 左肾 肝脏 平均 脾脏 右肾 左肾 肝脏 平均 脾脏 右肾 左肾 肝脏 平均0无适应 7.98 6.53 7.60 7.21 7.33 53.20 49.91 52.81 47.53 50.86 6.16 6.03 3.37 2.80 4.59 35.97 44.23 26.00 33.85 35.010DeepAll 17.37 17.86 16.56 18.05 17.46 36.37 38.74 37.42 37.02 37.39 22.81 26.49 21.02 23.43 23.44 28.65 17.95 10.33 16.61 18.39 IBN-Net [33] 11.11 12.50 15.67 14.9613.56 40.21 42.31 39.06 38.52 40.03 19.31 25.08 22.65 27.14 23.55 30.05 20.16 15.67 19.08 21.24 DSON [37] 7.12 7.98 10.06 9.26 8.61 45.17 40.36 42.13 49.33 44.25 8.0518.60 15.72 8.50 12.72 46.55 9.65 16.58 19.72 23.12 MLDG [19] 31.89 34.21 34.88 37.85 34.71 29.40 26.13 27.88 25.03 27.11 41.05 37.44 35.82 39.46 38.44 25.61 12.7612.06 12.12 15.64 DoFE [40] 33.18 37.33 36.20 44.67 37.85 18.58 12.18 17.24 17.81 16.45 41.36 36.97 36.47 39.55 38.59 25.52 9.98 11.69 16.92 16.03 Fed-DG [25] 32.5436.15 41.12 47.06 39.22 12.75 9.78 12.90 9.61 11.26 21.48 18.54 57.40 58.22 38.91 21.94 27.73 10.51 6.50 16.67 我们的方法 37.53 37.87 40.94 42.14 39.62 11.45 8.81 10.449.68 10.10 68.36 71.54 73.70 67.27 70.22 6.40 2.00 1.37 1.99 2.940与最佳SOTA结果相比，我们的方法提高了20.51%（与“IBN-Net”相比）。我们还观察到一个有趣的事实，在源域T2上，基线模型“DeepAll”的平均结果超过了所有其他DG方法。这是因为所有比较的DG方法主要关注处理具有小分布偏移（例如，跨中心任务）的DG任务，当应用于具有大分布偏移（例如，跨模态任务）的DG任务时，它们的性能会大幅度下降。我们相信卓越的性能可以归因于基于DN模型和基于样式的选择的事实，我们的方法能够在跨模态DG任务中很好地泛化到目标域。0此外，我们注意到，单独在Dss和Dss（即“源-相似”和“源-不相似”在表1中）上训练的分割模型不能保证在所有目标域上的泛化质量。以源域T2为例，在“源-相似”中，模型在目标域Flair上的Dice分数为71.49%。然而，在目标域T1和T1CE上测试时，Dice分数仅为5.58%和8.87%。同样，在“源-不相似”中，Flair上的Dice分数仅为0.48%。这表明单独在Dss或Dsd上训练的模型无法在所有目标域上很好地泛化。0所有方法在心脏数据集和腹部多器官数据集上的分割性能见表2和表3。在两个实验中，“无适应”方法的平均性能竟然比其他所有方法都差。这表明，在没有适应或泛化技术的情况下，模型无法在目标域上泛化。此外，我们还注意到，在两个任务中，基线“DeepAll”可以胜过其他一些设计良好的DG方法，这进一步说明大多数DG方法不适用于具有大域偏移的DG任务。鉴于我们的方法专门处理跨模态DG任务，我们在两个分割任务上都实现了稳定的性能提升。0我们在图4、5和6中可视化了我们的方法和其他方法在三个任务上的分割结果。它们显示我们的模型可以产生更准确的目标域分割结果，特别是具有良好的分割目标的空间连续性。0图 4.我们的方法和其他在源域T2上训练的方法在BraTS数据集上获得的可视化结果（即Flair，T1和T1CE），以及地面真值。0图5.不同方法在心脏分割任务上的可视化结果。前两行：MR到CT任务；后两行：CT到MR任务。0图 6.不同方法在多器官分割任务上的可视化结果。前两行：MR到CT任务；后两行：CT到MR任务。FlairT1CET1010203040506070Dice (%)Source-SimilarSource-DissimilarEnsembleOurs(Selection)T2FlairT10102030405060Dice (%)Source-SimilarSource-DissimilarEnsembleOurs(Selection)12345Control Point Pairs Number0102030405060Dice (%)Source Domain: T2OursDeepAllIBN-NetDSONMLDGDoFEFed-DG12345Control Point Pairs Number0102030405060Dice (%)Source Domain: T1CEOursDeepAllIBN-NetDSONMLDGDoFEFed-DGuate our method on cross-center prostate segmentation [27].This is a well-organized cross-center dataset for prostateMRI segmentation.In this task, the Dice score of ourmethod is 84.19%, and the baseline (“DeepAll”) and SOTA(“DoFE” [40]) methods obtain Dice scores of 85.46% and87.48% (reported in