基于随机正常-异常传输的深度分解模型的应用

187910基于随机正常-异常传输的深度分解0Peirong Liu 1 Yueh Lee 2 Stephen Aylward 3 Marc Niethammer 101 北卡罗来纳大学教堂山分校计算机科学系，美国 2北卡罗来纳大学教堂山分校放射科学系，美国 3 Kitware公司，美国0{ peirong, mn } @cs.unc.edu stephen.aylward@kitware.com yueh lee@med.unc.edu0摘要0平流扩散方程描述了许多自然传输过程，例如流体流动、热传递和风力传输。它们还用于光流和灌注成像计算。我们开发了一个机器学习模型D2-SONATA，基于随机平流扩散方程，预测驱动2D/3D图像时间序列传输的速度和扩散场。特别地，我们提出的模型包括一个传输非典型性模型，它将预期的正常传输行为与观察到的传输之间的异常差异隔离开来。在医学背景下，这样的正常-异常分解可以用于量化病理学。具体而言，我们的模型识别了传输时间序列中的平流和扩散贡献，并同时预测了一个异常值场，以提供正常和异常平流和扩散行为的分解。为了提高速度和扩散张量场的估计性能以及异常场的估计性能，我们创建了一个2D/3D异常编码的平流扩散模拟器，用于监督学习。我们进一步通过迁移学习将我们的模型应用于缺血性中风患者的脑灌注数据集。广泛的比较表明，我们的模型成功地区分了中风病变（异常）和正常脑区，并重建了潜在的速度和扩散张量场。01. 引言偏微分方程（PDEs）被用来描述许多传输现象，例如流体动力学、热传导和风力动力学[12]。然而，数值求解PDEs尤其在高空间维度和大时间尺度下是昂贵的[6]。近年来，深度学习0本工作得到了美国国立卫生研究院（NIH）的支持，合同编号为NIH2R42NS086295和NIH R21NS125369。0近年来，数据驱动的方法使得求解偏微分方程（PDEs）的解决方案成为可能[8, 16, 33, 38, 46, 51, 55,56]。尽管上述深度学习方法有助于加速PDE的求解，但我们更感兴趣的是逆PDE问题[34,59]。具体而言，我们的目标是估计空间变化的速度和扩散张量场（在本文中称为平流扩散参数）以求解一般的平流扩散PDEs。目前关于估计平流扩散方程参数场的研究工作有限。Tartakovsky等人[59]使用深度神经网络（DNN）从扩散PDEs中估计2D扩散场。B´ezenac等人[12]通过2D的DNN学习平流扩散PDEs的速度和扩散场。Koundal等人[29]使用最优质量传输结合空间恒定扩散。已经提出了优化方法[35, 36,63]来估计3D平流扩散方程的平流扩散参数。尽管有希望，数值优化方法非常耗时，特别是在处理大型数据集时。此外，上述方法假设扩散是各向同性的（即它们不估计更一般的扩散张量），这可能不足以准确建模复杂材料（例如各向异性多孔介质、脑组织），在这些材料中扩散主要是各向异性的。Liu等人提出的YETI方法[37]是一种深度学习框架，用于从运输图像时间序列中估计平流扩散参数。它解决了一些关于可识别性（即结果是由平流还是扩散引起的）和物理约束（例如流体流动的矢量场应该是无散的，扩散张量应该是半正定的）的关键挑战。在用于中风损伤检测的脑灌注图像上，YETI相对于现有方法取得了明显的改进。然而，仍有改进的空间。首先，虽然YETI能够很好地估计平流扩散参数，但是量化结果解的固有不确定性而不是确定性解释结果将是有用的。这个187920在从异常传输过程（例如中风患者的脑灌注过程）估计平流扩散参数时，这可能尤为重要。其次，YETI在不知道区域异常的情况下预测平流扩散参数。因此，在实际灌注分析应用中需要进行额外的后处理才能检测病变。此外，YETI使用基于模拟数据集的预训练，该数据集仅考虑正常传输；然后使用包括中风病变的实际灌注数据进行微调。这种模拟和微调方法可能导致预训练偏向于正常参数化，因为没有模拟异常传输数据。（见第4.1-4.2节的比较）。我们引入了D2-SONATA（深度随机正常-异常传输分解），这是一种新的基于深度学习的随机模型，旨在从观察到的传输时间序列中预测潜在的平流扩散参数，包括2D和3D。我们的主要贡献有三个：01）基于学习的随机平流扩散模型。D2-SONATA将平流扩散过程建模为随机系统。给定一个传输过程，这个随机模型不仅允许重建具有其基础平流扩散参数的传输动力学，还能捕捉布朗运动的认知不确定性。02）异常分解无散散度向量场和对称PSD张量场的表示定理。我们的估计基于定理，通过构造确保对学习到的平流扩散参数场施加现实约束。估计自动提供了基于异常值场和“无异常”的平流扩散参数的分解。这提供了异常模式和在局部应该被认为是正常平流扩散参数的洞察。03）2D/3D正常-异常平流扩散数据集。我们开发了一个准实际平流扩散模拟器，可以用于基于平流扩散参数的监督模型预训练。重要的是，该模拟器能够生成速度矢量和扩散张量场，并应用人工异常。我们展示了这种模拟数据提升了平流扩散参数预测模型的性能，特别是对于异常传输。02.相关工作神经微分方程和光流最近深度学习的重大发展导致了基于深度学习的解决方案的爆炸性增长。这些方法要么直接通过DNN模型来建模解[16, 51, 56]，要么使用DNN学习无网格、无限维算子[8, 33, 38, 46,55]。虽然上述方法侧重于解决PDE问题，即正向问题，但我们对解决逆向PDE问题[34,59]感兴趣。在平流方程的背景下，这种逆问题已经在光流和一般图像配准方面进行了广泛研究[25,58]，其中要估计的参数是变形或速度矢量场[7, 9, 23, 24,43]。也已经研究了用于快速预测这些矢量场的DNN解决方案[5, 14, 54,62]。相比之下，我们的目标是估计更一般的平流扩散PDE的参数：具体来说，它们的相关速度矢量和扩散张量场。此外，光流和配准方法通常处理图像对，而我们基于图像时间序列获取的参数估计是基于多个时间点的。01通过灌注成像来推动我们的方法。然而，我们的方法通常适用于由平流扩散方程控制的任何过程的参数估计。0PDEs. 这一系列的工作要么直接通过DNN模型来建模解[16,51, 56]，要么使用DNN学习无网格、无限维算子[8, 33, 38,46,55]。虽然上述方法侧重于解决PDE问题，即正向问题，但我们对解决逆向PDE问题[34,59]感兴趣。在平流方程的背景下，这种逆问题已经在光流和一般图像配准方面进行了广泛研究[25,58]，其中要估计的参数是变形或速度矢量场[7, 9, 23, 24,43]。也已经研究了用于快速预测这些矢量场的DNN解决方案[5, 14, 54,62]。相比之下，我们的目标是估计更一般的平流扩散PDE的参数：具体来说，它们的相关速度矢量和扩散张量场。此外，光流和配准方法通常处理图像对，而我们基于图像时间序列获取的参数估计是基于多个时间点的。0灌注成像灌注成像通过连续成像测量血液在实质内的流动速度[19]。常见的灌注测量技术包括注射血管内示踪剂，例如动态敏感性对比增强（DSC）和动态对比增强（DCE）磁共振灌注[13, 19,36]，使用磁标记的动脉血液水质子作为内源性示踪剂（动脉自旋标记（ASL））[50]，或使用正电子发射断层扫描（PET）[21]。衍生的定量测量有助于临床诊断和决策。到目前为止，定量灌注测量的主流方法是使用示踪动力学模型估计血液动力学参数并获得三维灌注参数图[19,44]。然而，不同机构之间的灌注参数图存在显著差异，主要是由于不同的动脉输入函数（AIF）选择过程、去卷积技术和灌注参数的解释[44, 52,53]。此外，这些方法是在个别体素上进行的，忽略了注射示踪剂动力学的空间依赖性。存在通过PDE拟合示踪剂输运的工作，其中假设观察到的示踪剂浓度时间序列反映了血管内的血流（对流），而扩散捕捉了毛细血管内自由扩散示踪剂的运动和毛细血管输运的宏观效应[11, 11, 22, 36,57]。然而，这些工作假设速度和扩散在整个区域内都是恒定的，这在真实组织中是不现实的。Zhou等人[64,65]和Liu等人[35,36]提出使用数值优化的方法来模拟灌注过程的输运模型。然而，Zhou等人[64,65]假设扩散过程可以忽略；因此，只估计速度场，类似于光流[9, 25, 48]。Liu等人[35,36]和Zhang等人[63]估计了空间变化的速度和扩散场，但将扩散建模为标量场，无法表达扩散的各向异性。Liu等人[37]提出使用内在构建的无散速度矢量场和对称正半定（PSD）扩散张量场的对流-扩散模型来预测灌注过程，使用深度学习方法。这项工作通过张量来建模扩散的各向异性，并通过采用深度学习方法显著减少了推断时间。然而，区域异常没有得到明确的建模。因此，在灌注分析应用中需要进行额外的后处理步骤，例如病变检测。相比之下，D2-SONATA不仅以随机方式预测了对流-扩散参数的空间依赖性，而且还将输运分解为正常部分和异常部分，从而可以提供有关现有异常模式的额外见解。Let C = C(x,t) denote the mass concentration at loca-tion x in a bounded domain Ω ⊂ Rd (d = 2, 3), at timet ∈ [0, T].The local mass concentration changes of anadvection-diffusion process can be modeled as:∂C∂t = −V·∇C +∇·(D∇C)+σ∂Wt(1)+,187930设  C  =  C ( x , t )  表示有界域  Ω  �  R d ( d  =  2 ,  3 )中位置  x  处的质量浓度，在时间  t  ∈  [ 0 ,  T ]内。对流-扩散过程的局部质量浓度变化可以建模为：03. 方法 3.1.问题设置0=  − ( A � V ) ∙ � C � �� �异常分解的不可压缩流动0� �� � 异常分解的PSD0+  σ∂ W t � �� �模型不确定性0具有指定边界条件（B.C.）。对流项捕捉了流体流动相关的输运，扩散由质量浓度梯度驱动。空间变化的速度场  V  ( V( x )  ∈  R d ) 和扩散张量场  D  ( D ( x )  ∈  R d × d )描述了对流和扩散。公式（1）中包含了流体在实践中显示出的密度变化可以忽略的普遍假设[26, 37]，这意味着  V具有零散度（即无散）。与[37]一样，我们将扩散张量  D (x )建模为对称PSD，以捕捉主导扩散方向和扩散各向异性[47]。与现有方法相比，我们通过异常值场  A  ( A ( x )  ∈  R (0 , 1 ] ，较高的  A ( x )表示更接近正常)明确地建模异常。异常值场调节了速度和扩散场。具体而言，我们假设速度场可以分解为  V  =  A  �  V，扩散张量场可以分解为  D  =  A  ◦  D ，其中  V  和 D分别表示“无异常”的速度和扩散张量场。这里，�和◦表示“无异常”的速度和扩散之间的选择交互作用。02注意当D→0时，方程（1）是一个平流方程，这是许多变分光流或图像配准方法的基础[5, 7, 9, 14, 23, 24, 43, 54, 61,62]。如果要建模密度变化，可以简单地用�∙(CV)替换V∙�C。（详见Supp.C中的更多细节。）0张量场和异常值场（参见方程（4）中的定义）。这种相互作用可以选择不同的方式。详见第3.2节（定理1和2以及定义1）关于异常分解表示的细节（以及�和◦如何操作化），确保分解可以表示无散速度场和PSD扩散张量场。此外，我们通过随机偏微分方程（SPDE）对平流-扩散过程进行建模，其中σ（σ(x)∈R）表示布朗运动Wt（W(x,t)∈R）的方差[4]，代表动力系统的认知不确定性。在这个附加的随机项下，方程（1）的解的存在性和唯一性仍然成立[4, 49, 60]。03.2. 异常分解无约束表示如第3.1节所讨论的，不可压缩性和对称PSD性是流体流动和扩散的常用假设。在YETI[37]中，通过适当的参数化方法构造了无散矢量和PSD张量。因此，在将其集成到深度学习模型中时，不需要在训练过程中施加额外的损失来获得这些性质。然而，YETI并没有为预测的V和D场提供明确的异常模型。因此，D2-SONATA引入了两个表示定理，允许构造无散速度场和对称PSD扩散张量场，从而获得正常值场和异常值场的分解。0无散异常分解速度矢量B´ezenac等人[12]在训练过程中惩罚预测速度场与零散度的偏离，假设测试时的预测将近似无散。Kim等人[26]通过矢量场的旋度参数化速度矢量，但没有考虑在有界域场景中需要施加的边界条件[2, 3, 15,40]。Liu等人[37]提出了预测速度场V的参数化，该参数化通过构造是无散的；然而，对于V并没有明确建模异常区域，需要额外的后处理步骤来应用于异常检测的应用。因此，我们的目标是在具有平滑边界的域Ω�Rd（d=2,3）上对V进行表示策略，使得（1）V通过构造是无散的；（2）任何无散的V都可以表示；（3）V可以分解为表征异常场的异常值场A和对应的无异常值场V。0定理1（异常分解无散向量表示）。对于任意的矢量场V∈Lp(Ω)d和标量场A∈R(0,1](Ω)在有界域Ω�Rd上0在平滑边界∂Ω上。如果V满足�∙V=0，则�LVD = |Ωp|Ωp��V− �V��2 +��V− �V��2+ DD F + DD F + AAdx,(5)187940存在一个潜势Ψ∈Lp(Ω)α（当d=2(3)时，α=1(3)）：0V = �×(AΨ)，(AΨ)∙n∈∂Ω = 0. (2)0相反地，对于任意的A ∈ R(0,1](Ω)，Ψ ∈ Lp(Ω)α，�∙V =�∙(�×(AΨ)) = 0。（详见Supp. A中的完整证明。）0异常分解对称PSD扩散张量我们寻求一种表示D（对于D(x)）的方法，使得（1）D通过构造是对称PSD张量；（2）任何对称PSD的D都可以表示；（3）D可以分解为表征异常模式的异常值场A和对应的无异常值场D。我们利用谱分解定理和SO(n)上的满射Lie指数映射（exp：so(n)→SO(n)，so(n)是反对称矩阵的群，SO(n)是实正交群）[31, 32, 37]。0定理2（异常分解的对称PSD张量表示）。对于任意的n ×n对称PSD张量D和A ∈ R(0, 1] (Ω)，存在一个上三角矩阵02，以及非负对角矩阵Λ ∈ SD(n)，满足：0D = U(AΛ)U T, U = exp(B - B T) ∈ SO(n). (3)02，对于任意的Λ ∈SD(n)，方程(3)得到一个对称PSD张量D。（详见Supp.B中的完整证明）0定义1（“无异常”场）。根据方程(2-3)，当A在整个域(Ω)上等于1时，我们将相应的参数称为“无异常”。为了方便起见，我们写出关系式：0V = A � V, D = A ◦ D, (4)其中上划线用于表示“无异常”场。显然，当A →1时，V、D更接近正常。（详见Supp.A和B中的�、◦运算的显式表达式）0通过构造，我们不仅可以获得满足无散度和PSD约束的观测传输过程中的基础对流扩散参数(V,D)，还可以了解异常存在的位置以及对流扩散参数的正常模式。注意，在我们的方法中，我们将直接预测A、V和D。也就是说，我们将直接在分解域中工作，而不是预测V和D，然后再进行分解。03.3. D 2 -SONATA:面向随机正常-异常传输的深度分解0第3.2节描述了D 2-SONATA对无异常编码的无散度速度场和对称PSD扩散场的表示定理。这使得能够通过构造来表达具有现实约束的对流扩散参数以及相应的异常模式。特别地，使用这些表示0在训练和测试过程中，通过深度网络内的物理约束来确保这些约束。本节介绍了D 2-SONATA的两阶段学习框架，用于预测驱动潜在异常观测对流扩散过程的速度向量和扩散张量场：(1)物理信息学习：从观测的传输时间序列中重建异常值场(A)和“无异常”对流扩散参数(V,D)。可以通过构造获得编码异常的参数(V, D)(方程(4))。在这个阶段，模型在一个模拟数据集(Sec.4.1-4.2)上在地面真实参数和相应的异常值场的监督下进行训练；(2)传输信息学习：重建传输浓度时间序列，其中地面真实的对流扩散参数可能是未知的。在这个阶段，通过在方程(1)中随机对流扩散PDE的积分来实施观测质量传输动力学的监督。0基于补丁的输入时间序列给定时间序列 C = {C t i ∈ R(Ω) |i = 1, 2, ..., N T}，我们首先从相同的空间域 (Ω p � Ω)中随机提取32 3个补丁 (2D域为322个补丁)，这些补丁在连续的时间点 N in 中是随机的(从随机的 t i (i ∈ {1, 2, ..., N T - N in + 1})开始)。每个训练样本 (C p) 被表示为 C p = {C t j p ∈ R(Ωp) | j = i, ..., i + N in - 1} (图1 (左上角))。0物理信息学习：我们在这个阶段使用U-Net [1,10]作为参数预测网络(FP)的主干结构(Fig. 1(中间))。首先使用一个传输编码器将输入Cp编码为潜在特征。输入时间点的数量决定了输入通道的数量。然后，两个解码器学习到将映射到“无异常”参数(V,D)表示的映射。具体而言，V-解码器通过定理1预测势Ψ来表示无散度速度场V，D-解码器通过定理2预测B和Λ来表示对称PSD扩散张量场D。另一个解码器输出预测的异常值场(A)。得到的A、V和D可以计算出估计速度( V )和扩散( D)场的最终预测结果(Eq.(4))。这个阶段的重建损失有三个部分。它是基于实际和“无异常”对流扩散参数以及异常值场的监督损失，这些都是从模拟中已知的：0其中帽子符号表示预测值，∥∙∥2，∥∙∥F分别表示向量2范数和张量Frobenius范数。与YETI[37]类似，我们还对�D的特征向量（�U）和特征值（�Λ）进行监督，以提高网络捕捉各向异性结构的能力。: MaxPool (2) + (Conv. (3) + BN + LeakyReLU) ×2: ConvTransp. (2) + (Conv. (3) + BN + LeakyReLU) ×2Time-Series Sample C|Ω×NTt1t2t3titi+Nin−1tNTInput Patch Cp|Ωp×NinFP3264128256�Ψ�V�A�B⊕ �Λ�DFU3264128256�σTime-series Prediction �CpNδt = ∆t/δttiti +δt ti +2δt ti+1ti+Nout−1C|Ω×NT = {Cti ∈ R(Ω) i = 1, 2, ..., NT}Cp ΩpNin = C jpR(Ωp) j = i, ..., i+Nin −1}13Integrate in time, obtain Ct+δtp187950定理1。0定理2。0随机平流扩散PDE求解器。0Alg. 1:  D2-SONATA的伪代码。0输入：质量浓度时间序列。0输出：�V，�D，�U，�Λ，�A，�σ，{�Ctjp | j = i, ..., i +01 当L Phy 未收敛时执行物理信息学习。02 随机选择时间序列作为训练样本。03 重建潜在�Ψ，�B，�Λ和�A，�σ。04 用�Ψ，�A（方程（2，4））表示无散度的�V。05 用�B，�Λ，�A（方程（3，4））表示对称PSD D。06 计算L Phy 并进行反向传播。07 当L Trn 未收敛时执行运输信息学习。08 处理前向线2-6。09 对于t = ti + δt，..., ti+1，ti+1 + δt，..., ti+Nout−1。010 在空间上离散化（第3.3节）。011 通过方程（1）计算平流扩散SPDE。012 强加基于补丁的Cauchy边界条件。014 计算L Trn 并进行反向传播。0图1.D2-SONATA的两阶段学习框架。在物理信息阶段，模型在地面真实异常值场（A）和“无异常”的平流扩散参数（V，D）的监督下进行训练。在运输信息阶段，模型根据观测到的浓度时间序列进行训练，从而恢复最适合输入时间序列的底层V，D。因此，运输信息阶段适用于仅观测到浓度时间序列的实际数据。0扩散张量的结构特性。注意�U =[�u1，�u2，�u3]是通过方程（3）从�B得到的中间输出。0其中min通过选择∥ui + �ui∥2和∥ui −�ui∥2之间的最小值来解决特征向量符号的不确定性。物理信息学习阶段的损失函数为0运输信息学习。在这个阶段（图1），模型在运输动力学的监督下进行训练。它包含两个部分：（1）不确定性预测网络（FU）；（2）随机平流扩散PDE积分器。具体而言，FU用于表示模型的认知不确定性，即方程（1）中的σ。直观地说，模型的认知不确定性应该捕捉到以下内容：（1）对于正常范围内的值，布朗运动的方差应该很小（低不确定性）。在这种情况下，系统状态由平流扩散项主导。（2）对于参数值超出正常范围的异常区域，布朗运动的方差应该很大，系统应该表现出更高的不确定性[28]。基于这个期望的特性，我们设计了模型不确定性的训练损失函数为0Lσ = 10|Ωp|0Ωp((1−A)−�σ)2dx，（8）0在先验假设中，当真实值A接近正常值1时，不确定性应该很小。接下来，我们实现了一种随机平流-扩散PDE求解器，通过方程（1）（图1（右））将初始状态（Ctip）向前推进到ti+Nout−1，并进行训练。0通过最小化预测（�Cp）和输入（Cp）时间序列之间的差异来训练模型。我们遵循基于块的Cauchy边界条件和Liu等人描述的空间离散化方案[30, 37,59]。我们还使用RK45进行时间积分（δt）以预测浓度�Ct+δt。对于方程（1）中的随机项（σ），我们使用Euler-Maruyama方案[27,28]，因此方程（1）中的离散化随机项可以写成σW/√0∆t，其中W�N（0，1）。3（详见Supp.C）。给定一个训练块样本{Ctjp∈R(Ωp)|j=i,...,i+Nin−1}，我们计算集中浓度损失（LCC）[37,41]，即输出集中时间点处预测时间序列的均方误差，以鼓励预测值接近观察值。我们还使用正则化器（LSS）[37]对�V，�D的每个分量的梯度场进行正则化，以鼓励预测参数场在空间上平滑。因此，该阶段的完整损失为（wSS，wσ>0）0LTrn = LCC + wSSLSS + wσLσ.（9）4.实验第4.1-4.2节介绍了2D/3D模拟时间序列的结果。我们分析了D2-SONATA各组件的个体贡献，并将其改进与现有技术方法进行比较。在第4.3节中，我们进一步将我们在模拟数据上预训练的模型转移到来自缺血性中风患者的真实时间序列磁共振（MR）灌注图像上。我们展示了D2-SONATA区分中风病变的能力。03注意当时间分辨率（∆t）较粗时，δt应设置小于∆t（图1（右上角）），以满足Courant-Friedrichs-Lewy（CFL）条件[20, 30]，并允许稳定的数值积分。01187960模型训练数据V，DV，DAσ类型0PIANO [35] N/A � � � � 基于优化的0YETI [37]正常 � � � � 基于学习的0Anom.- YETI（Ab-）正常 � � � � 基于学习的0w/o-σ（Ab-）正常 � � � � 基于学习的0w/o- A（Ab-）正常 � � � � 基于学习的0D2-SONATA（Ab-）正常 � � � � 基于学习的0表1. 模型属性比较。0t = 0 t = 10 t = 20 t = 30 t = 40 异常0图2.各向异性移动高斯（第4.1节），正常（第一行）和异常（第二行）传输时间序列的示例。0图3.2D各向异性移动高斯（第4.1节）的平均相对绝对误差（RAE）：YETI，Anom.-YETI，w/o-σ，w/o-A和D2-SONATA。X轴：训练迭代次数；Y轴：100个测试样本的平均RAE（对数刻度）。0通过其预测的异常值字段A和重建的平流-扩散参数（V，D），从正常脑区域获取数据。04.1.2D（Ab-）正常各向异性移动高斯数据集我们模拟2D平流-扩散，随机产生异常（图2）。每个样本是一个2D图像时间序列（NT = 40，∆t =0.01s），在64^2的域上，间距为1mm。每个时间序列都是由高斯（N（0，2））在均匀采样的中心处初始化的平流-扩散过程。从随机生成的势能Ψ，B，Λ中获得“无异常”平流-扩散参数（V，D），其中Λ的所有分量都是从U [0,1]中随机采样的，Ψ是从U [−10,10]中随机采样的。异常值字段以50%的概率应用于原始的“无异常”参数，其中异常字段的值（∈[0,1]）和面积由多元高斯确定，其中心和标准差在域中均匀采样。然后，初始高斯通过V，D进行传输。（详见Supp. C）0比较为了检查D2-SONATA中不同组件的贡献，我们比较了五个变体0模型 �C �V �D �U �Λ �A0YETI [37] 8.53 18.21 6.48 4.43 4.71 N/A0Anom.- YETI 2.52 12.23 5.15 4.12 3.54 N/A0w/o- σ 2.41 10.91 4.67 4.07 3.08 0.510w/o- A 2.29 12.10 4.61 4.11 3.17 N/A0D2-SONATA 2.12 10.68 4.21 3.08 2.94 0.470表2. 3D（异常）脑平流扩散数据集（第4.2节）的平均RAE（%）（方程（10））的重建比较。0模型比较我们比较了五个变体（Tab.1）中的不同组成部分的贡献：（1）YETI：Liu等人[37]的YETI的原始设置，该模型使用无异常值场的各向异性高斯进行训练，并且确定性地预测平流扩散参数，而不预测异常场或不确定性；（2）Anom.-YETI：在这种情况下，YETI模型保持不变，但是使用了50%受到第4.1节中引入的异常场影响的各向异性高斯进行训练；（3）w/o-σ：D2-SONATA没有随机项和模型不确定性网络FU；（4）w/o-A：D2-SONATA在FP中没有用于异常值场（A）的解码器分支。在这种情况下，V，D解码器直接输出V，D的整体值，而不是分别预测异常值场和相应的无异常参数；（5）完整的D2-SONATA模型。我们遵循[37]中的训练计划，并使用其原始设置重新训练YETI。所有模型的时间序列样本长度为Nin = 10。我们设置Nout = 10，wUΛ = 0.5，wSS =0.1，wσ =0.5。在每500个训练时期后，我们对100个样本进行测试，并使用平均相对绝对误差（RAE）[37]来评估预测的�V，�D，�U，�Λ，�A：0Err（F）= 10|Ω|0Ω ∥ F − �F ∥ / ∥F∥0其中F（�F）表示地面实况（预测），∥∙∥是标量、向量和张量的绝对值、2范数和Frobenius范数。时间序列误差（Err（C））计算了所有预测的配点时间点上的RAE的平均值。图3显示了五个模型在训练过程中的测试重建误差。在训练过程中接触到异常数据（Anom.-YETI）显著提高了YETI的重建性能。异常值场（A）的预测有助于V，D的重建，并且作为随机系统（σ）的建模进一步改善了时间序列的预测。总的来说，通过异常预测和随机建模，D2-SONATA在（异常）正常时间序列预测和平流扩散参数重建方面优于所有其他变体。4.2. 3D（异常）脑平流扩散0数据集我们基于IXI脑数据集4开发了一个正常-异常脑平流扩散模拟器。按照[37]中的模拟过程，我们使用200个患者04 http://brain-development.org/ixi-dataset/187970A0∥V∥20tr D0FA0Ground Truth YETI [37] Anom.- YETI w/o- σ w/o- A D2-SONATA0N/A N/A0N/A0图4.3D（异常）脑平流扩散数据集（第4.2节）中一个测试案例的重建比较（Tab. 1）。（∥V∥2在最大强度投影中显示。）0对于具有T1-/T2加权图像、磁共振血管成像（MRA）图像和扩散加权图像（DWI）（具有15个方向）的患者，我们模拟了正常的3D速度和扩散张量场5。对于每个案例，我们模拟正常样本和异常编码样本，即对V和D都应用了模拟异常值场，其中异常场的值（在[0,1]范围内）和面积由多元高斯分布计算，其中心和标准差在空间域上均匀采样。每个生成的图像具有等距间距（1毫米），并且已经进行了刚性注册。总之，我们模拟了2400个脑部平流扩散时间序列，其中50%包含模拟的异常。我们随机选择40个时间序列用于验证和测试（有关更多模拟细节，请参见Supp.D）。比较我们与第4.1节中相同的五个模型进行比较（Tab.1）。我们遵循YETI[37]中的训练策略，并使用其原始设置重新训练YETI。通过将输出补丁拼接在一起，可以获得整个域上的预测参数（�V，�D，�U，�Λ，�A）。使用�V，�D将随机平流扩散PDE向前，我们获得原始域上的预测时间序列�C。为了更好地可视化，我们使用速度场的2范数（∥V∥2）图作为速度场，使用扩散场的常用张量特征图[37,45]：（1）迹（trD），张量特征值（Λ）的总和：扩散强度；（2）分数各向异性（FA）：数量级05的目标是获得三维模拟的非平凡平流-扩散参数，以提高网络的监督预训练。这可能不会模拟整个大脑的真实灌注，但预计会提供准实际的局部模式，这些模式将出现在真实数据中。0在不同扩散方向上的各向异性。表2比较了五个模型预测的�V，�D，�U，�Λ和�A的重建误差，其中D 2-SONATA始终优于其他所有模型。具体而言，使用异常样本和随机项（σ）来建模不确定性有助于实现更好的整体性能，特别是在预测传输时间序列方面。使用基于异常值场（A）的提出的分解进一步提高了平流-扩散参数的重建。D 2-SONATA的优势在图4中更加明显，它成功捕捉到了异常值场（A），并准确重建了平流-扩散参数（V，D）的整体幅度。在训练过程中没有看到异常样本的情况下，YETI很难识别异常并有效区分平流（V）和扩散（D）（第二列），导致trD反映正常和异常区域之间的差异不足，而重建的∥V∥2是所有模型中最嘈杂的。使用异常样本进行训练通常有助于模型定位异常。有趣的是，将其分解为异常值场和“无异常”的参数可以改善扩散的分数各向异性（FA）的重建，特别是在异常区域内。04.3.ISLES2017：来自缺血性中风患者的脑灌注数据集我们在缺血性中风病变分割（ISLES）2017数据集[39]上进行测试，该数据集包含来自75名（43名训练，32名测试）缺血性中风患者的灌注数据。每个患者都有动态敏感性对比（DSC）MR灌注图像（4D，有40到80个可用时间点，时间间隔≈1s），以及相应的黄金标准病变分割图[17]。所有图像都被重新采样为等间距（1mm），并通过ITK[42]按照[37]在患者内部进行刚性配准。通过MR信号和示踪剂强度之间的关系[19]，将灌注图像转换为示踪剂浓度时间序列{Cti∈R(Ω)|i=1,2,...,NT}（t1是整个大脑上总浓度的峰值时间，假设注入的示踪剂已完全输送到大脑[35,37]）。随机选择10个具有病变分割图的患者进行测试，而其余的65个浓度时间序列进行数据增强时进行左右翻转（即脑半球翻转）。总共，我们获得了130个时间序列训练样本，其中随机选择了10个样本用于验证。结果我们将预训练模型从我们的模拟3D正常-异常脑平流-扩散数据集（第4.2节）转移到ISLES示踪剂浓度时间序列数据集上，使用Adam优化器和学习率10−4。我们设置Nin=Nout=5，wσ=0.5，wSS=0.1。按照提出的特征图进行比较µr(↓)Me.0Med.0.490.300.480.320.590.540.550.590.790.58(STD) (0.13)(0.17)(0.15)(0.11)(0.19)(0.15)(0.16)(0.12)(0.23)(0.13),(11)187980病变 A 分割 ( A ) σ ∥ V ∥ 2 ∥ V ∥ 2 tr D tr D0图5.四个测试中风患者的病变分割和相应的D 2 -SONATA特征图。0度量 D 2 -SONATA YETI  [ 37 ] 钢琴  [ 35 ] ISLES  [ 39 ]0A∥V∥2trD∥V∥2trD∥V∥2DCBFCBVMTT0| t|（↑）0Me. 280 165 166 155 49 108 52 34 16 31 Med. 286 164 158 134 42 89 48 28 1132（STD）（58）（37）（60）（62）（22）（35）（26）（22）（12）（37）0AUC（↑）0Me. 0.79 0.70 0.64 0.73 0.51 0.74 0.68 0.72 0.65 0.65 Med. 0.76 0.71 0.65 0.73 0.50 0.74 0.69 0.73 0.680.66（STD）（0.05）（0.04）（0.07）（0.06）（0.03）（0.04）（0.03）（0.07）（0.06）（0.06）0� ↓（↑）表示较低（较高）的值更好。0表3.D2-SONATA、YETI、PIANO和ISLES地图在ISLES2017数据集的10个测试对象之间的定量比较（第4.3节），使用相对平均值µr、绝对值|t|和曲线下面积（AUC）的平均值（Me.）、中位数（Med.）和标准差（STD）。0在[35,37]中，我们计算（1）速度场的2-范数（∥V∥2），以及（2）扩散张量的迹（trD）（都在第4.2节中介绍）。在D2-SONATA中，我们还显示（3）输出模型的不确定性（σ），（4）预测的异常值场（A），以及（5）通过阈值化6A获得的分割图Seg(A)。图5显示了来自我们模型的四个测试患者的特征图。所有特征图都显示出与手动分割的病变图一致的特征。重要的是，除了预测的对流-扩散参数（∥V∥，trD）的特征图之外，我们还获得了（1）异常值场（A），可以直接获得病变分割（Seg(A)），以及（2）“无异常”的参数（∥V∥，trD），这些参数提供了对患者正常脑灌注的预期了解。比较我们将D2-SONATA（∥V∥2，D，A）的特征图与（1）YETI [37]：∥V∥2，D；（2）PIANO[35]：∥V∥2，D7；以及（2）ISLES [39]的性能06所选阈值是根据6个随机选择的测试患者的分割Dice分数的最佳阈值平均值。7我们直接使用D作为PIANO的扩散模型。0（灌注总结图）：脑血流（CBF），脑血容量（CBV），平均通过时间（MTT）。我们报告了Liu等人提出的两个度量[37]，重点关注病变和正常区域之间的特征图差异：（1）相对平均值（µr∈[0,1]）：0µr = min�0在c-病变中的平均值，在c-病变中的平均值0病变中的平均值0其中c-病变是通过沿脑半球中线镜像获得的病变的对侧区域，min考虑到病变区域中通常较大的MTT值（而其他指标通常较小），而不是c-病变区域；（2）绝对t值（|t|）：病变和c-病变区域之间的成对t统计量的绝对值。以上两个度量是在已知分割的病变区域的情况下定义的。在这项工作中，我们还考虑了特征图能够多好地区分病变和非病变区域。也就是说，我们希望直接将它们用于病变分割。为此，我们对所有特征图进行阈值处理，并另外比较从所有特征图计算的接收器操作特性（ROC）曲线下面积（AUC）。表3根据上述指标比较了D2-SONATA、YETI、PIANO和ISLES的10个测试患者的特征图。尽管以异常编码分解的形式预测了对流-扩散参数，但D2-SONATA在∥V∥2和trD之间的病变和c-病变的相对平均值（µr）最低。这表明D2-SONATA更能够区分正常和异常场。此外，预测的异常值场（