基于神经常微分方程的可变形图像配准优化框架

{yfwu, zjh}@seas.upenn.edu{jiancong.wang, pauly2}@pennmedicine.upenn.edumya@seas.upenn.edugee@upenn.eduIJJ𝜓𝜓abcdefghij|D𝜓|1208040NODEO：基于神经常微分方程的可变形图像配准优化框架0Yifan Wu * Tom Z. Jiahao * Jiancong Wang Paul A. Yushkevich M. Ani Hsieh James C. Gee宾夕法尼亚大学，费城，美国0图1。使用我们的框架进行2D图像配准。行显示（J）移动图像，（I）固定图像，（J ψ）扭曲的移动图像，（|D ψ|）变换 ψ的雅可比行列式，以及 ψ的可视化。列（b）（d）（f）（h）（j）包含固定边界约束，如实线红线框所示，而（a）（c）（e）（g）（i）不包含（虚线红线框）。0摘要0可变形图像配准（DIR）旨在找到图像之间的空间对应关系，是医学图像分析领域中最关键的问题之一。在本文中，我们提出了一种新颖、通用且准确的微分同胚图像配准框架，该框架利用了神经常微分方程（NODEs）。我们将每个体素建模为一个移动粒子，并将3D图像中的所有体素集合视为一个高维动力系统，其轨迹决定了目标变形场。我们的方法利用深度神经网络的表达能力来建模动力系统，并同时优化图像对和相应变换之间的动力系统。我们的公式为0*平等贡献。0我们的实验结果表明，我们的方法在各种指标下优于基准方法。此外，我们展示了将我们的框架扩展到使用统一形式的变换注册多个图像集的可行性，这可能可以服务于更广泛的应用范围。01. 引言0可变形图像配准（DIR）是一种建立图像之间空间对应关系的过程。“可变形”一词指的是所需变换的非线性和密集性质。DIR具有广泛的应用范围，包括人群研究的标准化，纵向成像变化的量化，以及考虑运动的计算等。2208050器官的成像，作为其他图像分析算法的构建块等。虽然通常没有最佳变换的真实值，但图像配准通常根据三个标准制定和评估：根据预定义的相似度度量准确匹配源图像和目标图像的精度，确保变换的规则性以确保其良好行为，如拓扑保持，以及算法的速度[34,37]。传统方法将DIR解决为成对优化问题。这些方法通过硬模型假设强制实施变换规则。例如，大变形同胚度量映射（LDDMM）[7,23]是最有影响力的方法之一，通过使用流偏微分方程（PDE）来制定注册问题，解决同胚映射。时间变化速度场的积分产生最终的变形。然而，如果需要速度和准确度，这些方法可能很难应用，并且如果需要不同的模型假设，它们可能限制性能[34]。随着机器学习的快速发展和医学成像数据的丰富，越来越多的人对开发基于深度学习的方法来解决DIR问题感兴趣[6,11,12,25,45]。这些方法通过使用神经网络学习训练数据集的良好共享表示显著减少了注册的运行时间。然后，对新的图像对进行注册成为一个快速推理过程。然而，最近数据驱动学习方法的普适性是近期挑战的一个长期问题，阻碍了它们在实践中的直接应用。科学机器学习的最新发展已经展示了使用神经网络建模微分方程的有希望的结果[17,47]，这可以描述任何随“时间”演化的系统。鉴于流动方法（如LDDMM[7]）的实用性和深度神经网络的表达能力的已知优势，我们问：我们能否将两者的优点结合起来？我们试图从以下几个角度分析这种可能性。（i）图像配准问题可以被视为系统识别问题。具体而言，我们的任务是找到一个微分方程，其解给出图像之间的变换。通过对动力系统施加少量假设，我们能够探索各种类别的系统及其解，以实现所需的配准，并确保在需要时具有某些解属性，如拓扑保持。（ii）传统的基于模型的方法自然受到所假设和实施的模型的限制。给定模型所施加的硬约束可能会因为更好的模型容量和规则性而被放松。特别是，允许对其轨迹进行惩罚的可学习流可以作为一种替代框架。0（iii）在DIR中采用深度学习可能不需要额外的数据。深度学习的表达能力源于其函数的组合规则。许多现有的基于DL的配准工作建立在特征学习的基础上，它通过监督标签或足够数量的图像对来学习映射或流动。神经网络的另一个容易被忽视的用途是它们可以作为一种“参数化”的通用优化问题的骨干。对于DIR问题，我们可以使用一个网络来参数化我们在（i-ii）中要识别的系统。受到上述分析的启发，我们提出了NODEO，一种基于神经常微分方程的优化框架，将速度场优化公式化为神经网络优化。具体而言，我们将图像中的所有像素/体素位置集合视为一个单一的演化系统，并使用深度神经网络参数化系统的演化动力学。因此，配准任务变成了寻找一个系统，其轨迹的终点是最小化图像之间不相似性的变形场。我们方法的好处有两个。首先，从广义流场方法开始，然后专门化到图像配准，我们的框架提供了增强的灵活性。我们的框架使嵌入适当的动力学约束（如空间平滑性）变得简单，允许在定义任务特定的“好”变换时具有灵活性，并产生具有所需属性的解决方案。我们还可以根据需要轻松地加入边界条件。通过对轨迹的中间状态施加损失惩罚，我们的模型允许在解决方案上施加各种假设的类型和数量。因此，我们的框架很容易通过添加中间监督从图像对扩展到多图像集。其次，我们明确将图像网格视为一个高维系统，以便可以自然地利用卷积层，使粒子在系统动力学中相互作用。所提出的解决方案将神经网络的全部表达能力带入，如图1所示。请注意，我们的方法属于成对优化方法的范畴，即网络参数在没有任何额外数据的情况下进行优化。总的来说，本文的贡献有：（1）通过高维动力系统建模将流场方法推广到配准领域，（2）将发现微分方程及其解（速度场）的优化问题统一到一个网络中，而无需训练数据，（3）增强了灵活性和有效性，可以添加所需的正则化和约束来进行解决方案变换，（4）证明了所提出的框架可以作为已经在许多应用领域中证明有用的基于优化的配准工具的替代方法。̸̸where q0 is the initial voxel cloud when none of the voxels3208060在许多应用领域中，已经证明了基于优化的配准工具具有卓越的性能，可以使用各种评估指标。02. 相关工作02.1. 基于成对优化的方法0有许多著名的DIR技术已经发展成为广泛使用的工具。NiftyReg [24]是参数化方法[29,30]的代表作品，用有限的一组参数利用基函数、B样条等来描述连续插值。Demons及其变体[36, 39,40]是基于光流的非参数化技术。SyN[5]是贪婪技术的代表作品，以产生对称解而闻名。解决方案变换家族是基于应用或所需开发的特征而做出的选择。当希望变换可以是大变形且保持拓扑性时，这在许多应用中都是有用的属性，那么流动形式是自然的变换家族。大变形同胚度量映射（LD-DMM）是这个家族中最有影响力的方法之一，它生成从源图像到目标图像的轨迹，而不仅仅是变换。LDDMM将配准问题公式化为求解一个“流动”源图像到目标图像的速度场。早期的LD-DMM工作通过变分方法直接求解欧拉-拉格朗日方程。后来采用了射击方法，使用欧拉-泊松特征来保证测地线路径，将优化空间从时空速度场减少到初始动量[7,23]。LDDMM的优雅公式激发了许多后续工作来改进框架，包括使用伴随[41]的优化方法、离散化-优化范式以减少运行时间[19,28]、时空变体正则化以放宽约束[32]等。LDDMM专门针对配准问题，并对流场的动力学做出了强假设，而我们的方法更加灵活，因为我们从通用流场方法开始，然后缩小到图像配准。02.2. 基于数据驱动的学习方法0借助深度学习的能力，越来越多的人对基于学习的DIR问题提出了兴趣[6, 10,11,45]。通过学习一组图像的共同表示，然后在推理阶段进行配准，基于学习的方法可以显著减少运行时间[12, 13, 26,31]。一些努力试图将正则性（如微分同胚性）纳入网络中，通过开发对称和可逆结构或惩罚[16, 21,25]。为了更好地解决大变形问题，Xu等人提出使用神经ODE对图像进行配准的参数动力学进行精炼[43]。然而，他们没有像我们一样直接使用神经ODE将图像之间的变换描述为流。尽管有许多努力改进泛化能力，例如数据增强或低样本学习[9,33]，但泛化能力仍然是当前基于数据驱动的学习方法的一个长期难题。与大多数基于学习的配准方法不同，它们建立在特征学习的基础上，我们使用网络来表示微分方程。0通过建模配准模型（例如b样条）参数的动力学来改进估计的变换，从而对图像进行配准[43]。然而，他们没有像我们一样直接使用神经ODE将图像之间的变换描述为流。尽管有许多努力改进泛化能力，例如数据增强或低样本学习[9,33]，但泛化能力仍然是当前基于数据驱动的学习方法的一个长期难题。与大多数基于学习的配准方法不同，它们建立在特征学习的基础上，我们使用网络来表示微分方程。03. 方法03.1. 可变形图像配准公式0可变形图像配准问题可以如下形式化：将非参数化的3D图像视为离散实体，其中第i个体素/点的位置由xi∈Ω�R3给出，i≠j��xi≠xj，其中Ω是图像域。在形状分析中，这个体素位置被称为地标坐标。所有体素或体素云的位置可以用有序集合q={xi}Ni=1表示，其中N=D×H×W是图像中体素的总数，D、H和W分别是图像的深度、高度和宽度。为了简洁起见，我们将Π表示为体素云的定义域，q∈Π。我们将固定图像表示为I，将移动图像表示为J，它们是函数I，J:Ω→Rd，将每个体素坐标映射到体素值/强度。在本文中，我们仅考虑标量值，例如MRI图像，因此d=1。传统上，DIR的目标是找到一些良好的变换ϕ:Ω→Ω，使得变换后的移动图像J(ϕ(x))，�x∈q与固定图像I相似[7]。这里，ϕ是将体素域Ω映射到自身的空间变换。恒等映射被定义为ϕ0，使得ϕ0(x)=x。在DIR的许多应用[15]中，变换ϕ的一个良好属性是在R3中既光滑又微分同胚。后者的条件要求变换下保持移动图像的拓扑。换句话说，变换ϕ不应在Ω中创建折痕。我们可以通过定义ϕ在体素云上的应用作为体素上的逐点变换来重载函数ϕ，即ϕ(qf)=(ϕ(x1),ϕ(x2),...，ϕ(xN))T，其中qf=(x1,x2,...，xN)T0是空间展平的体素云。类似地，当应用于变换后的体素云时，可以为图像J定义这种逐点变换。根据上述定义，DIR通常被形式化为给定的组合图像相似度度量和变换的正则化的最小化问题，其中0J(ϕ; I, J) = S(J(ϕ(q0)), I) + R(ϕ), (1)L(z(t1)) = L�z0 +�(5)4208070图2.框架概述。我们的框架将向量场vθ建模为一个神经网络。首先，使用卷积层对没有强度的体素云进行下采样。然后通过稠密层注入时间。然后对其进行上采样，恢复为体素云的形状，并使用高斯核进行平滑处理。请注意，图像仅用于相似性度量。0在云中已经发生了变换。项S(∙,∙)是衡量变形移动图像J和固定图像I之间差异的相似度度量。项R(∙)是对变换的正则化。然而，在本文中，我们通过寻找一个将体素云域Π映射到自身的变换ψ: Π →Π来重新定义问题，同时要求Π中的微分同胚。这与大多数没有强调强度的点云变形工作[18, 27,44]不同，后者将映射建模为R3 →R3。在本文中，我们明确允许体素之间的相互作用，通过在高维云空间中寻找变换。我们的问题形式与公式(1)类似，唯一的区别是体素云上的变换不再是逐点的，而是给定为0J(ψ; I, J) = S(J(ψ(q0)), I) + R(ψ)，(2)0其中ψ(qf) = (ψ(x1, x2, ...,xN))T。我们也可以将其写为ψ(qf) = (ψ1(qf), ψ2(qf), ...,ψN(qf))T，其中ψi被称为ψ的第i个分量。03.2. 神经常微分方程0受残差网络和动力系统之间的相似性启发，Chen等人[8]首次引入了神经常微分方程（NODEs）来近似无限深度的神经网络。它旨在通过定义以下形式的损失函数来学习由θ参数化的函数f：0dz dt = fθ(z(t), t)，(3)0t0 fθ(z(t), t) dt �。(4)0从系统角度来看，NODE是连续时间模型，将向量场表示为神经网络。它0后来，它被改进为一种通用框架，用于建模高维时空混沌系统，利用卷积层[17]，展示了其在空间和时间上捕捉高度复杂行为的能力。因此，我们认为它是我们配准任务的合适候选模型。由于NODEs通常需要数值求解器进行多步计算以实现流动，如果使用传统的反向传播方法来存储沿着积分步骤的所有梯度，它们会占用大量内存。因此，许多最近的工作[8,46]都致力于减少梯度传播的内存需求。值得注意的是，伴随灵敏度方法（ASM）使得优化NODEs的梯度传播具有恒定的内存开销。我们在工作中也采用了ASM。关于ASM的简要描述可以参考补充材料。其梯度收敛性的证明可以在[8,17]中找到。ASM使得我们的框架能够在任意数量的步骤中在t=0和t=s之间进行插值，而内存开销保持恒定。当需要一个时间上平滑的微分同胚流时，这是特别有帮助的，因为数值求解器可以增加其步数以提高q(t)相对于t的平滑性。此外，我们的模型还可以通过对轨迹的中间状态施加约束来扩展到多个或连续的图像。03.3. 动力系统视角下的DIR0我们的工作借鉴了动力系统的直觉，将整个体素云的轨迹视为一阶非自治常微分方程的解，给定为0dq dt = K vθ(q(t),t)，0s.t. q(0) = q0，0其中，vθ(∙)是由θ参数化的描述体素云动力学的向量场，q0是t=0时的初始条件。我们使用高斯核（对于Ω�R3，我们使用3D高斯核），用K表示。Kvθ(q(t), t)dt.(6)(7)NCC(I, J) =1Nx∈q(s)�xW (I(xi)I(x))2∥Kvθ(q(t), t)∥22dt.(11)5208080过滤算子以在Ω中强制空间平滑性。直观上，K是为了确保体素的速度与其邻居的速度相似。增加核大小相当于在更大的体素空间上进行平滑，因此会改善结果流的平滑性；增加核的方差相当于鼓励更多的个体运动，从而降低结果流的平滑性。术语“非自治”或等效地“时变”、“非平稳”意味着q的时间导数明确地依赖于t[35]。换句话说，附加到欧拉框架的速度场随时间变化。q的轨迹通过积分方程(5)中的ODE生成，初始条件为q0。假设体素云从t=0演变到t=s，t=s时的体素云表示为给定的变换ψ(q0)，如下所示：0ψ ( q 0 ) = q ( s ) = q 0 + � s0方程 (6)在动力系统中被称为微分同胚流映射。尽管唯一性和存在性定理[35]只能暗示高维空间 Π中的微分同胚性，但我们将展示通过在优化任务中加入软约束可以在 Ω中实现微分同胚性。在实践中，流映射使用数值积分方法（如欧拉法）计算。请注意，尽管大多数现有工作中选择 s 为1，但它可以由求解器所采取的步骤总数和相应的步长参数化。因此，找到变换 ψ 的任务变成了找到描述 v的最佳参数集。因此，优化问题变成了：0θ = arg min θ ∈ Θ L sim0� I, J ( q 0 + � s00 K v θ ( q ( t ) , t )dt ) �0+ R ( ψ, v θ ) + B ( ψ ) ,0其中 Θ是所有可能参数的空间。损失函数中的不同组成部分包括相似度度量 L sim ，正则化项 R 和边界条件 B。每个正则化项可以使用适合问题的不同度量。相似度损失为 L sim ( I, J ) = 1 − NCC ( I, J ) ，其中 NCC是标准化的互相关，给出如下：0x i ∈ W ( I (x i ) − ¯ I (x))0x i ∈ W ( J (x i ) −0(8) 其中 ¯ I (x) 和 ¯ J (x) 是窗口 W 的局部均值，x位于其中心位置，x i是该窗口内的一个元素。在这项工作中，我们将 w设置为21。0正则化项由三个部分组成：0R ( ψ, v θ ) = λ 1 L Jdet + λ 2 L mag + λ 3 L smt. (9)0第一项 L Jdet惩罚变换后的体素云中的负雅可比行列式，给出如下：0L Jdet = 10x ∈ q ( s ) ∥ σ ( − ( |D ψ (x) | + ϵ )) ∥2 2 , (10)0其中 D ψ (x) 是变换 ψ 下 x 处的雅可比矩阵。这里 σ ( ∙ ) =max (0 , ∙ )是ReLU激活函数，用于选择负雅可比行列式。如果变换中没有折叠，其雅可比行列式 D ψ (x)应为正数。最后，我们在雅可比行列式上添加一个小的数 ϵ作为过度修正。与[11, 25]中使用 L 1正则化不同，我们在这里使用 L 2 范数。L 1正则化引入稀疏性，减少折叠的数量，而 L 2范数可以最小化折叠的整体幅度，从而避免异常值。可以将两者结合以适应特定任务。在我们的框架中，L Jdet是一个关键组成部分，因为它确保了流在 Ω中是微分同胚的。在这项工作中，雅可比矩阵使用有限差分近似实现。第二项 L mag规范化了沿着体素云轨迹的速度场的幅度，给出如下：0L mag = 10� s0这相当于惩罚流的能量。在实践中，积分被替换为数值积分方法所采取的步骤上的平方范数的求和。最后，第三项 Lsmt 用于规范化变换后的体素云的空间梯度，给出如下：0L smt = 10N0x ∈ q ( s ) ( ∥�ψ（x）∥22)，(12)0其中�ψ（x）表示变换ψ下x周围的空间梯度。这鼓励变换后的体素云的空间平滑性。与LJdet类似，Lsmt也是以离散近似的方式实现的。请注意，即使vθ已经包含了高斯滤波，从而转化为ψ的空间平滑性，Lsmt的引入也可以减少数值积分导致的平滑度降低。方程（7）中的最后一项B（ψ）指定了变换ψ的边界条件。虽然我们的MRI配准任务没有指定任何边界条件（B（ψ）=0），但我们将通过对二维图像进行说明性实验来展示其效果。6208090图3.在多个图像上发现变换。目标图像I、J、K显示在顶部行中，模型的任务是通过J从I到K识别出一条变换路径。所示的配准结果来自使用（a）具有显式时间嵌入的时变系统和（b）变换不依赖于时间的时不变系统。在配准过程中，变换ψ（qt）在扭曲图像上绘制。04. 方法分析04.1. 二维成对图像的示例0为了展示我们框架的特性和能力，我们使用它对各种二维图像（Ω �R2）进行了配准，如图1所示。这些二维脑部图像的尺寸为144 ×160，并且是从真实脑部MRI中获取的切片。所有其他图像的尺寸为144 ×144，并且是手绘的。我们在公式（7）中使用均方误差（MSE）进行相似度测量，并且不包括Lmag和Lsmt。根据图1，我们注意到得到的变换ψ保持了拓扑性：虽然配准尽可能地使移动图像看起来像固定图像，但它在二维中保持了移动图像的拓扑结构。列（c）和（d）显示，扭曲的“甜甜圈”与圆形非常相似，但中间的孔仍然存在。列（g）和（h）还说明了两个不连通的部分不会变成连通的。二维微分同胚：微分同胚是比拓扑保持更强的条件，因为它要求变换既连续又可微分。在ψ的可视化中没有可见的折痕。如果我们仔细检查雅可比行列式，会发现有一些违规，通过增加LJdet的权重可以进一步减少这些违规。请注意，对于列（e）（f）中的示例，实际上不存在I和J之间的微分同胚，因为尖角使得I的流形不平滑。即使如此，我们的框架也会产生一个略微圆润的“十字”，作为平滑近似的结果。强制边界条件：列（a）（c）（e）（g）（i）显示了没有边界条件的配准，而其余列则固定了四边上的网格。可以观察到，通过这种边界条件，四边保持不变。0得到的ψ的性质保持不变。0为了分析正则化项的效果，我们进行了消融研究。图4显示了高斯平滑和LJdet正则化器对二维图像的影响。我们发现通过对模型应用硬约束K，可以使其达到所需的空间平滑性和连续性。尽管我们在建模高维系统以利用其表达能力，但我们可以在低维度R2中实现微分同胚变换。0在这种情况下，通过使用软正则化器LJdet。04.2. 用于多幅图像的二维示例0我们的框架还可以扩展到对图像序列进行配准，其中中间图像充当变换的约束条件。图3展示了从心脏到熊的变换任务，并且在中间步骤中图像必须呈圆形。在这里，我们比较了时变和时不变模型。为了使系统时变，我们使用位置编码将时间信息嵌入，类似于变压器模型[38]。为了确保整个变换过程中的微分同胚性，我们对每个中间步骤应用了公式（10）。从图3可以看出，时变系统产生了更好的配准结果，这表明在更受限制的任务中，如此类任务中，融入时间是重要的。在实践中，这些中间图像可以是图像对之间已知的时间动态（例如婴儿发育[42]，疾病进展[4]，心脏或呼吸运动）。换句话说，能够融入中间图像约束将允许将领域知识嵌入到配准过程中，并提供更准确的变换。J𝜓7208100�0| D � |0I J0Neg0(a) (b) (c) (d)0图4. 高斯平滑K和L Jdet正则化器效果的演示。行显示(Jψ)扭曲的移动图像，(ψ)变形场的网格可视化，(|Dψ|)变换ψ的雅可比行列式，(Neg)具有负雅可比行列式的区域（黄色）。列显示(a)同时使用K和LJdet进行配准，(b)仅使用K，(c)仅使用L Jdet，(d)两者都不使用。05. 与基准的比较05.1. 数据集和预处理0我们在与最先进的[25]相同的配准任务上评估我们的框架，该任务采用基于图谱的配准。在这项工作中，图谱/模板被用作固定图像。我们随机选择少量图像作为图谱，并使用其余图像作为要配准到固定图像的移动图像。我们在两个数据集上进行实验：OASIS和CANDI。OASIS：OASIS[22]数据集包含来自416名受试者的一系列横断面T1MRI扫描。这些受试者的年龄在18-96岁之间，其中100名被临床诊断为轻度至中度阿尔茨海默病。我们使用标准处理工具FreeSurfer [14]将所有扫描重采样为1mm × 1mm ×1mm，然后进行运动校正和去除颅骨。我们使用FreeSurfer提供的整个大脑自动分割进行评估。然后，我们通过仿射变换将所有图像对齐到MNI152空间[14]。最终图像通过中心裁剪具有160 × 192 ×144的尺寸。我们将ID为1、10、20、30、40的五个图像作为图谱，将ID小于50的其余图像作为移动图像。总数为0移动图像的数量为40，因此有200对需要进行配准。CANDI：Child and Adolescent NeuroDevelopment Initiative(CANDI) [20]数据集包含4个组的T1MRI扫描，分别是健康对照组、精神分裂症谱系、双相情感障碍和无精神病的双相情感障碍。我们使用数据集中提供的手动标记的整个大脑分割进行去除颅骨。然后，我们将图像与其相应的分割一起转换到MNI152空间，并将图像中心裁剪为与OASIS数据集相似的尺寸160 × 192 ×144。我们将每个组的第一个受试者作为图谱（固定图像），将接下来的5个受试者作为移动图像。移动图像的总数为20，因此有80对需要进行配准。05.2. 评估指标0DIR的目标是找到空间对应关系，使得两个图像的相似性最大化。在形变配准中，不允许体素自相交，这可以通过确保形变场的雅可比行列式D ψ(x)非负来保证。我们遵循惯例[10, 11, 16,25]，使用以下两个标准来衡量相似性和形变性。Dice相似系数：Dice分数衡量两个空间区域的重叠与并集之间的比率。在这里，我们使用整个脑分割图计算Dice。具体而言，我们根据两个图像的配准给出的变形场，评估固定分割与扭曲移动分割之间的Dice。我们使用自动分割图计算28个解剖结构的平均Dice，与VoxelMorph[6]中的方法相同。对于CANDI数据集，由于其为32个结构提供了手动标签，我们报告了28个和32个结构的平均Dice。有关这些解剖结构的详细信息，请参阅补充材料。雅可比行列式：在我们的实验中，我们报告负雅可比比率，表示具有负雅可比行列式的体素数与每个图像的总体素数之比。同时，我们报告雅可比行列式的负值之和，表示以像素/体素单位的折叠总面积/体积。05.3. 结果0我们将我们提出的方法与最先进的基于学习的方法SYMNet[25]以及基于逐对优化的方法进行比较，这些方法使用了成熟的软件包，包括SyN [5]，Log-Demons [40]和NiftyReg[24]。SYMNet被认为是图像配准中领先的基于学习的框架，因为它优于其他现有的基于学习的方法，如VoxelMorph系列的工作[6，10]。SYMNet使用深度学习框架学习对称变形场，实现了可逆配准，并在配准准确性（dice）和变形场质量（通过r D和sD衡量）方面表现最佳。为了与SYMNet进行公平比较，我们使用相同的数据集（例如OASIS）和数据处理方法，并使用官方SYMNet存储库中提供的预训练模型。定量结果如表1所示。对于OASIS和CANDI数据集，我们的方法在脑结构的平均dice分数上都表现出一致且显著的改进，如表1所示。我们的r DFixedMovingOurss SYM Net8208110表1.与基准测试的比较。上部分显示了我们的OASIS数据设置的结果，dice平均值是基于28个结构的。下部分显示了我们的CANDI数据设置的结果，我们报告了28个和32个结构的平均dice。这里的数字表示平均值或平均值±标准差。请注意，SYMNet在OASIS上的结果来自原始论文[25]。0OASIS数据集 平均Dice（28）↑ Dψ（x）≤0（r D）↓ Dψ（x）≤0（s D）↓0SYMNet [25] 0.743 ± 0.113 0.026% - SyN [1] 0.729 ± 0.109 0.026% 0.005 NiftyReg[2] 0.775 ± 0.087 0.102% 1395.988 Log-Demons [3] 0.764 ± 0.098 0.121% 84.904NODEO（我们的 λ1 = 2.5）0.778 ± 0.026 0.030% 34.183 NODEO（我们的 λ1 =2）0.779 ± 0.026 0.030% 61.1050CANDI数据集 平均Dice（28）↑ Dψ（x）≤0（r D）↓ Dψ（x）≤0（s D）↓0SYMNet [25] 0.778 ± 0.091 1.4 × 10^(-4)% 1.043 SyN [1] 0.739 ± 0.102 0.018%0.012 NiftyReg [2] 0.775 ± 0.088 0.101% 1395.987 Log-Demons [3] 0.786 ± 0.0940.071 49.274 NODEO（我们的 λ1 = 2.5）0.801 ± 0.011 7.5 × 10^(-8)% 1.574NODEO（我们的 λ1 = 2）0.802 ± 0.011 1.8 × 10^(-7)% 4.3410CANDI数据集 平均Dice（32）↑ Dψ（x）≤0（r D）↓ Dψ（x）≤0（s D）↓0SYMNet [25] 0.736 ± 0.015 1.4 × 10^(-4)% 1.043 SyN [1] 0.713 ± 0.177 0.018%0.012 NiftyReg [2] 0.748 ± 0.160 0.101% 1395.987 Log-Demons [3] 0.744 ± 0.1600.071 49.274 NODEO（我们的 λ1 = 2.5）0.760 ± 0.011 7.5 × 10^(-8)% 1.574NODEO（我们的 λ1 = 2）0.760 ± 0.011 1.8 × 10^(-7)% 4.3410实现了可逆配准，并通过r D和sD衡量的变形场质量，我们的方法在配准准确性（dice）和质量方面表现出最佳性能。为了与SYMNet进行公平比较，我们使用相同的数据集（例如OASIS）和数据处理方法，并使用官方SYMNet存储库中提供的预训练模型。定量结果如表1所示。对于OASIS和CANDI数据集，我们的方法在脑结构的平均dice分数上都表现出一致且显著的改进，如表1所示。我们的r D0(所有≤0.1％)和sD的低值验证了我们的方法有效地产生了同胚变换。我们在图5中可视化了一对示例图像（OASIS-001和OASIS-002）的配准的定性结果。我们可以观察到，使用我们的方法获得的脑图像的脑室区域更清晰，不显示任何幻影伪影（固定图像中黑色区域的云状区域），这证明了我们的方法在定性上具有更好的结果。请参阅补充材料以获取基准测试的完整结果。值得注意的是，由于受试者的年龄范围较大，OASIS数据集通常比CANDI数据集之间的图像变形更大。因此，我们可以看到OASIS集中的28个结构的Dice分数较低，并且变形场中有更多的折叠。另外，请注意，CANDI的32个结构中有4个非常小，由于它们的较低空间平滑性，它们在配准中本质上很难对齐。这解释了与28个结构相比，32个结构的Dice较低。最后，我们分析了运行时间和模型复杂性。0图5。显示注册图像对示例的图像。固定图像是OASISID001，移动图像是OASISID002。第3列是我们在配准后的扭曲图像，第4列是SYMNet[25]的结果。0我们的方法和其他基准。表1中显示的实验在将图像传递到图2中的网络之前对图像进行下采样，将运行时间缩短1/3而不会丢失性能。SYMNet，SyN，NiftyReg，Log-Demons和我们的一对图像配准的运行时间分别约为2秒，25分钟，70秒，160秒和80秒。虽然SYMNet（在推理中）完成一对图像配准大约需要2秒钟，但基于逐对优化的方法在同时实现良好性能和快速运行时显示出困难。相比之下，我们的方法大约需要80秒来注册一对图像（进行1步），并在相似性和规律性方面表现良好。我们模型中的参数数量与图2中所示的架构的体素数量的3/4相同，表明表达能力在不增加模型复杂性的情况下得到很好的展示。在表1的实验中，我们的方法在2080TiGPU上使用3863 MB的内存。6.结论0在这项工作中，我们提出了一个通用的可变形图像配准框架，并研究了将神经网络和流形式式结合的可能性。由此产生的模型可以灵活地融入所需的变换规则和各种约束。我们将我们的方法与几个数据集上的基准进行了比较，并在各种指标下取得了最先进的结果。未来的工作包括探索将时间注入神经网络的不同方法，并将我们的方法应用于顺序医学数据。7.致谢0这项工作得到了NIH授予的R01-NS096720，R01-HL133889，U24-MH114827，RF1-MH124605，RF1-AG069474，NSF IIS1910308和海军研究办公室（ONR）奖项编号14-19-1-2253的支持。79208120参考文献0[1] https://github.com/ANTsX/ANTsPy。8 [2]https://github.com/KCL-BMEIS/niftyreg。8 [3]https://github.com/pyushkevich/greedy。8 [4] Daniel HAdler，Laura EM Wisse，Ranjit Ittyerah，John BPluta，Song-Lin Ding，Long Xie，Jiancong Wang，SalmonKadivar，John L Robinson，TheresaSchuck等。使用从体外MRI和组织学中导出的计算图谱表征人类海马在衰老和阿尔茨海默病中的情况。国家科学院的论文集，115（16）：4252-4257，2018年。60[5] Brian B Avants，Charles L Epstein，MurrayGrossman和James CGee。具有互相关的对称可变形图像配准：评估老年人和神经退行性大脑的自动标记。医学图像分析，12（1）：26-41，2008年。3,70[6] G. Balakrishnan，A. Zhao，M. R. Sabuncu，A. V.Dalca和J.Guttag。用于可变形医学图像配准的无监督学习模型。在CVPR上，第9252-9260页，2018年。2,3,70[7] M Faisal Beg，Michael I Miller，Alain Trouv´e和LaurentYounes。通过微分同胚的测地线流计算大变形度量映射。计算机视觉国际期刊，61（2）：139-157，2005年。2,30[8] Ricky TQ Chen，Yulia Rubanova，Jesse Bettencourt和DavidDuvenaud。神经常微分方程。神经信息处理系统的进展，2018年。40[9] Hengji Cui，Dong Wei，Kai Ma，Shi Gu和YefengZheng。稀缺数据下广义低剂量医学图像分割的统一框架。IEEE医学成像交易，2020年。30[10] Adrian V Dalca，Guha Balakrishnan，John Guttag和MertRSabuncu。无监督学习用于快速概率迭代注册。在国际医学图像计算和计算辅助干预会议上，第729-738页。Springer，2018年。3,70[11] Adrian V Dalca，Guha Balakrishnan，John Guttag和MertR Sabuncu.用于图像和曲面的无监督学习概率变形配准。《医学图像分析》，57：226-236，2019年。2，3，5，70[12] Adrian V Dalca，Marianne Rakic，John Guttag和Mert RSabuncu. 使用卷积网络学习条件可变形模板。《IEEETMI：医学成像交易》，2019年。2，30[13] Neel Dey，Mengwei Ren，Adrian V Dalca和Guido Gerig.生成对抗性配准以改进条件可变形模板。在《IEEE/CVF国际计算机视觉会议》上，第3929-3941页，2021年。30[14] Bruce Fischl. Freesurfer.《神经影像》，62（2）：774-781，2012年。0[15] James C Gee，Martin Reivich和Ruzena Bajcsy.弹性地变形三维图谱以匹配解剖脑图像。1993年。30[16] Hastings Greer，Roland Kwitt，Francois-XavierVialard和Marc Niethammer.ICON：通过反向一致性学习规则映射。在ICCV上，2021年。3，70[17] Tom Z. Jiahao，M. Ani Hsieh和Eric Forgoston.基于知识的非线性动力学和混沌学习。《混沌：非线性科学的跨学科杂志》，2021年。2，40[18] Chiyu Jiang，Jingwei Huang，AndreaTagliasacchi，LeonidasGuibas等。Shapeflow：3D形状之间可学习的变形。《神经信息处理系统进展》，2020年。40[19] Ankita Joshi和Yi Hong.使用Lipschitz连续残差网络进行可微分图像配准。在《深度学习医学成像》上，2022年。30[20] David N Kennedy，Christian Haselgrove，Steven MHodge，Pallavi S Rane，Nikos Makris和Jean A Frazier. Can-dishare：儿童神经影像数据资源，2012年。70[21] Boah Kim，Dong Hwan Kim，Seong Ho Park，JieunKim，June-Goo Lee和Jong Chul Ye.Cyclemorph：循环一致无监督可变形图像配准。《医学图像分析》，71：102036，2021年。30[22] Daniel S Marcus，Tracy H Wang，Jamie Parker，John GCser- nansky，John C Morris和Randy L Buckner.开放获取的成像研