基于神经速度场的微分图像配准

1869基于神经速度场的微分图像配准韩坤1善林孙1向一燕1陈宇游2唐浩1朱纳耶德·瑙沙德1马浩宇1孔德英1谢晓辉11美国加州大学欧文分校2美国耶鲁大学{khan7，shanlins，xiangyy4，htang6，jnaushad，haoyum3，deyingk，xhx}@uci.edu{chenyu.you}@ yale.edu摘要在许多医学图像分析任务中，要求具有平滑变换和拓扑保持的同构图像配准传统的方法在允许变换空间上施加一定的建模约束，并使用优化来寻找两幅图像之间的最佳变换。确定容许变换的正确空间是一项挑战：如果空间限制太多，则表示质量可能很差，而如果空间太笼统了。最近的基于学习的方法，利用深度神经网络直接学习变换，实现了快速推理，但由于难以捕获小的局部变形和泛化能力，因此在准确性方面面临挑战。在这里，我们提出了一种新的基于优化的方法，称为DNVF（神经速度场的微分图像配准），它利用深度神经网络来建模可允许的变换空间。采用具有正弦激励函数的多层感知器（MLP）来表示连续速度场，并为空间中的每一点分配一个速度矢量，从而提供了对复杂变形建模的灵活性此外，我们提出了一个级联图像配准框架（Cas-DNVF），结合优化和学习的方法，其中一个完全卷积神经网络（FCN）的训练，以预测初始变形，其次是DNVF进一步细化的好处。两个大规模的三维MR脑扫描数据集上的实验表明，我们提出的方法显着优于国家的最先进的配准方法。1. 介绍图像配准是许多医学图像分析应用[17，32]中使用的基本任务通过maximiz-利用诸如强度相关的图像相似性，图像配准提供图像对之间的对应和非线性变换同构图像配准具有平滑变形、拓扑保持和变换可逆等特性.传统的方法，如弹性模型[4，36]，B样条[34]，LDDMM [7，60]和SyN [3]，通过优化变形场来解决图像配准问题。这些方法通常会做出某些模型假设。例如，LDDMM假设可以通过求解具有某些正则化约束的基于流动的常微分方程（ODE）来获得几何变形SyN对称化了正交映射空间内的互相关欧拉-拉格朗日方程。然而，这些方法通常以缓慢的速度和密集的计算为代价生成高精度的结果，并且在不同的建模假设下性能可能会有所不同[42]。基于学习的方法的快速发展[5，13，35，25，24，62，37，26]已经在图像配准任务中取得了有希望的结果。利用深度神经网络，基于学习的方法可以有效地估计两个医学图像之间的变换。随着越来越多的注意力集中在基于学习的方法上，许多新技术和复杂的网络结构[9，27，16，40]已经被应用于追求更好的性能。然而，精度的提高是有限的，主要是因为从神经网络学习的表示不能预测数据集中每对图像此外，可推广性仍然是这些方法的主要挑战，这限制了对分布外图像对的性能。神经场的最新发展提供了一类基于坐标的神经网络，其参数化对象在空间和时间上的物理属性[52]。神经场在建模一般动态场景[30，20，43]中显示出巨大的潜力，这些场景通过操作详细地拟合观察到的时变视图。1870一个神经网络的最优化。因此，我们的好奇心问题是：我们可以使用神经场来表示同构图像配准的动力学吗？在本文中，我们提出了实现同构图像配准优化的隐式神经表示的连续速度场。具体地，我们将连续速度场参数化为多层感知器（MLP），其输入是3D空间坐标（x，y，z），输出是对应的3D速度向量（vx，vy，vz）。利用周期性正弦激活函数，MLP可以有效地表示高频内容[41]，因此提高了其在配准问题中对小而复杂的变形建模的能力。在神经元速度场上积分，可以得到神经元的形变，我们的工作是用缩放平方（SS）方法[1]实现的。SS遵循群论中的李代数，变形由速度场通过空间变换层的指数此外，我们提出了一个级联框架称为Cas-DNVF，它结合了基于学习的方法和DNVF的优点。在第一阶段，我们预训练一个全卷积神经网络，以较短的推理时间预测初始变形，并简化后续DNVF的最佳变形搜索空间。基于此，DNVF可以针对每对图像优化残余变形。Cas-DNVF结合了两种方法的优点，具有更好的通用性，可以在较短的运行时间内实现两幅图像的精确对齐。实验结果表明，DNVF可以在Cas- DNVF框架下与不同的基于学习的配准方法集成。我们对这项工作的贡献如下：• 本文提出了一种基于神经网络的图像配准方法DNVF，该方法利用带正弦激励的MLP来表示连续的速度场，并通过速度场的积分曲线来模拟图像的变形。通过调节MLP的参数，找到了最优的正则化。• 我 们 进 一 步 提 出 了 一 个 级 联 框 架 （ Cas-DNVF），将学习结合到DNVF中，其中训练一个完全卷积的网络来预测初始变形，然后是DNVF进行进一步的改进。• 在两个3D脑MR数据集上的大量实验表明，所提出的方法实现了最先进的性能，同时保留了所需的不同形态的属性。2. 相关作品2.1. 成对优化法已经进行了大量的工作来处理图像配准的任务。传统方法将图像配准建模为优化问题，并迭代地最小化每对图像的能量函数[42]。这些方法通常通过某些模型假设来强制转换规则性。几项研究直接优化了可变形位移场，包括弹性模型[4，36]、统计参数映射[2]、使用b样条的自由变形[34]和基于Demons的光流[47]。除此之外，许多其他的研究都集中在拓扑映射空间内的配准问题上，以保证拓扑保持性和变换可逆性等理想的拓扑流行的方法包括大变形几何形态度量映射（LDDMM）[7，60]和对称图像归一化方法（SyN）[3]。LDDMM根据拉格朗日输运方程[12，14]，通过考虑随时间变化的速度，对非晶变形进行SyN开发了一种新的对称拓扑优化器，用于最大化拓扑保持映射空间中的互相关[3]。所提出的DNVF也是一种基于成对优化的同构图像配准方法，然而，由于使用神经网络对变形进行此外，DNVF可以利用深度学习包进行有效的推理和优化。2.2. 基于学习的方法医学研究表明，最近的学习方法[33，10，11，45，55，59、46、58、57、56]。 在图像配准中，方法[5，13，35，38，39，26，25，24，62，9，27，16，40，61]实现更高的精度和效率。通过学习图像集合的共同表示，提取的特征可以用于以快速的推断速度执行配准。VoxelMorph [5]通过最小化输入和目标图像之间的不相似性来直接回归LapIRN [25]中引入了多分辨率策略，以避免优化过程中的SYMNet [24]对称地扭曲关于测地线路径中间的图像，并预测几何变形。在[63]中提出了一种递归级联网络，通过将配准网络迭代应用于变形的运动图像和固定图像来提高配准性能。在CNN主干上部署了一个Transformer块，以捕获DTN中的语义上下文相关性[62]。为了更好地解决大变形，MS-ODENet [53]提出在图像配准上使用神经ODE来细化估计的变换，1871∈RLL◦D通过对配准模型的参数的动态进行建模。然而，神经网络的表示能力受到网络结构的限制，并且训练数据可能无法生成复杂的变形并捕获数据集中所有图像对的密集对应。训练数据和测试数据之间的泛化差距也限制了预训练神经网络在推理时间期间的性能3.2.微分纯配准同构图像配准不仅可以对齐两幅图像，还可以保持拓扑结构并保持变换可逆性[7]。通过遵循常微分方程（ODE）的速度场v的积分（假设Lipschitz连续性）来计算非均匀变形Δ τ2.3.脑域总重量（t） =v（V）普雷特（吨））（2）近年来，神经场的发展使得可以通过基于坐标的神经网络对物理性质和动力学进行参数化。[29]用连续隐式曲面制定了[41]介绍了正弦表示网络模型的2D图像和3D场景的细节。[28]学习了时间和空间连续矢量场，以从图像或稀疏点云执行密集4D重建。[50]提出通过隐式神经元表示进行高分辨率MR图像重建。[43]应用神经场对3D形状的同构变换进行建模。最近的一些工作集中在成对图像配准问题上，例如IDIR [49]和NODEO [51]。与它们不同的是，DNVF使用一个简单的多层神经元来表示连续的神经速度场，并模拟神经元的变形。所提出的Cas-DNVF进一步结合了基于学习和基于优化的方法的优点，具有更好的泛化能力、匹配精度和时间效率。第5节中的实验结果证明了我们提出的方法的优点。3. 预赛3.1. 可变形配准其中，I（0）=I是恒等变换。在本文中，我们假设速度场v在t=[0，1]上是平稳的，并且最终变形取为π（1）。4. 方法设I f，I m是需要对准的固定图像和运动图像。在本文中，我们专注于3D图像配准，其中I f和I m定义在3D空间域上。在预处理步骤中，I f和I m是相似配准的，因此，我们只需要对两个图像之间的非线性位移进行建模。图1显示了我们的方法的概述。DNVF是一种基于优化的模型，它利用MLP来表示神经速度场vθ，其中θ是MLP的参数。与以前的图像配准方法不同，DNVF将3D空间坐标作为输入，而不是图像强度。 对于每个空间点pΩ，vθ提供了该点处的相应速度矢量v=vθ（p）。然后通过在神经速度场vθ上的积分计算出双态形变εθ，如第2节所述。3.2.在DNVF内部，我们使用缩放和平方来进行积分，详细信息将在第2节中描述。4.2. 我们优化的参数θ的神经速度场，并通过最小化损失函数：可变形图像配准是指通过最大化配准图像之间的相似性来扭曲一个（移动）图像以将其与第二个（固定或目标）图像θ=argminθSIM（If），θ ◦ Im）+Lreg（θ）（三）在某些正则化约束下对图像进行优化。从配准返回的位移场定义了运动图像中的点与固定图像中的对应点之间的密集映射。典型的可变形图像配准可以公式化为：ϕ∗=arg minLsim(If,ϕ◦Im)+Lreg(ϕ)(1)其中，m表示最佳位移场，I f和I m表示固定图像和运动图像，I m表示I m扭曲了m，sim测量固定图像和扭曲图像之间的图像相似性，reg表示平滑正则化函数。基于DNVF，我们提出了一个级联框架Cas-DNVF，它结合了基于学习的方法和DNVF的优点。首先，我们训练一个全卷积神经网络（FCN）来建模函数gβ（If，Im）=f_init，它为给定的一对图像提供初始变形。我们通过最小化类似于等式3的损失函数来训练gββ=argmin[E（If，Im）<$D[Lsim（If，gβ（If，Im）<$Im）+其中，是数据集分布，β是FCN的参数，If和Im是来自Lϕβ1872∈Dθθ›→θθ图1.拟议的DNVF和Cas-DNVF的总体框架。Im、If和Iw表示运动图像、固定图像和变形图像。DNVF使用神经表示来对连续速度场vθ进行建模，其将3D位置p∈R3作为输入并分配相应的速度向量vR3。速度场vθ由具有周期正弦激励函数的MLP表示。的DNVF内部的速度积分将在第4.2节中介绍。在优化过程中，DNVF隐式地捕获两个输入图像之间Cas-DNVF结合了基于学习的方法和DNVF。首先对FCN进行预训练，以预测初始变形，简化后续DNVF的最优变形搜索空间，使其能够以高精度和高效率专注于小的局部变形建模该框架是为3D配准而设计的，为了简单起见，我们使用2D图像. 在推理过程中，对于输入图像对（If，Im），我们首先使用预训练的g β来预测初始变形初始值。在第二阶段，我们使用DNVF来优化残余变形参数，其中使用空间变换层来计算整体变形，以组合参数init和参数：θθ=argminLsim （ If ， θres 初 始值 θIm ） +Lreg（θres初始值）（五）通过分析第5节中所示的性能，由gβ预测的初始变形初始值有助于DNVF实现更快的收敛，同时减轻基于学习的方法的泛化能力问题，并在输入图像对之间提供更精确的人脑的形变需要精密的形变场θ来实现精确的匹配。因此，我们期望神经速度场vθ能够模拟高频函数，否则，在vθ上积分的变形速度场vθ将过于平滑，不能提供准确的映射。然而，由于“频谱偏差”，经典MLP难以如[31，6]所示，深度网络对低频函数有因此，在这项工作中，我们没有使用经典的ReLU激活函数，而是选择使用周期性正弦函数来拟合高频内容，如SIREN [41]所示，并采用其深层结构的权重初始化方案。神经速度场vθ设计如下：4.1. 神经速度场表示受最近神经渲染工作的启发[41，22]，我们对连续ve的神经表示进行f0（x0）=W0x0+b0<$→x1fi（xi）=Wisin（xi）+bi<$→xi+1（六）使用MLP的位置场vθ，其中θ是神经网络。 神经速度场可以被视为空间3D点的函数：v=v θ（p），其在给定3D空间坐标p的情况下输出对应的速度向量v。在本文中，我们专注于两个三维脑部MR扫描之间的同构结构复杂其中3D坐标p首先通过f0：R3RN映射到高维嵌入。 然后，网络fi的第i层可以被视为具有可学习参数Wi和bi的傅立叶频率映射[8]。通过对网络中的频率信息进行卷积，相应地修改了神经切核[44]，使得神经速度场vθ可以很好地表示为θ1873◦× ××LLLθ◦θL−L层和空间变换层。 FCN采用Unet-pi我我WWFF高频细节，并能够模拟复杂的变形θ。在我们的实现中，我们使用5层MLP来表示具有512个隐藏单元的神经速度场vθ4.2. 作为积分的在DNVF内部，在定义神经速度场vθ之后，通过根据（2）对vθ积分来计算非对称变形εθ根据[13，24，25，62]，速度场被假设为随时间静止我们使用缩放和平方方法来计算几何变形，如图1所示：标度与平方[1]当速度场是平稳的时，指数映射ψ（t）= exp（v θ）定义了一个单参数的自同态子群. 利用群作用可以更有效地求解最终变形ε（1）= exp（v θ）。具体来说，最初的变形-图2. Cas-DNVF中使用的全卷积网络（FCN）的结构。输入是运动图像和固定图像的拼接，输出是速度场。在大变形的映射中，DNVF将更多地关注局部小变形，这对于基于学习的方法来说是困难的从vθac输出的速度矢量vT计数用于翘曲的（1/2））=p+vθ（p）/2T其中T是总时间活动图像（活动初始化））和固定图像I.在我们的简单-MF步我们递归地计算出<$（1/2t−1）=<$（1/2t）<$<$（1/2t）通过空间变换层，并且通过下式获得最终变形<$（1）：<$（1）=<$（1/2）（1/2）。 在递归操作过程中没有引入额外的可学习参数。变形是在一个固定的网格上用线性插值计算的整个步骤是可微的。在我们的实现中，我们选择T = 7。不可能馈送所有3D坐标（D HW3）由于GPU内存的限制，因此，在我们的实现中，我们以1/3的比例对原始坐标网格进行经验下采样，并对结果速度场进行上采样，以恢复速度积分的全分辨率，如图1所示。4.3. 级联配准在这种情况下，代替直接组合两个变形，我们根据经验将DNVF中的速度矢量v重新缩放因子0.1以提高优化期间的稳定性。4.4. 优化损失函数由两部分组成：sim惩罚变形的运动图像Iw和固定图像If之间的未对准，L_reg正则化变形平滑度（L_smooth）和局部取向一致性（L_det）。sim我们使用局部归一化互相关（NCC）作为度量来测量变形的运动图像Iw和固定图像If之间的相似性：NCC（Iw，If）=初始变形如图1所示，我们param-. Σ。我（p）−I<$（p）。我（p）−I<$（p）2证明了（4）中的函数gβ（If，Im）=φinitf的充分性卷积神经网络（FCN），一个缩放和平方PiwiwΣ。I（p）−I<$（p）2fif. I（p）−I<$（p）2类似于图2所示的网络结构，运动图像和固定图像的拼接作为输入，并直接输出速度场。通过最大化变形图像与固定图像之间的相似性，训练FCN以预测初始变形初始值。此外，委员会认为， gβ 可以 也 被 参数化其他基于学习的模型，如[13，24，25，62]。消融研究，第5.5表明DNVF可以为不同的基于学习的方法提供一致的性能提升。残余变形的优化基于由训练的gθ预测的初始变形，我们使用DNVF来优化（5）之后的每对图像的残余变形空间变换层将初始化和初始化合并为整体变形层。因为预测的初始化值通常提供了一个很好的其中Iw=Im，I m由速度积分计算通过SS的作用，pi表示p周围大小为n3的局部窗口上的点，I<$w（p）和I<$f（p）是平均强度这扇本地的窗户。 高NCC值表示预-图像之间的cise匹配因此，我们使用负NCC作为相似性损失：sim=NCC（m，f），窗口大小设置为9。为了确保局部方向一致性，我们遵循[24]来施加选择性雅可比行列式正则化。如果给定点p处的雅可比行列式为正，则变形场保持p附近的方向。否则，邻域中的方向将反转，拓扑将被破坏。使用ReLU函数，我们可以用负雅可比行列式惩罚局部区域：p∈Ωpi（七）Σ1874ΣJ（p）=y（p）中文（简体）LΣ××××||||||1LJdet=Nre lu（−|Jp∈Ω（p）|）（8）为了比较，我们还对基于学习的方法进行了实例我们还将DNVF与最近独立提出的两种方法IDIR [49]和NODEO [51]进行了其中，雅可比矩阵J定义为：（发布时间与本书预印本大致相同）∂ϕx(p)xx∂ϕz(p)x∂ϕx(p)伊（p）伊∂ϕz(p)伊∂ϕx(p)伊茨伊茨∂ϕz(p)伊茨NODEO的这两种方法也使用神经网络来建模变形，但有一些主要区别：IDIR对形变场而不是速度场进行建模，而NODEO涉及CNN。我们遵循VoxelMorph光滑 为了避免奇怪的歪斜变形， 使用空间梯度来约束作为正则化项的变形场的平滑度。大的空间梯度意味着局部区域中的变形的根本变化，这在配准问题中是不期望的。因此，平滑度损失定义为：梯 度 步 长 为 0.25 ， 高 斯 参 数 为 [0.9 ， 0.2] 。 SyN 和NiftyReg都使用互相关作为成本函数。 对于基于学习的方法，我们使用分别使用86和250张图像作为Mindboggle和OASIS数据集的训练数据。使用不同的迭代L光滑=（p）2（10）p∈Ω基于优化的方法在DNVF的优化过程中，λ1和λ2被经验地设置为100和0.1，以用于局部方向一致性。我们将完整的损失函数表示如下，其中λ1和λ2控制方向一致性损失和变形平滑性损失的权重：L=Lsim+Lreg=Lsim+λ1LJdet+λ2Lsmooth（11）5. 实验5.1. 数据集和预处理我们在两个公共3D脑部MR数据集上评估了我们的方法：OASIS [21]和Mindboggle 101 [19]。OA-SIS数据集包含416个年龄从18岁到96岁的T1加权MR扫描，其中100个被诊断为轻度到中度阿尔茨海默35个解剖结构的皮层下分割图作为我们方法评估的基础事实Mindboggle 101由来自5个数据集的101个T1加权MR扫描组成，例如HLN-12、MMRR- 21和NKI-RS。我们遵循[54]删除了带有错误标签的图像，并评估了31个皮质区域的性能。对两个数据集进行标准预处理将颅骨剥 离 ， 所 有 扫 描 均 重 新 采 样 至 相 同 分 辨 率（1mm1mm1mm）。 对于每个数据集，通过仿射变换将图像与MNI 152空间对齐将最终图像裁剪为大小（162 192 144），并通过每个体积的最大强度进行标准化。5.2. 实验环境在与[24]相同的基于图谱的图像配准任务上评估所提出的方法 我们将我们的方法与传统的基于优化的方法进行比较：SyN[3]和NiftyReg[23]，以及最先进的基于学习的方法VoxelMorph（VM）[5]和SYMNet[24]。对于每个数据集，我们随机抽取20个扫描作为移动图像，3个扫描作为图谱，得到60个图像对，并使用所有解剖标签评价结果。作出公正变形的平滑性和连续性Cas- DNVF的FCN是用λ1和λ2分别为10和4训练的。网络参数使用Adam算法进行优化，学习率为1e-4。我们的模型使用PyTorch实现，并在具有RTX 2080 Ti GPU和Intel i7- 7700 K CPU的机器上进行评估。5.3. 评估指标同构图像配准的目标是在保持拓扑结构的同时生成图像对之间的空间对应关系。 我们使用Dice相似系数、Jacobian行列式和结构相似性来评估配准方法的性能[13 ， 24 ， 25 ， 62] 。 Dice Similarity Coefficient（DSC）是基于变形场的固定图像分割和运动图像变形分割之间的重叠度量。负雅可比行列式（J <0）表示在第二节中讨论的邻域中的局部失真。 4.4给出了J0< 值 对 拓 扑 保 持 性 能 的 评 价 . 结 构 相 似 性（SSIM）[48]通过考虑纹理来衡量固定图像和变形运动图像5.4. 结果比较和讨论准确性我们的方法的评估结果，与传统的基于优化和基于学习的方法相比较，总结在表1中。我们报告了迭代设置为[600，600，300]的SyN的结果和最大级别和迭代[5，1000]的NiftyReg的结果，这些结果比默认设置更好。评价中使用了所有可用的解剖掩模。DNVF在Mindbog- gle和OASIS数据集上的DSC和SSIM性能优于传统方法，但仍能达到J<0. 评价结果显示了神经速度带来的灵活性的好处1875[19]第十九话：我的世界类别型号/公制DSC（↑）|（<↓）|(↓)SSIM（↑）DSC（↑）|（<↓）|(↓)SSIM（↑）传统方法SyN [3][23]第二十三话0.5480.509≈0≈00.90970.86500.7770.773≈0≈00.91490.8916VoxelMorph [5]0.5550.076%0.91450.7630.072%0.9082基于学习的方法SYMNet [24]0.5670.0023%0.91910.7770.0022%0.9247FCN0.90170.7650.9091实例特定体素形态+OPT0.5580.072%0.91860.7840.051%0.9141优化SYMNet+OPT0.5750.0010%0.92710.7910.0012%0.9292基于学习的方法简体中文0.556≈00.90720.781≈00.9137我们的方法DNVF0.6060.0013%0.9496 0.7940.0015%0.95120.0031%0.9531 0.8150.0036%0.9532表1. 以基于图谱的方式使用所有可用的解剖结构（Mindboggle为31个，OASIS为35个）评价配准方法。FCN是C2F-DNVF中使用的模型，与其他基于学习的方法相比，它提供了更好的拓扑保护。表5显示了在C2F-DNVF中用其他SOTA方法代替FCN的结果。对于基于学习的方法的特定实例优化，我们为每个给定的测试图像对预训练模型进行微调。与传统方法相比。DNVF还在两个数据集上以较大幅度优于基于学习的方法，这证明了DNVF在对小的局部变形进行建模的同时保持局部方向的能力。Cas-DNVF进一步提高了DNVF的性能，这说明了涉及由预训练的FCN预测的初始变形的好处。但是，负雅可比行列式的比例略大于DNVF，我们认为这是因为在优化过程中初始变形和残余变形的合成引入了变形的附加扰动我们还比较了基于学习的方法与DNVF和Cas-DNVF的优化结果。具体来说，对于每一对 测 试 图 像 ， 我 们 微 调 预 训 练 的 VoxelMorph 和SYMNet。在优化后，VoxelMorph和SYMNet都产生了更好的结果，但根据DSC和SSIM，仍然低于DNVF和Cas- DNVF。可视化图3显示了注册结果的一些可视化。目前的SOTA方法提供了一个合理的图像对之间的匹配，但是，一些局部的小变形在皮层和皮层下区域丢失受益于我们的神经速度场表示，DNVF和Cas-DNVF能够捕捉局部小变形，具有更好的拟合高频内容的能力速度图4比较了每种方法的DSC与运行时间。所提出的DNVF优于最先进的传统和DLIR方法，在MindBoggle数据集上进行了48秒（80次迭代）优化，在OASIS数据集上进行了72秒通过结合从我们预先训练的FCN预测的初始变形，Cas-NeVF在匹配精度和时间效率方面都实现了更好的性能。最大图3.配准结果的可视化。第一行比较来自Mindboggle数据集的扭曲图像，第二行显示了OASIS数据集配准后的解剖结构。DNVF和Cas-DNVF的优化步骤被设置为300次迭代（180秒），但是根据图4中的曲线，通过更多的迭代，数据集OASIS CANDI [18]型号/公制DSC28（↑）|J<0|（↓）DSC32（↑）DSC28（↑）|J<0|（↓）IDIR 0.794 0.124% 0.774 0.811 0.113%NODEO0.779 0.03% 0.7600.8021.8×10-7%DNVF0.815 0.0004% 0.7860.8230.0003%表2.在NODEO之后，我们使用相同的数据分割和评估指标。OASIS的DSC是28个结构（不包括非常小的结构）的平均值，CANDI的DSC是所有32个结构和28个大型结构的平均值，如NODEO设置中所述我们将DNVF的优化限制在100次迭代（60秒），而NODEO（80秒）表2显示了DNVF和最近基于优化的方法之间的评估结果。在NODEO论文中使用的OASIS和CANDI数据集[18]上进行了比较1876||||||× ××333× ××图4.DSC与不同迭代设置的运行时间实现是不可行的。J0反映了形变场中的局部错动通过速度积分实现的同构为DNVF和NODEO提供了变形平滑和拓扑保持等所需的属性。因此，它们在 J0方面比IDIR有更好的性能，IDIR不需要对位移场进行建模而实现不同的同构NODEO算法通过引入卷积层和高斯核来增强空间相互作用，降低J0的比值<。然而，它提供了DSC方面的最低匹配精度，这与消融研究2中的结果一致。此外，NODEO利用神经ODE求解器进行集成速度场表示表4示出了具有不同速度场表示的结果：I）网格：我们使用具有大小（D H W3）的体积可学习参数来表示整个速度场，并通过[15]建议的附加正则化项（TV）的优化来更新该参数;II）CNN：由于DNVF的输入是具有形状（DHW3），我们用3D卷积神经网络代替MLP评估结果表明，由（6）中的MLP表示的傅立叶映射提供了高的变形表示能力和匹配精度。数据集DNVF Grid Conv+Sin Conv+ReLU需要更长的时间来收敛，这在基于MLP的神经场与周期正弦激活函数来模拟双态变形。此外，DNVF只需要神经速度场的一次通过，并且利用缩放和平方不引入额外的可学习参数，因此它定义了比NODEO更简单的变形空间，并且通过有限的优化步骤降低了找到最优解5.5. 消融研究在本节中，我们进行消融研究，以测量我们提出的方法中组件对DSC的影响，DSC对所有解剖结构进行平均。激活函数 节中 4.1、我们的优势 利用周期性正弦激励来模拟局部小变形的非对称图像配准。在这项研究中，我们在Mindboggle和OASIS数据集上进行了实验 ， 使 用 经 典 的 ReLU 激 活 ， 有 或 没 有 位 置 编 码（PE），如表3所示虽然固定PE在[22]中在地面实况的监督下表现良好，但它结果表明，嵌套的正弦激活函数提供了更好的能力，在捕捉对应和建模变形。数据集DNVF MLP+ReLU MLP+ReLU+PE思维游戏0.6060.4400.397绿洲0.7940.7080.683表3.使用正弦和ReLU激活函数的结果表4.不同速度场表示的结果。用于Cas-DNVF的预训练的FCN的选择所提出的DNVF也可以与基于SOTA学习的方法一起工作，如表5所示。在这项研究中，我们用VoxelMorph（VM）和SYMNet替换了原始的FCN。结果表明，Cas-DNVF是一个通用的框架，并提供一致的性能改善不同的学习为基础的方法。数据集FCN+DNVFVM+DNVF SYMNet+DNVF2009年12月31日0.8150.8160.812表5.Cas-DNVF中不同预训练的FCN的结果6. 结论本文提出了一种神经场模型来表示连续速度场和模型变形，并用于解决同构图像配准问题。验证实验表明，所提出的方法带来的显着优势。提出的DNVF和Cas-DNVF方法为经典的图像配准问题提供了一个新的框架。然而，我们目前的方法仍然有一些局限性。首先，由于缩放和平方组件，该模型具有相对较大的内存占用今后的发展方向是改进由速度场推导变形场的方法.第二，Cas-DNVF的两个阶段被解耦。未来的改进是整合它们并以端到端的方式训练学习模型。真正的医疗应用 DNVF实现最高DSC思维游戏0.6060.5720.5150.480得分和l o west比率|J<0|这是一个很好的证明，绿洲0.7940.7550.7390.7311877引用[1] Vincent Arsigny，Olivier Commowick，Xavier Pennec，and Nicholas Ayache.代数同态统计的对数欧几里德框架。医学图像计算和计算机辅助干预国际会议，第924-931页。Springer，2006年。[2] 约翰·阿什伯恩和卡尔·J·弗里斯顿。基于体素的形态学方法。神经影像学，11（6）：805[3] Brian B Avants，Charles L Epstein，Murray Grossman和James C Gee。具有互相关的对称微分纯图像配准：评估老年人和神经变性脑的自动标记。医学图像分析，12（1）：26[4] RuzenaBajcsy和StaneKovaci c. 多分辨率弹性匹配计算机视觉，图形和图像处理，46（1）：1[5] Guha Balakrishnan，Amy Zhao，Mert R Sabuncu，JohnGut-tag，and Adrian V Dalca.一种用于可变形医学图像配准的无监督学习模型。在IEEE计算机视觉和模式识别会议论文集，第9252-9260页[6] Ronen Basri、Meirav Galun、Amnon Geifman 、DavidJacobs、Yoni Kasten和Shira Kritchman。非均匀密度输入下神经网络的频偏国际机器学习会议，第685-694页。PMLR，2020年。[7] MFaisalBeg，MichaelIMiller，AlainTrouve'，andLaurentYounes.用仿射测地线流计算大变形度量映射。国际计算机视觉，61（2）：139[8] NuriBenbarka，TimonHofer，AndreasZell，等. 把隐式神经表征看作傅立叶级数。在IEEE/CVF计算机视觉应用冬季会议论文集，第2041-2050页，2022年[9] Junyu Chen，Yufan He，Eric C Frey，Ye Li，and YongDu.Vit- v-net：用于无监督体积医学图像配准的视觉Transformer。arXiv预印本arXiv：2104.06468，2021。[10] Jieneng Chen，Yongyi Lu，Qihang Yu，Xiangde Luo，Ehsan Adeli，Yan Wang，Le Lu，Alan L Yuille，andYuyin Zhou. Transunet：Transformers为医学图像分割提供了强大的编码器。arXiv预印本arXiv：2102.04306，2021。[11] Xuming Chen，Shanlin Sun， Narisu Bai，Kun Han ，Qianqian Liu ， Shengyu Yao ， Hao Tang ， ChupengZhang，Zhipeng Lu，Qian Huang，et al.用于放射治疗的全身计算机断层扫描图像上的危险器官的基于深度学习的自动分割系统放射疗法和肿瘤学，160：175[12] Gary E Christensen，Richard D Rabbons，and Michael IMiller.使用大变形运动学的可变形模板。IEEE图像处理学报，5（10）：1435[13] Adrian V Dalca，Guha Balakrishnan，John Guttag，andMert R Sabuncu.无监督学习的快速概率几何配准。在我店国际会议医学 图像计 算和计 算机辅 助干预，第 729-738页。Springer，2018.[14] Paul Dupuis，Ulf Grenander，and Michael I Miller.图像匹配中的同构流变分问题。应用数学季刊，第587- 600页[15] Sara Fridovich-Keil ， Alex Yu ， Matthew Tancik ，Qinhong Chen，Benjamin Recht，and Angjoo Kanazawa.Plenoxels：没有神经网络的辐射场。在IEEE/CVF计算机视觉和模式识别会议论文集，第5501-5510页[16] 胡静、罗紫薇、王欣、孙山辉、尹幼兵、曹昆林、宋奇、吕四维和吴曦。通过强化学习实现端到端多模态图像配准。医学图像分析，68：101878，2021。[17] Mariarosaria Incoronato，Marco Aiello，Teresa Infante，Carlo Cavaliere ， Anna Maria Grimaldi ， PeppinoMirabelli，Serena Monti和Marco Salvatore。肿瘤学数据的放射基因组学分析：技术调查。国际分子科学杂志，18（4）：805，2017。[18] 大卫·N·肯尼迪、克里斯蒂安·哈塞尔格罗夫、史蒂文·M·霍奇、帕拉维·S·雷恩、尼科斯·马克里斯和让·A·弗雷泽。可以共享：a resource资源for pediatric儿科neuroimaging神经影像data数据，2012.[19] 阿诺·克莱因和杰森·图维尔。101标记的脑图像和一致的人类皮质标记协议。Frontiers in Neuroscience，6：171，2012。[20] Zhengqi Li，Simon Niklaus，Noah Snavely，and OliverWang.神经场景流场用于动态场景的时空视图合成在IEEE/CVF计算机视觉和模式识别会议论文集，第6498-6508页[21] 丹 尼尔 ·S·马 库斯 、 特雷 西 ·H· 王 、杰 米 ·帕 克、 约翰·G·塞南斯基、约翰·C·莫里斯和兰迪·L·巴克纳。开放获取系列影像学研究（Oasis）：青年、中年、非痴呆和痴呆老年人的横断面MRI数据。认知神经科学杂志，19（9）：1498[22] Ben Mildenhall，Pratul P Srinivasan，Matthew Tancik，Jonathan T Barron ， Ravi Ramamoorthi ， and Ren Ng.Nerf：将场景表示为用于视图合成的神经辐射场。欧洲计算机视觉会议，第405-421页。Springer，2020年。[23] 马克·莫达特、杰拉德·R·里奇韦、泽克·A·泰勒、曼贾·莱曼、约瑟芬·巴恩斯、大卫·J·霍克斯、尼克·C·福克斯和塞巴斯蒂安·乌尔塞林。使用图形处理单元进行快速自由变形生物医学中的计算机方法和，98（3）：278[24] 莫永华及钟耀明。基于卷积神经网络的快速对称分形图像配准。在IEEE/CVF计算机视觉和模式识别会议论文集，第4644-4653页，2020年。[25] 莫永华及钟耀明。基于拉普拉斯金字塔网络的大变形异像配准。医学图像计算和计算机辅助干预国际会议，第211Springer，2020年。1878[26] 莫永华及钟耀明。基于卷积神经网络的条件变形图像配准。医学图像计算和计算机辅助干预，第35斯普林格，2021年。[27] 莫永华及钟耀明。仿射医学图像配准与粗到精的视觉Transformer。在IEEE/CVF计算机视觉和模式识别会议的Proceedings中，第20835-208