1用于图像配准的度量学习马克·尼塔默（MarcNiethammer）mn@cs.unc.edu萨尔茨堡大学roland. gmail.comFrançois-Xavier VialardLIGM，UPEMfrancois-xavier. u-pem.fr摘要图像配准是医学图像分析中的一项关键技术，用于估计图像对之间的形变。良好的变形模型对于高质量的估计是重要的。然而，大多数现有的方法使用的ad-hoc变形模型选择的数学方便，而不是捕捉观测数据的变化。最近的深度学习方法直接从数据中学习变形模型。然而，它们对变换的空间规律性提供有限的控制而不是学习整个注册方法，我们学习一个空间自适应正则化器内的注册模型。这允许控制所需的规则性水平并保持配准模型的结构属性。例如，可以实现非纯变换。我们的方法与现有的深度学习图像配准方法截然不同，通过在基于优化的配准算法中嵌入深度学习模型来参数化和数据适应配准模型本身。源代码可在www.example.com上公开获取https://github.com/uncbiag/registration。1. 介绍图像配准在医学图像分析任务中非常重要，以捕获细微的局部变形。因此，参数化这些变形的变换模型[21]具有大量的自由度，从具有许多控制点的B样条模型到受连续介质力学启发的非参数方法[30]由于这种模型的大量参数，变形场通常通过直接惩罚位移的局部变化或者更间接地通过参数化变形的速度场来正则化。适当的正则化对于获得高质量的变形估计是重要的大多数现有的工作只是在图像中的任何地方施加相同的空间规律性。这是不现实的。例如，考虑配准具有不同心室大小的脑图像，或具有移动的肺但静止的胸腔的胸部图像，其中不同的去图1：注册方法的架构。我们共同优化动量，参数化变形Φ和卷积神经网络（CNN）的参数θ。CNN局部预测指定正则化器的多高斯内核预权重。这种方法构造了一个度量，使得在连续统中可以保证非纯变换。在不同的图像区域中存在形成尺度。根据第一原理对这种变形进行参数化是困难的，并且对于受试者间配准可能是不可能的。因此，需要从数据中学习局部规律性。可以完全替换配准模型，并从大数据集中学习参数化回归函数fΘ。在推理时，该函数然后将移动图像映射到目标图像[12]。然而，在这种方法中，所产生的变形的规律性不会自然出现，并且通常需要在事后强制执行。现有的非参数变形模型已经产生了良好的性能，很好地理解，并使用全局参数化正则化。因此，我们提倡在这些模型的基础上构建，并通过利用大量的训练数据样本来学习正则化器的适当局部化参数。该策略不仅保留了变形规律性的理论保证，而且使得在度量中对由数据支持的内在变形模型进行编码成为可能。捐款. 我们的方法在以下意义上偏离了当前的（预测）图像配准而不是将整个配准模型替换为84638464回归函数，我们保留底层的注册模型，并学习空间变化的正则化。我们建立在一个新的矢量动量参数化静止速度场（vSVF）配准模型之上我们的方法联合优化了正则化器（由深度网络参数化）和vSVF模型的配准参数我们展示了最先进的配准结果和真实数据中局部变化的变形模型的证据。概况.图1说明了我们的关键思想。我们开始与初始动量参数化的注册模型，特别是，vSVF。这样的参数化是重要的，因为它允许在配准参数之上 对于给定的源-目标图像对（I0，I1），我们对动量进行优化以获得空间变换Φ，使得I0<$Φ-1<$I1。由于从动量到Φ的映射受a的影响正则化器表示什么变换是期望的，我们共同优化正则化器参数，ω和动量。具体来说，我们使用一个空间自适应正则化器，由回归模型（这里是CNN）参数化。我们的方法自然地与预测模型相结合，例如。，[48]，以从源-目标图像对获得动量（避免在运行时优化）。在这里，为了简单起见，我们对动量进行了数值，并将动量预测留给未来的工作。Organization.在§2中，我们回顾了配准模型，与我们提出的方法的关系，并介绍了vSVF模型。§3描述了我们的度量学习注册方法，§4讨论了实验结果。最后，第5节总结了主要观点。更多详情见补充材料。2. 图像配准背景图像配准通常被公式化为以下形式λ R=a r gmin λR eg [Φ-1 （ λ ） ]+ Sim [I0<$Φ-1（λ），I1]. （2.1）γ在此，λ对变形进行参数化，Φ，λ≥0，Reg[·]是鼓励空间规则变形的惩罚，并且Si m[·，·]惩罚两个图像之间的不相似性（例如，G. 、平方差之和、互相关或互不相关形成[20]）。对于Φ的低维参数化，例如对于仿射或B样条[36，29]模型，正则化器可能不是必需的。然而，非参数配准模型[30]通过位移、速度或动量矢量场表示变形，并需要正则化以解决适定优化问题。在医学图像分析中，同态变换，Φ之间的平滑映射，或者和用于局部分析的地图集空间Dif-同态可以通过估计足够光滑的[14]静态或时变速度场v来保证。 然后通过时间积分获得变换，即，其中Φt（x，t）=v<$Φ（x，t）（下标t表示时间导数）。这种方法的例子是静态速度场(SVF)[42]和大位移同构度量映射（LDDMM）配准模型[4，44，18，1]。非参数配准模型需要在高维向量场上进行优化，通常在3D中有数百万个未知数。因此，数值优化可能很慢。最近，已经出现了几种学习回归模型来从大量图像对中预测配准参数的方法基于深度学习的初始模型[13，24]被提出来加速光流计算[22，3，8，7，49，40]。还研究了用于配准参数回归的非深度学习方法[46，45，10，9，16]。这些方法通常不保证空间规律性，或者由于理论约束而不能直接扩展到3D图像体积已经提出了替代方法，其可以配准3D图像[35，38，12，23，2，15]并确保仿射[47，48]。在这些方法中，仅在回归模型的训练期间需要昂贵的数值优化。存在端到端方法[12，23，2，15]和在训练期间需要所需配准参数的方法[47，48，35]。由于端到端方法通过变换图Φ进行区分，因此它们受到空间Transformer工作的激励[25]。当前回归方法的主要概念缺点之一是，它们在计算配准参数以获得训练数据时显式编码正则性[47，48，35]，将正则性作为损失的一部分[23，2，15]以避免不适定性，或使用低维参数化以确保正则性[38，12]。因此，这些模型不会根据数据估计变形模型，而是通过选择正则化器理想情况下，人们希望配准模型（1）根据数据中存在的变形进行正则化，（2）通过回归快速计算，以及（3）保留配准模型的期望理论属性（例如，即使在通过回归预测配准参数时也保证了同构）。预测动量场[47，48]的方法是快速的，并且可以保证非同构。然而，没有模型存在，它估计一个局部的空间正则化的形式，保证非纯变换，可以结合一个快速回归公式。我们的目标是通过基于动量的配准变量来缩小这一差距。虽然我们不会在这里探索回归动量参数化，但这样的公式预计是简单的，因为我们提出的模型具有动量-8465L不L不参数化类似于已经用于深度网络回归的参数化[48]。2.1. 流体型配准算法为了捕获大的变形并保证几何变换，受流体力学启发的配准方法已经非常成功，例如，神经影像学[1]。我们的模型遵循这种方法。地图Φ通过对所寻求的速度场v（x，t）进行时间积分而获得。具体地，Φt（x，t）=v（Φ（x，t），t），Φ（x，0）=x。对于足够平滑的（即，充分正则化的）速度场v，则得到非正则同态[14]。Eq.的相应实例（2.1）Z1vk=argminλkvk2dt+ Sim[I0<$Φ-1（1），I1]，s.t.v0Φ-1+ DΦ-1v = 0，且Φ-1（0）= id。这里，D表示（Φ-1的）雅可比矩阵，kvk2=hL<$L v，vi是使用微分算子L及其伴随L <$定义的空间范数。一个特定的L意味着一个预期的defor-领域因此，我们的方法不仅导致空间变化的度量，而且可以解决成对配准，与基于图谱的学习方法相反，并且它可以适应LDDMM1的时间积分期间的变形图像。作为第一步，我们专注于对多高斯正则化子的扩展[34]，但注意学习更一般的正则化模型是可能的。3.1. 指标参数化M维向量场是系数为M2的直接学习这些M2系数是不切实际的，因为对于典型的3D图像体积，M在数百万的范围内。因此，我们将自己限制在一类空间变化的高斯核混合。多高斯核。通常通过高斯平滑直接将从动量到矢量场的映射规范化，即。，v=G？m（在这里，？表示卷积）。在实践中，多高斯内核是可取的[34]，以捕捉变形的多尺度方面，其中信息模型在其最简单的形式中，L是空间不变的并编码期望的平滑度。由于矢量值动量m由m=L<$Lv给出，因此可以把范数写成kvk2=hm，vi。.NX-1v=i=0时！wi Gi * m，wi≥0，NX-1i=0时wi= 1。（ 3.1）L在LDDMM [4]中，人们寻求时间相关向量场v（x，t）。一种更简单但表达性较差的方法是使用稳态速度场（SVF）v（x）[35]。虽然直接在速度场v上优化SVF，但我们提出了矢量动量SVF（vSVF）公式，即。、m∈=ar gminλhm0，v0i+Sim[I0<$Φ-1（1），I1]m0Gi是以零为中心的归一化高斯分布，d e ∈σi，且wi是加权。可以用这样的和来近似的k核的类已经很大了2。估计正则化子的一种简单方法是学习wi和σi。然而，估计方差或权重受益于添加惩罚项以鼓励期望的解决方案。假设，为了简单起见，我们有一个单一的高斯，G，v=G？m，标准差为σ。S.T. Φ-1+ DΦ-1v = 0Φ-1（0）=id，且v0=（L<$L）-1m0，（2.2）由于傅里叶变换是L2等距，我们可以写Z>其在矢量动量m0上被优化。vSVFm（x）v（x）dx=hm，vi=hm，viZ是矢量动量LDDMM的简化[44]。为了简单起见，我们使用vSVF，但我们的方法直接转换为=hv/G，vi=eπ22σ2k>kv（k）>v（k）dk，（3.2）LDDMM，并由LDDMM正则化器适应变形图像的愿望所激发。3. 度量学习在实践中，L主要被选择为空间不变的。只有有限的工作空间变化的正则化子存在[33，31，39]，甚至更少的工作集中在估计空间变化的正则化子。一个值得注意的例外是在图集空间[43]中对空间变化正则化子的估计，它建立在LDDMM [37]的左不变变体上。相反，我们的目标是学习一个空间变化的正则化器，该正则化器将动量向量场和图像作为输入，并计算平滑向量其中，k·表示F变换，k表示频率。由于G是一个没有归一化常数的高斯型，因此，如果需要，我们需要显式地惩罚小σ以支持更平滑的变换（具有大σ）。事实上，前面的公式表明，对于每个正的σ，一个常速场具有相同的范数。更一般地，在理论上，可以通过使用不同的内核来再现给定的变形。因此，需要对核的参数化设置惩罚函数我们通过权重之间的最优质量传输（OMT）的简单形式来设计这种惩罚，如下所述。1我们在这里使用vSVF，并将LDDMM作为未来的工作。2所有函数h：R>07！，则h（|X-y|）是一个内核，对于每个d≥1的Rd都在这个类中。8466uX.不.σN-1。.def.基于多高斯核权值的OMT。考虑多高斯核，如等式2所示。 （3.1），标准偏差为0<σ0σ1···σN-1。希望获得解释变形的简单变换，大的标准偏差。将多高斯核权重解释为分布，最期望的最大值为彩色电视[6]为我们的实验。由于空间变换直接由权重决定，因此我们在局部施加OMT惩罚。基于等式（2.2），我们优化如下：m_i=ar gminλhm_0，v_0i+ Sim[I_0<$Φ-1（1），I_1] +m0比率将是wiN-1= 0，wN-1= 1，即，，仅使用Z[最大方差的高斯我们要惩罚λOMTOMT（w（x））dx+重量分布偏离此配置，五（3.6）最大距离g iv en到w0=1，wi6=0=0。 这可以通过OMT惩罚来实现。具 体 来说，我们定义这个惩罚在w=[w0，. ..，wN-1]作为uN-1ZλTVti=0时◆2（krI0（x）k）kr！i（x）k2dx，NX-1OMT（w）=..威岛日志. RσN-1。、（3.3）受约束条件Φ-1+DΦ-1v= 0和Φ-1（0）=id;λT V，λOMT≥0. 统一体的划分定义了统一体-.i=0时σi .ric，介入L2标量积hm，vi。0 0其中r≥1是所选的幂。 在下面，我们设置r= 1。如果wN-1= 1，则该惩罚为零，并且当w0= 1时，该惩罚将具有最大值。它可以被标准化为此外，在Eq.在公式（3.6）中，OMT惩罚在图像域上逐点积分以支持空间变化的权重; e. 、.O[MT（w）=.洛戈. -rNX-1...威岛日志. RσN-1。（3.4）（krIk）=（1+.σ0。.i=0时σi .以鼓励与图像边缘一致的权重变化。O[M（W）2[0，1]的构造。局部平滑。这种多高斯方法是一种全局正则化策略，即，，相同的多高斯核被应用于各处。这导致有效的计算，但不允许捕获变形模型中的局部变化。因此，我们引入局部化的多高斯内核，体现组织的想法，依赖于Pnt局部正则化。从一笔核N-1w G，我们让权重w在空间上变化局部回归 为了学习正则化器，我们提出了一个从图像和动量到多高斯预权重的局部回归器。给定动量m和图像I（vSVF 的源图像I0; LDDMM 的时间t的I（ t ） ） ， 我 们 学 习 以 下 形 式 的 映 射 ： fθ ：Rd<$R！其中，<$N-1是N-1个单位/概率单形3。我们将在§3.1.1中通过CNN参数化fθ。以下有吸引力的特性值得指出：1) 多高斯的方差由i=0i我我即，wi（x）. 为了确保双态变形，我们设置权重wi（x） =Gσ小吗？ ！i（x），其中！i（x）是与具有小标准偏差的高斯卷积的pr e-权重如何使用这些权重从动量到速度的适当定义需要确保非纯变换。多种方法是可能的。我们使用模型v0（x）=（K（w）？m0）（x）其组成部分的差异我们保留这些界限，因此可以指定期望的规律性水平。2) 一个全局平滑的速度场集仍然计算（在傅立叶空间），它允许捕捉大规模的规律性，而没有一个大的局部回归的感受野。因此，CNN可以保持高效。3) 局部回归策略使得该方法适用于更一般的配准模型，例如。，对于LD-NX-1pZ=wi（x）i=0yG i（|X -y|）pwi（ y） m0（ y） dy，（3.5）DMM，其中希望正则化子遵循源图像随时间的变形3.1.1学习CNN回归器对于空间常数wi（x），其简化为标准多高斯方法事实上，该模型保证了不同的形态，只要预权重不太退化，如下文描述的模型所保证补充材料（A.1）证明了这一出于对这些预权重的物理解释和对非纯配准的保证，我们需要通过TV或H1对这些预权重进行空间正则化。我们使用8467为了简单起见，我们使用了一个相当浅的CNN，它有两层过滤器和泄漏ReLU（lReLU）[27]激活。具体来说，数据流如下：conv（d+ 1，n1）！BatchNormlReLU ！conv（n1，N）！ BatchNorm3我们在实验中只探索依赖于源图像I0的映射，但更一般的映射也依赖于动量，例如，应该在未来的工作中探索。8468weighted-linear-softmax.这里conv（a，b）表示具有a个输入通道和b个输出特征映射的卷积层我们在实验中使用n1= 20，卷积滤波器的空间大小为5（2D中为5×5，3D中为5×5×5我们公式化的加权线性softmax激活函数将输入映射到N-1。我们将其设计为围绕权重wi的设定点进行操作，该权重w i对应于多高斯核的全局权重内尔这对于允许模型从预先指定的、合理的全局权重初始配置开始训练，参数化正则化器非常有用。具体地说，我们定义了加权线性softmax σw：Rk！100N-1作为箝位0，1（wj+zj-z）保存在内存中，并且为每个随机批保存和恢复各个参数，包括它们当前的优化器状态。我们在3D中使用2个批次大小，在2D中使用100个批次大小，并为每个批次执行5个SGD步骤 学习率为1。0和0。25用于3D和0中的个人和共享参数。1和0。025在2D，分别。我们使用梯度裁剪（在一个标准，分别为共享和个人参数的梯度），以帮助平衡能量项。我们使用PyTorch课程战略：联合优化动量，全局多高斯权重和CNN不起作用σw（z）j=PN-1夹具（w+z、（3.7）-z）在实践中很好。 相反，我们的训练分为两个阶段：（1）在i=0时0，1 i i初始全局阶段，我们选择一组合理的全局高斯-其中，σw（z）j表示输出的第j个分量，z是输入z的平均值，箝位函数将值箝位到区间[0，1]。在Eq中去除平均值。（3.7）保证了一个人沿着概率单形移动。也就是说，如果一个在箝位范围之外，则选择权重并仅在动量上进行优化。这允许从合理的起点进一步优化。局部适应（通过CNN）可以立即捕获局部效应，而不是最初受到大的配准失调的影响。在所有的实验中，我们选择了这些NX-1NX-1NX-1全局权重相对于其关联的瓦里扬斯岛e. ，w=σ2/（N-1σ2）。 然后，（2）开始-箝位0，1（wi+zi-z）=wi+zi-z=wi= 1iij=0ji=0时i=0时i=0时根据（1）的结果，我们对动量进行了优化，和CNN的参数，以获得空间定位的因此，在这个范围内，σw（z）j=wj+zj-z。这在z方向上是线性的，并且沿着构造概率单纯形由于具有小初始权重的CNN将产生接近于零的输出，因此σw（z）的输出最初将接近于多 高 斯 内 核 的 期 望 设 定 点 权 重 wj 。 一 旦 预 先 称重，！i（x），已经通过该CNN获得，我们通过高斯平滑计算多高斯权重。我们使用σ = 0。02，且σ = 0。05在所有实验中的3D（§ 4）。3.2. 离散化、优化和训练离散化我们使用空间导数的中心差分和20个步骤（3D中的10个步骤）的四阶龙格-库塔时间积分来离散配准模型。高斯平滑在傅立叶域中完成。整个模型在PyTorch4中实现;所有梯度都通过自动微分计算[32]。优化. 由于GPU内存的限制，在3D因此，我们使用Nesterov动量（0. 9）[41]，其中我们将优化变量（1）在注册对之间共享，（2）在注册对之间独立共享参数用于CNN。独立参数是动量。共享参数4可在https://github.com/uncbiag/registration上获得，还包括各种其他注册模型，如LDDMM。权重我们将阶段（1）和（2）分别称为全局优化和局 部 在 2D 中 ， 我 们 运 行 全 局 / 局 部 优 化 50/100epoch。在3D中，我们运行25/50个时期。 高斯方差设置为{0。010 05，0。1，0。2）for images in[0，1]d. 我们使用归一化互相关(NCC)其中σ= 0。1作为相似性度量。有关进一步的实施细节，请参见补充材料的§B4. 实验我们在三种数据集类型上测试了我们的方法：（1）具有已知基础事实的2D合成数据（§ 4.1），（2）真实3D脑部磁共振（MR）图像的2D切片（§ 4.2），以及（3）脑部MRI的多个3D数据集（§ 4.3）。首先通过将图像的强度分位数函数与所有数据集上的平均分位数函数相匹配来对图像进行亲和对齐和强度标准化。我们计算变形的空间分辨率的一半，在2D（0。（4次3D）并在评估时将Φ-1上采样至原始分辨率。使用相似性度量，以便可以考虑了这在2D中是不必要的，但在3D中是必不可少的，以减少GPU内存需求。我们在2D中使用这种方法以保持一致性。所有评价（第4.2节和第4.3节的数据集内结果除外）均针对单独的测试集。为了测试，先前学习的正则化器参数是固定的，并且数值优化仅在动量上（特别地，对于全局/局部优化，2D中的250/500迭代和3D中的8469150/300迭代）。8470w0（σ= 0. 01）w1（σ= 0. 05）w2（σ= 0. 10）w3（σ= 0. 第二十章）弯曲源变形网格标准偏差图2：使用合成测试数据的局部度量优化的配准结果示例。图中显示了不同λOMT值的结果，总变差惩罚固定为λTV=0。1 .一、对于所有设置，变形源和目标图像之间的视觉对应性都很高。对标准偏差的估计基本保持稳定。然而，对于更高的OMT惩罚，变形稍微更规则化。这也可以根据标准差（最佳放大视图）看到图3：估计的多高斯权重（蓝色=0;黄色=1）的注册图。2w.r.t.不同的λOMT。在λ OMT范围内，体重估计值非常稳定。虽然整体标准的下降（图。2）近似地面实况，外环的权重不同（地面实况权重为[0. 05，0。55，0。3，0。（1）真实的地面。它们大致匹配背景和内部（地面实况[0，0，0，1]）。3214.1. 2D合成数据的结果我们创建了300个随机变形同心环的合成128×128图像对（参见补充材料，§C）。显示的结果是100个单独的测试用例。图2显示了λOMT2 {15，50，100}的配准。TV惩罚被设置为PλTV=0。1 .一、估计的标准偏差，σ2（x） =N-1w（x）σ2，捕捉0图4：对于总变异罚分λTV（t）和OMT罚分λOMT（o）的各种值，位移误差（以像素为单位）相对于地面实况（GT）的变化。内环和外环的结果显示了所有局部测量的亚像素配准精度。ric优化结果（*_l）。 总体而言，局部指标优化i=0ii地面实况，显示大的标准偏差（即，、高规则性），以及外环中较小的标准偏差。标准差在OMT罚分中是稳定的，但随着OMT值的增加略有增加。类似地，随着OMT罚分的增大，变形逐渐变得更加规则（因为它们被更强地正则化），但是在视觉上，所有配准结果都显示出非常相似的良好对应性。请注意，虽然TV用于训练模型，但CNN输出并未显式地进行TV正则化，但仍然能够产生与源图像边界对齐的基本恒定区域图3示出了相应的估计权重。它们对于各种OMT处罚都是稳定的。最后图图4示出了相对于大大提高了注册的结果，通过初始全局多高斯正则化（全局）。用于形状的内部和外部环的地面实况变形。局部度量优化显著改善了配准（相对于初始全局多高斯正则化）;这些结果在宽范围的罚分上是稳定的，中值位移误差为<1个像素。4.2. 真实2D数据的结果我们使用与合成数据集相同的设置然而，在这里，我们的结果是针对LPBA40数据集的轴向切片的300个随机配准对[26]。源图像目标图像内圈外圈λOMT=50λOMT=100λOMT=15λOMT=100λOMT=50λOMT=15患者使用的一次性错误（est. - GT）[像素]全球t=0.01;o=5 lt=0.01;o=15 lt=0.01;o=25 lt=0.01;o=50 lt=0.01;o=75 lt=0.01;o=100 lt=0.10;o=5 lt=0.10;o=15 lt=0.10;o=25 lt=0.10;o=50 lt=0.10;o=75 lt=0.10;o=100 lt=0.25;o=5 lt=0.25;o=15 lt=0.25;o=25 lt=0.25;o=50 lt=0.25;o=75 lt=0.25;o=100 l8471源图像目标图像弯曲源变形网格标准偏差图5：针对不同λ OMT和λ TV = 0使用局部度量优化的配准结果示例。1 .一、变形的源图像和目标图像之间的视觉对应对于OMT罚分的所有值都是高的 标准差估计值捕获心室的变异性和随λ OMT值增加而增加的规则性（最佳视图缩放）。图 5显示了λOMT2 {15，50，100}; λTV= 0的结果。1.一、较大的OMT惩罚产生较大的标准差，因此更有规律的变形。大多数区域显示出较大的标准差（高规律性），但脑室和脑边界周围的值较图6显示了相应的估计权重。我们在这里没有基础事实，但观察到模型为所有显示的OMT值（{15，50，100}）产生一致的正则化模式，并将几乎所有权重分别分配给具有最低和最高标准差的高斯。随着λOMT的增加，更多的权重从最小高斯转移到最大高斯。4.3. 真实3D数据的结果我们使用3D PDCC12，MGH10和IBSR18数据集进行了实验[26]。这些数据集包含12、10和18张图像。配准评价是关于所有132个配准对的CSC12。我们使用λOMT= 50，λTV= 0。1所有测试5.一旦学习了正则化器，我们就保持它固定并优化vSVF向量动量。我们使用132个图像对（在MXC 12上）、90个图像对（在MGH10上）和150个随机图像对（在IBSR 18上）在MXC 12、MGH10和IBSR 18上训练独立模型。我们测试了生成的三个模型，以评估特定于数据集的模型的性能和跨数据集传输模型的能力。5我们没有调整这些参数，可能会有更好的设置。图6：真实2D数据的不同λ OMT的估计多高斯权重。权重主要分配给具有最大标准差的高斯分布（请参阅颜色条;最佳视图已缩放）。对于较大的λ OMT值，可以观察到从w0到w3的偏移。当权重在OMT设置之间移动时，心室面积始终与w 0上的更多权重相关联（最佳视图缩放）。选项卡. 1和图7与[26]中的配准方法进行比较，我们还列出了最新的VoxelMorph（VM）变体的性能[11]。我们保留了原始的架构配置，扫描了VoxelMorph的超参数，并在每个VoxelMorph模型都训练了300个epoch，在我们的实验中，这足以收敛。总的来说，我们的方法在所有模型中显示了在CSC 12（c/c local）上训练/测试时的最佳结果局部度量优化比初始全局多高斯正则化有很大的改进。在MGH 10和IBSR 18（m/clocal和i/c local）上训练的模型也表现出良好的性能，略低于在MC 12上训练的模型，但高于所有其他竞争方法。这表明经过训练的模型在数据集之间传输良好。而在中位数重叠方面的顶级竞争对手（SPM5D）产生离群值（参见图7），我们的模型不。在Vox-elMorph的情况下，我们观察到添加更多的训练对（即，使用所有IBSR 18、MGH18和&LBPA 40对）并没有改善结果（参见选项卡. 1*/c VM）。在选项卡中。在图2中，我们列出了模型训练时的样本C12上Φ-1的雅可比行列式的统计量，这说明了全局正则化方法和局部正则化方法之间的变换正则性如何变化。正如预期的那样，初始的全局多高斯正则化导致高度规则的配准（即，，确定Jacobian接近1）。局部度量优化实现了显著改善的靶体积重叠测量（图7）同时保持良好的空间规则性，清楚地显示了我们的局部正则化模型的实用性。注意w0（σ= 0. 01）w1（σ= 0. 05）w2（σ= 0. 10）w3（σ= 0. 第二十章）λOMT=100λOMT=50λOMT=15λOMT=100λOMT=50λOMT=158472电视0.0290.600.550.500.450.400.350.300.250.20表1：平均值的统计（在所有标记的大脑结构上，图7：λ TV = 0时，C12（3D）上的平均靶标重叠率。1，λOMT=50。 我们的方法（标记为红色）总体上给出了最好的结果。局部度量优化大大提高了结果优于初始全局多高斯正则化。最好不考虑背景），CSC12上的目标重叠率不同的方法。基于全局和局部正则化的结果的前缀指示由数据集的首字母缩写识别的训练/测试组合。例如，m/c意味着在MGH 10/MFC 12上经过培训/测试。统计结果是零假设的等效平均目标重叠相对于c/c本地。拒绝零假设（α= 0时）。05）是用复选标记（3）表示所有的p值都是由我们计算的-采用配对单侧Mann Whitney秩检验[28]并校正对于使用Benjamini-Hochberg [ 5 ]程序的多重比较，家族错误率为0。05.最好的结果是粗体，表明我们的方法具有最先进的性能。是说百分之一百分之五百分之五十百分之九十五百分之九十九全球当地1.00（0.02）0.98（0.02）0.60（0.07）0.05（0.04）0.71（0.03）0.24（0.03）0.98（0.03）0.84（0.03）1.39（0.05）2.18（0.07）1.69（0.14）3.90（0.23）表2：λ = 0时全局和局部正则化的Φ −1的雅可比行列式的平均值（标准差）。1和λOMT = 50，对于脑内的C12。 局部度量优化（局部）改进了目标重叠测量（见图1）。（7）在与全局多高斯正则化相比，规则变形的代价更小。然而，所报道的雅可比行列式仍然都是正的，表明没有折叠。所有报告的行列式的雅可比值表。2是正的，表示没有折叠，这与我们的同构保证一致;尽管这些仅仅是收敛时连续模型的保证，其不考虑潜在的离散化伪像。5. 结论我们提出了一种学习局部正则化的方法，由CNN参数化，它与可变形配准模型集成，并在合成和真实数据上表现出良好的性能。虽然我们使用vSVF来提高计算效率，但我们的方法可以直接与LDDMM集成（导致局部时变规则化）。它也可以与预测regis相结合在此数据集（c/c本地），但在MGH 10（m/c本地）和IBSR 18（i/c本地）上训练的模型转移良好，表现出几乎相同的性能水平虚线是中值平均目标重叠比（即，所有标记的平均值，所有配准对的中值过滤方法，例如，[48].这种集成将在运行时消除优化的计算负担，产生快速配准模型，允许端到端训练，并且特别是有望克服当前深度学习方法用于可变形图像配准的两个关键问题：（1）缺乏对主要基于图像相似性的方法训练的空间规律性的控制，以及(2) 试图学习给定配准方法和所选正则化器的最佳配准参数的方法对配准性能的固有限制。据我们所知，我们的模型是第一个ap-proach通过预测局部多高斯预权重来学习配准模型的局部正则化。这是一种有吸引力的方法，因为它（1）允许保留底层（很好理解的）配准模型的理论属性，（2）允许对局部规律性施加界限，以及(3) 将精力集中在从数据中学习配准模型的某些方面，同时避免学习固有地不适定的整个估计的局部正则化子可以提供有用的信息，特别是，指示空间非均匀变形模型由真实数据支持。许多实验和理论工作仍然存在。应探索更先进的CNN模型;该方法应适用于快速端到端回归;应当研究正则化子的更一般的参数化（例如，允许滑动），并且该方法应该被开发用于LDDMM。鸣谢。这项工作得到了NSF EECS-1711776，NIH 1-R01-AR 072013和Aus-Trian科学基金（FWF项目P 31799）。FLIRT空气动物艺术恶魔FNIRT流体SICLESyNSPM5N8SPM5NSPM5USPM5Dc/c VMm/cVMi/cVM*/cVMm/cglobalI/C本地方法是说STD百分之一百分之五百分之五十百分之九十五百分之九十九pMW-stat签名？调情0.3940.0310.3340.3450.3960.4420.463<1e −1017394.03空气0.4230.0300.3620.3770.4210.4830.492<1e −1017091.03动物0.4260.0370.3280.3670.4250.4830.498<1e −1016925.03艺术0.5030.0310.4460.4520.5060.5560.563<1e −411177.03恶魔0.4620.4070.4210.4610.5100.531<1e −1015518.03FNIRT0.4630.0360.3810.4100.4630.5190.537<1e −1015149.03流体0.4620.0310.4010.4100.4620.5160.532<1e −1015503.03SICLE0.4190.0440.3000.3300.4240.4750.504<1e −1017022.03SyN0.5140.0330.4540.4600.5150.5650.5780.0739677.07SPM5N80.3650.0450.2570.2930.3700.4260.455<1e −1017418.03SPM5N0.4200.0310.3610.3760.4180.4710.494<1e −1017160.03SPM 5U0.4380.0290.3730.3940.4370.4890.502<1e −1016773.03SPM 5D0.5120.0560.2620.4450.5230.5700.5790.3119043.07c/c VM0.5170.0340.4560.4600.5180.5710.5800.2449211.07m/c VM0.5100.0340.4480.4530.5090.5640.5740.01110197.03i/c VM0.5100.0340.4500.4530.5080.5640.5730.01210170.03*/c虚拟机0.5090.0330.4500.4530.5090.5610.5700.00710318.03m/c global0.4800.0310.4210.4300.4820.5300.543<1e −1013864.03m/c local0.5170.0340.4540.4610.5210.5680.5780.2579163.07c/c globalc/c local0.4800.5200.0310.0340.4210.4550.4300.4630.4820.5240.5300.5720.5430.581<1e −10-13864.0-3-I/C全局0.4800.0310.4210.4300.4820.5300.543<1e −1013863.03I/C本地0.5180.0350.4540.4600.5220.5710.5810.3388972.078473引用[1] B. Avants，N. Tustison和G.歌高级规范化工具（ ANTS ） 。 Insight Journal ， 2 ： 1-35 ， 2009.二、三[2] G. Balakrishnan，A.Zhao，M.Sabuncu，J.Guttag和A.达尔卡一种用于可变形医学图像配准的无监督学习模型。在CVPR，2018年。2[3] S. S. Beauchemin和J. L.巴伦光流场的计算ACM计算调查（CSUR），27（3）：433-466，1995年。2[4] M.求你了M Miller，A. Trouvé和L.尤尼斯用仿射测地线流IJCV，61（2）：139二、三[5] Y. Benjamini和Y.霍克伯格控制错误发现率：一种实用而有力的方法，多项测试。J . R. Stat. Soc.Series B Stat.methodol 第289-300页，1995年。8[6] Blomgren和T.陈彩色电视：全变分法恢复矢量值图像。TMI，7（3）：304-309，1998. 4[7] A. Borzi，K. Ito和K.库尼施确定光流的最佳控制公式 SIAM J. Sci.Comput. ，24（3）：818-847，2003. 2[8] T. Brox，A. Bruhn，N. Papenberg和J. Weickert基于变形理论的高精度光流估计。见ECCV，2004年。2[9] T. Cao，N.Singh，V.Jojic和M.尼萨默变形预测的半耦合字典学习。ISBI，2015年。2[10] C.- R. Chou，B. Frederick，G. Mageras，S.常和S.派泽使用回归学习的2D/3D图像配准。CVIU，117（9）：1095-1106，2013. 2[11] A. 达尔卡湾Balakrishnan，J.Guttag和M.萨班库快速概率微分形态配准的无监督学习。在MICCAI，2018年。7[12] B. de Vos，F.Berendsen，M.Viergever，M.盯着我看，I.伊什古姆使用卷积神经网络的端到端无监督可变形图像配准。在DLMIA，2017年。一、二[13] A. 多索维茨基山口Fischer、E.Ilg，P.豪塞尔角Hazir- bas，V.Golkov，P.Van Der Smagt，D.克莱姆斯，还有T.布 洛克 斯Flownet ： 学习 光流 与卷 积网 络。CVPR，20
我的内容管理
展开
