4224仿射和非参数图像联合配准网络正阳沈殿山zyshen@cs.unc.edu徐汉（音译）xhs400@cs.unc.edu徐振林教堂山zhenlinx@cs.unc.edu马克·尼塔默（MarcNiethammer）mn@cs.unc.edu摘要我们介绍了一个用于3D医学图像配准的端到端深度学习框架。与扩展方法相比，我们的框架结合了两种配准方法：仿射配准和矢量动量参数定常速度场（vSVF）模型。具体来说，它包括三个阶段。在第一阶段，多步仿射网络预测仿射变换参数。在第二阶段，我们使用一个类似U网的网络来生成动量，通过平滑可以计算出速度场。最后，在第三阶段，我们采用了一个自迭代的映射为基础的vSVF组件提供一个非参数化的基础上的转换映射的当前估计的细化。一旦模型被训练，配准就在一次向前传递中完成为了评估性能，我们对骨关节炎倡议（OAI）数据集的膝关节3D磁共振图像（MRI）结果表明，我们的框架实现了与最先进的医学图像配准方法相当的性能，但速度更快，具有更好的控制变换规律性，包括产生近似对称变换的能力，以及结合仿射和非参数配准。1. 介绍配准是医学图像分析中的一项基本任务例如，为了允许对软骨随时间或跨受试者群体的变化进行局部空间分析，首先将图像配准到共同的解剖空间。传统的图像配准算法，如弹性[3，25]，流体[5，12，29，8，31]或B样条模型[24]，都是基于最优化的迭代数值解最后，提出了多种不同的相似性度量来评估图像的不匹配。对于具有相似强度分布的图像对，强度差的均方误差（MSE）被广泛使用。然而，对于多模态配准，归一化互相关（NCC）和互信息（MI）通常表现更好。此外，平滑变换图通常是期望的。鼓励或强制平滑的方法使用，例如，刚性惩罚[26]或鼓励体积保持的惩罚[27，22]，以避免变换中的折叠。还可以通过在足够平滑的速度场上进行优化来实现同构变换，从该速度场可以经由积分来恢复空间变换。这些方法包括大位移仿射度量映射（LDDMM）[5，12]和仿射Demons [29]。由于优化通常是在非常高维的参数空间上进行的，因此它们在计算上是昂贵的。最近，利用深度学习，研究重点是用学习的深度回归模型取代昂贵的数值优化。 这些方法由于在测试时只需要对回归模型进行评估，因此速度非常快。它们模仿传统的基于数值优化的配准算法的行为，因为它们预测相同类型的配准参数：位移场、速度场或动量场。根据预测的参数，可以保留原始配准模型的理论属性。例如，在Quicksilver [33]中，学习一个网络来预测LDDMM的初始动量，然后可以通过LDDMM的射击方程来找到一个同构空间变换虽然早期的工作集中在基于先前通过昂贵的数值优化获得的配准参数的训练模型[6，32]，但最近的工作已经转移到端到端公式1[10，14，4，9]。这些端到端的方法将图像检索整合到其网络中，问题。 优化的目标是最小-消除图像失配和变换不规则性。然后，所寻求的解决方案是空间变换，该空间变换将源图像与目标图像很好地对准，同时确保变换是足够规则的。本1对于这些端到端方法，所寻求的配准参数化是网络的最终输出（用于预测位移场）或中间输出（用于预测速度场），从中可以恢复变换图。配方的其余部分保持不变。4225Jaderberg等人的空间变换器工作。[13 ]第10段。非端到端方法需要在训练时寻求配准参数。通过对大量图像对的数值优化来获得这样的数据在计算上可能是昂贵的，而端到端方法有效地将网络的训练与对配准参数的隐式优化（作为网络架构的一部分）相结合。现有的图像配准深度学习方法存在多种局限性。首先，他们假设图像已经预先对准，例如，通过刚性或仿射配准。这些预对准步骤可以通过专门训练的网络[7]或通过标准数值优化来完成。在前一种情况下，整体配准方法不再是端到端的，而在后一种情况下，预配准成为计算瓶颈。其次，许多方法受到计算内存的限制，因此只能在2D中工作或采用小块在3D中。虽然一些工作探索了整个3D体积的端到端公式[4，9]，但这些方法基于全分辨率变换图执行计算，在这种情况下，非常简单的网络很容易耗尽内存，从而限制了模型的扩展第三，他们没有探索迭代细化。我们提出的方法解决了这些缺点。具体而言，我们的贡献是：• 一种新的矢量动量参数化的静止速度场配准模型（vSVF）。 矢量动量场允许解耦变换平滑性和变换参数的预测。因此，可以保证结果速度场的足够光滑性，并且即使对于大位移也可以获得自相似性。• 一种端到端配准方法，将仿射和vSVF配准合并到一个框架。该框架实现了与相应的基于优化的方法和最先进的配准方法相当的性能，同时大大降低了计算成本。• 在我们的模型中，仿射和vSVF配准组件的多步方法允许细化配准结果。• 一个完整的配准模型，通过地图组成，以避免不必要的图像插值。• 针对仿射和vSVF配准分量两者，从而鼓励回归模型学习较少依赖于图像排序的映射。即，将图像A配准到B将导致与将B配准到A类似的空间对应。我们的方法有利于图像配准，包括仿射预注册在一个统一的回归模型。图1.我们的框架包括仿射（左）和vSVF（右）注册组件。仿射部分输出仿射映射和仿射变形的源图像。仿射映射映射vSVF配准的映射。将仿射变形图像和目标图像输入到动量生成网络中以预测vSVF配准模型的动量。vSVF组件的输出是合成的变换图和变形的源图像，其可以被视为最终配准结果或被反馈（由虚线指示）到vSVF组件中以细化配准解决方案。在下文中，我们将我们的方法称为AVSM（仿射-vSVF-映射）。图1示出了AVSM框架的概述，其示出了仿射和vSVF配准组件的组合仿射分量和vSVF分量是独立设计的，但易于组合。在仿射阶段，多步仿射网络预测图像对的仿射参数。在vSVF阶段，类似于U-Net的网络生成动量，通过平滑可以计算速度场。然后将初始映射和动量馈送到vSVF组件中，以输出所需的变换映射。也可以使用指定的迭代次数来细化结果。整个注册框架在地图上运行并使用地图合成。以这种方式，源图像仅被内插一次，从而避免图像模糊。此外，由于假设变换映射是平滑的，因此对映射进行上采样的插值是准确的。因此，我们可以通过预测下采样变换来获得良好的配准结果。然而，在训练期间以全分辨率评估相似性度量在低分辨率下的计算大大降低了计算成本，并允许我们在给定特定内存预算的情况下计算更大的图像卷。例如，1/2大小的地图只需要1/8的计算和1/8的3D内存。我们将AVSM与公开可用的基于优化的方法[20，17，24，19，2]在OAI数据集的3D图像对的纵向和手稿组织如下：Sec. 2描述了我们的ASVM方法;秒3是实验结果;秒4提出了结论和今后工作的途径。4226一一JJ阵图2示出了网络架构。为了避免数值不稳定性和数值耗散，由于连续三线性插值，我们直接更新仿射配准参数，而不是在中间的步骤重新存储图像具体来说，在每一步中，我们将目标图像和变形的源图像（使用先前的仿射参数从源图像通过插值获得）作为输入，然后输出新的仿射参数对于TR。nsfor模型改进。设af细参数be r =一B，其中A∈Rd×d表示线性变换矩阵;b∈Rd表示平移，d是图像维度。更新规则如下：A（t）=A一，b=A B+200b，图2. 多步仿射网络结构。 就像一个经常性的网络，仿射网络的参数由所有（t）（t−1）（t）S.T.A（0）=1，b（0）=0。（t）（t−1）（吨）（一）步 在每一步中，网络输出要细化的参数先前预测的仿射变换。即，目前，在这里，一个，A（t）表示线性变换矩阵通过组成（由虚线表示）获得估计值。的输出和第t步的合成结果，分别为：在最后一步获得总体仿射变换我也是。同样，（吨）表示仿射平移参数。2. 方法在第t步的eter输出和b（t）合成结果。最后，如果我们考虑在目标图像的空间中从源图像到目标图像的配准，本节介绍我们的总体方法。 它是-f精细映射由Φ−1（x，Γ）=A（t）获得最后）x+b（t最后）。分成两部分。第一部分解释了仿射正则化组件，该组件使用多步网络来改进仿射变换参数的预测。第二部分介绍了考虑局部变形的矢量动量参数化定常速度场（vSVF）.在这里，动量生成网络首先预测动量参数化vSVF模型，从而预测变换图。vSVF组件也可以以多步方式应用，从而进一步改善配准结果。2.1. 多步仿射网络大多数现有的非参数配准方法对仿射变换不是不变的，因为它们被正则化器惩罚因此，非参数配准方法通常从预配准的图像对开始，损失：多步仿射网络的损失由三部分组成：图像相似性损失L a-sim，正则化lossLa-reg和loss encouraging transformation symmetryLa-sym。让我们将I0表示为源图像，将I1表示为目标图像。上标st和ts分别表示从I0到I1和I1到I0的配准2。图像相似性损失La-sim（I0，I1，Φ-1）可以是任何 标 准 的 相 似 性 度 量 ， 例 如 ， 归 一 化 互 相 关（ NCC ） 、 局 部 NCC （ LNCC ） 或 均 方 误 差（MSE）。在这里，我们将LNCC推广到多核LNCC公式（mk-LNCC）。标准LNCC是通过对以采样体素为中心的重叠滑动窗口的NCC分数求平均来计算的。设V为图像的体积;x i，y i是指第i个（i∈ {1，.，|）分别在变形的源和目标体积中的体素。|}) voxelin the warped source and target volumes, respectively. N s是指具有立方尺寸s×s×s的滑动窗口的数量。让我们参考以第j个体素为中心的窗口最典型地基于仿射配准，以考虑j大的、全局的位移或旋转。因此，在我们框架的第一部分中，我们使用多步仿射网络直接预测仿射配准参数和x<$j，y<$j为在变形的源图像和目标图像。 LNCC其中窗口大小s，表示为κs，定义为：Σ以及相应的变换映射。网络需要足够灵活，以适应这两种情况1Σκ（x，y）=.（xi−x<$j）（yi−y<$j）i∈S.sΣ Σ小的和大的仿射变形。尽管深度卷积网络可以有很大的感受野，但我们的实验表明，训练单个仿射网络不会NJi∈S （xi−x<$j）2i∈S （yi−y<$j）2（二）在实践中表现良好。相反，我们从几个步骤组成仿射变换。该策略显著提高了准确性和稳定性。网络：我们的多步仿射网络是一个循环网络，它逐步细化预测的仿射变换，（吨）JS4227我们将mk-LNCC定义为LNCC的加权和，不同的窗口大小。为了计算效率，LNCC可以在以2为了简化符号，我们在下面省略了st（源到目标注册），只强调ts（目标到源注册）。4228一LLLt（0）（τ）V的体素。图像相似性损失为ΣLa-sim（I0，I1，Γ）=ωiκs（I0<$Φ−1，I1），Ia中文（简体）S.T.Φ−1（x，Γ）=Ax+b且ωi=1，wi≥0。我正则化损失La-reg（r）惩罚复合仿射变换与恒等式的偏差：2）A=A（||A −I||2个以上||B||2）、（4）F2其中，λ·λF表示Frobenius范数，λar≥0是一个与时间相关的权重因子，在训练开始时设计得很大，以限制大的变形，然后逐渐衰减到零。参见等式13细节对称性损失La-sym（r，rts）促使该表示是逆一致的。即，我们希望鼓励从源到目标图像计算的变换是从目标到源图像（即，Ats（Ax+b）+bts=x）：2）A=A（||AtsA−I||2个以上||Atsb+bts||（2）、（5）图3. vSVF配准框架图示（一步），包括动量生成网络和vSVF配准。网络输出低分辨率动量。动量和下采样的初始图被输入到vSVF单元，输出低分辨率变换图，然后在扭曲源图像之前将其上采样到全分辨率。当nvn2=nm，vn时，在LDDMM方法[5]中，估计时间依赖向量场v（x，t）。稍F其中λas≥0是选定的常数。2更简单的方法是使用静止速度场（SVF）v（x）[18]。其余的配方保持不变。完全损失La（I0，I1，Γ，Γts）则为La（I0，I1，I r，Its）=La（I0，I1，Ir）+La（I1，I0，Its）虽然SVF配准算法直接在速度场v上优化，但我们提出了一种矢量动量配准算法。+La-sym（r，rts），（6）SVF（vSVF）公式计算如下：其中，I（I，I，Γ）=L（I，I，Γ）+L（r）。m=a r gminλvrm0，v0+Si m[I0<$Φ−1（1），I1]，s.t.一0 1a-sim0 1a-regm0（八）2.2. 矢量动量参数化SVFΦ−1+DΦ−1v=0，Φ−1（0）=Φ−1，v0=（L<$L）−1m0，t（0）本节介绍了基于动量的平稳速度场方法，然后使用网络来预测动量。为了简单起见，我们在这里描述一步vSVF，它构成了多步方法的基础。vSVF方法：为了捕获大的变形并保证非纯变换，经常采用由流体力学驱动的配准算法。这里，源图像空间中的变换映射Φ3经由需要估计的速度场v（x，t）的时间积分来获得。控制微分方程为：Φt（x，t）=v（Φ（x，t），t），Φ（x，0）= Φ（0）（x），其中Φ（0）是初始映射。对于一个充分光滑的速度场v，我们得到一个双纯变换.通过惩罚v的非光滑性来实现足够的光滑性。具体而言，优化问题-其中m0表示矢量动量，λvr>0为常数该公式可以被认为是矢量动量参数化LD-DMM公式的简化版本[30]。这种公式的好处是，它允许我们显式地控制空间平滑度，因为深度网络预测动量，该动量被子平滑以获得速度场，而不是直接预测速度场v，这将要求网络学习预测平滑矢量场。图图3示出了矢量动量参数化静止速度场（vSVF）配准的框架我们使用低分辨率的速度场进行计算，这大大减少了内存消耗。 该框架由两部分组成：1）动量生成网络，其将变形的源图像与目标图像一起作为输入，输出低分辨率动量;莱姆群岛v=argminλvrv∫1v<$2dt+Sim[I0<$Φ−1（1），I1]，0（七）vSVF注册部分。具体地，预测的动量和下采样的初始图被输入到vSVF单元，其输出最终被上采样S.T.Φ−1+DΦ−1v=0和Φ−1（0）=Φ−1，其中，D表示雅可比矩阵，并且VVV V2=VL<$Lv，VV是以获得全分辨率变换图。在vSVF单元内部，通过平滑动量，然后用来求解平流方程，通过指定微分运算定义的空间规范-TorL及其伴随L†。作为向量值动量−1（τ）t+DΦ−1v=0，对于单位时间（使用several离散m等于m=L<$Lv，可以表示范数3省略Φ v的下标v，其中v为vSVF方法。时间点）。这就导致了所寻求的transfor-mation map.这里提到的初始映射可以是仿射映射或从先前的vSVF步骤获得的映射Φ4229L2000即对于第τ步，设置Φ−1（x，0）=Φ−1（x，1）.3. 实验和结果（τ）（τ−1）动量生成网络：我们实现了一个深度神经网络来生成矢量动量。由于我们的工作并不关注网络架构，因此我们简单地实现了一个具有剩余链路的四级U-Net[23，16]。在训练过程中，梯度首先通过平流方程的积分器反向传播，这可能需要大量的内存。我们使用四阶龙格-库塔法的时间积分和离散所有的空间导数与中心的差异。因此，为了减少内存需求，网络输出低分辨率的动量。在实践中，我们删除了U-Net的最后一个解码器级别。在这种情况下，剩余的vSVF组件也对低分辨率映射进行操作。损失：与仿射网络中的损失类似，网络的vSVF部分的损失也由三项组成：相似性损失Lv-sim，正则化损失Lv-reg和对称性损失Lv-sym。相似性损失Lv-sim（I0，I1，Φ−1）与仿射网络相同。即，我们也使用mk-LNCC。正则化损失Lv-reg（m0）惩罚速度场.因此，我们有Lv-reg （ m0 ） =λvr<$v<$2=λvr<$m0 ，v0<$ ， （ 9 ） 其 中 v0= （ L<$L ） −1m0 。 我 们 将（L<$L）−1实现为具有多高斯内核的卷积[21]。对称损失定义为Lv-sym（Φ−1，（Φts）−1）=λvs<$Φ−1<$（Φts）−1−id<$2，（10）其中id表示恒等映射，λvs≥0表示对称权重factor，（Φts）-1表示通过在源图像的空间中将目标配准到源图像而获得的映射，并且Φ-1表示通过在目标图像的空间中将源图像配准到目标图像而获得的映射因此，构图也存在于目标图像空间中。完全损耗Lv （I0 ，I1 ，Φ−1 ，（Φts）−1 ，m0 ，mts）vSVF配准的一步操作如下：Lv（I0，I1，Φ−1，（Φts）−1，m0，mts）=Lv（I0，I1，Φ−1，m0）+v（I1，I0，（Φts）−1，mts）+Lv-sym（Φ−1，（Φts）−1），（11）其中：Lv（I0，I1，Φ−1，m0）=Lv-sim（I0，I1，Φ−1）+Lv-reg（m0）.对于具有T步的vSVF模型，完全损失为：数据集：Osteoarthritis Initiative（OAI）数据集包括来自88例患者的176张手动标记的磁共振（MR）图像（每例患者2次纵向扫描）和来自2，444例患者的22，950张未标记的MR图像。标签可用于股骨和胫骨软骨。所有图像的大小为384×384×160，其中每个体素的大小为0的情况。36×0。36×0。7毫米3.我们将每个图像的强度归一化，使得0。第一百分位和第九十九百分位。第9百分位数映射到0、1，并且箝位值小于0且大于1以避免离群值。所有图像都被下采样到192×192×80的大小。评价：我们对纵向和跨学科配准进行评价。我们将未标记的患者分为训练组和验证组，比例为7：3。对于纵向配准，从训练组（通过从2,100对图像交换源和目标而获得）中随机选择4,200对用于训练，并且从验证组中选择的50对用于验证。所有176个带有标签的纵向对被用作我们的测试集。对于跨主题配准，我们随机挑选2，800个（从1，400对中）跨主题训练对和50个验证对;随机选择300对（从150对中）我们使用所有测试对的平均Dice得分[11]作为评估指标。培训内容：培训阶段包括两个部分：1) 训练多步仿射网络：从头开始训练多步仿射网络是困难的相反，我们首先训练一个单步网络，然后使用它的参数来初始化多步网络。对于纵向配准，我们使用三步仿射网络进行训练，但在测试期间使用七步网络。这导致比三步网络更好的测试性能。类似地，对于跨学科配准，我们使用五步网络进行训练，并使用七步网络进行测试。仿射对称因子λas被设置为10。2) 培训动力生成网络：在训练期间，仿射部分是固定的。对于vSVF，我们使用10个时间步长和具有标准偏差{0.05，0.1，0.15，0.2，0.25}和相应权重的多高斯内核{0.067，0.133，0.2，0.267，0.333}（间距已缩放，以便图像位于[0，1]3中）。我们为长期注册和跨学科注册提供两个步骤的培训vSVF正则化因子λvr被设置为10，并且对称因子λvs被设置为1 e-4。对于这两个部分，我们使用相同的训练策略-egy：1对/批，400批/epoch，200 epoch/实验;我们设定学习率为5e-4，ΣTLv（I0，I1，Φ−1，Φts，m0（τ），mts）s.t.在每60个时期之后因子为0.5我们使用mk-LNCC作为τ=1（τ）（τ）0（τ）（十二）相似性度量（ω，s）={（0. 3，S/4），（0. （见S/2002/2003），其中S是指最小图像尺寸。又就Φ−1（x，0）=Φ−1（x，1），（τ）（τ−1）我们的mk-LNCC的实现，我们设置滑动赢-（Φts）−1（x，0）=（Φts）−1（x，1）.−14230将步幅降低到S/4，将内核膨胀降低到2。（τ）（τ−1）4231此外，本发明还 的 仿射 正则化 因子λar为训练期间的时间依赖性，定义为：恰尔喀尔λ：=，（13）空间给出了类似的结果。因此，我们选择物理空间中更自然的基于优化的多尺度仿射配准：In-arar +en/Kar而不是优化的仿射参数上的其中Car是常数，Kar控制衰减速率，并且n是epoch count。在纵向和交叉受试者实验中，将Kar设置为4，将Car设置为10。图4. AVSM实现的配准结果的图示，每列引用一个示例。前五行是指源、目标、AVSM的变形图像、具有变形的变形图像−1图像缩放，我们使用多尺度策略。 具体地说，我们从粗略估计仿射参数的低图像分辨率开始使用随机梯度下降，学习率为1 e-4。三种图像尺度{0。25，0。五一0}，每个都有{200，200，50}次迭代。我们使用mk-LNCC作为相似性度量。 在每个尺度k处，令图像尺寸（图像尺寸中的最小长度）为Sk，这里k ∈ {0}。25，0。五一0}。 在尺度1.0处，参数被设置为（ω，s）={（0. 3，S k/4），（0. 7，Sk/2）}，即，与网络版本相同的参数;在尺度0.5和0.25处，（ω，s）={（1. 0，Sk/2）}。基于优化的多尺度vSVF配准：我们将仿射映射（由基于优化的多尺度仿射配准产生）作为初始映射，然后对vSVF模型进行数值优化。使用与仿射配准相同的多尺度策略。动量在尺度之间被上采样。我们使用L-BGFS [15]进行优化。 在我们的实验中，我们使用三个尺度{0。25，0。五一0}，每个尺度60次迭代。使用与基于优化的多尺度仿射配准相同的mk-LNCC相似性度量。用于积分前进方程的时间步长的数量和用于多高斯核的设置与所提出的深度网络模型相同。NiftyReg：我们运行两个注册阶段：仿射后B样条配准。在每个阶段中使用三个尺度，并且B样条控制点的间隔被设置为10个体素。此外，我们发现，使用LNCC作为相似性度量，高斯核的标准差为40，比默认的正态分布更好。化的互信息，但在跨中引入折叠，信息网格（可视化Φ），多步仿射然后分别用AVSM方法得到源标签、目标标签和变形标签。变形标签和目标标签之间具有很高的相似性，并且变形是平滑的。基线方法：我们实现相应的数值优化版本（例如，直接优化仿射（affine-opt）和vSVF（vSVF-opt）配准的动量）。我们比较了三种广泛使用的公共注册方法：SyN [2，1]，恶魔 [29，28]NiftyReg[20 ， 17 ， 24 ， 19]. 我 们 还 比 较 了 最 新 的VoxelMorph变体[9]。我们报告这些方法的性能后，深入搜索良好的参数。对于Demons、SyN和NiftyReg，我们使用各向同性体素间距1×1×1mm3，因为这可以提高分辨率。与使用物理间隔相比。 这意味物理空间中的各向异性正则化对于我们的方法，各向同性或各向异性正则化在物理阵因此，在LNCC实验中，我们使用Jacobi行列式罚分为0。01减少褶皱。Demons：我们将从NiftyReg获得的仿射映射作为初始映射，并通过SimpleITK使用快速对称力Demons算法 [29位移场的高斯平滑标准差设置为1.2。我们使用MSE作为相似性度量。SyN：我们与对称归一化（SyN）进行比较，SyN是一种在ANTs软件包中实现的广泛使用的配准方法[1]。我们将Mattes作为仿射配准的度量，并将采样半径设置为4的CC我们使用具有{2100，1200，1200，20}次迭代的四个尺度的多分辨率优化;每个级别的高斯平滑的标准差设置为{3，2，1，0}。平滑梯度场的流量标准差设置为3。VoxelMorph：我们与最近的Voxel进行比较-K42322|V|表1. OAI数据集上纵向和跨受试者配准的不同配准方法Affine-opt和vSVF-opt是指基于优化的多尺度仿射和vSVF配准。AVSM（n-step）是指七步仿射网络和n步vSVF模型。折叠（|{x：Jφ（x）<0}|）是指平均折叠次数和相应的雅可比行列式绝对值（方括号内）;时间是指每次图像配准的平均时间。Morph变体[9]，也是基于深度学习的。VoxelMorph假设图像是预先对齐的。为了公平比较，我们因此使用我们提出的多步仿射网络进行初始对齐。通过网格搜索确定最佳参数。NiftyReg 、 Demons 和 SyN 在 i9- 7900 X （ 10 核@3.30GHz）服务器上运行，而所有其他方法都在单个NVIDIA GTX 1080Ti上运行。图5.纵向配准（绿色）和跨受试者配准（橙色）的不同配准方法性能的箱形图。AVSM和NiftyReg（LNCC）都表现出高性能和小方差。选项卡. 1比较了我们的框架与其相应的优化版本和公共注册工具的性能。总的来说，我们的AVSM框架在跨学科配准方面表现最好，并且对于仿射和非参数配准，比基于优化的方法的性能略好。带有LNCC的NiftyReg显示了类似的性能。对于纵向配准，AVSM表现出良好的性能，但略低包括AVSM所基于的vSVF-opt。一种可能的解释是，对于纵向配准，变形是细微的，并且源/目标图像对在外观上非常相似。因此，数值优化可以在收敛时非常准确地对准这样的图像对。VoxelMorph在所有方法中运行速度最快。如果没有初始仿射配准，它的表现就不好了。一旦输入对被很好地预对齐，VoxelMorph显示出纵向配准的竞争结果，但是在更具挑战性的跨学科配准方面优于我们的方法。为了评估变换映射的平滑度，我们计算估计映射的雅可比行列式Jφ（x）：|Dφ−1（x）|，并计算由|在<每个图像中（192 × 192 × 80体素，|in each image(192 × 192 × 80 voxels in共计）。我们还报告了行列式在这些情况下的雅可比矩阵表示褶皱的严重程度。即使使用正则化，数值优化（vSVF-opt）总是导致同构，但在AVSM中保留很少的折叠以进行跨学科的注册。这可能是由数值离散化伪影、非常大的预测动量或相对于数值优化结果的预测不准确引起的。图5显示了相应的箱形图结果。AVSM在两个配准任务中都实现了小方差和高由于AVSM仅需要一次前向传递来完成仿射和vSVF配准，因此它比使用迭代数值优化快得多。选项卡. 2显示了AVSM消融研究的结果对于仿射部分，没有正则化项的单步仿射网络很难训练。因此，配准失败。引入多步和逆一致性提高了仿射性能。与使用NCC作为相似性度量相比，我们的mk-LNCC实现大大提高了结果。在下面的vSVF部分中，我们观察到方法IV和VI之间的巨大差异，说明vSVF配准导致了巨大的改进。在方法VII和VIII中添加mk-LNCC和多步训练进一步提高了性能。例外情况是vSVF对称性损失，其略微降低了纵向和跨受试者配准的性能，但导致良好的对称性测量（见图1）。（六）。我们仍然保留对称损失，因为它有助于网络收敛到具有更平滑映射的解决方案，如图所示。六、与使用可以去除局部位移的更大的高斯核不同，惩罚不对称有助于正则化变形，而不会使贴图过于平滑，也不会牺牲太多性能。为了对对称性进行数值评估，我们计算 所 有 记 录 方 法 的 ln （ 1<$Φ−1<$ （ Φts ）−1−id<$2），其中V表示的体积大小和Φ的地图获得通过组合仿射变换和可变形变换。因为不同-方法纵向跨学科Dice Folds Dice Folds时间（s）仿射NiftyReg75.07（6.21）0 30.43（12.11）045仿射光学78.61（4.48）0 34.49（18.07）08仿射网（七步）77.75（4.77）044.58（7.74）00.20-----恶魔83.43（2.64）10.7【0.56】63.47（9.52）19.0 [0.56]114SyN83.13（2.67）0 65.71（15.01）01330NiftyReg-NMI83.17（2.76）0 59.65（7.62）0143NiftyReg-LNCC83.35（2.70）0 67.92（5.24）203.3 [35.19]2704233方法Af-RegAf-MultiAf-SymAf-MKvSVFvSVF-MKvSVF-MultivSVF-Sym纵向好点了吗跨学科好点了吗我--II✓55.41✓28.68✓III✓✓64.78✓36.31✓IV✓✓✓68.87✓37.54✓V✓✓✓✓77.75✓44.58✓VI✓✓✓✓80.71✓59.21✓VII✓✓✓✓✓✓81.64✓64.56✓VIII✓✓✓✓✓✓✓82.81✓69.08✓IV✓✓✓✓✓✓✓✓82.67✗68.40✗表2.使用不同方法组合的AVSM消融研究。Af-和vSVF-分别指仿射和vSVF相关方法;Reg指添加epoch依赖的正则化;Multi指多步训练和测试;Sym指添加对称损失;MK指使用mk-LNCC作为相似性度量（默认NCC）。除了使用vSVF-Sym（最后一行）并鼓励对称vSVF解决方案的最后一种方法外，所有其他方法都可以提高性能。图6. AVSM的对称损耗图示。左列显示源图像和目标图像。右列显示了来自在有和没有对称损失的情况下训练的网络的扭曲图像。具有对称损失的变形更平滑。ENT方法以不同的方式处理边界，我们仅在图像体积的内部（远离边界的10个体素）评估该测量。图7示出了结果。AVSM在两个配准任务中都获得了较低的值，证实了其良好的对称性。Demons和SyN都鼓励对称性，但只有AVSM在准确性和对称性之间表现出了良好的图8显示了vSVF的测试迭代步骤数上的平均Dice疮。该模型使用两步vSVF进行训练。可以观察到，迭代模型超过两个步骤可以提高性能，因为这些迭代导致配准细化。然而，褶皱的平均数量也增加，主要是在边界区域和解剖学不一致的区域。补充材料中列出了示例。4. 结论和未来工作本 文 介 绍 了 一 种 端 到 端 的 三 维 图 像 配 准 方 法（AVSM），它由一个多步仿射网络和一个使用基于动量的SVF算法的可变形配准网络组成。AVSM输出一个变换图，该变换图包括一个仿射预配准和一个vSVF非参数变形。我们对膝关节MR图像的跨学科和纵向配准的结果表明，我们的方法实现了与流行的配准工具相当图7.纵向配准（绿色）和跨受试者配准（橙色）的不同配准方法的对称性评价（越低越好）的箱形图。AVSM（用两步vSVF测试）显示出良好的结果。图8.两步vSVF训练的多步vSVF配准结果。性能随着步骤的增加而增加（左），但折叠次数也会增加（右）。具有显著减少的计算时间和极好的变形规则性和对称性。未来的工作将集中在学习正则化器和其他注册任务的评估，例如。在大脑和肺部。致谢：本出版物中报告的研究得到了美国国立卫生研究院（NIH）和美国国家科学基金会（NSF）的支持，奖 励 编 号 为 NSF EECS 1711776 和 NIH 1R01AR072013。内容完全由作者负责，不一定代表NIH或NSF的官方观点4234引用[1] Brian B Avants，Charles L Epstein，Murray Grossman和James C Gee。具有互相关的对称微分纯图像配准：评估老年人和神经变性脑的自动标记。医学图像分析，12（1）：26[2] 布赖恩B先锋，尼克Tustison，和刚宋。高级标准化工具（ANTS）。Insight j，2：1[3] RuzenaBajcsy 和 StaneKovaci c. 多 分 辨 率 弹 性 匹 配CVGIP，46（1）：1[4] Guha Balakrishnan，Amy Zhao，Mert R Sabuncu，JohnGut-tag，and Adrian V Dalca.一种用于可变形医学图像配准的无监督学习模型。在CVPR中，第9252-9260页[5] MFaisalBeg，MichaelIMiller，AlainTrouve'，andLaurentYounes.用仿射测地线流计算大变形度量映射。IJCV，61（2）：139-157，2005.[6] Xiaohuan Cao，Jianhua Yang，Jun Zhang，Qian Wang，Pew- Thian Yap，and Dinggang Shen.使用线索感知深度回归网络的可变形图像配准。IEEE Transactions onBiomedical Engineering，65（9）：1900[7] 伊 芙 琳 · 齐 和 乔 · 吴 。 Airnet ： Self-supervised affineregistrationfor3dmedicalimagesusingneuralnetworks.arXiv预印本arXiv：1810.02583，2018。[8] Zhuoyuan Chen，Hailin Jin，Zhe Lin，Scott Cohen，andYing Wu.来自最近邻场的大位移光流。在CVPR，第2443-2450页[9] Adrian V Dalca，Guha Balakrishnan，John Guttag，andMert R Sabuncu.无监督学习快速概率同构配准。arXiv预印本arXiv：1805.04605，2018。[10] Bob D de Vos，Floris F Berendsen，Max A Viergever，Mar- ius Staring，and Istanis Eliggum.端到端无监督可变形图像配准与卷积神经网络。在MLCDS中，第204-212页。Springer，2017.[11] 李·戴斯物种间生态关联量的量度Ecology，26（3）：297[12] Gabriel L Hart，Christopher Zach，and Marc Niethammer.一种用于变形配准的最优控制方法。在CVPR中，第9-16页。IEEE，2009年。[13] Max Jaderberg，Karen Simonyan，Andrew Zisserman，等.空间Transformer网络。参见NIPS，第2017-2025页，2015年。[14] 李红明和范勇。非刚性图像配准使用具有深度自我监督的 全 卷 积 网 络 。 arXiv 预 印 本 arXiv ： 1709.00799 ，2017。[15] Dong C Liu和Jorge Nocedal。关于大规模优化的有限内存 BFGS 方 法 。 Mathematical Programming ， 45 （ 1-3）：503[16] Fausto Milletari Nassir Navab和Seyed-Ahmad Ahmadi。V-net：用于体积医学图像分割的全卷积神经网络。在3D视觉（3DV），2016年第四届国际会议上，第565-571页。IEEE，2016.[17] 马克·莫达特、大卫·M·卡什、潘卡伊·达加、加文·P·温斯顿、约翰·S·邓肯和塞巴斯蒂安·乌尔塞林。使用对称块 匹 配 方 法 的 全 局 图 像 检 索 Journal of MedicalImaging，1（2）：024003，2014.[18] Marc Modat，Pankaj Daga，M Jorge Cardoso，MrsatienOurselin，Gerard R Ridgway，and John Ashburner.使用静止速度场的参数非刚性配准。2012年IEEE生物医学图像分析数学方法研讨会（MMBIA），第145-150页。IEEE，2012。[19] 马克·莫达特、杰拉德·R·里奇韦、泽克·A·泰勒、曼贾·莱曼、约瑟芬·巴恩斯、大卫·J·霍克斯、尼克·C·福克斯和塞巴斯蒂安·乌尔塞林。使用图形处理单元进行快速自由变形生物医学中的计算机方法和，98（3）：278[20] Se'bastienOurselin ， Ale xisRoche ， Ge'rardSubsol ， XavierPennec和Nicholas Ayache。从连续组织切片重建3D图像与视觉计算，19（1-2）：25[21] LaurentRisser，Franc. Risois-Xa vierVialard，RobinWolz，DarylD Holm，和Daniel Rueckert.同时进行精细和粗略几何 配准 ：应 用于 阿尔 茨海默 病的 萎缩 测量 。在MICCAI，第610施普林格，2010年。[22] Torsten Rohlfing
我的内容管理
展开
