使用CNN联合图谱构建和微分配准学习

ous approaches for atlas building often define similaritymeasures between a fuzzy atlas and each individual image,which may cause alignment difficulties because a fuzzy at-las does not exhibit clear anatomical structures in contrastto the individual images. This work explores using a con-volutional neural network (CNN) to jointly predict the atlasand a stationary velocity field (SVF) parameterization fordiffeomorphic image registration with respect to the atlas.Our approach does not require affine pre-registrations andutilizes pairwise image alignment losses to increase regis-tration accuracy. We evaluate our model on 3D knee mag-netic resonance images (MRI) from the OAI-ZIB dataset.Our results show that the proposed framework achieves bet-ter performance than other state-of-the-art image registra-tion algorithms, allows for end-to-end training, and for fastinference at test time.1207840Aladdin: 联合图谱构建和微分配准学习0通过成对对齐0Zhipeng Ding Marc Niethammer0北卡罗来纳大学教堂山分校，美国教堂山0{ zp-ding, mn } @cs.unc.edu0摘要0图谱构建和图像配准是重要的任务。0用于医学图像分析。一旦从图像群体中构建了一个或多个图谱，通常会（1）将图像扭曲到图谱空间中以研究个体内或个体间的变异性，或者（2）将可能是概率性的图谱扭曲到图像空间中以分配解剖标签。图谱估计和非参数方法的常见方法通常在模糊图谱和每个个体图像之间定义相似度度量，这可能会导致对齐困难，因为与个体图像相比，模糊图谱没有明确的解剖结构。本文探讨了使用卷积神经网络（CNN）来联合预测图谱和静止速度场（SVF）参数化的方法，以实现与图谱的微分图像配准。我们的方法不需要仿射预配准，并利用成对图像对齐损失来提高配准精度。我们在OAI-ZIB数据集的3D膝关节磁共振图像（MRI）上评估了我们的模型。结果表明，所提出的框架比其他最先进的图像配准算法具有更好0变换通常需要数值优化，计算成本较高。此外，以前的方法通常需要仿射预配准。01. 引言0医学图像在个体之间可能存在显著差异。0由于不同的器官形状和大小不同，因此对医学图像进行表示以考虑这种变异性是至关重要的[27,18]。表示和分析医学图像的一种常用方法是使用一个或多个图谱[21,9]。图谱是指用于表示图像群体的特定表示形式；通常是一种广义均值形式。图谱可以用作共同的坐标系统。01源代码：https://github.com/uncbiag/Aladdin。0图1：使用2个图像的不同图谱评估方法。（a）将I1和I2的标签扭曲到图谱I的空间中，比较它们的对齐；（b）将图谱I的概率标签扭曲到图像I1（或I2）的空间中，比较对齐情况；（c）使用图谱作为桥梁，将每个图像的标签扭曲到另一个图像的空间中，比较对齐情况。0用于图像分割或变形分析或跟踪纵向数据中的变化，例如用于放射治疗计划中的剂量累积计算[54,39]。获得图谱的一种简单方法是通过从图像群体中选择一0从图像群体中选择一幅图像[21,33]。然而，这种方法可能会引入偏差，因为选择的特定图像可能导致不准确的分析结果[27]。为了获得无偏的图谱，已经提出了许多群体配准方法[27, 29,49]。这些方法通过同时估计群体图谱来实现更准确的整体对齐和更一致的图像配准。0通常通过与图谱的质量评估相结合来进行。0图像配准算法的质量通常与图谱框架的清晰度或熵[49,29]、图谱空间中测试图像的对齐[23]（图1（a））或测试图像空间中扭曲图谱的对齐[12]（图1（b））进行评估。这些评估指标都有缺点。对于清晰度，不清楚更清晰的图谱是否更好，因为图谱通常用作共同的坐标空间，图像被注册到该空间。因此，配准算法在图谱空间中对齐图像之间的对应点的能力可能比图谱本身的清晰度更重要。通过在图谱空间中测试图像的对齐来测量图谱质量时，不同图谱之间的性能不能直接比较，因为图谱质量是在特定图谱中测量的。207850图2：正向图谱构建模型中的图像相似度差异。第1行和第3行：左：图谱图像I通过变形图Φ-1变形到示例图像I1（I2）中01（Φ-102），并评估变形后的图谱与示例图像之间的绝对差异。0右：使用图谱作为桥梁将两个示例图像相互变形，并评估它们之间的绝对差异。图像对图像的差异比图谱对图像的差异更显著。第2行和第4行：左：在变形图上添加一个小扰动（红色突出显示的矩形区域），即Φ-1010 = Φ-101 + �，以及变形后的图谱图像之间的差异0（扰动前/后）进行评估。右：使用扰动后的变形图将示例图像相互变形，并评估它们之间的绝对差异（扰动前/后）。再次，图像对图像的差异大于图谱对图像的差异。因此，预计图像对图像的相似度度量将提供比图谱对图像的相似度度量更多的对齐信息，因为模糊的图谱不显示个体图像中明确的解剖结构。0例如，使用相同的配准算法将图像变形到较小的图谱空间中，通常会导致Dice分数较低。通过在测试图像空间中对变形后的图谱进行对齐来衡量图谱质量通常需要对图谱图像本身进行分割。这样的分割可能不准确，因为图谱可能不清楚地显示解剖结构（因为它是一种平均图像形式）。为了克服现有图谱评估方法的这些缺点，我们提出使用图谱作为桥梁，其中图谱仅仅通过图谱间接地（即通过图谱）将图像I1变形到图像I2的空间。这样做，我们现在可以直接比较变形后的图像˜I1与图像I2的对齐情况（图1（c））。由此得出的对齐评估度量（1）不受图谱变化的直接影响，（2）不需要图谱分割，（3）并直接提供我们提出的图谱构建方法的信息。因此，我们的图谱作为桥梁的度量（第4.1节）在概念上优于现有的评估方法。我们将在本文中使用它来评估图谱构建和配准方法。0这当然可以通过在局部加权度量来避免0但这实际上相当于测量图像空间的差异。0此外，有效地使用图谱（通过配准）进行0在大规模成像研究中，分析与构建图谱一样重要，因为数据集越来越大，特别是MR图像[37, 1]。例如，要分析3DMR膝关节图像的疾病进展，首先通常是构建一个共同的图谱，然后将所有图像变形到该图谱空间。因此，如果有很多图像需要分析，则需要能够避免昂贵数值优化的高效配准算法。最近提出了基于深度学习的高效方法用于配准和图谱构建[12, 23, 51, 42,14]。然而，这些方法使用模糊图谱与数据集中解剖结构更详细的图像之间的相似度度量。因此，配准精度可能比直接在数据集中配准图像要低。图2表明，图像对图像的相似度度量对解剖结构比图谱对图像的相似度度量更敏感。因此，我们假设(H1)将成对图像相似度损失纳入对齐精度是有益的。0此外，大多数现有的atlas构建方法 [ 23 ,0[ 24 ,  12 ,  51 ] 依赖于对所选参考图像的仿射预配准 [ 23 ,  24 ]。或者，可以构建一个基于仿射变换的无偏atlas [ 27]。为了直接处理尚未进行仿射对齐的图像，Atlas-ISTN [ 42 ]在非参数变换之前同时估计一个单独的仿射变换，并将两者组合。与分别arg minI, {↵i}NXi=1Lsim(I, Ii � ��1↵i ) + �Lreg(��1↵i )|} ,(2.1)arg minI, {�i}NXi=1Lsim(I � ��1�i , Ii) + �Lreg(��1�i ) ,(2.2)�E1(I; dI) = 2⌦ NXi=1I � Ii � ��1↵i , dI↵ != 0, 8dI,�E2(I; dI) = 2NXi=1!= 0, 8dI ,NXi=1Ii � ��1↵i ,(2.3)PNi=1 Ii � ��i|D��i|Ni=1 D��i. (2.4)207860基于仿射变换构建偏置atlas [ 27]。为了直接处理尚未进行仿射对齐的图像，Atlas-ISTN [42 ]在非参数变换之前同时估计一个单独的仿射变换，并将两者0考虑仿射和非参数变换，我们提出预测包括仿射和非参数变形的变换。 (H2)我们假设我们的组合变换预测与将仿射和非参数变换分开处理的方法一样准确。0本工作提出了一个名为Aladdin的框架，同时构建图像人口的atlas并学习可微分的配准。0同时为图像人口构建atlas并学习可微分的配准（到atlas和从atlas）。0端到端的联合atlas构建和可微分配准框架，与现有方法不同，不需要仿射预配准，并使用成对图像相似性损失来提高配准精度。 (2)我们通过优化问题的Euler-Lagrange方程提供了对成对对齐损失的详细数学解释。 (3)我们全面研究了atlas构建和配准的评估指标。 (4)我们展示了我们提出的方法在3DMR膝盖数据集上可以胜过先前的基于学习的atlas构建和配准方法。02. 背景和相关工作0关于atlas构建有广泛的文献。0[ 27 ,  17 ,  23 ,  12]。方法可以分为两个不同的类别：反向模型和正向模型。这两个模型之间的主要区别在于变形方向。0定义1. 给定一个由 N 个图像 { I i } i =1 ..N组成的人口，这些图像是通过相同的成像模态获取的，atlas构建可以表示为以下最小化问题：0反向模型0正向模型0其中  L sim  衡量图像之间的不相似性，L reg  确保变换的平滑性，I 是估计的atlas，{ � i }（或 { β i } ）参数化变形，{ Φ − 10∙ }  （在反向模型的atlas空间中指定0和正向模型的图像空间中）。0这两个模型在形成atlas的方式上有所不同。0las。为了简化，我们将  L sim  定义为平方的  L 20范数，即  L sim ( I, J ) =  k I  −  J k 20� ( I ( x ) − J ( x )) 2  dx ，其中  �  是图像域，  x  2  � 是位置，  h∙ ,  ∙i  是在  �上的平方可积矢量场的常规  L 2 -内积。将Eq. ( 2.1 )的能量泛函记为  E 1 ，Eq. ( 2.2)的能量泛函记为  E 2 。假设变形为  { Φ − 10∙ }  是可微分同胚的。通过对0I  (详细信息见附录A)，我们得到变分0（I −  I i  ◦  Φ β i）| D Φ β i | ,d I0其中D表示Jacobian。如果� i和β i固定，我们得到以下最优的I �0（反向模型）I � =  10（正向模型）I � =0简而言之，反向图谱将得到所有变形图像的平均值。0所有变形图像的平均值，而正向图谱将根据所需变形的数量对所有变形图像进行加权平均。0接下来，我们将回顾图谱构建的文献。0局限性是：（1）缺乏成对图像对齐损失；（2）大多数方法依赖于仿射预对齐；（3）它们的评估指标不可比较。0基于优化的反向图谱构建和配准0istration models:最流行的反向图谱构建方法之一是由Joshi等人[27]提出的，该方法通过迭代将所有图像变形到一个临时群组平均图像，并对所有变形后的图像进行平均以生成新的临时群组平均图像，然后重复这些步骤直到收敛。其他方法[8, 29, 4, 6, 30,7, 44, 20, 49, 47, 46, 26,13]也存在（见附录B）。这些方法是基于优化的，即它们的配准耗时，因此对于大规模分析来说不方便。此外，这些方法评估精度是针对特定图谱空间的，因此不再允许直接比较不同方法。基于优化的正向图谱构建和配准模型[22, 31, 32,17, 53, 43,52]也存在计算成本高昂的问题，需要与反向方法一样的仿射预对齐（见附录B）。0基于学习的反向图谱构建和配准0tion models:为了克服计算成本高昂的问题，He等人[23]提出了一种基于深度学习的无模板无监督群组配准框架，该框架采用多步细化的方法。后续的工作使用分割辅助生成对抗网络[24]和熵损失来提高配准精度、变换。.(3.1)207870图3：（a）基于U-Net[10]结构的静止速度场（SVF）预测网络的架构。每个卷积层的特征维度（通道）列在每个块下面。网络（表示为F）以图谱和图像作为输入，并输出SVF模型的静止速度场。（b）标准的正向图谱构建架构。（c）我们提出的模型具有成对图像对齐损失。我们的模型通过加入成对图像损失并在图谱空间中计算它们的对齐来扩展标准模型（L atlas）。0对图谱进行成对对齐损失的图像空间和图谱作为桥梁的方法(L image)0pair）。0平滑性和图谱无偏性。然而，这两种方法都依赖于仿射预对齐，在可变图谱空间上评估配准性能，并且在图像空间中不使用成对对齐损失。0基于学习的正向图谱构建和配准0tion models:Dalca等人[12]使用CNN学习条件性图谱来处理异质图像组。Yu等人[51]提出了学习变形映射的方法，该方法在特定主体特征的条件下对预先指定的图谱进行变形。Sinclair等人[42]提出了Atlas-ISTN，这是一个深度学习框架，可以同时学习分割、配准和图谱构建。然而，这些方法并未考虑成对图像对齐损失以提高配准精度，并且它们的评估方法需要对构建的图谱进行注释，这不是一种容易在方法之间进行比较的测量标准。0在这项工作中，我们首先展示成对图像相似性0相似性损失提高配准精度。其次，我们0演示如何学习一个将仿射和非参数变换相结合以避免仿射预对齐的差分变换。最后，我们提出了一种评估图谱和预测配准质量的新方法。Tab.1显示了我们的方法与其他密切相关的基于学习的方法之间的比较。0方法处理0仿射预对齐0融合0成对配准0提供可靠的0配准评估0He等人[23] 7 3 3 70He等人[24] 7 7 70Dalca等人[12] 7 7 70Yu等人[51] 7 7 70Sinclair等人[42] 3 7 70Aladdin（我们的）3 3 30表1：基于学习的图谱构建方法的比较。03请注意，此工作仅在图谱中包含成对配准损失0空间，但不在图像空间中。03. 方法论0我们提出的图谱构建模型是一个正向模型0因为正向模型在固定的图像空间（目标图像的空间）中评估图谱到图像的相似性差异，而反向模型在不断演化的图谱空间中评估。因此（H3），我们假设正向模型比反向模型更准确。03.1. 成对图像配准0以前的图谱构建方法评估图像相似性0图谱与每个单个图像之间的相似性。然而，构建的图谱图像通常模糊不清，没有清晰的解剖结构（例如见图2），这可能会影响配准精度[48]。为了提高配准精度，我们提出使用成对配准损失。具体而言，我们建议在图谱空间和图像空间中对单个图像进行配准，形成成对配准损失。0根据图谱的使用方式，图像配准0可以在正向和反向方向上进行。反向方向的配准确保所有单个图像在公共的图谱空间中对齐良好。这是一个有用的属性，例如，当图谱用作人群水平分析的公共空间时。鼓励这种成对配准的一种方法是在图谱空间中测量成对图像相似性0L0对（I i，I j）= L对（I i ◦ Φ β i，I j ◦ Φ βj）| {z }0I i在图谱空间中与I j对齐0正向配准是为了确保0图谱与每个单个图像空间中的每个图像对齐良好。这是一个有用的属性，例如，当想要使用图谱分割目标图像时。鼓励成对配准的相关方法是.(3.2),hkIi � I � �kHk(�+ kIj � I � �kHk(�+ �1kIi � �vi0,1 � Ij � �(3kIi � �vi0,1 � �+ kIj � �vj0,1 � �where vi is the stationary field that parameterizes the defor-mation map �vit= vi�i.e., �vit (= �time 0 to time�our case, we obtain the�inverse �over t =(see [11] for detailed explanations). �tion �vis,t = �vit � (�vis )�1. Hk(�of the k-th component of �207880在图像空间中测量成对图像相似性0L0对（I i，I j）= L对（I i ◦ Φ β i ◦ Φ -10β j，I j）0| 0I i在图像空间中与I j对齐0+ L对（I j ◦ Φ β j ◦ Φ -10β i，I i）0| 0I j在图像空间中与I i对齐0图3（c）说明了两种设计选择；附加的com-0Sec. 3.3和Sec. 4中的比较。正向图谱构建模型可以表示为0最小化 I，{β i }0X0（i，j）^2Γ0hLsim（I◦Φ^-10（βi，Ii）+λLreg（Φ^-10（βi）0+Lsim（I◦Φ^-10（βj，Ij）+λLreg（Φ^-10（βj）（3.3）0+γ1Latl0一对（Ii，Ij）+γ/2Limage0一对（Ii，Ij）0i0其中λ，γ1，γ2≥0，Γ={(i，j)|i=1，2，...，N，j=1，2，...，N，i0且γ2=0时，我们得到在atlas空间中成对对齐的正向模型。当γ1=0且γ2>0时，我们得到在图像空间中成对对齐的正向模型。最后，当γ1>0且γ2>0时，我们得到在atlas空间和图像空间中成对对齐的正向atlas构建模型。0期望的是，如果所有图像对都对齐得很好0（通过变换）在atlas空间和图像空间中，那么atlas到图像的对齐也是准确的。请注意，新的成对对齐损失项不会明确改变给定一组变形的最优形式，因为Latlas0一对影像和Lima0一对不包含I在其表达式中0变形，因此不会影响对I的Gâteaux变分。给定变形的最优形式仍然如等式（2.4）所示。然而，Latlas0一对和Limage0一对影像的影响0影响估计参数化变形{Φ^-10βi}。因此，atlas间接地会得到0。第3.3节提供了更详细的分析。03.2.基于SVF的实现0我们使用正则化的静止速度场（SVF）参数0我们的注册模型使用参数化[3, 25, 35, 41, 12,42]。具体而言，我们将等式（3.3）实例化为0arg min0I，{vi}0X0（i，j）^2Γ0（1，）k^02+λ0dX0k = 10（1，0）k^20F0（1，）k^02+λ0dX0k = 10（1，0）k^20F0（0，1）k^20+γ/20�0（1，0-Ijk）^20（1，0-Ii）k202�i0t通过@Φ0在单位时间[0，1]上积分0（0，t）是从上述ODE的积分00 = Id，即单位映射。在0（0，1）及其0通过积分静止场vi和-vi得到（1，0）0s,t是组合的复合0Hessian矩阵是（1，0）0（1，0），d表示维度0在我们的情况下，我们使用变换映射的分量的Hessian矩阵的平方Frobenius范数作为损失函数，以获得正则化（即足够平滑）的速度场。当然，也可以使用其他正则化方法，例如直接对速度场进行正则化。深度学习模型。我们使用一个深度卷积神经网络（在图3（a）中表示为F）来预测基于SVF的框架中的静止速度场vi（图3（c））。一对图像的总损失定义如等式（3.4）中的[∙]。在我们的框架中，有两种获得atlas的方法：使用等式（2.4）或学习atlas。请注意，当使用均方误差（MSE）作为相似性度量时，等式（2.4）仅适用。其他更高级的相似性度量（例如归一化互相关（NCC））不会导致闭合形式的解。在我们的实验中，当使用MSE时，我们探索使用等式（2.4）。我们使用交替优化：（1）保持atlas固定，我们在每10个epoch上更新F的参数；（2）每10个epoch后，我们使用最新的扭曲训练图像通过等式（2.4）更新atlas。当atlas图像本身也是可学习的时，我们使用另一种优化策略来更新atlas。与在每次迭代中更新F的参数不同，我们对每个批次累积atlas图像的梯度，然后在每个epoch结束时使用累积的梯度更新atlas图像。通过这种方式，相对于atlas图像的梯度考虑了所有训练图像，并且不会被小批量中的极端数据点所干扰。对于这两种atlas构建策略，初始atlas被估计为所有训练图像的平均值。仿射预注册。与其他atlas构建方法不同，我们使用弯曲能量[40, 50,16]来正则化变换映射。因此，仿射预注册是不必要的，因为正则化器惩罚二阶导数（将仿射贡献归零）。因此，我们的框架同时捕捉仿射和非参数变形。详细信息请参见附录D.6。03.3. 欧拉-拉格朗日方程0为了说明一对项的好处，0我们在方程（ 3.4 ）中固定图集  I ，并计算相对于  v i的欧拉-拉格朗日方程。04 相同的推理也适用于曲率配准模型[ 19 ]，0因此也不需要仿射预注册。E1({vi}) =X(i,j)2�h�Reg(vi) + kI � �vi1,0 � Iik22+ �Reg(vj) + kI � �vj1,0 � Ijk22+ �1kIi � �vi0,1 � Ij � �vj0,1k22(3.5)+�2 kIi � �vi0,1 � �vj1,0 � Ijk22 + kIj � �vj0,1 � �vi1,0 � Iik22⌘i(N � 1)⇣�rv⇤i Reg(v⇤i ) � 2Z 10⇣|D�v⇤it,1|(Jt � Jit)rJt⌘dt⌘� 2N�1Z 10�|D�v⇤it,0|( ˆJt � Jit)rJit�dt(3.6)� 2�2Z 10⇣� NXj=1|D�v⇤j0,1|�|D�v⇤it,0|( ˜Jt � Jit)rJit⌘dt� 2�2Z 10NXj=1|D�v⇤it,1|(Jj,it� Jit)rJj,itdt = 0, 8i.= I � �v⇤it,0, Jit.= Ii � �v⇤it,1, ˆJt.=PNj=1 Ii��v⇤j0,1N��v⇤it,0, Jj,it.= Ij��v⇤j0,1��v⇤it,0, ˜Jt.=PNj=1 |D�v⇤j0,1|Ij��v⇤j0,1ND�v⇤j��v⇤it,0.207890图4：普通的图集到图像配准模型（表示为  R ）及其使用一对项改进的比较（即方程（ 3.4 ）表示的  R  +  L atlas0一对项和  R  +  L image0一对项）用于固定图集的情况。左：平均训练损失曲线。我们只比较相似度0测量  L sim  和正则化项  L reg ，使得这三种方法可比较。  R  的损失最低，  L atlas0一对项和  L image0有助于防止过拟合，而后者通过继续推动损失降低效果更好。中间：验证结果。我们注意到一对项对齐（ L image0一对项和  L atlas0一对项）可以加快收敛速度并提高整体性能。此外，  L image0一对项起到了0比  L atlas0一对项。右：在图集空间和图像空间中测试对齐性能（这两个评估指标在0在这种情况下，因为图集是固定的）。一对项和  L atlas0一对项和  L imag0一对项可以提高性能，而  L image0一对项的性能优于  L atlas0对于一对 .0定理2. 给定连续可微的理想化图集图像  I  和一组噪声观察解剖学 I i  ( i  = 1 , ..., N )，  {v �0i }  最小化能量泛函0满足欧拉-拉格朗日方程0其中 J t0对于优化方法或深度学习方法，0方法，我们需要迭代更新 vi。不失一般性，我们使用标准的最速下降方案0v 0i = v k0i - ε r v i E (3.7)0为了解释成对项的好处。具体来说，在最优性时，欧拉-拉格朗日方程必须成立。这意味着方程 3.6的左侧必须等于零。在远离最优性时，这个左侧对应于能量梯度 5 关于 v i 的部分，即 r v iE。因此，添加成对项将加快方程（3.7）中 v i 的收敛速度。此外，L atlas0意味着方程 3.6 的左侧需要等于零。在远离最优性时，这个左侧对应于能量梯度 5 关于 vi 的部分，即 r v i E。因此，添加成对项将加快方程（3.7）中 v i 的收敛速度。此外，Latlas0成对项鼓励图谱相似性0与反向图谱（公式（2.3））的相似性，如 ˆ J t0帮助图像空间中的图像对齐；L image0成对项鼓励0图谱相似性与正向图谱（公式（2.4））的相似性，如 ˜ J t而帮助图像空间中的图像对齐。因此0L i0在我们的模型中，成对项更加合适。0为了验证我们上面的观察，我们设计了一个简单的实验0实验来比较纯粹的图谱到图像配准模型和通过成对损失项获得的改进。图 4显示了结果。我们可以看到成对项确实可以加快训练的收敛速度并提高测试的准确性。04. 实验结果和讨论0数据集。我们使用来自骨关节炎倡议（OAI）的 3D 膝关节MRI 数据集（507张图像）进行实验。该数据集包括四个结构（股骨、胫骨、股骨软骨和胫骨软骨）的手动分割 [1]。所有图像的尺寸为384 × 384 × 160，每个体素的尺寸为 0.36 × 0.36 × 0.7毫米³。我们使用仿射强度变换对每个图像的强度进行归一化，使得第 0.1 和第 99.9 百分位数映射到 0 和1，并将小于 0 和大于 1的值截断以避免异常值。所有图像和手动分割都被降采样到尺寸为 192 × 192 × 80。我们的训练/验证/测试分割为354/53/100。训练和超参数。我们的模型使用 PyTorch实现。我们使用 ADAM [28] 进行训练，训练周期为 5000用 PyTorch 实现。我们使用 ADAM [28] 进行训练，训练周期为 50005 为了类比，可以在有限维度中满足梯度为零的情况0目标函数在最优性时为零对应于欧拉-拉格朗日（EL）方程。因此，评估梯度（无论是否在最优性时）对应于 EL 方程的需要等于 0 的部分。= 1MDice� �i , V({S,= 1MDice, Sk ,= 1MDice� �i) � �6...M) , Sk .77207900时期。学习率为 10^(-4)，批量大小为2。模型的超参数会影响图谱的清晰度、变形场的平滑度和配准的准确性。在所有实验中，我们根据保留的验证数据集微调超参数。详细信息可以在附录 D中找到。评估标准。如第 1节所讨论的，以图谱空间和图像空间为基础的先前评估指标不可靠，因为它们受到图谱变化或图谱分割的准确性的影响。我们建议使用图谱作为桥梁来评估每个图像空间中的对齐情况。为了评估从预测的配准中的变换映射的折叠情况，我们使用这些映射的雅可比行列式，即 J Φ ( x )0= | D Φ^(-1)(x) |，并计算0在每个图像中定义为 |{ x : J Φ ( x ) < 0 }|的折叠。基准线。首先，为了说明成对损失的好处0项，我们比较了在两个模型中添加成对相似性项之前和之后的图谱构建方法：Dalca等人提出的正向模型[12]和我们提出的模型（Aladdin）。0与标准图谱构建方法6进行比较：Joshi等人的方法[27]和ABSORB[26]。此外，我们使用深度注册模型（Voxelmorph）[5]替代昂贵的基于优化的注册，在后向模型[27]设置和前向模型设置中进行仿射预注册。基于学习的后向模型[23]70也包括在内。最后，我们将没有注册（标记为none）和基于优化的仿射预注册（通过Nifty-Reg [40, 36, 34,38]）的结果作为基线。对于我们的方法和[12]，逆变形计算是可用的。对于所有其他基线模型，逆变形图作为实现的一部分不可用，我们通过数值求解arg min φ || Φ ◦ φ − Id ||2来获得它们02，其中Φ为0已知的变形图和φ是所求的逆变形图。详见附录D04.1.性能和分析0评估指标之间的比较。让S k01，S k0将图像I 1，I 2的结构k的分割体素分别为S k，Sk。我们使用Dice分数[15]来量化结构k的体积重叠，即Dice（S k01，S k02 |0Dice分数为1表示解剖结构完全匹配，分数为0表示没有重叠。此外，假设我们有变形{Φi}将M个测试图像{I i}和分割{S i}变形到图谱I，并且相应的逆变形{Φ − 1}0i }。让S为06我们只使用训练数据集中的60个图像的子集来构建0这两种基于优化的方法的图谱，因为需要运行时间。使用所有训练图像将需要数天的计算。07此方法不生成图谱，但我们根据图谱添加0在实现中根据公式（2.3）进行，因为我们发现没有图谱时，注册性能明显比有图谱时差。0通过自动或手动标记，估计I的分割。让V（{∙}）成为多数投票方案，以获得多个分割之间的共识分割。我们定义以下评估指标0d图谱0M0i =10� S k0i ◦  Φ i } i =1 ...M)0�0d图像0M0i =10� S ◦  Φ − 10i0�0d桥0M0j =10� V（{（S k0j } i 6 = j0j0�0对于结构k，d图谱0k是图谱空间（图1（a）），0d0k是图像空间（图1（b）），d桥0k是图谱-0作为桥梁（图1（c））评估指标。对于d图谱0k，0两种atlas变体和注册错误都有贡献。对于d图像0k，估计的图谱分割错误和注册-0误差的贡献。对于d桥0k，只有配准误差0误差的贡献。因此，d桥0k更可取。0图谱构建方法之间的比较。表2显示了所有基准方法和我们提出的方法（Aladdin）在骨骼和软骨区域的对齐性能。Aladdin在图谱作为桥梁评估指标方面优于其他图谱构建和配准方法。它还显示了更少的折叠。为了公平比较，我们选择了相同的相似度度量（MSE）用于大多数方法，除了在G行中我们使用了[23]中的NCC以及在K行中我们检查使用更先进的相似度度量是否有益于Aladdin。所有超参数都是基于相同的验证数据集进行微调，以展示最佳性能。Q17！H1：逐对图像对齐损失是否有帮助？逐对图像对齐损失旨在提高配准准确性，因为图像对图像的相似度度量提供了比图谱对图像的相似度度量更丰富的解剖信息。表2的H、I、J行显示了L图谱0配对和L图像0配对有助于提高准确性，以及L图像0优于L图谱0配对。有趣的是，结合配对0逐对损失降低了准确性，仅使用L图像0配对。这0部分原因是L图像0配对和L图谱0采用不同的均值图像，如第3.3节所示。Q27！H2：仿射预配准是否必要？0表2中的基准方法在骨骼和软骨区域都需要仿射预配准。考虑E、F、G和H-I行的比较：在相同条件下，具有仿射预配准的模型比没有预配准的模型效果更好。这对于小而薄的软骨分割来说尤为明显。因此，正确处理仿射预配准对于图谱构建方法至关重要。我们的方法（行J）在性能上优于其他方法。atlaspair7793.65(3.31)60.82(9.75)77.24(6.28)34.993793.95(2.65)61.44(7.97)77.70(5.06)51.767395.07(1.96)63.27(5.81)79.17(3.61)96.763394.53(2.13)61.55(6.82)78.04(4.21)116.307795.29(1.29)72.48(6.34)83.89(3.69)78.973795.69(1.24)73.54(6.24)84.62(3.61)131.207395.72(1.23)74.18(5.98)84.95(3.48)86.353395.71(1.24)72.47(6.44)84.09(3.71)133.557795.81(1.16)73.97(5.95)84.89(3.43)14.543795.83(1.16)74.16(5.75)84.99(3.41)36.827396.09(1.03)74.86(5.43)85.48(3.09)7.953395.71(1.23)73.74(6.15)84.72(3.54)26.007OAI is a collaborative informatics system created by NIMH and NIAMS to provide aworldwide resource for biomarker identification, scientific investigation and OA drugdevelopment. Dataset identifier: NIMH Data Archive Collection ID: 2343.207910指标 模型 仿射0预对齐0图谱0采集0相似度度量0配对0对齐损失0体积Dice系数（%）0折叠 图谱作为桥梁0配对 骨骼 软骨 所有0A None 7 等式（2.3） – – – 76.70（6.65）0.00（0.00）38.37（3.25）0.00B Af�ne 7 等式（2.3）MSE – – 90.35（1.89）38.44（9.35）64.39（4.98）0.00C Joshi等[27] 3 等式（2.3）MSE – – 94.98（1.83）73.58（4.47）84.28（2.85）24.390D ABSORB [26] 3 分层MSE – – 95.18（1.73）73.84（4.24）84.51（2.59）37.490E Voxelmorph [5] 7 等式（2.3）MSE – – 91.16（3.06）59.13（10.42）75.15（6.49）237.040F Voxelmorph [5] 7 等式（2.4）MSE – – 91.47（3.03）59.99（10.43）75.73（6.48）272.220G He等[23] 7 等式（2.3）NCC 3 – 91.91（2.62）60.06（9.71）75.99（6.61）482.820H Dalca等[12] 7 学习MSE0I Dalca等[12] 3 学习MSE0J Aladdin 7 等式（2.4）MSE0K Aladdin 7 学习0MSE 7 7 95.77（1.22）73.06（6.46）84.41（3.71）18.860NCC 7 7 96.03（1.06）73.86（6.28）84.94（3.55）53.030表2：OAI图谱构建性能评估。平均（标准差）结果分别报告了两个骨骼区域、两个软骨区域和所有区域的结果。我们提出的模型（Aladdin）优于其他图谱构建方法。最佳两个结果已加粗。0使用仿射预配准进行缩放。这是因为我们的正则化项允许模型捕捉仿射和非参数化变换。因此，在我们的框架中，仿射预配准确实是不必要的。Q37！H3：我们应该使用前向还是后向图谱构建模型？在第3节中，我们假设前向图谱构建模型比后向模型更稳健，因为前向模型在固定图像空间中评估图谱到图像的相似性差异，而后向模型在演化的图谱空间中评估。表2的E和F行显示，在相同条件下，前向模型稍微优于后向模型；尽管差异很小。因此，在设计图谱构建和配准框架时，通常更喜欢前向模型。Q4：是否可以使用其他相似度度量替代MSE？我们探索了M