33960ICON：通过逆一致性学习规则映射0Hastings Greer 1 Roland Kwitt 2 Franc¸ois-Xavier Vialard 3 Marc Niethammer 101 UNC教堂山 2 萨尔茨堡大学 3 LIGM，古斯塔夫∙埃菲尔大学0（网格）0（网格）0图1：使用逆一致性网络（ICON）进行OAI膝关节图像配准的示例结果（参见§4），由一个训练了逆一致性的U-Net获得（没有任何显式的损失来促进映射的规则性）。所有四个面板从左到右显示（1）移动图像，（2）固定图像，（3）变形后的移动图像和（4）相应的变换网格（着色）。变换是平滑的，正如所期望的那样。0摘要0学习数据样本之间的映射是基础性的。应用范围从表示学习、图像转换和生成建模，到空间变形的估计。这样的映射涉及特征向量之间的关系，或者在特征空间之间进行映射。良好的映射应该是规则的，可以显式地施加，也可以从数据本身中产生。我们探索了什么能够引起空间变换的规则性，例如计算图像配准时。基于经典优化的模型计算样本对之间的映射，并依赖适当的正则化器来确保问题有解。最近的深度学习方法试图避免使用这样的正则化器，而是依赖于样本群体。我们探索是否可能仅通过逆一致性损失来获得空间规则性，并阐明在这种情况下解释映射规则性的原因。我们发现，结合逆一致性损失和随机离网格插值的深度网络可以产生行为良好、近似微分同胚的空间变换。尽管这种方法的简单性，我们的实验证据在合成数据和真实数据上都表明，可以在不需要精心调整的显式正则化器的情况下获得规则映射，并实现竞争性的配准性能。01. 动机0学习特征向量或空间之间的映射是一项重要任务。特征向量映射用于改进表示学习[7]，或在自然语言处理中学习对应关系[4]。空间之间的映射在使用规范化流[24]时非常重要（用于在简单和复杂的概率分布之间进行映射），或者用于确定图像之间的空间对应关系，例如光流[16]用于从视频中确定运动[12]，从立体图像中估计深度[25]，或者医学图像配准[39, 40]。0通常希望得到规则的映射；例如，为了将流量规范化以正确映射密度，或者为了医学图像配准而将其映射到一个图谱空间[20]。估计这样的映射需要选择适当的变换模型。这涉及到选择参数化，可以是简单的并且依赖于少量参数（例如，仿射变换），也可以是具有数百万参数的三维非参数方法[14]。通过选择1）具有有限自由度的简单变换模型，2）正则化变换参数，3）或通过数据本身来实现规则性。我们的目标是通过鼓励映射的逆一致性来展示和理解如何实现变换的空间规则性。我们的动机示例是θ∗ = argminθLsim(IA ◦ Φ−1θ , IB) + λLreg(θ) ,(1)33970图像配准/光流，但我们的结果适用于寻找空间变换的其他任务。0传统上，通过数值优化[28]来解决注册问题，优化目标是平衡图像相似度度量和正则化器。在这里，主导范式是成对的图像配准1，其中许多映射可能会在变换的移动图像和固定图像之间产生良好的图像相似度；正则化器是为了确保问题有解，以选择最理想的映射。已经提出了许多不同的正则化器[14, 28,33]，其中许多正则化器具有多个超参数，使得在实践中选择和调整正则化器变得困难。图像配准和光流的深度学习方法已经开始从许多图像对中学习映射，这引发了一个问题：是否仍然需要显式的空间正则化，或者它将作为学习许多图像对的结果而出现。对于光流，已经获得了令人鼓舞的结果，而不使用空间正则化[10,32]，尽管最近的工作提倡使用空间正则化来避免“模糊的流边界和不希望的伪影”[18,19]。有趣的是，在医学图像配准中，映射的规则性通常非常重要，几乎所有现有的工作都使用了最初为成对图像配准提出的正则化器[36, 42,2]，唯一的例外是[3]，其中变形空间由自动编码器引导。0有限的研究探讨了是否可以完全避免深度配准网络的正则化，或者是否可以使用较弱的正则化形式。为了帮助研究这个问题，我们使用二进制形状（由于光圈效应[15]的影响，正则化尤为重要）和真实图像。我们表明正则化是必要的，但是仅仅鼓励映射的逆一致性就足以获得近似微分同胚。结果是一种简单而有效的非参数方法，只需要有限的调整。特别是，实践中常常具有挑战性的选择空间正则化器的过程被消除了。0我们的贡献如下：（1）我们证明，当使用在大型数据集上训练的深度配准模型时，近似逆一致性结合离网格插值会产生近似微分同胚。放弃正则化是不够的；（2）瓶颈层不是必需的，许多网络架构都适用；（3）不需要仿射预配准；（4）我们提出了随机采样评估，以避免在无纹理区域中的变换翻转，并使用有益的边界效应进行逆一致性损失；（5）我们在合成数据、MNIST和骨关节炎倡议（OAI）的三维磁共振（MR）膝盖数据集上展示了我们方法的良好结果。0一个值得注意的例外是凝固[45]。02. 背景和分析0图像配准通常基于解决以下形式的优化问题0其中 I A 和 I B 是移动和固定图像，L sim ( ∙ , ∙ )是相似度度量，L reg ( ∙ ) 是正则化器，θ 是变换参数，Φ θ是变换映射，λ ≥ 0 。我们将图像视为从 R N 到 R的函数，将映射视为从 R N 到 R N 的函数。我们用 ∥ f ∥ p表示标量或矢量值函数 f 的 L p 范数。映射 Φ θ可以使用少量参数（例如仿射、B样条[14]）或连续向量场进行参数化[28]。在非参数化情况下，参数化是无限维的（因为涉及函数空间），表示位移、速度或动量场[2、36、42、28]。经典上通过数值优化[28]获得方程（1）的解。最近的深度配准网络在概念上类似，但是预测 ˜ θ �，即真实最小化器 θ �的估计。有三个有趣的观察结果：首先，对于参数较少的变换模型（例如仿射），通常不使用正则化（即 λ =0）。其次，虽然深度学习（DL）模型最小化类似于方程（1）的损失，但参数化方式不同：它是通过网络权重进行的，结果是预测的 θ � 而不是直接优化θ。第三，DL模型是在大量图像对上进行训练，而不是单个（I A，IB）对。这引发了以下问题：Q1）是否需要显式的空间正则化，或者我们可以在非参数化配准模型中避免它？Q2）使用单个神经网络参数化来预测所有 θ �是否有益？例如，是否会产生像在其他任务上的深度网络中观察到的简单解[35]或捕捉到有意义的变形空间[42]？Q3）深度网络参数化本身是否会产生规则解，即使仅应用于单个图像对，就像在结构优化中观察到的效果[17]？正则化通常通过惩罚导数（或在对偶空间中进行平滑）来鼓励空间平滑。通常使用 Sobolev范数或总变差。理想情况下，希望选择一个适应所预期的变形的正则化器（因为它对预期的变形具有先验），例如[29]中的方法。因此，选择和调整正则化器是繁琐的，并且通常涉及许多超参数。虽然已经探索了避免深度配准/光流网络的显式正则化[10、32]，但有证据表明正则化是有益的[18]。我们的关键思想是避免复杂的空间正则化，而是通过正则化来鼓励逆一致的映射，从而获得近似微分同胚。0.01.01.25 1.250.00.01.01.25 1.250.00.01.01.5 1.250.00.01.01.25 1.250.00.01.01.5 1.250.00.01.01.51.250.0339802.1.弱正则化配准0假设我们消除正则化（λ = 0），并使用变形图像I A ◦Φ−1θ和固定图像IB之间差异的Lp范数的p次方作为相似性度量。那么，我们的优化问题变为0θ� = arg minθ0�（I A（Φ−1θ（x））−I B（x））p dx，p≥ 1，（2）0即，变形后的I A的图像强度应该接近于IB的图像强度。在没有正则化的情况下，我们完全可以自由选择Φθ。对于方程（2）的高度不规则的最小化器可能会导致每个强度值I A仅仅与IB的最接近的强度值匹配，而不考虑位置。例如，对于一个常数I B（x）= c和一个移动图像IA（y）具有唯一位置yc，其中I A（yc）=c，最优映射是Φ−1θ（x）= yc，这是不可逆的：只有IA的一个点将被映射到IB的整个域。显然，更多的空间规则性是可取的。重要的是，不规则的变形是方程（2）的常见优化器。0最优质量传输（OMT）在机器学习和成像中被广泛使用。这些模型对我们来说很有兴趣，因为它们可以是反向一致的。方程（2）的离散重述的OMT变体是0θ� = arg minθdx0i =1（I A（Φ−1θ（xi））−IB（xi））p（3）0对于p ≥ 1，其中i索引S个网格点xi，Φ−1θ（xi）被限制为映射到IA的网格点yi，dx是离散面积元素。我们不考虑所有可能的映射，而是给IA的每个强度值附加一个单位质量。0并且我们定义IB并寻求使得方程（3）的能量最小的变换，通过仅对值进行排列，将I A的强度分布变换为IB的强度分布。由于我们仅允许排列，所以最优映射将是可逆的。这个问题等价于一维经验测度的最优质量传输[31]。通过对I A（I A 1 ≤ ∙ ∙ ∙ ≤ I A S）和I B（I B 1 ≤ ∙ ∙ ∙ ≤ I BS）的所有强度值进行排序，可以得到最优值。最小值是p-Wasserstein距离（p ≥ 1）的p次方Wpp = �0i | I A i − I B i |p。因此，方程（2）的最小化器与排序有关，但不考虑空间规则性。请注意，当I A或IB中的强度值重复时，解可能不唯一。在[34]中，通过排序的解被经验性地用于配准，以说明它们通常不会产生具有空间意义的配准结果。在这一点上，我们只使用反向一致性（即可逆映射）作为唯一的正则化器的想法似乎是有问题的，因为OMT通常提供了一个反向一致的模型（当匹配，即蒙特解，是最优解时），同时产生不规则的映射（图2）。0然而，我们将展示，配准网络结合反向一致性损失可以鼓励映射的规则性。0x0（a）源函数（b）目标函数0x0（c）MSE映射示例（d）OMT映射示例0x0x0x0x0IA（x）0IB（x）0图2：1D配准示例的源函数和目标函数。面板（c）和（d）分别显示了均方误差（MSE）和OMT的两种可能解。在两种情况下，解可能不唯一。然而，对于OMT，匹配解将是一对一的，即可逆的。OMT对于可获得的映射施加了比MSE更强的约束，但仍允许不规则的映射。02.2. 避免不良解0简洁性。图2中高度不规则的映射出现在成对图像配准中。相反，我们关注的是在整个图像群体上训练网络。如果找到一个全局反向一致的最小化器，网络需要隐式地近似基于排序的OMT解。由于排序是一个连续的分段线性函数[5]，原则上可以根据通用逼近定理[26]进行近似。然而，这是一个极限论证。用于排序的实际神经网络要么是近似的[27,11]，要么非常大（例如，对于S个值，需要O(S^2)个神经元[6]）。注意，深度网络通常倾向于简单的解决方案[35]，而我们甚至不想对所有值进行排序以进行配准。相反，我们对更局部的排列感兴趣，而不是全局OMT排列，这就是我们通过具有反向一致性的神经网络解决方案所获得的结果。可逆性。要求映射的可逆性意味着寻找一个匹配（OMT中的蒙特方案），这是一个最优排列，但可能不是连续的2。相反，我们的目标是一个连续且可逆的映射。因此，我们希望惩罚与0Φ AB θ ◦ Φ BA θ = Id，（4）0其中Φ AB θ表示将图像I A 注册到图像I B的预测映射（由具有权重θ的网络给出）；Φ BAθ是反转输入的网络输出；Id表示恒等映射。映射的反向一致性已被用于获得成对配准的对称映射[13, 8]以及配准网络[43,36]。相关的损失函数已被提出用于配准[22,21]和图像转换[44]，但这些方法都没有研究反向一致性用于正则化。0有趣的是研究网络如何近似求解OMT问题以及是否自然地对其进行正则化。(7)�,(8)22.(11)33990因为迄今为止人们一直认为非参数配准需要额外的空间正则化。02.3. 近似反向一致性0接下来我们将展示，仅通过近似反向一致性可以在成对图像配准的背景下产生正则化效果。用Φ AB θ(x)和Φ BAθ(x)表示网络对图像(I A, I B)和(I B, IA)的输出映射。由于仅仅反向一致性不能防止不连续的解，我们提出使用近似反向一致性来倾向于C0解。我们将网络的方差近似为两个独立的向量值空间白噪声n 1(x)、n 2(x) ∈R N (x ∈ [0, 1]N，其中N=2或N=3是图像的维度)，方差为1，并定义0Φ AB θε ( x ) = Φ AB θ ( x ) + εn 1 (Φ AB θ ( x ))，0Φ BA θε ( x ) = Φ BA θ ( x ) + εn 2 (Φ BA θ ( x ))，0其中ε > 0。然后考虑损失函数L = λL inv + L sim，其中Linv是反向一致性组件0L inv = �� Φ AB θε ◦ Φ BA θε − Id �� 2 2 + �� Φ BA θε ◦ ΦAB θε − Id �� 2 2（5）0以及相似性组件（L sim）0L sim = �� I A ◦ Φ AB θ − I B �� 2 2 + �� I B ◦ Φ BA θ − I 2（6）0重要的是，需要注意存在多个映射可以导致相同的I A ◦ ΦAB θ和I B ◦ Φ BAθ。因此，在所有这些映射中，通过最小化损失L来使得映射趋向于最小化方程（5）中的两个项。0假设。通过最小化，方程（5）中的两个项都可以被推向一个小值（与噪声的数量级相同）。0首先，我们对方程（5）中的一个项进行泰勒展开（另一个项类似），得到0�� Φ AB θε ◦ Φ BA θε − Id��22 ≈ �� Φ AB θ ◦Φ BA θ +0εn1 (Φ AB θ ◦ Φ BA θ)0dΦ AB θε (εn2 (Φ BA θ)) −Id��22 .0将右边定义为A，展开平方并取期望，我们得到0E [ A ] = �� Φ AB θ ◦ Φ BA θ − Id��220+ ε2 E ��� n1 ◦ (Φ AB θε ◦ Φ BA θε)��220+ ε2 E ��� dΦ AB θε (n2) ◦ Φ BA θ��220由于独立性，所有的交叉项都消失了（噪声项的均值为0）。第二项是常数，即0项的均值为0）。第二项是常数，即0� = (9) � E � ∥ n1 ∥22 (y) � Jac((Φ BA θε)−1 ◦ (Φ AB θε)−1)dy = const. ,0在这里，我们进行了变量的更换，并将雅可比矩阵的行列式表示为Jac。最后一个等式是由于噪声项的方差在空间上是恒定的且等于1。通过类似的论证，公式（8）中的最后一个期望项可以重写为0E ��� d0� = � Tr(d(Φ AB θε)�dΦ AB θε) Jac((Φ BA θ)−1)dy，(10)0其中Tr表示迹运算符。如补充材料中所述，公式（10）的等式依赖于变量的更换以及白噪声n2的性质，即如果x =x′，则E [ n2 (x) n2 (x′)� ] = IdRN，否则为0。0近似和H1正则化。我们现在想要将公式（5）中的近似逆一致性损失与H1范数类型的正则化相连接。我们的假设意味着Φ AB θ ◦ Φ BA θ，Φ BA θ ◦ Φ ABθ接近于单位矩阵，因此有Jac((Φ BA θ)−1) ≈ Jac(Φ ABθ)。假设这个近似成立，我们将其与公式（10）一起使用，再加上事实：Φ AB θε ≈ Φ AB θ +O(ε)，以得到二阶ε2的近似（详见补充材料），以近似表示Linv，即0Linv ≈ �� Φ AB θ ◦ Φ BA θ − Id��22 + �� Φ BA θ ◦ Φ AB θ − Id��220+ ε2 ���� d�0Jac(Φ ABθ) ����02 + ε2 ���� dΦ0Jac(Φ BAθ) ����0我们可以看到，近似逆一致性导致了一个L20梯度的惩罚，加权后乘以映射的雅可比矩阵。这是图像配准中有时使用的一种Sobolev（更准确地说是H1）正则化方法。特别地，H10该术语可能会控制映射的压缩和扩展幅度，至少在平均情况下，在该域上。因此，近似逆一致性导致了一种隐式的H1正则化，直接在映射上进行。0无噪声的逆一致性和逆一致性的隐式正则化。当将噪声水平降为零时，我们在使用神经网络预测映射时观察到正则的位移场。在这种情况下，我们观察到逆一致性只能近似实现。因此，可以假设在计算逆时产生的误差会导致之前展示的H1正则化。这个假设的可能缺陷是逆一致性误差可能与位移场不独立，而在证明中假设了它们是独立的。ΦABθ= DABθ+ Id,DABθ= interp(F ABθ)(12)L(θ) = Ep(IA,IB) LABsim + λLABinv,(13)LABsim = Lsim(IA ◦ ΦABθ, IB) + Lsim(IB ◦ ΦBAθ, IA)LABinv = Linv(ΦABθ, ΦBAθ) + Linv(ΦBAθ, ΦABθ)(14)Lsim(I, J) = ∥I −J∥22 , Linv(φ, ψ) = ∥φ◦ψ−Id ∥22 . (15)Linv(ΦABθ, ΦBAθ) =��(DABθ+ Id) ◦ (DBAθ+ Id) − Id��22=(DABθ) ◦ ΦBAθ+ DBAθ22(16)xxxxxxd(x)d(x)Linv(ΦABθ, ΦBAθ) =��(DABθ) ◦ ΦBAθ+ DBAθ��22= Ex∼U(0,1)N�(DABθ) ◦ ΦBAθ+ DBAθ�2 (x)≈ 1/Np�i�[(DABθ) ◦ (DBAθ+ Id) + DBAθ](xi + ϵi)�2(17)= 1/Np�i�[DABθ◦ (DBAθ◦ (xi + ϵi) + xi + ϵi)+ DBAθ◦ (xi + ϵi)]�2 ,34000新兴的H1正则化。最后，即使网络应该具备完全满足所有数据的逆一致性的能力，我们推测由于优化所带来的隐式偏差将会偏向于更加规则的输出。对于由数据群体引起的正则化效应及其与逆一致性的联系的完全严格的理论理解是重要的，但超出了我们的范围。03. 近似微分同胚配准0我们的配准方法基于训练一个神经网络 F AB θ，给定输入图像 I A 和 I B ，输出图像 I B空间中的位移向量网格 D AB θ，假设归一化的图像坐标覆盖 [0 , 1] N。我们通过插值获得连续的映射，即0其中 I A ◦ Φ AB θ ≈ I B。在线性插值（2D中的双线性插值和3D中的三线性插值）的假设下，Φ AB θ在除了一个零测度集合上连续可微。基于第2节的考虑，我们试图最小化0其中 λ ≥ 0 且 p ( I A , I B )表示所有可能图像对的分布。相似性和可逆性损失取决于神经网络参数 θ ，并且为0其中0为简单起见，我们使用平方的L2范数作为相似性度量。也可以使用其他度量，例如归一化互相关（NCC）或互信息（MI）。当 L AB inv 趋近于零时，由于等式（12），Φ AB θ将近似可逆且连续。因此，我们获得了近似的C0微分同胚，无需微分方程积分、超参数调整或变换限制。由于等式（14）中的相似性和可逆性损失是对称的，我们的损失在图像对中是对称的。基于位移的反向一致性损失。一般映射 Φ ABθ 可能将点映射到 [0 , 1] N之外的点。在边界上外推映射很麻烦。因此，我们只对位移场进行插值，如等式（12）所示。我们将反向一致性损失重写为0并将其用于实现，因为这样更容易评估。0图3：左：使用反向一致性训练的网络在网格上生成的输出（非随机）；损失无法检测到这些映射翻转了右上角的像素对，因为该错误在组合映射中没有表示。右：使用离散点随机评估训练的网络输出。0(a) 正向映射0(b) 反向映射0(c) 正向位移0(d) 反向位移0图4：在这个例子中，网格点（•）在反向一致地映射到彼此。正向映射（a）被反向映射（b）反转，并且当中间两个点交换位置时，空间发生折叠。根据（c/d），离网格点的映射按线性插值进行。对于（•），插值位移不会产生可逆的映射。因此，只有在离网格点评估时，这种不匹配才会受到反向一致性损失的惩罚。0反向一致性损失的随机评估。可以通过近似L2范数来评估LABinv，假设在网格单元上具有恒定值。在许多情况下，这是足够的。然而，正如图3所示，当注册网络只看到均匀背景时，交换位置可能发生在均匀区域中。这个交换与自身组合在一起，只要它只在像素/体素的中心评估，它就是恒等的。因此，该映射在损失函数中看起来是可逆的。然而，在像素/体素的中心之外，与线性插值相结合时，该映射不是反向一致的。为了避免这种病态情况，我们通过随机抽样来近似L2范数。这强制进行插值，因此对于交换而言会产生非零的损失值。图4显示了为什么离网格采样与反向一致性比仅考虑网格点处的变形更强的条件。在实践中，我们评估损失ACAnicbVDLSsNAFL2pr1pfUVfiZrAILqQkIuqyrRuXFewDmlgm0k7dPJgZiKUENz4K25cKOLWr3Dn3zhts9DWAxfOnHMvc+/xYs6ksqxvo7C0vLK6VlwvbWxube+Yu3stGSWC0CaJeCQ6HpaUs5A2FVOcdmJBceBx2vZG1xO/UCFZF4p8YxdQM8CJnPCFZa6pkHTmPI7tNaPUMOYKg2btey3pm2apYU6BFYuekDkaPfPL6UckCWioCMdSdm0rVm6KhWKE06zkJLGmIzwgHY1DXFApZtOT8jQsVb6yI+ErlChqfp7IsWBlOPA050BVkM5703E/7xuovwrN2VhnCgaktlHfsKRitAkD9RnghLFx5pgIpjeFZEhFpgonVpJh2DPn7xIWmcV+6Ji3Z6Xq6d5HEU4hCM4ARsuoQo30IAmEHiEZ3iFN+PJeDHejY9Za8HIZ/bhD4zPHwialn0=�AB � �BAACAnicbVDLSsNAFL2pr1pfUVfiZrAILqQkIuqyrRuXFewDmlgm0k7dPJgZiKUENz4K25cKOLWr3Dn3zhts9DWAxfOnHMvc+/xYs6ksqxvo7C0vLK6VlwvbWxube+Yu3stGSWC0CaJeCQ6HpaUs5A2FVOcdmJBceBx2vZG1xO/UCFZF4p8YxdQM8CJnPCFZa6pkHTmPI7tNaPUMOYKg2btey3pm2apYU6BFYuekDkaPfPL6UckCWioCMdSdm0rVm6KhWKE06zkJLGmIzwgHY1DXFApZtOT8jQsVb6yI+ErlChqfp7IsWBlOPA050BVkM5703E/7xuovwrN2VhnCgaktlHfsKRitAkD9RnghLFx5pgIpjeFZEhFpgonVpJh2DPn7xIWmcV+6Ji3Z6Xq6d5HEU4hCM4ARsuoQo30IAmEHiEZ3iFN+PJeDHejY9Za8HIZ/bhD4zPHwialn0=�AB � �BAACAnicbVDLSsNAFL2pr1pfUVfiZrAILqQkIuqyrRuXFewDmlgm0k7dPJgZiKUENz4K25cKOLWr3Dn3zhts9DWAxfOnHMvc+/xYs6ksqxvo7C0vLK6VlwvbWxube+Yu3stGSWC0CaJeCQ6HpaUs5A2FVOcdmJBceBx2vZG1xO/UCFZF4p8YxdQM8CJnPCFZa6pkHTmPI7tNaPUMOYKg2btey3pm2apYU6BFYuekDkaPfPL6UckCWioCMdSdm0rVm6KhWKE06zkJLGmIzwgHY1DXFApZtOT8jQsVb6yI+ErlChqfp7IsWBlOPA050BVkM5703E/7xuovwrN2VhnCgaktlHfsKRitAkD9RnghLFx5pgIpjeFZEhFpgonVpJh2DPn7xIWmcV+6Ji3Z6Xq6d5HEU4hCM4ARsuoQo30IAmEHiEZ3iFN+PJeDHejY9Za8HIZ/bhD4zPHwialn0=�AB � �BAAC3icbVC7TsMwFL3hWcIrwMhitarEgKqkAzC2ZYGtSPQhNaFyXJdadR6yHaQqys7Cr7AwgBArP8DG3+C2GaDlSJaOz7n32vf4MWdS2fa3sbK6tr6xWdgyt3d29/atg8O2jBJBaItEPBJdH0vKWUhbilOu7GgOPA57fjy6nfeaBCsi8VZOYegG+D9mQEay01LeKZbc5YndpvZEhlzB0PzeqGfmta6lqN63SnbFngEtEycnJcjR7Ftf7iAiSUBDRTiWsufYsfJSLBQjnGam0gaYzLW03uahjig0ktnu2SorJUBGkZCn1Chmfq7I8WBlJPA15UBViO56E3F/7xeoYXsrCOFE0JPOHhglHKkLTYNCACUoUn2iCiWD6r4iMsMBE6fhMHYKzuPIyaVcrzlnFvqmWaqd5HAU4hiKcgAPnUIMraEILCDzCM7zCm/FkvBjvxse8dMXIe47gD4zPH2FxmUg=AC3icbVC7TsMwFL3hWcIrwMhitarEgKqkAzC2ZYGtSPQhNaFyXJdadR6yHaQqys7Cr7AwgBArP8DG3+C2GaDlSJaOz7n32vf4MWdS2fa3sbK6tr6xWdgyt3d29/atg8O2jBJBaItEPBJdH0vKWUhbilOu7GgOPA57fjy6nfeaBCsi8VZOYegG+D9mQEay01LeKZbc5YndpvZEhlzB0PzeqGfmta6lqNG3SnbFngEtEycnJcjR7Ftf7iAiSUBDRTiWsufYsfJSLBQjnGam0gaYzLW03uahjig0ktnu2SorJUBGkZCn1Chmfq7I8WBlJPA15UBViO56E3F/7xeoYXsrCOFE0JPOHhglHKkLTYNCACUoUn2iCiWD6r4iMsMBE6fhMHYKzuPIyaVcrzlnFvqmWaqd5HAU4hiKcgAPnUIMraEILCDzCM7zCm/FkvBjvxse8dMXIe47gD4zPH2L1mUk=Image BACFXicbVC7SgNBFJ31bXxFLW0Gg2AhYTeFWibaWEkEkwhJDLOTu2bI7Mwyc1cMS37Cxl+xsVDEVrDzb5w8Cl8HBs49517u3BMmUlj0/U9vZnZufmFxaTm3srq2vpHf3KpbnRoONa6lNlchsyCFghoKlHCVGBxKER9k9HfuMWjBVaXeIgXbMbpSIBGfopE7+YK9V7YnrHIypC0uDKeT+qQyzLUQ7jCMsnNlRYWhp18wS/6Y9C/JiSApmi2sl/tLqapzEo5JZ2wz8BNsZMyi4BLchtZAw3mc30HRUsRhsOxtfNaR7TunSBv3FNKx+n0iY7G1gzh0nTHDnv3tjcT/vGaK0XE7EypJERSfLIpSVHTUS0KwxwlANHGDfC/ZXyHjOMowsy50Ifp/8l9RLxeCw6F+UCuWDaRxLZIfskn0SkCNSJmekSmqEk3vySJ7Ji/fgPXmv3tukdcabzmyTH/DevwBXmp5ENo noiseACEnicbVC7TgJBFJ31ifhCLW0mEhJNDNmlUEvAxspgIo8EkMwOd2HC7CMzd41kwzfY+Cs2Fhpja2Xn3zg8CgVPMsmZc+69M/e4kRQabfvbWlpeWV1bT2kN7e2d3Yze/s1HcaKQ5WHMlQNl2mQIoAqCpTQiBQw35VQdweXY79+D0qLMLjFYQRtn/UC4QnO0EidzEmuVemLu6RUHtEWF4rT6b1cGqVbCA/oesl1KDSMOpmsnbcnoIvEmZEsmaHSyXy1uiGPfQiQS6Z107EjbCdMoeASzPhYQ8T4gPWgaWjAfNDtZLSiOaM0qVeqMwJkE7U3x0J87Ue+q6p9Bn29bw3Fv/zmjF6F+1EBFGMEPDpQ14sKYZ0nA/tCgUc5dAQxpUwf6W8zxTjaFJMmxCc+ZUXSa2Qd87y9k0hWzydxZEih+SIHBOHnJMiuSIVUiWcPJn8krerCfrxXq3PqalS9as54D8gfX5Azu8nSk=NoiseACEnicbVC5TgMxEPVyhnAtUNJYREgQbSbAiT0FChIJFDSkLkdWYTK95D9iwiWuUbaPgVGgoQoqWi429wjoLrSZae35sZe54XS6HRcT6tufmFxaXlzEp2dW19Y9Pe2q7pKFEcqjySkWp4TIMUIVRoIRGrIAFnoS6Nzgf+/VbUFpE4TUOY2gHrBcKX3CGRurYh/utSl/cpKXyiLa4UJxO7+XSKNtCuEPT6vHl4Cjp1z8s4E9C9xZyRHZqh07I9WN+JACFybRuk6M7ZQpFyCGZ9oiBkfsB40DQ1ZALqdTlYa0X2jdKkfKXNCpBP1e0fKAq2HgWcqA4Z9/dsbi/95zQT9s3YqwjhBCPn0IT+RFCM6zod2hQKOcmgI40qYv1LeZ4pxNClmTQju75X/kloh757knatCrng0iyNDdskeOSAuOSVFckEqpEo4uSeP5Jm8WA/Wk/VqvU1L56xZzw75Aev9C7mWnNQ=U-Net34010其中 N p 是像素/体素的数量，U (0 , 1) N 表示在 [0 , 1]N 上的均匀分布，x i 表示网格中心坐标，ϵ i是从多元高斯分布中随机抽取的样本，其标准差设置为相应空间方向上的像素/体素大小。04. 实验0我们的实验涉及几个方面：首先，我们将我们的方法与直接优化映射 Φ AB 和 Φ BA在一个2D玩具数据集上进行比较，该数据集包含128 ×128的图像。其次，在一个2D玩具数据集上（28 ×28的图像），我们评估了架构和超参数选择的影响。最后，我们评估了对膝盖的真实3D MR图像的配准性能。04.1. 数据集0MNIST。我们使用标准的MNIST数据集，图像大小为28 ×28，限定为数字“5”，以确保我们有语义匹配的图像。对于训练/测试，我们依赖于数据集的标准分区。三角形和圆形。我们创建了2D的三角形和圆形（128 ×128），其半径和中心在[.2，.4]和[.4，.7]之间均匀变化。像素在形状内部设置为1，在外部平滑衰减为-1。我们使用6,000个图像进行训练，并在6,000个单独的图像上进行测试3。OAI膝盖数据集。这些是来自骨关节炎倡议（OAI）的3DMR图像。图像被降采样到大小为192 × 192 ×80，归一化，使得第1百分位数为0，第99百分位数为1，并将所有值夹紧在[0，1]之间。作为预处理步骤，左膝的图像沿左右轴镜像。该数据集包含2,532个训练图像和301个测试对。04.2. 架构0我们尝试了四种神经网络架构。所有网络都输出位移场 DABθ。我们简要概述以下区别，但详细信息请参见补充材料。第一个网络是具有2个隐藏层和ReLU激活函数的MLP。输出层被重塑为大小为2 × W ×H。其次，我们使用具有5层的卷积编码器-解码器网络（Enc-Dec），类似于没有跳过连接的U-Net。我们的第三个网络使用6个卷积层，没有上采样或下采样。每个层的输入是所有前面层的输出的串联（ConvOnly）。最后，我们使用具有跳过连接和残差连接的U-Net。后者类似于Enc-Dec，但使用LeakyReLU激活函数和批归一化。在所有架构中，最后一层的权重初始化为0，以便优化从输出零位移场的网络开始。03 生成图像和复制这些实验的代码可在以下网址找到0https://github.com/uncbiag/ICON0图5：U-Net结果与直接优化（无神经网络；在Φ AB θ和Φ BAθ上）有无添加噪声的比较，使用λ =2,048的逆一致性损失。无噪声的直接优化导致不规则的映射，而添加噪声或使用U-Net可以改善映射的规则性（最佳放大查看）。04.3. 通过近似逆一致性进行正则化0第2.3节规定了近似逆一致性会产生正则化效果。具体而言，当Φ AB θ近似为Φ BA θ的逆时，逆一致性损失L ABinv可以基于公式（11）近似计算，突出了其隐含的H1正则化。我们通过三个实验来研究这种行为：通过添加人工噪声（noise）和不添加人工噪声（nonoise）进行成对图像配准（1），以及通过U-Net进行基于群体的配准（2）。图5显示了一些样本结果，支持我们在第2.3节中的理论阐述：没有噪声的成对图像配准会导致高度不规则的变换，即使使用了逆一致性损失。在计算逆一致性损失之前，在位移场中添加标准差为像素的1/8的小量高斯噪声（类似于我们观察到的深度网络的逆一致性损失大小），可以得到显著更规则的映射。最后，使用U-Net可以得到高度规则的映射。值得注意的是，这三种方法都得到了近似逆一致的映射。成对图像配准的行为阐明了为什么逆一致性在经典（成对）配准文献中没有出现，作为更复杂的空间正则化的替代方法。所提出的技术只有在存在逆一致性误差时才会产生规则性。总之，我们的理论得到了实验结果的支持：近似逆一致性可以正则化映射。04.4. 不同网络的正则化0第4.3节说明了近似逆一致性产生的正则化效果，这将转化为网络预测的规则性，因为网络通常无法实现完全逆一致性。1280.929.950.770.080.921.450.9016.272560.912.480.720.010.900.410.887.175120.900.720.660.030.890.090.853.121,0240.880.340.620.060.860.020.810.542,0480.870.160.630.000.730.090.760.071280.980.730.902.710.981.590.9610.152560.980.270.881.110.971.140.968.495120.970.100.870.650.960.700.946.611,0240.960.030.860.220.950.250.923.912,0480.950.030.850.150.940.090.89
我的内容管理
展开
