基于深度学习的无监督对称图像配准方法及其在3D脑图像配准中的应用

14644基于卷积神经网络的托尼·C·W作者：Albert C.S.计算机科学与工程系，香港科技大学网址：cwmokab@connect.ust.hk，achung@cse.ust.hk摘要几何变形图像配准是医学图像研究中的一个关键问题，因为它具有拓扑保持性和变换的逆变换性等独特的性质。最近的基于深度学习的可变形图像配准方法通过利用卷积神经网络（CNN）从合成的地面真值或相似性度量学习空间变换来实现快速图像配准。然而，这些方法往往忽略了拓扑保持的变换和平滑的变换，这是由一个全局平滑能量函数单独执行。此外，基于深度学习的方法通常直接估计位移场，这不能保证逆变换的存在。在本文中，我们提出了一种新的，高效的无监督对称图像配准方法，最大限度地提高了图像之间的相似性的空间内的同构映射和估计的正变换和逆变换simul-simulation。我们评估我们的方法在3D图像配准与大规模的脑图像数据集。我们的方法实现了最先进的配准精度和运行时间，同时保持理想的微分同胚属性。1. 介绍形变图像配准是医学成像领域的一个重要研究课题。可变形图像配准的目的是建立一对图像之间的非线性对应关系，并估计适当的非线性变换以对齐一对图像。这最大化了对齐图像之间的自定义相似性。当分析从不同传感器和/或不同对象和不同时间捕获的图像时，可变形图像配准可以是有用的，因为它使得能够直接测量图像不同来源的图像之间的解剖结构比较。例如，由于MR脑扫描的大空间复杂性，由专家手动描绘解剖脑结构是困难的。此外，它通常会受到评价者间变异性问题的影响[28]，而可变形图像配准通过将目标扫描配准到良好描绘的图谱来实现脑解剖结构的自动和鲁棒描绘。传统的可变形配准方法通常将此问题建模为优化问题，并努力以迭代方式最小化能量函数。然而，这在实践中是计算密集的并且耗时的。最近，已经提出了几种基于深度学习的方法尽管这些方法在解剖分割图上的平均Dice分数方面实现了快速配准和相当的配准精度，但变换的实质性同构性质并不受保证。换句话说，这些方法忽略了医学成像研究中的一些理想性质，在 本 文 中 ， 我 们 提 出 了 一 种 新 的 快 速 对 称 dif-feomorphic图像配准方法，参数化的对称变形的空间内的双态映射使用CNN。具体地，代替预先假定输入图像的固定/移动身份并输出通过将运动体的所有体素映射到固定/目标体，我们的方法从n-D数据集的集合中学习对称配准函数，并输出一对将输入图像映射到来自两个测地线路径的图像之间的中间地带的同构映射（具有相等长度）。最后，利用双同态是可微映射的性质，通过将输出的双同态映射与另一个双同态映射的逆合成，得到了从一幅图像到另一幅图像的正向映射。14645有一个可微逆[3]。这项工作的主要贡献是：• 提出了一种快速的对称同构图像配准方法，保证了变换的拓扑• 我们提出了一种新的方向一致的正则化，以惩罚具有负雅可比行列式的局部区域，这进一步鼓励了非线性的，变换的形态性质;以及• 我们提出的范例和目标函数可以以最小的努力被转移到各种应用中。我们证明了我们的方法的有效性和质量的例子，成对登记的三维脑部MR扫描。具体来说，我们在从[20]收集的400多个脑部扫描的大规模T1加权MR数据集实验结果表明，与现有的基于深度学习的配准方法相比，该方法不仅达到了最先进的配准精度，而且输出变换在质量和定量分析上也更符合不同的特征。2. 背景2.1. 可变形配准可变形配准图像配准是指将一个（移动）图像扭曲以与第二个（固定/参考）图像对准的过程，其中配准图像之间的相似性被最大化。典型的变换，包括刚性和仿射变换，在图像变换中允许不同的自由度，并且通常用作全局对准的初始变换以处理大变形。可变形图像配准是一种非线性配准过程，其试图在固定/参考图像和运动图像之间建立密集的逐体素非线性空间设F、M分别表示固定图像和运动图像，φ表示位移场。典型的可变形图像配准可以被公式化为：在大多数可变形图像配准设置中，仿射和缩放变换已经被分解，使得图像之间的未对准的唯一来源是非线性的。在本文中，我们始终遵循这一假设。在预处理阶段，实验中测试的所有大脑扫描都2.2. 图形配准最近的可变形配准方法通常使用位移场u来参数化可变形模型，使得变形场φ（x）=x+u（x），其中x表示恒等变换。虽然这种参数化方法简单直观，但并不能保证位移场的真正逆变换存在，特别是对于大变形和多毛变形。此外，该可变形模型不一定在变换中强制一对一映射。因此，在整个本文中，我们的方法坚持使用同构。具体来说，我们实现了我们的纯变形模型与固定的速度场。在理论上，一个单态射是可微的和可逆的，这保证了光滑的和一对一的映射。因此，映射还保留拓扑。由t∈[0，1]参数化的双纯形变场φt的路径可以由速度场生成为：dφt=vt（φt）=vt<$φt，（2）DT其中φ 0是复合算子，vt表示时间t处的速度场，φ0=Id是恒等变换。在我们的设置中，速度场随时间保持恒定。在文献中，形变场可以表示为李代数的一个成员，并被取幂以产生时间1形变φ（1），它是李群的一个成员，使得φ（1）= exp（v）。这意味着，exponentiated流场迫使映射是同构的和可逆的使用相同的流场。 为了获得时间1变形场φ（1），我们遵循[1，2，9]对时间t =[0，0. 5]对固定图像和运动图像都使用缩放和平方方法具体来说，给定初始变形场φ（1/2T）=x+v（x）/2T，其中T= 7表示我们在我们的方法中使用的总时间步长φ（1/2）可以是φ= arg minLφSIM （F，M（φ））+Lreg（φ），（1）使用递推式φ（1/2t−1）=φ（1/2t）<$φ（1/2t）获得，即，φ（1/2）=φ（1/4）<$φ（1/4）。其中，Φm表示最优位移场Φ，Lsim（·，·）表示相异性函数，并且Lreg（·）表示平滑正则化函数。 在或-换句话说，可变形图像配准的优化问题旨在最小化固定图像F和变形图像M（φ）的相异性（或最大化相似性），同时保持平滑的变形场φ。3. 相关工作3.1. 经典的可变形配准方法经典的可变形图像配准方法迭代地优化具有约束的变形模型，以最小化自定义能量函数，14646XYYXXY Y X类似于等式中定义的优化问题。1.有几项研究用位移场参数化了这个问题。 位移场的光滑性通过能量函数或高斯平滑滤波进行正则化。这些方法包括Demons[29]、使用b样条的自由形式变形[27]、通过属性匹配和相互显著性加权（DRAMMS）的可变形此外，有许多研究在同构映射空间内优化配准问题，以确保所需的同构特性。流行的同构配准方法包括同构Demons[30]、对称图像归一化方法（SyN）[3]和使用b样条的同构配准这些方法通常将配准问题表示为一个独立的迭代优化问题。因此，配准时间显著增加，特别是当目标图像对包含解剖外观的大3.2.基于学习的形变配准方法近年来，许多基于学习的方法被提出用于可变形图像配准。这些方法通常将配准问题公式化为CNN的学习问题。Recent learning-based meth- ods can be roughlydivided into two categories: super- vised methods andunsupervised learning methods.最变形场的可验证性[7，24，8，32，11，5]。尽管一些方法利用全局正则化函数来加强位移场的平滑性，但这不足以保证预测的位移矢量在局部区域内是平滑的并且在取向上是一致的。Moreover, the inverse of thetransformation is not considered and guaranteed by thesemethods as well.具体地，这些方法假定输入图像的固定/移动标识，并且估计从固定图像到移动图像的变换。受这些研究的启发，我们提出了一种无监督的对称配准方法，该方法能够估计来自受试者间的图像之间的合理的、拓扑保持的和逆一致的变换。4. 方法在大多数基于学习的可变形图像配准方法中，通常将一对输入图像指定为固定图像和运动图像，并且只考虑从固定图像到运动图像的一次映射。此外，在这些方法中，逆映射往往被忽略。在我们的对称配准设置中，我们强调我们不假设输入图像的固定或移动 具体地，令X、Y是两个3D im。年龄卷定义在一个共同的空间域中，变形配准问题可以参数化作为函数fθ（X，Y）=（φ（1），φ（1）），其中θ表示CNN中的学习参数。φ（1） =φXY（x，1）和的监督方法[7，24，8，32，19]依赖于地面（一）YX=φYX（y，1）表示时间1同构的de-真实变形场或解剖分割图来指导学习过程。尽管监督方法大大加快了推理阶段的配准过程，但这些方法的配准精度受到合成地面实况变形场或分割图的质量的限制。近年来，一些无监督的方法被提出。这些方法利用CNN、空间Transformer和可微相似性函数来以非监督方式学习输入图像对之间的密集空间映射。Vos等人。[11]证明了2D图像的无监督方法的效率，并采用互相关作为相似性函数。Balakrishnan等人[五]《中国日报》形成场，扭曲一些身份的位置，解剖位置x∈X向y∈Y和y∈Y向x∈X弯曲。受传统的基于非学习的对称图像归一化方法的启发，ods [31，3，23]，我们建议学习两个分开的时间0的情况。5个变形场，将X和Y扭曲到测地线路径中的平均形状M。在模型收敛后，通过两个估计的时间0的合成，可以获得将X弯曲到Y和将Y弯曲到X的时间1变形场。5变形场服从于双态射是可微映射且保证存在可微逆的事实[2]。从X到Y分解为φ（1）=φ（−0. 5）（φ（0. （5）（x），而XY Y X XY将该方法推广到三维体上，并在L2损失的情况下增强了位移场的光滑性。达尔卡从Y到X的变换分解为φ（1）=φ（−0. 5）（φ（0. 5）（y））。因此，函数fθ可以重写为等人[9]提出了一种概率同构配准方法XY Y X（−0.第五章）（0。第五章）（−0.第五章）（0。第五章）提供不确定性估计的方法。这些方法在实现快速配准的同时实现了与经典配准方法相当的配准精度值得注意的是，大多数现有的基于CNN的方法将配准问题与位移向量场参数化，而忽略了所需的拓扑性质，包括拓扑保持和非线性。当f θ（X，Y）=（φY X（φXY（x）），φXY（φY X（y）时，4.1. 对称同构神经网络如图1，我们使用全卷积神经网络（FCN），几个缩放和平方层以及可微空间变换来参数化函数f θ。前[16]。φ（0. 5）和φ（0. （5）使用比例尺计算，XY Y Xφ146471个以上|X|XYYXXYXY Y X图1.对称微分同胚图像配准方法概述。我们利用FCN来学习对称时间0。5个变形场，它们将X和Y弯曲到它们在双纯映射空间内的平均形状M。绿色路径表示从X到Y的变换，而黄色路径表示从Y到X的变换。为了简单起见，我们在该图中省略了幅度损失Lmag。图2.所提出的用于估计目标速度场vXY和vY X的全卷积网络架构的图示。用蓝色和紫色突出显示的块分别表示来自编码器和解码器的3D特征图。估计速度场vXY和vYX。我们的FCN的架构类似于U-Net [25]，其由具有跳过连接的5级分层编码器-解码器组成，如图所示。2.所提出的FCN将X和Y连接为单个2通道输入，并从一开始就学习从X和Y联合估计两个密集的非线性速度场vXY和vYX。 对于编码器中的每个级别，我们应用两个连续的控制，卷积层，其包含一个步长为1的3×3×3卷积层，随后是步长为2的3×3×3卷积层，以进一步计算高级卷积。将输入之间的特征进行下采样，并将特征下采样为一半，直到达到最低水平对于解码器中的每个级别，我们将来自编码器的特征图连接起来通过跳过连接并应用具有1和2×2×2反卷积层的步长的3×3×3卷积，以将特征图上采样到其大小的两倍。在解码器的末尾，将步长为1的两个5×5×5卷积层附加到最后一个卷积层，产生速度场vXY和vYX，随后是软符号激活函数（即，SoftSign（x）=x）。然后，它将自身乘以常数c，以在范围[−c，c]内归一化速度场。我们设c= 100，这对于大变形是足够的。 经验上，The在具有1mm-3分辨率的脑MR扫描的可变形配准中，非线性未对准通常小于25在我们的FCN中，除了输出卷积层之外，每个卷积层后面都有一个整流线性单元（ReLU）激活。此 外 ， 我 们 遵 循 [1 ， 9] ， 使 用 可 微 分 空 间Transformer实现缩放和平方层，并利用它将估计的速度场积分到时间0的情况。5变形场φ（0. 5 ）和φ（0. 5 ），服从φ（1 ）=exp（v）。具体地说，给定一个恒定的时间步长T，我们初始化φ（1/2T）=x+v（x）/2T和φ（1/2T）=x+v YX（x）/2T。 我们通过递归φ（1/2t−1）= φ（1/t）<$φ（1/t）直到t =1.一、 计算了两个形变场的合成使用具有三线性插值的可微分空间Transformer，使得φ（1/t）= φ（1/t）（φ（1/t）（x））。 由于变形场是同构的，映射是一对一的，我们利用了逆变换的事实，14648XYYXΣxΣ伊茨我我可以通过对相同的速度场进行向后积分来计算，使得φ（ −1/2T ） =x−v （ x ） /2T ， 并 且 递 归 表 示 为 φ（−1/2t−1）=φ（−1/2t）<$φ（−1/2t）。此外，空间Transformer被用于变换该图像基于输入图像和所计算的变形场。具体来说，我们实现了空间变换器的身份网格生成器和三线性采样器。通过缩放和平方计算的变形场，L对测量变形的X到Y和变形的Y到X之间的成对相异性。然后将所提出的相似性损失函数公式化为：Lsim=Lmean+Lpair（4）与Lmean= −NCC（X（φ（0. 5）），Y（φ（0. （5）将图层添加到标识网格中。然后，三线性采样器使用得 到 的 网 格 来 扭 曲 输 入 图 像 。 特 别 地 ， 空 间Transformer生成扭曲的IM。和XY（一）Y X（一）年龄X（φ（0. 5）），Y（φ（0. 5）），X（φ（1））和Y（φ（1）），L对=−NCC（X（φXY），Y）−NCC（Y（φYX），X）（6）XY Y X XY Y X估计变形场φ（0. 5），φ（0. 5），φ（−0. 5）（φ（0. 5）（x） 其中φ（1）（和φ（1））可以分解为φ（−0. 5）公司简介φ（-0。5）（φ（0. 5）（y）），如图所示。1.一、φ（0. 5）（和φ（−0. 5）φ（0. （5））在同构空间中。换句XY YX XY Y X4.2. 对称相似现有的基于CNN的方法往往忽略了理想的不同形态的属性，包括拓扑保持，可逆性和逆一致性的转换[7，24，8，32，11，5]。 受经典的基于迭代的对称归一化方法[31，3，23]，我们的方法估计变换（例如， φ（0. 5）和φ（0. （5）从换句话说，最小化Lsim倾向于最大化相似的-以双向方式对变形的图像进行同步毛皮-然而，我们的方法不仅继承了自同构变形模型的拓扑保持性和可逆性，而且由于考虑了从两个方向的变换，所提出的成对相似性损失函数可以很好地保证逆一致性.XY Y XX和Y到平均形状M，以及变换-选择（例如， φ（1） 和φ（1）），将X弯曲为Y，将Y弯曲为X.我们建议通过梯度下降来最小化对称平均形状相似性损失Lmean和成对相似性损失Lsim，这加强了预测变换的可逆性和逆一致性。类似与现有的基于CNN的方法相比，我们提出的方法兼容任 何 可 微 的 相 似 性 度 量 ， 例 如 归 一 化 互 相 关（ NCC ） 、 均 方 误 差 （ MSE ） 、 平 方 距 离 和（SSD）和互信息（MI）。为了简单起见，我们利用归一化互相关NCC作为我们的相似性度量来计算两个图像之间的对齐程度设I和J是两个输入图像体积，I<$（x）和J<$（x）分别是I和J在位置x处的局部均值局部平均值是在以每个位置为中心的局部w3窗口上计算的4.3. 局部方向一致性现有的基于学习的方法[5，10，17]通常使用正则化损失函数（例如变形场的空间梯度上的L2范数）来正则化变形场虽然变形场的平滑度可以通过正则化器的权重来控制，但是全局正则化器可能会大大降低模型的配准精度，特别是当为正则化器分配大的权重此外，这些正则化子不足以在实践中确保拓扑保持变换为了解决这个问题，我们提出了一种新的选择性雅可比行列式正则化，对估计的形变场在数学上，定义了所提出的选择性雅可比行列式正则化损失LJdet，在我们的实验中，w= 7。净捐助国的定义如下：如：1LJdet=NΣp∈Ωσ（−|J φ（p）|），（7）NCC（I，J）=其中N表示中的元素的总数，|Jφ|，σ（·）I（x）−I<$（x））（J（x）−J<$（x））x∈Ω .xiix（I（xi）−I<$（x））2 x（J（xi）−J<$（x））2、（3）表示对于所有正的线性的激活函数，值和零表示所有负值。在我们的实验中，我们设置σ（·）=max（0，·），这与ReLU等价。其中xi表示以x为中心的w3个局部窗口内的位置。具体来说，我们提出的相似性损失函数Lsim功能和|Jφ（·）|表示雅可比行列式位置p处的矩阵形变场φ。 的定义雅可比矩阵Jφ（p）可以写为：由两个对称损失项组成：平均形状相似，x（p）φx（p）φx（p）相似性损失L对。的x14649我是说 测量扭曲的XJφ（p）=πφy（p）φy（p）伊∂φy(p)(8)并将Y向平均形状M弯曲，而φz（p）xφz（p）伊φz（p）伊茨14650变形场的雅可比矩阵是由变形在每个方向上的导数形成的二阶张量场。雅可比行列式的行列式可用于分析变形场的局部稳定性。 例如，一个积极的点p∈|J φ|意味着点p处的变形场在p的邻域中保持取向。相反，如果点p∈|J φ|为负，则点p处的变形场使点p邻域中的方向反转因此，一对一映射已经丢失。我们利用这一事实，通过用负雅可比行列式惩罚局部区域，而用正雅可比行列式惩罚局部区域（即，邻域中的一致性取向）将不受这种正则化损失的影响。值得注意的是，本文提出的选择性Jacobian行列式正则化损失并不意味着取代全局正则化。相反，我们在我们的方法中利用正则化损失函数来产生平滑和拓扑保持变换，同时减轻平滑度和配准精度之间的权衡。在特别是，我们进一步加强了速度的平稳性，基于atlas的注册任务。基于图谱的配准是分析受试者间图像的常见应用，其目的是建立图谱与目标图像（运动图像）之间的解剖图谱可以是单个体积或同一空间内的图像之间的平均图像体积在我们的实验中，我们从测试集中随机选择5个MR体积作为图谱，并且我们使用不同的可变形配准方法执行基于图谱的配准，该方法将测试集中的提醒图像体积对齐以匹配所选图谱。因此，我们在每个方法的测试集中总共注册了725对卷。在评估过程中，我们将X设置为地图集，将Y设置为我们的方法的移动对象。字段，Lreg=（||XY（p）||2个以上||YX（p）||2）。p∈N2 2此外，我们还通过以下方式进一步避免了任何一条路径上的偏差：1、将一个变量L=1（||v XY||2−||v2N2图3.来自图谱的轴向MR切片示例，运动图像，YX||（2）明确保证了预测的速度场（近似）相同。因此，我们的方法的完整损失函数可以写为：L（X，Y）=Lsim+λ1LJdet+λ2Lreg+λ3Lmag，（9）其中λ1、λ2和λ3分别是平衡方向一致性损失、正则化损失和幅度损失5. 实验5.1. 数据和预处理我们使用来自OASIS的[20]数据集。受试者年龄为18至96岁，其中100例受试者已被临床诊断为极轻度至中度阿尔茨海默病。我们将所有MRI扫描重新采样为256×256×256，分辨率相同（1mm×1mm×1mm），然后进行标准预处理步骤，包括运动校正、颅骨剥离、仿射使用FreeSurfer [12]对每次MRI扫描进行空间归一化和皮质下结构分割。然后，我们将得到的MRI扫描中心裁剪为144×192×160。皮层下分割图，包括26个解剖结构，作为地面实况，以评估我们的方法。我们将数据集分为255，20和150卷，分别用于训练，验证和测试集。我们评估我们得到DIF-VM，VM和我们的方法的扭曲图像和变形场。每个变形场中具有非正雅可比行列式的区域用红色覆盖。红色圆圈突出显示了DIF-VM结果中5.2. 测量由于理想的地面真值的非线性变形领域是没有明确定义，我们评估了注册al-租与两个共同的指标，骰子相似性系数（DSC）和雅可比行列式（|J φ|）.具体来说，我们首先将每个脑MR体积注册到图谱。然后，我们使用所得到的变形场来扭曲对象的解剖分割图随后，我们使用DSC评估分割图的重叠，并使用雅可比行列式评估预测变形场的几何性质。5.2.1骰子相似系数（DSC）DSC测量图谱和变形移动体积之间的解剖分割图的空间重叠。特别是，我们的分析包括26个解剖结构，如图所示。4. DSC的值范围为[0，1]，配准良好的移动MRI体积应显示与图谱的高度解剖对应性，因此产生高DSC评分。14651图4.箱形图显示了SyN、DIF-VM、VM（λ= 10）和我们的方法的每个解剖结构的Dice评分。左右脑半球被合并成一个可视化结构。包括脑干（BS）、丘脑（Th）、小脑皮质（CblmC）、侧脑室（LV）、小脑白质（WM）、壳核（Pu）、尾状核（Ca）、苍白球（Pa）、海马（Hi）、第三脑室（3V）、第四脑室（4V）、杏仁核（Am）、CSF（CSF）和大脑皮质（CeblC）5.2.2雅可比行列式雅可比矩阵是变形量的导数，它反映了变形场的局部行为雅可比矩阵Jφ（p）的定义在等式8中定义理论上，局部变形场是不同的，包括拓扑保持和可逆，仅对于具有正雅可比行列式的区域（即，|> 0）。|> 0).相反，具有负雅可比行列式的局部区域表明一对一映射具有迷失了在我们的实验中，我们计算变形场的雅可比行列式，并计数具有非正雅可比行列式的体素的数量（即，|≤ 0）。| ≤ 0).5.3. 基线方法我们将我们提出的方法与经典的对称图像归一化方法（SyN）[3]和两种基于无监督学习的可变形配准方法[5，9]进行了比较，表示为VM和DIF-VM。SyN是14种典型非线性变形算法中性能最好的配准算法之一[18]。VM和DIF-VM是近年来提出的非监督变形配准方法。VM利用CNN和扩散正则化器来估计位移向量场，而DIF-VM则提出了一种基于CNN的概率同构正则化方法。对于SyN，我们使用ANTs包[4]中的SyN实现，并仔细调整参数。由于SyN是一种基于迭代的方法，因此我们将每个级别的最大迭代次数设置为（200，100，50），以平衡配准精度和运行时间之间的权衡。对于基于学习的方法（VM和DIF-VM），我们使用了它们的官方在线实现我们从头开始训练VM和DIF-VM，并遵循最佳参数在[5，9]中设置，以获得最佳性能。与[5，9]中的实验设置不同，我们仅通过与训练集中的图像体对进行成对配准来训练基于学习的方法，因此，在训练阶段不包括图谱。此外，为了研究正则化器的效果，我们为正则化器训练了具有不同权重的VM。5.4. 执行我们提出的方法（表示为SYMNet）基于Pytorch [22]实现。 我们采用随机梯度下降（SGD）[6]优化器，学习率和动量设置为1e−4和0。9分别。得到了最佳结果，λ1= 1000，λ2= 3，λ3= 0。1.一、所有的通过网格搜索调整参数我们在GTX 1080Ti GPU上训练我们的为了评估所提出的局部方向一致性损失的有效性，我们将SYMNet与其变体（表示为SYMNet-1）进行比较，其中所提出的局部方向一致性损失在训练阶段被移除。5.5. 结果5.5.1注册性能表2示出了所有受试者的平均DSC和具有非正雅可比行列式的体素的数量以及仿射归一化、SyN、DIF-VM、VM（及其变体）和我们提出的方法SYMNet的基线的结构。所有基于学习的方法（DIF-VM，VM和SYM-Net）在平均DSC方面都优于SyN。然而，VM不产生同构结果，因为具有非正雅可比行列式的体素的数量显著地大。图3示出了来自DIF-VM、VM和我们的方法的所得扭曲图像的示例轴向MR切片。尽管DIF-VM报告了与VM相当的配准精度[9]，但我们发现，14652时间（s）SyNVMDIF-VMSYMNetAvg.10390.6950.5170.414STD.590.3810.1210.012表1.平均Dice分数（越高越好）和具有非正Jacobian行列式的平均体素数（越低越好）。标准偏差显示在括号中。仿射：仿射空间归一化。λ1Avg. DSC|J φ| ≤ 0λ1= 00.7434（0.113）1156（2015）λ1= 10.7431（0.110）860（1562）λ1= 100.7423（0.111）四六零（八四五）λ1= 1000.7408（0.104）一百三十三（二百六十）λ1= 10000.7381（0.108）0.471（0.921）表2.所提出的局部方向一致性损失与不同权重的影响。平均Dice分数（越高越好）和具有非正雅可比行列式的体素的平均数量（越低越好）。标准偏差以括号表示。来自DIF-VM成像通常是次优的，尤其是在左和右壳核中。我们还观察到，VM产生的形变场是不连续的.我们可视化的区域与非正雅可比行列式与红色的变形领域。我们所提出的方法在平均DSC方面实现了整体最佳性能，同时保持具有接近于零的非正雅可比行列式的体素数量，这意味着我们得到的变形场保证了理想的几何性质。图中的箱线图。图4显示了每个解剖结构的DSC分布。与具有自同构特性的方法相比，我们提出的方法在所有解剖结构中都取得了最好的性能。5.5.2局部方向一致性损失表2呈现了所提出的局部取向一致性损失对DSC的影响以及具有以下特征的体素的数量：|= 0且权重λ 1变化。|<= 0 with varying weights λ1.尽管我们的方法（SYMNet-1）和DIF-VM都优化了问题，在双纯空间中，表1中的实验表明，所得解不一定是双纯的。其根本原因是，变形只能用有限数量的参数离散表3.每个可变形配准的运行时间的平均值和标准差（秒），以配准一对图像体积（越低越好）。并且在速度场的积分过程中使用的插值可能导致违反。表2中的结果表明，我们提出的局部方向一致性损失迫使模型意识到并能够引导模型在结果解决方案中纠正这些违规行为与表1中的VM中的全局正则化损失相比，所提出的局部方向一致性保持了所得解的同构性，而不会过度牺牲配准精度。5.5.3运行时分析我 们 报 告 了 使 用 Intel i7-7700 CPU 和 NVIDIA GTX1080Ti GPU将每个受试者非线性可变形配准到图谱的平均运行时间，其中不包括仿射归一化的运行时间。表3显示了拟议方法和基准方法的平均运行时间。 值得注意的是，Ant中的SyN实现仅利用CPU，而基于学习的方法（即，DIF-VM、VM、SYMNet）在可变形配准期间利用CPU和GPU两者。我们观察到，基于学习的方法比传统方法SyN要快得多，SyN能够在不到一秒的时间内将受试者MR体积配准到图谱。实验结果表明，该方法继承了基于CNN的配准方法的快速配准特性。这意味着我们的方法在临床应用中具有实时变形配准的潜力。6. 结论在本文中，我们提出了一种使用CNN进行可变形图像配准的快速对称变形方法，该方法学习对称变形场，该对称变形场将图像对对齐到它们在变形映射空间内的平均形状然后，我们提出了一种新的局部方向一致性损失，利用雅可比行列式，以进一步保证所需的几何性质的结果的解决方案。我们已经通过使用大规模脑MR数据集评估了我们的模型，并将我们的方法与经典的配准方法和最先进的基于无监督学习的方法进行了比较。综合实验结果表明，该方法在变形场的重建精度和质量方面均优于传统方法和基于学习的方法Avg. DSC|J φ| ≤ 0仿射0.567（0.180）-SyN0.680（0.132）0.047（0.612）DIF-VM0.693（0.156）346.712（703.418）VM（λ= 1）0.727（0.144）116168（88739）VM（λ= 5）0.712（0.132）266.594（246.811）14653引用[1] Vincent Arsigny，Olivier Commowick，Xavier Pennec，and Nicholas Ayache.代数同态统计的对数欧几里德框架。医学图像计算和计算机辅助干预国际会议，第924-931页。Springer，2006年。[2] 约翰·阿什伯恩一种快速的同构图像配准算法。神经影像，38（1）：95[3] Brian B Avants，Charles L Epstein，Murray Grossman和James C Gee。具有互相关的对称微分纯图像配准：评估老年人和神经变性脑的自动标记。医学图像分析，12（1）：26[4] Brian B Avants，Nicholas J Tustison，Gang Song，等.脑图像配准中蚂蚁相似性度量性能的可再现性评价。神经影像，54（3）：2033-2044，2011。[5] Guha Balakrishnan，Amy Zhao，Mert R Sabuncu，JohnGut-tag，and Adrian V Dalca.一种用于可变形医学图像配准的无监督学习模型。在IEEE计算机视觉和模式识别会议论文集，第9252-9260页[6] 我 在 博 图 。 随 机 梯 度 下 降 的 大 规 模 机 器 学 习 在COMPSTAT’2010的Proceedings施普林格，2010年。[7] 曹晓欢，杨建华，张军，聂东，金敏贞，王倩，沈定刚.基于相似性引导cnn回归的可变形图像配准。医学图像计算和计算机辅助干预国际会议，第300Springer，2017.[8] Xiaohuan Cao，Jianhua Yang，Jun Zhang，Qian Wang，Pew- Thian Yap，and Dinggang Shen.使用线索感知深度回归网络的可变形图像配准。IEEE Transactions onBiomedical Engineering，65（9）：1900[9] Adrian V Dalca，Guha Balakrishnan，John Guttag，andMert R Sabuncu.无监督学习的快速概率几何配准。医学图像计算和计算机辅助干预，第729-738页。Springer，2018.[10] Bob D de Vos，Floris F Berendsen，Max A Viergever，Hes-sam Sokooti，Marius Staring，and Istanis Eliggum.用于无监督仿射和可变形图像配准的深度学习框架医学图像分析，52：128[11] Bob D de Vos，Floris F Berendsen，Max A Viergever，Mar- ius Staring，and Istanis Eliggum.端到端无监督可变形图像配准与卷积神经网络。医学图像分析中的深度学习和 临床决 策支持 的多模 态学习 ，第 204-212页。Springer，2017.[12] 布鲁斯·费舍尔。自由冲浪者神经影像，62（2）：774[13] Vladimir Fonov ， Alan C Evans ， Kelly Botteron ， CRobert Almli，Robert C McKinstry，D Louis Collins，Brain De-ObjectiveCooperative Group，et al.儿科研究的无偏平均年龄适宜地图集。神经影像，54（1）：313[14] 本·格洛克，尼科斯·科莫达基斯，乔治斯·塔皮塔斯，纳西尔·纳瓦布，和尼科斯·帕拉吉奥斯.通过mrfs和高效线性规划实现密集图像配准。医学图像分析，12（6）：731[15] Pierre Hellier ， John Ashburner ， Isabelle Corouge ，Christian Barillot，and Karl J Friston.使用扫描探针显微镜进行功能和解剖数据的受试者间配准。医学图像计算和计算机辅助干预国际会议，第590-597页。Springer，2002年。[16] Max Jaderberg，Karen Simonyan，Andrew Zisserman，等.空间Transformer网络。神经信息处理系统的进展，第2017-2025页，2015年[17] Boah Kim ， Jieun Kim ， June-Goo Lee ， Dong HwanKim，Seong Ho Park，and Jong Chul Ye.使用周期一致cnn的无监督可变形图像配准。医学图像计算和计算机辅助干预，第166-174页。Springer，2019年。[18] Arno Klein，Jesper Andersson，Babak A Ardekani，等.14种非线性形变算法在人脑mri配准中的应用评价。神经影像学，46（3）：786[19] Julian Krebs ，Tommaso Mansi，Herve 'Delingette ， LiZhang ， Florin C Ghesu ， Shun Miao ， Andreas KMaier，Nicholas Ay-ache，Rui Liao，and Ali Kamen.通过基于代理的动作学习实现稳健的非刚性配准。在医学图像计算和计算机辅助干预国际会议上，第344-352页。Springer，2017.[20] 丹 尼尔 ·S·马 库斯 、 特雷 西 ·H· 王 、杰 米 ·帕 克、 约翰·G·塞南斯基、约翰·C·莫里斯和兰迪·L·巴克纳。开放获取系列影像学研究（Oasis）：青年、中年、非痴呆和痴呆老年人的横断面MRI数据。认知神经科学杂志，19（9）：1498[21] 欧阳明、Aristetiom Sotiras、Nikos Paragios和Chris- tosDavatzikos。Dramatic：通过属性匹配和相互显著性加权的可变形配准。医学图像分析，15（4）：622[22] Adam Paszke ， Sam Gross ， Soumith Chintala ， 等 .pytorch中的自动微分。在NIPS-W，2017年。[23] Sureerat Reaungamornrat ， Tharindu De Silva ， AliUneri ， Se- bastian Vogt ， Gerhard Kleinszig ， Akhil JKhanna ， Jean-Paul Wolinsky ， Jerry L Prince ， andJeffrey H Siewerdsen.心魔：用于图像引导脊柱手术MR和CT的对称同构可变形配准。IEEE transactions onmedical imaging，35（11）：2413[24] 3月c日-米歇尔罗，马纳西数据r，托比亚斯海曼，马克西姆塞尔梅桑特和泽维尔佩内克。Svf-net：使用形状匹配学习可变形图像配准。医学图像计算和计算机辅助干预国际会议，第266-274页。Springer，2017.[25] Olaf Ronneberger，Philipp Fischer，and Thomas Brox. U-net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议，第234-241页。施普林格，2015年。14654[26] Daniel Rueckert ， Paul Aljabar ， Rolf A Heckemann ，Joseph V Hajnal，and Alexander Hammers.基于b样条的仿射医学影像计算和计算机辅助干预国际会议，第702-709页。Springer，2006年。[27] Daniel Rueckert、Luk