生成对抗配准改进条件可变形模板

39290通过生成对抗配准改进条件可变形模板0纽约大学 Neel Dey0neel.dey@nyu.edu0纽约大学 MengweiRen0mengwei.ren@nyu.edu0MIT, MGHAdrian V. Dalca0adalca@mit.edu0纽约大学 GuidoGerig0gerig@nyu.edu0摘要0可变形模板对大规模医学图像配准、分割和人群分析至关重要。当前常规和基于深度网络的模板构建方法仅使用正则化的配准目标，并且通常会产生具有模糊和/或解剖学不合理外观的模板，使下游的生物医学解释变得复杂。我们将可变形配准和条件模板估计重新定义为对抗性游戏，其中我们通过基于灵活的图像协变量的生成对抗配准框架来鼓励移动模板的真实性。结果模板在特定属性（如年龄和疾病）方面具有显著的增益，更好地适应基础的群体时空趋势，并实现了更好的清晰度和中心性。这些改进使得可以使用多样的协变量进行准确的人群建模，用于标准化的下游分析，并且更容易对感兴趣的结构进行解剖划分。01. 引言0可变形图像配准通过将源图像与目标图像进行成对变形，实现了几何差异的量化。在人群研究的背景下，将一个主体配准到一个可变形模板上是标准化分析的一个核心步骤，其中理想的模板是感兴趣的（亚）人群的无偏重心表示[7, 10,47]。模板在各种大规模生物医学成像任务中起着关键作用，例如对齐到公共坐标系[33, 86]、脑提取[38,43]、分割[17, 43]、图像和形状回归模型[31,67]等。虽然模板可以从参考数据库中获得，但最好是为特定的人群构建模板，通过优化使每个个体主体的平均变形最小化的图像。由于模板对后续形态测量分析有很大影响，因此模板强烈影响后续形态测量分析。0模板构建已经受到了广泛关注，因为在人群研究中，单个模板无法捕捉到人群内的广泛结构变异（例如年龄和队列）。我们考虑使用连续和/或分类属性对图像集进行条件模板估计。在具有多样协变量的图像集上构建条件模板可以对来自整体人群学习到的信息进行子人群建模，并且不需要对人口统计信息进行任意阈值处理以执行独立分析[20, 23,98]。模板估计的隐式模型[2, 7, 10, 47, 58,96]在每个扫描的配准到当前模板估计和基于变形主体扫描的平均值的更新之间交替进行。由于对齐图像强度的平均化，结果模板在高频变形区域可能会出现显著模糊，即使在形状修正的同时也是如此[10]。最近，通过无监督深度网络提出了显式模板估计方法[23]，其中配准网络的每个随机更新都会产生一个（可能是条件的）模板，而不需要对齐图像和变换进行平均。然而，隐式和显式模型通常只最小化移动模板与固定图像（和/或反之亦然）之间的图像差异项，同时应用特定于应用的正则化以确保可微分（平滑、可微分和可逆）的变换。由于脑间变异包括复杂的拓扑变化，这些变化不能被纯粹的可微分模型所捕捉，估计的模板通常是不现实的，不像它们所代表的数据。次优的外观会影响下游应用，因为解剖边界不明确和/或不合理。例如，为了将一个或多个专家注释的模板注册到用于基于图谱的分割的目标图像[43, 54,59]，模板必须具有清晰可辨别的解剖边界，以便进行专家划分。不幸的是，当前的模板估计方法经常混淆结构解剖边界。我们提出了一个学习框架，通过生成对抗配准实现具有真实解剖学的清晰（可选条件）模板。39300生成对抗学习。我们的核心观点是，除了具有高配准精度外，移动模板图像的分布应该与真实图像分布无法区分。我们开发了一个生成器，包括模板生成和配准子网络以及一个鉴别器，用于评估合成和变形模板的真实性和条件特异性。由于对抗目标鼓励高频细节，模板在不需要特定后处理的情况下获得了自然边界。为了开发稳定准确的用于大型医学体积的3DGANs，我们开发了广泛的优化和架构方案、增强策略和条件机制。我们的贡献包括：（1）一种基于生成对抗的可变形模板生成和配准方法，首次使用基于真实性的配准正则化；（2）在包括早产儿和足月儿的神经影像、带有亨廷顿病和无亨廷顿病的成年人以及真实世界人脸图像在内的多样化挑战数据集上构建条件模板；（3）在中心性和可解释性方面改进了当前模板构建方法学，并显著增加了条件特异性。代码可在 https://github.com/neel-dey/Atlas-GAN上找到。02. 相关工作0生成对抗网络[36]在高保真图像生成[15, 49, 50,71]方面取得了显著进展。因此，图像翻译[40, 44, 71, 95,102]和逆问题[25, 53,81]的GANs表明，除了重建目标外，对抗正则化通过补偿仅使用重建目标时通常丢失的高频细节，显著提高了重建的视觉保真度。我们在注册目标的条件对抗正则化中应用了类似的推理。对于条件生成器网络，使用学习的条件比例和偏移调制每个特征图，相比于将属性向量连接到输入的方法，显著提高了图像合成的效果[15, 72,77]。可变形图像配准是将源图像空间变形到目标图像空间的过程。在计算机视觉中常用的光流配准[16,70]会产生解剖学上不合理的变形，当应用于生物医学图像时。因此，已经开发了一系列更适合的配准算法[21, 28, 46,78, 87]，进一步导致了几种保持拓扑的微分同胚扩展[8, 12,19, 91, 93, 99, 84]。最近，使用监督[18, 85,97]或无监督[11, 24, 27, 52, 55,68]的注册目标训练的深度网络已经出现，同时提供了更好的模型灵活性和推理性能。0生成对抗配准利用模拟已被用于一些工作，例如[39]，其中大规模有限元模拟的可行变形用作GAN损失的真实域，同时进行监督配准。还使用对齐和未对齐图像块的模拟对抗优化配准网络[30,34]。我们的方法不同之处在于我们专注于模板而不仅仅是配准，我们开发了考虑协变量的对抗配准技术，我们处理完整的3D体积而不使用模拟，仅关注移动模板的真实性。模板估计通过作为给定人群的重心表示，实现了图像集的标准化分析。无条件模板构建在医学图像分析中有着丰富的历史[2,7, 10, 47, 58,96]。由于对齐图像的图像和形状平均引起的模糊，流行的配准框架执行模板后处理和锐化[10]，这可能无意中创建不合理的结构[3]，并且仍然无法解决高度可变人群中的结构。此外，对于感兴趣的协变量，临时方法可能通过将数据集划分为独立的子人群并为每个子人群构建模板来忽略共享信息。更加原则性的方法通过构建时空模板明确考虑年龄和其他协变量，并在儿科[32, 35, 37, 51, 80, 83]和成人[14, 26,42,79]神经影像上得到了广泛验证。在这项工作中，我们在VoxelMorph Templates[23]（在本文中称为VXM）的基础上进行了广泛的构建。无条件VXM通过将自由参数网格作为模板，与训练图像一起作为输入传递给配准网络[24]，从而驱动生成模型。网络估计每个图像与模板之间的微分同胚位移场。配准网络和模板参数都在规则化的图像匹配成本下进行端到端训练。对于条件VXM，卷积解码器将属性向量上采样以生成条件模板，然后同样通过配准网络进行端到端处理。后续章节详细介绍了我们的方法和改进。03. 方法论0图1概述了我们的方法。生成器网络（a）和（b）合成一个条件模板，并将其变形到一个固定图像，然后由鉴别器（c）进行评估。该框架在正则化的注册和对抗成本下进行端到端训练，以鼓励注册准确性和模板真实性。模板生成子网络。我们开发了一个骨干网络，它对条件或非条件训练都是不可知的。对于非条件训练，我们使用一个随机初始化的参数数组（类似于[49,50]），其空间分辨率为所需模板的一半，通过卷积解码器进行处理。解码器的输出与训练图像的线性平均值相加，以生成无条件模板，从而使网络主要学习生成高频细节。通过卷积施加空间先验，可以改善无条件VXM生成的棋盘格模式。然而，这种骨干架构的主要优势在于它能够实现更高效和更强大的条件训练机制，如下所述。𝛾, 𝛽𝛾, 𝛽𝛾, 𝛽𝛾, 𝛽𝛾, 𝛽FC+ConvBlockSTN…FCFCFCFCRegistration Sub-network. We use an established U-Net registration architecture [24], which takes fixed andtemplate images and outputs a time stationary velocity field(SVF) v [4, 5, 65]. When the SVF is integrated over timet[0, 1], it yields a diffeomorphic displacement field φ(t)v39310卷积0块0卷积0块0条件输入0条件嵌入0线性平均0固定图像0模板0移动的模板0注册目标0空间变换0投影0层0真实图像0卷积0块0卷积块0卷积块0块0块0学习到的0参数0条件0输入0对抗目标0（a）模板生成子网络（b）注册子网络（c）鉴别器子网络0块0连接0图1.所提出的模板构建框架概述。模板生成网络（a）使用卷积解码器处理一组学习到的参数，其特征-wise仿射参数是从输入条件中学习到的，以生成条件模板。注册网络（b）将生成的模板变形到一个随机采样的固定图像。鉴别器（c）被训练用于区分移动的合成模板和随机采样的图像，以鼓励真实性和条件特异性。0随机初始化的参数数组（类似于[49,50]），其空间分辨率为所需模板的一半，通过卷积解码器进行处理。解码器的输出与训练图像的线性平均值相加，以生成无条件模板，从而使网络主要学习生成高频细节。通过卷积施加空间先验，可以改善无条件VXM生成的棋盘格模式。然而，这种骨干架构的主要优势在于它能够实现更高效和更强大的条件训练机制，如下所述。0对于条件训练，给定条件向量  z  和来自第  i  层和第  c通道的特征图  h i c ，我们对主干网络中的所有特征  h i c进行逐特征的线性调制（FiLM [75]），使得  FiLM ( h i c )=  γ i c ( z ) � h i c + β i c ( z ) ，其中  γ ( z )  和  β ( z )是从  z学习到的缩放和偏移参数。如图1(a)所示，我们使用一个四层的MLP从  z生成一个共享的条件嵌入，然后通过权重衰减线性投影到模板网络的每一层，以生成逐特征的变换。这种设计的主要优点是，在每一层都有条件（与只在输入处有条件的条件VXM相反）的情况下，模板网络具有更高的容量来适应具有高变异性的数据集并合成更合适的模板。建立在原始VXM架构之上的第二个优点是参数效率。原始的VXM设计在其输入处使用从  z  投影到高维向量的投影。在其神经影像学实验中，z  ∈  R 3 （即3个属性）通过具有  �  21 M参数的权重矩阵投影到一个  R � 7 M的向量。随着条件数量的增加（例如使用独热编码的分类属性），这个权重矩阵中参数的迅速增加使得学习变得困难。相反，我们的框架对条件向量  z的维度相对不敏感，它通过一个浅层的MLP（具有64个单元）处理，以生成通道-wise的标量。0∂t = v ( φ ( t ) v ) ，其中 φ (0) v 和 φ (1) v分别表示标识和最终位移场。然后，我们使用带有空间变换器[45]的 φ (1) v 将模板变形到固定图像空间。0判别器子网络。我们使用一个五层全卷积判别器网络（PatchGAN [44,102]）来评估输入图像局部补丁的真实性。例如，给定一个输入神经影像体积为160×192×160，判别器的感受野为63×63×63。我们发现判别器的正则化对于稳定和无伪影的训练是必不可少的，如下面进一步概述。0对于有条件的模板，判别器被训练以区分给定其分类和/或连续协变量的真实和合成图像。对于判别器的条件，我们基于投影方法[64]构建，该方法通常在现代GANs [15,48]中使用，定义为 f ( x, y ; θ ) = y T V ϕ ( x ; θ Φ ) + ψ (ϕ ( x ; θ Φ ); θ Ψ ) ，其中 x 是网络输入，y 是条件，f ( x, y; θ ) 是预激活判别器输出，θ = { V, θ Φ , θ Ψ }是学习参数，V 是 y 的嵌入矩阵，ϕ ( x, θ Φ )是在条件之前给出 x 的网络输出，ψ ( ., θ Ψ ) 是 ϕ ( x, θ Φ)的标量函数。然而，这个公式只适用于分类或连续属性中的一个，不适用于同时涉及年龄（连续）和疾病（通常是分类）等属性的神经影像设置。幸运的是，在给定输入的条件独立性的温和假设下，我们发现类似于[64]的分析可以干净地分解为：f ( x, y ; θ ) = y T cat V cat ϕ ( x ; θ Φ ) + y Tcon V con ϕ ( x ; θ Φ ) +39320ANTs SyGN LinearAverage0(b) dHCP (a) Predict-HD0ANTs SyGN Linear Average VXM消融 VXM+Adv 我们的消融 noAdv0VXM消融 VXM+Adv 我们的消融 noAdv0图2. 从(a) Predict-HD和(b)dHCP中学习到的无条件模板。我们合成的模板具有更多神经解剖学上代表性的结构（例如，Predict-HD的改进皮层折叠）和外观（例如，dHCP的较暗皮层灰质）。0ψ ( ϕ ( x ; θ Φ ); θ Ψ ) ，其中 cat 和 con下标表示分类和连续属性。损失函数。我们在无条件设置下定义目标函数，并对条件情况进行简单的扩展。生成器使用三部分目标函数，包括图像匹配项、鼓励变形平滑和中心性的惩罚项，以及鼓励移动图像的真实性的对抗项。对于匹配，我们使用平方局部归一化互相关（LNCC）目标，遵循标准的医学图像分析原理，要求在局部窗口中进行强度标准化[9]。对于变形正则化，我们遵循[23]并采用 Reg ( φ ) = λ 1∥ ¯ u ∥ 2 2 + λ 20p ∈ Ω ∥ u ( p ) ∥ 2 2 ，其中 u 表示空间位移，使得 φ =Id + u ，而 ¯ u = 1 n0p ∈ Ω u ( p )是估计的空间位移的移动平均值。简而言之，第一项导致整个数据集的小变形，而第二项和第三项分别鼓励平滑和小的个体变形。用于训练生成器和判别器网络的对抗项对应于最小二乘GAN[61]目标，选择它是因为相对稳定。总体生成器损失可以总结为 L = L LNCC + λ reg Reg ( φ )+ λ GAN L GAN，其中我们使用 λ GAN = 0.1 和 λ reg = [ λ 1 , λ 2 , λ 3 ]= [1 , 1 ,0.01]，与[23]中相同。对于判别器，我们采用了几种正则化形式，如下所述。GAN稳定化。生成对抗训练在图像分辨率较低、批量大小较大、网络规模较大和样本大小较大时稳定并改进[15]。然而，在神经影像学中情况相反，因为图像是较大的体积，GPU内存限制训练配置为低批量大小和小网络，并且医学影像研究中的样本大小通常只有几百个。0扫描，因此需要进行仔细的稳定处理。我们对两个网络都施加1-Lipschitz约束，并在每一层上使用谱归一化[63]，这已被证明可以稳定训练并改善梯度反馈到生成器[22]。我们还在鉴别器上使用了R1梯度惩罚[62]，这可以强烈稳定GAN训练，定义为R1 = γ。02 E x � P real [ ∥� D ( x ) ∥ 2 2 其中 γ 是惩罚权重，P real是真实分布，D是鉴别器。由于鉴别器在有限数据上的过拟合是GAN不稳定的一个关键原因，我们在训练鉴别器时进一步使用可微分的数据增强[48, 90, 100,101]，同时应用于真实图像和合成图像。我们对所有数据集进行随机平移，并从二维图像和三维体积中的二面体D4和（D4h的一个子集）中进行采样。有趣的是，亮度/对比度/饱和度鉴别器增强会导致神经影像数据集的训练崩溃，但在二维RGB人脸数据集上发现可以改善训练效果。04. 实验04.1. 数据集0dHCP.发育人类连接组计划（dHCP）提供了一个新生儿数据集，这些新生儿在出生时进行了成像，孕周范围为29-45周，因此显示出快速的周到周结构变化[41]。在dHCP上进行时空模板估计具有挑战性，因为早产导致皮层折叠减少，同时出血、高信号区和病变的发生率增加[66]。对于年龄条件的模板构建，我们使用dHCP发布2中的所有558个T2wMR图像，经过[60]中描述的方法进行预处理和分割。图像经过仿射对齐到一个构建的仿射模板，并在主体级别进行分割（考虑到双胞胎和重复扫描）。因此，训练集、验证集和测试集分别包含458、15和85个扫描。7.0×105.5.05.5.0.5.0.5White matter×1057.57.06.56.05.58.0Cerebellum×1051.11.00.90.80.71.20.6Brainstem×1043.23.02.82.62.43.4Hippocampi&Amygdala×1041.31.21.11.00.9Ventricles×104765432130323436384042443032343638404244303234363840424430323436384042443032343638404244303234363840424434363842443537454341VXM(Reg)VXM (Reg+Adv)Ours (Reg+Adv)Ours (Reg)00000000VXMAblation/VXM+AdvOursAblation/noAdvData/TrainData/TestVXMAblation/VXM+AdvAblation/noAdvOursData/TrainData/TestVXMAblation/VXM+AdvAblation/noAdvOursData/TrainData/TestVXMAblation/VXM+AdvAblation/noAdvOursData/TrainData/TestVXMAblation/VXM+AdvAblation/noAdvOursData/TrainData/TestVXMAblation/VXM+AdvAblation/noAdvOursData/TrainData/TestVXMAblation/VXM+AdvAblation/noAdvOurs39330图3. 年龄条件的dHCP模板与[59]获得的模板分割一起展示。底部一行展示了代表性的真实图像和分割结果。0皮层灰质0体素数量平均变形0年龄（周）0图4.顶部：所有方法的dHCP模板分割的体积趋势与底层训练（紫色）和测试（棕色）集的体积趋势重叠。底部：所有条件方法对保留的测试数据的平均变形范数（越低越好）。0VXM0Predict-HD.我们使用一种纵向多中心和多扫描仪的数据库，其中包含健康对照组和亨廷顿病（HD）患者的数据[13,73]。HD是一种（通常是）成年发病的进行性神经退行性疾病，影响运动控制和认知能力[94]，从而显著改变了脑形态。我们根据年龄和HD基因突变的存在构建模板。我们使用了来自388个个体的1117个T1wMR图像，经过仿射对齐到MNI[33]。图像预处理的描述见[74]。0并且图像分割是半自动进行的，标签对应于Neuromorphometrics模板[1]。我们使用了897、30和190张图像进行训练、验证和测试，按主体级别进行划分。0FFHQ-Aging.人脸图像被用作分析模板构建的各种定性方面的实验工具[10]。我们使用FFHQ-Aging[69]，这是一个包含70,000张真实世界人脸图像的数据库，提供与（分组的）年龄、性别和是否佩戴眼镜相对应的标签。FFHQ[49]在年龄、头部姿势和配饰（例如帽子）方面具有显著的变化。5.54.53.54.03.0×10330354045505560303540455055601.00.80.6.6105.2.01.2×1021.11.0.6103.4.0.2VXMAblation/VXM+AdvOursAblation/noAdvVXM-HDVXM-CSAblation/VXM+Adv-HDAblation/VXM+Adv-CSAblation/noAdv-HDAblation/noAdv-CSOurs-HDOurs-CS39340体素平均变形0(a) 对照组 (CS) (b) 亨廷顿病 (HD) 27.5 32.5 37.5 42.5 47.5 52.5 57.5 62.50MeanDeformation0尾状核0脑脊液 尾状核0苍白球0真实图像0年龄（岁）022.5岁 42.5岁 62.5岁 82.5岁 22.5岁 42.5岁 62.5岁 82.5岁0体素数量体素数量0消融VXM+Adv我们的消融无Adv0图5.左图：Predict-HD的年龄和队列条件模板，底部一行显示了代表性的真实图像。右上图：亨廷顿病感兴趣结构的队列间体积趋势。右下图：所有条件方法对保留的测试数据的平均变形范数（值越低越好）。0与CelebA[57]等数据集相比，FFHQ-Aging数据集的图像具有更高的分辨率（1024×1024）和更多的变化（例如，表情和服装），因此是一个重大挑战。我们将训练图像调整为128×128，并使用年龄、性别和是否佩戴眼镜作为输入条件。FFHQ-Aging是一个具有挑战性的数据集，因为拓扑变化（例如，嘴巴张开或闭合）使得对于此类图像，微分同胚变形成为一类严重受限的变换。04.2. 基线和评估策略0基线和消融。我们首先与广泛使用的无条件模板构建算法SyGN[10]进行比较，该算法在ANTs库[92]中实现。然后，我们与一个用于条件和无条件模板估计的深度网络VXM[23]进行比较，该网络在其原始目标下进行训练。为了从VXM中分离出我们的核心差异，我们对所有设置使用相同的配准网络。我们使用消融变体来研究将鉴别器网络添加到原始框架（消融/VXM+Adv）或仅在正则化配准成本下训练我们的架构而没有鉴别器（消融/noAdv）是否会带来与我们的组合框架（包括两个架构变化和鉴别器网络）相似的改进。由于消融/noAdv是对Ours的消融，它在模板生成分支中保留了谱归一化，当在没有对抗成本的情况下训练时，这可能会不必要地阻碍其性能。我们不与传统优化的时空模板构建方法进行比较，因为据我们所知，没有一种方法可以在不同的图像集（即新生儿T2 MRI、成人T1MRI和RGB人脸）上通用应用。0对于任意协变量的计数，通常需要大量的计算资源和领域知识。评估。构建的模板很难评估，因为通常希望具有竞争性的属性。例如，弱变形正则化可以实现模板与目标图像的精确匹配，但会产生解剖学上不可能的变形幅度和不规则性，而强正则化可以提供更小和更集中的变形，但会产生较差的对齐[88]。我们认为，理想的模板应同时具有增加的清晰度、准确的对齐和小而平滑的变形。我们使用熵聚焦准则[6]遵循标准方法来量化模板/MRI清晰度[29, 47, 56,76]。为了评估配准质量和中心性，我们遵循[23]中定义的评估协议，在保留的测试数据上进行评估，包括：（1）从模板变形到目标的分割标签的平均Dice系数，对应于配准精度；（2）形变场的雅可比矩阵Jφ(p)的平均行列式，其中|Jφ(p)| ≤ 0表示形变场的局部折叠，|Jφ(p)| �1表示平滑的局部变形；（3）到目标图像的平均变形范数，较低的值表示在相同的配准精度下改善了模板的中心性。最后，我们估计在训练迭代中累积的变形的移动平均范数，较低的值对应于增加的中心性。考虑到训练集和测试集年龄分布之间存在显著差异，因此定量的配准评估是在子集上进行的。39350表1.对所有方法的神经影像数据进行定量评估，包括对测试数据的平均Dice分数、训练过程中累积移动平均变形的规范、熵聚焦准则（EFC）、对测试数据的平均Jacobian行列式和平均变形规范。所有深度网络方法的Dice和Jacobian行列式都具有可比性，我们的方法（Ours）在模板质量方面相比基准VXM有所改进，如锐度和变形中心性。0设置方法 平均Dice（↑）∥Mov. Def∥（↓）EFC（↓）平均|Jφ|平均∥Def∥（↓）0无条件性0Predict-HD0ANTs SyGN 0.75 ± 0.01 - 0.882 1.0000 ± 0.0000 4601 ± 542 VXM 0.76 ± 0.02 238.83 0.872 0.9987 ±0.0016 4029 ± 296 切除/VXM+Adv 0.77 ± 0.02 209.42 0.868 0.9986 ± 0.0014 3919 ± 289 切除/无Adv0.77 ± 0.02 271.00 0.864 0.9979 ± 0.0015 4096 ± 315 我们的方法 0.77 ± 0.02 224.68 0.863 0.9987 ±0.0013 3872 ± 2910无条件性0dHCP0ANTs SyGN 0.86 ± 0.01 - 0.872 1.0000 ± 0.0000 2687 ± 345 VXM 0.88 ± 0.01 251.48 0.894 0.9992 ±0.0013 3883 ± 239 切除/VXM+Adv 0.88 ± 0.01 261.36 0.872 0.9993 ± 0.0014 4029 ± 234 切除/无Adv0.88 ± 0.01 285.55 0.894 0.9980 ± 0.0013 3987 ± 257 我们的方法 0.87 ± 0.01 250.27 0.871 0.9987 ±0.0012 3815 ± 2320条件性0Predict-HD0VXM 0.75 ± 0.02 221.68 0.871 ± 0.004 0.9987 ± 0.0013 3867 ± 252 切除/VXM+Adv 0.75 ± 0.02208.61 0.863 ± 0.004 0.9987 ± 0.0014 3975 ± 286 切除/无Adv 0.75 ± 0.02 199.39 0.874 ± 0.0050.9987 ± 0.0013 3755 ± 253 我们的方法 0.75 ± 0.02 175.01 0.863 ± 0.007 0.9991 ± 0.0013 3756 ± 2580条件性0dHCP0VXM 0.87 ± 0.01 240.79 0.901 ± 0.006 1.0001 ± 0.0013 3844 ± 230 切除/VXM+Adv 0.87 ± 0.01215.90 0.887 ± 0.009 0.9991 ± 0.0012 3823 ± 239 切除/无Adv 0.86 ± 0.03 177.81 0.903 ± 0.0070.9990 ± 0.0015 3666 ± 237 我们的方法 0.87 ± 0.01 167.62 0.885 ± 0.009 0.9994 ± 0.0013 3609 ± 2260整个年龄范围。对于Dice评估，Predict-HD模板分割遵循[23]，dHCP模板使用[59]进行分割。更多细节请参见附录。04.3. 实现细节0我们对3D神经影像使用批量大小为1，对2D平面影像使用批量大小为32。由于所有考虑的数据集都具有高度不平衡的年龄分布，我们在有条件训练时更频繁地采样少数时间点。我们没有针对特定数据集选择超参数，除了用于GAN稳定性的R1正则化，其中Predict-HD、dHCP和FFHQ-Aging分别使用γ = 5 × 10^(-4)、10^(-3)和5 ×10^(-3)，对应于它们各自的稳定性要求。为了公平比较，与注册相关的超参数和架构与所有深度网络的建议设置相匹配。所有架构和其他设计选择的详细信息请参见附录。04.4. 结果和分析0图2显示了dHCP和Predict-HD的无条件模板，突出显示采用对抗方法可以得到更准确的解剖模板。例如，在Predict-HD模板的矢状视图中（底部行），当使用对抗正则化时，我们可以更清楚地观察到红色插图中的解剖结构，而先前的方法无法做到。SyGN无法解决显示高频变形的结构。0由于其依赖于平均对齐的强度和形状，因此在无条件模板中，我们观察到所提出的方法与其简化版本Ablation/VXM+Adv之间存在微妙的差异，具体取决于它们的预期用途。Ablation/VXM+Adv的训练速度更快，因为其模板生成分支不使用3D卷积。相反，我们的方法消除了以前方法生成的微妙的棋盘格图案。有趣的是，无条件的Ablation/noAdv产生的平均移动变形幅度比其他深度网络方法更大（表1），这表明对抗性目标对于此设置获得最佳结果是必要的。然而，对条件模板估计的后续分析揭示了这些方法之间的显著差异。图3提供了dHCP的样本年龄条件模板以及解剖分割。使用输入连接架构进行模板生成的方法（VXM和Ablation/VXM+Adv）在该数据集中对周周发展变化欠拟合，而条件调制架构（Ablation/noAdv和Ours）可以生成紧密跟随数据潜在趋势的模板。图4进一步显示了条件调制模型更好地表示了留存测试集的体积变化（顶行），同时显示了改进的中心性（底行）。与Ablation/noAdv相比，完整的框架（Ours）更好地适应了时空图像3-67-910-14 15-19 20-29 30-49 40-49 50-6970+0-23-67-910-14 15-19 20-29 30-49 40-49 50-69VXMAblationVXM+AdvOursAblation noAdvLinear Average39360年龄（岁）0FFHQ-Aging女性模板 FFHQ-Aging男性模板0图6. 使用我们的框架显示的年龄和队列条件FFHQ模板，显示了定性改进的感知保真度。0对比度更强，显示出轻微改善的中心性（表1）。我们强调，训练和测试图像体积对应于仿射预对齐数据，因此反映了仿射模板空间中的相对体积。我们观察到Predict-HD的Figure5（左侧）也呈现出类似的趋势。虽然VXM和Ablation/VXM+Adv生成的年龄和队列条件模板显示出微妙的几何变化，但我们的完整框架观察到更强的时空变化和数据相似性（比较虚线框内脑室的变化）。Predict-HD的测试集变形幅度的类似改善在箱线图中显示（右下角）。与对照组相比，与亨廷顿病相关区域的分割模板的体积趋势在右上方显示，如亨廷顿突变组的脑室体积较大，基底神经节体积较小。图6展示了定性的FFHQ-Aging模板。第一行显示了训练集的条件线性平均值。与上述方法一样，没有对抗性损失训练的方法（第2行和第4行）能够正确学习时空变化，而使用对抗性损失训练的方法（第3行和第5行）呈现出更强的外观变化，并提供了改进的模板感知能力，例如消除男性队列中的边界伪影。我们的方法进一步消除了女性队列中的边界伪影，并增加了形状变化和感知保真度（左下方行）。FFHQ-Aging模板构建的进一步分析在附录中呈现。表1总结了定量结果。所有方法都达到了可比的Dice系数，并产生了平滑的变形（|Jφ|�1）。然而，所提出的技术通常在锐度（较低的熵聚焦标准）和中心性（较低的变形范数）方面表现出更好的性能，同时显示出等效的配准性能，表明构建的模板更具重心表示数据。我们强调，无条件和有条件设置之间的Dice系数不能直接进行比较，因为模板分割是不同的。0通过不同的方法获得了不同的结果。最后，EFC的解释需要谨慎。虽然数值差异微小，但EFC的范围更为有限。例如，我们方法中对Predict-HD无条件模板进行高斯滤波（σ =1），仅将EFC从0.86增加到0.88，表明较小的变化是有意义的。条件EFC表明，使用鉴别器显著改善了扫描年龄的清晰度（VXM和Ours两个数据集之间的p值<10-5），通过附录中给出的时间EFC图来解释趋势最好。05. 结论0使用随机梯度下降和深度网络构建条件可变形模板的显式方法是一种有效和灵活的图像人群建模工具。在这项工作中，我们采用生成综合方法来进行显式模板估计，通过构建一个能够在对生成对抗网络具有挑战性的数据集上进行训练的框架。所得到的模板清晰易于区分，更能代表潜在的人口统计特征，并且与发育过程中的典型成像和神经退行性成像相吻合。最后，尽管这项工作是从神经影像学的角度出发的，但它适用于通用成像模态。0致谢0本工作得到了NIHNS050568、R01EB021391、1R01AG064027、1R01HD088125-01A1、1R01DA038215-01A1、U01NS082086、1R01AG064027、R01HD055741、1R01MH118362、1R34DA050287、R01MH122447、R01ES032294和NSFMRI1229185的支持。Predict-HD分割由爱荷华大学提供。dHCP由欧盟第七框架计划（FP/2007-13）/ERC GrantAgreement 319456资助。[1] Neuromorphometrics,Inc.http://www.neuromorphometrics.com/.[2] St´ephanie Allassonni`ere, Yali Amit, and Alain Trouv´e.Towards a coherent statistical framework for dense de-formable template estimation. Journal of the Royal Statisti-cal Society: Series B (Statistical Methodology), 69(1):3–29,2007.[3] ANTsX. Fix sharpening artifacts in template construction· issue 956.https://github.com/ANTsX/ANTs/issues/956.[4] Vincent Arsigny, Olivier Commowick, Xavier Pennec, andNicholas Ayache.A log-euclidean framework for statis-tics on diffeomorphisms. In Rasmus Larsen, Mads Nielsen,and Jon Sporring, editors, Medical Image Computing andComputer-Assisted Intervention – MICCAI 2006, pages924–931, Berlin, Heidelberg, 2006. Springer Berlin Hei-delberg.[5] John Ashburner. A fast diffeomorphic image registrationalgorithm. NeuroImage, 38(1):95 – 113, 2007.[6] D. Atkinson, D. L. G. Hill, P. N. R. Stoyle, P. E. Summers,and S. F. Keevil. Automatic correction of motion artifactsin magnetic resonance images using an entropy focus crite-rion. IEEE Transactions on Medical Imaging, 16(6):903–910, 1997.[7] Brian Avants and James C Gee. Geodesic estimation forlarge deformation anatomical shape averaging and interpo-lation. Neuroimage, 23:S139–S150, 2004.[8] Brian B Avants,