医学成像中的数据高效形状模型

158610ImplicitAtlas：在医学成像中学习可变形形状模板0Jiancheng Yang 1,2 Udaranga Wickramasinghe 2 Bingbing Ni 1* Pascal Fua 201 上海交通大学，中国上海 2 EPFL，瑞士洛桑0摘要0深度隐式形状模型在计算机视觉领域得到了广泛应用，但在生物医学应用中却不太常见。这部分原因是因为缺乏大型训练数据库，另一部分原因是生物医学注释通常存在噪声。在本文中，我们展示了通过在深度学习流程中引入模板，我们可以克服这些问题。所提出的框架名为ImplicitAtlas，它将形状表示为从学习到的模板场到变形场的变形，其中可以集成多个模板以提高形状表示能力，而计算成本几乎可以忽略不计。对三个医学形状数据集的大量实验证明了其相对于当前隐式表示方法的优越性。01. 引言0形状建模是医学图像分析的核心，为此已经使用了许多不同的表面表示方法[16, 36]。近年来，深度隐式表面[8, 38,44]已经成为一种强大的替代方法。这在计算机视觉领域尤其如此，但在生物医学成像领域却不太明显。这归因于生物医学数据集所带来的特定挑战[27,56]：对于制造的物体，存在大量的数据集[6,31]可用于形状模型的训练。但对于医学成像中的许多感兴趣的物体，如器官和病变的形状，这些数据集并不存在。即使存在医学图像和相应的3D模型，由于精确注释的复杂性和成本，这些模型的质量要低得多。此外，在单个数据集中，空间分辨率很少是恒定的，通常是各向异性的。人为错误可能导致标签噪声，器官边界常常由于成像过程的限制而被裁剪。图2说明了其中的一些困难。为了解决这些问题，我们提出了一种用于医学成像的数据高效隐式形状模型ImplicitAtlas。在训练过程中，我们采用离散网格上表示的示例。0* 通讯作者。0变形0学习多个模板 选择模板 变形模板0医学形状0形状补全0数据高效形状模型0应用0密集对应0选择0图1.ImplicitAtlas。我们提出了一种用于医学成像的数据高效形状模型。它通过变形多个学习到的模板之一来表示形状。0作为输入，最常见的是生物医学成像中的表示方法，模型输出连续的占据网格。在这里，隐式函数学习多个模板，这些模板可以通过另一个隐式函数进行非刚性变形。与多模板分割[21,58]类似，模板使我们的方法更好地处理有限的训练数据，并且对标签噪声不敏感。多个模板可以通过直通估计器（STE）[3]在端到端的方式中进行学习，计算成本几乎可以忽略不计。最后，为了进一步提高数据效率，我们引入了卷积隐式函数[9, 45]来提取多尺度特征。0为了证明 ImplicitAtlas的有效性，我们在肝脏、海马和胰腺三个医学形状数据集上进行了大量实验。我们的方法在训练少样本学习设置下，相对于当前基于隐式表示的方法[12, 38, 45,72]有显著的优势。我们还展示了几个潜在的应用，例如根据用户提供的点注释进行形状补全和关键点标记。158620离散网格 不完整边界 标签噪声0图2.生物医学形状中的常见伪影。由于医学形状在图像堆栈中进行注释，它们通常以离散网格的形式表示。注释通常包括标签噪声和不完整的边界。0通过学习密集对应关系进行标记。尽管生物医学数据集带来了挑战，但所提出的隐式方法通过允许它们从训练数据中学习多个模板，并选择一个模板来重建特定的器官，变得非常有效。02. 相关工作0基于CNN的体积方法，如U-Net及其变种[10, 22, 40,53]，现在主导着生物医学图像分割。这可以从CHAOS挑战[29]和医学分割十项全能赛[24]的结果中看出。两个比赛的获胜者都使用了依赖于体积CNN的方法集合来处理传统的体积图像分割问题。然而，在实践中，生物医学图像分割远未解决。例如，保留几何和拓扑结构仍然很困难。与此同时，体积可以准确恢复，但获得高质量的表面仍然很困难。这些挑战凸显了医学图像分析中形状建模的重要性[16,36]，包括医学图像分割[33, 50, 55,59]，计算机辅助诊断[4, 59, 71]和计算解剖学[5]。0显式表示。由于医学图像中的形状通常在由计算机断层扫描（CT）和磁共振成像（MRI）等获得的离散网格上进行注释，大多数现有技术[33, 50, 55, 59,64]依赖于体素表示。作为2D像素网格的3D扩展，体素神经网络可以通过扩展相应的2D版本（例如3D UNet[11]）与3D卷积或使用复杂的运算符[67-69]来开发。然而，它们对于相对较低的空间分辨率具有较高的内存需求。因此，还探索了几何数据结构，如点云和网格。点云在感知和处理方面轻巧灵活[7, 23, 48,70]。它们适合提取语义信息[18, 19,66]，但无法捕捉拓扑结构。从点云中恢复表面是一个非平凡的问题。0这需要精细的技术[15,41]。三角化网格允许对高保真度表面进行内存高效处理[14,28, 61,62]，但更改其拓扑结构是非平凡的。虽然有为此目的设计的算法[37]，但它们需要不适用于一般情况的特定启发式方法。0隐式表示。最近，隐式表示[8, 38,44]在基于深度学习的3D计算机视觉中变得越来越流行。它们将3D形状表示为连续3D场中的等值面，该场由深度网络参数化。由于其灵活性、内存效率和能够以任何分辨率表示任何拓扑结构的能力，隐式表示不仅在形状方面得到广泛研究，还在外观[39]和场景[42]建模方面得到广泛研究。然而，在医学图像分析中，它们尚未取得重大进展。在该领域中，只有少数几项研究可以在[49]中找到。但它侧重于使用现有的隐式表示方法改进医学图像分割。相反，我们专注于高质量的隐式表示方法，以解决在生物医学成像领域开发隐式场的困难。隐式方法的匮乏可以归因于生物医学图像处理中的特定挑战：很少有大型数据库可用，注释通常不准确。长期以来，使用图谱和模板进行形状建模一直被认为是解决这些问题的好方法，我们在下面讨论它们。0图谱和模板。概率图谱广泛用于基于图谱的图像分割[21,58]，因为它们是处理生物医学图像中的噪声的优秀手段。随着深度学习的出现，图谱已经被整合到卷积神经网络中[2,13, 20,54]。所有这些方法都依赖于预先计算的图谱。它们是通过融合多个手动注释的图像创建的；图谱还必须与目标图像进行预注册，以将其与感兴趣的结构对齐。在[60]中，尝试使用可以自动对齐和变形以匹配目标结构的图谱。另一方面，在[12,72]中，模板与隐式曲面结合使用。这涉及使用隐式方法来预测围绕模板的变形，其中变形和模板都以隐式方式参数化。然而，这些方法是针对大型训练数据集开发的，并且数据效率不是主要关注点。两者都依赖于不引入空间降维偏差的MLP解码器，而不像卷积解码器那样[45]。此外，这些方法只能自动学习一个隐式模板，而本文的一个核心论点是多个隐式模板是有益的。1586303. 方法论0在本节中，我们首先简要回顾深度隐式形状表示。然后介绍我们的模型、相应的架构和训练方法。03.1. 背景：深度隐式曲面0隐式形状表示[8, 38,44]通过将3D坐标映射到形状指示器（通常是占据或有符号/无符号距离）来建模形状。在这项工作中，我们使用后者。对于形状S，这种映射表示为0F(h, p) = o: Rc × R3 → R, (1)0其中h是一个c维潜在向量，编码S，p(x, y, z) ∈R3是一个查询点，F由一个深度网络实现，输出占据概率o∈ [0,1]。对于p在S内，o应该接近1，否则为0。给定一个训练集，F和与每个形状对应的向量h可以通过多种方式学习。在这里，我们使用了类似于[38]中的自动解码方法，其中h被视为可学习的参数，并与F的参数一起进行优化。除了直接输出形状指示器的方法外，还有将形状视为从模板变形的研究[12, 72]。F被重写为T和D的复合函数，即0F(h, p) = T(D(h, p)), (2)0其中D: Rc × R3 →R3是一个将查询点p映射到新坐标p'的函数，T: R3 →R是一个学习到的隐式函数，起到与Eq.1中的F相同的作用，但只学习一个形状。D可以以多种方式实现，包括加性变形[12]或逐点仿射变换[72]。在这个公式中，T起到模板的作用，因为它编码了从训练形状中学习到的形状先验知识。值得注意的是，由于所有变形后的坐标都与模板对齐，因此可以轻松建立形状之间的密集对应关系。03.2. 模型流程0尽管早于深度学习时代，多图谱技术[21,58]在处理有限数据和标签噪声方面表现良好。我们将它们转化为我们的框架，如图3(a)所示。给定Eq.2的表达式，我们将T作为隐式模板网络(T)，将D作为隐式变形网络，Eq. 2被重写为0F(h, p) = T(t(h), p + D(d(h), p)), (3)0其中t和d是h的不同函数向量，D的输出是变形（而不是Eq.2中的变形坐标）。注意，T现在有一个额外的参数，我们将使用它来选择多个可能的模板之一。这种设计使得0学习多个模板并改进我们的模型的表示能力，超过了之前的工作[12, 72]。0模板选择。我们引入一个可学习参数矩阵T∈Rm×c，其中m表示模板的数量，c是潜在向量的维度。通过从T中选择一行向量t并将其馈送到隐式函数(T)来实现模板选择。t被视为0s = MLP(h) ∈ Rm, (4)0其中STE-Softmax是带有直通估计器[3]的softmax函数：softmax在前向传播中被“硬化”为one-hot编码，但在反向传播中直接取one-hot的梯度。这可以看作是用于分类分布的重新参数化[30]。STE-Softmax可以被Gumbel-Softmax[26,35]替代，理论上应该为分类重新参数化提供更平滑的梯度。然而，在我们的实验中，这并没有什么区别。0估计变形。方程3中的变量d0控制查询点p处的变形，我们将其视为逐点加性变形：p →p + D(d(h),p)。由于医学形状是在离散网格中表示的，p被实现为一个网格P∈RD×H×W×3，其中D×H×W表示空间尺寸。03.3. 网络架构0多层感知机 (MLPs) 已成为参数化深度隐式函数的流行选择[8, 12, 38, 44,72]。不幸的是，这些MLPs往往对数据需求量很大。因此，我们使用了卷积解码器，就像ConvONet[45]中一样。如图3(b)所示，潜在向量——在我们的方法中可以是t或d——首先通过卷积和上采样层转换为多尺度特征图，然后通过三线性插值[25]将查询点p的特征作为其坐标的函数获得。我们不仅仅像[45]那样只使用最终的特征图，还从几个分辨率的特征图中提取多尺度特征，就像[9]中那样。最后，将坐标和编码局部和全局语义信息的结果特征连接起来，输入到一个小型MLP中生成输出。多尺度特征使得模型对数据需求量较小，而不仅仅依赖于纯MLPs。T和D使用相同的卷积解码器实现，只有最后一层不同。T有一个输出通道，D有三个输出通道。每个卷积块都是卷积层、组归一化[63]和泄漏ReLU激活[65]的堆叠。第一个上采样层采用像素洗牌[52]实现。更多实现细节可以在补充材料中找到。LinearPixel ShuffleConvolutionUpsample+AddSTESoftmaxInterpolateInterpolateInterpolateInterpolateMLP3.4. Model Training158640潜在特征0坐标  � = (�, �, �)0MLP输出0空间特征0局部特征0全局特征0卷积0解码器0卷积0解码器0潜在0变形  �0均匀网格0�×�×�×30变形后的网格0�×�×�×30变形场0�×�×�×30潜在编码  �0占据场0�×�×�×10隐式变形网络0隐式模板网络 (a) (b)0图3.  ImplicitAtlas 概述。 (a)模型流程。该模型由隐式模板网络(T)和隐式变形网络(D)组成。给定潜在编码h，通过STE-Softmax选择一个潜在模板t，使用T生成模板。它还产生一个潜在变形d，使用D从模板生成变形场。它们组合在一起产生占据场，这是最终的输出。(b)解码器的网络架构。给定一个潜在特征，它以卷积方式构建多尺度特征图。对于查询坐标p = (x, y,z)，它通过在多尺度特征图上插值来聚合局部和全局特征。最后，将坐标和插值特征输入到MLP中进行最终输出。0由于我们采用占用形式，最小化的主要任务损失是二进制交叉熵，03.4. 模型训练0N0L Task = -10其中N是采样点的数量，o和ˆo分别是预测和真实占用。鉴于我们使用自动解码方法[44]来学习潜在向量，并且使用这些潜在编码来自高斯先验分布，我们添加正则化惩罚项。0L2 = ||h||2，（6）0其中||∙||2表示l2范数。为了在有限数据训练时进一步正则化模型，我们定义了两个额外的正则化项：Laplacian平滑性（L LS ）和变形惩罚（L DP ），表示为：0L LS = 10N0∑0w ∈{ x,y,z } ||F w +1 + F w - 1 - 2 Fw ||2，0L DP = max ||D||2 + 10N0||D||2，（7）0其中F x是F(h, (x, y, z))的简写，y和z类似，D是D(h, p)的简写。最小化L LS有利于产生空间平滑的输出，而最小化L DP限制了变形，使得T必须学习更多细节。在训练过程中，我们均匀采样一个低分辨率的网格˜P ∈ R˜D × ˜H × ˜W ×3，其分辨率低于感兴趣的体积。在本研究中，对于128³的形状，我们采样32³的网格0器官 # 已知 # 未知 注释模态0肝脏 111 20 门静脉期CT 海马 221 39 单模态MRI 胰腺 238 43门静脉期CT0表1.肝脏、海马和胰腺的数据集。已知（训练）和未知（测试）形状基于医学分割十项全能[1]中的器官分割。0在训练过程中，我们对网格中的每个点添加随机噪声，并在感兴趣的全分辨率体积中采样其占用的真实值。这种子网格技术在内存和时间方面显著降低了训练成本。此外，由于我们在均匀网格上采样查询点，可以使用自定义核进行高效的三维卷积来计算L LS 。L DP 在网格上计算。04. 实验0我们现在定量和定性地评估我们的ImplicitAtlas方法。04.1. 数据集0在我们的实验中，我们使用了医学分割十项全能（MSD）[1]，这可能是迄今为止最大和最全面的医学图像分割数据集。它是由10个医学图像数据集组成，使用多种不同的模态成像了几个器官。为了在许多不同条件下测试我们的方法，我们尝试了三个具有不同挑战的器官：肝脏（一个具有复杂形状的大器官）158650方法 肝脏（K） 海马（K） 胰腺（K） 肝脏（U） 海马（U） 胰腺（U）0DSC NSD DSC NSD DSC NSD DSC NSD DSC NSD DSC NSD0MLP解码器[38, 44] 96.32 95.20 93.21 91.50 94.83 95.55 93.12 71.23 90.20 63.05 89.46 65.15 + 模板[12, 72] 97.77 97.65 93.99 92.00 95.8996.54 94.26 81.28 91.89 67.92 90.32 71.65 Conv解码器[9, 45] 98.47 98.19 94.88 92.64 95.54 96.18 96.61 86.12 93.27 75.87 92.22 80.140ImplicitAtlas 98.58 98.69 96.42 94.72 96.85 97.30 96.59 85.95 93.54 76.99 93.38 81.11 ImplicitAtlas + reg. 98.50 98.33 96.09 92.85 96.7697.03 96.72 86.90 93.99 77.47 93.31 80.920表2.已知（K）和未知（U）形状的重建准确性。准确性以DSC（%，↑）和NSD（%，↑）指标表示。reg.：具有Laplacian平滑性和变形惩罚的正则化。0尾巴;海马，一个小器官;胰腺，一个可以以不同姿势看到的软组织器官。由于注释仅适用于官方训练集，我们将数据分为已知（训练）和未知（测试）形状，每个器官都是如此。所有器官的注释都使用器官分割的边界框进行裁剪，并通过样条插值调整为固定大小的128^3。表1总结了三个结果数据集的基本信息。04.2. 基准方法0大多数当前的形状表示方法是在CAD模型或场景上进行训练，而不是在生物医学形状上进行训练。为了公平比较，我们重新实现了它们，并在我们的数据集上进行了训练。网络的大小选择与我们使用的相似。在所有情况下，我们使用相同的训练和推理过程。实施了以下基准方法：0MLP解码器。由于MLP的简单性和灵活性，许多算法[8, 38,44]使用它们作为解码器。我们的MLP基线使用DeepSDF[44]的架构。0MLP解码器 + 模板。最近依赖于模板[12,72]的算法使用不同的基于MLP的网络架构和变形公式。为了使比较有意义，我们实现了一个基于方程3的基线，其中T和D使用相同的MLP架构实现，这是[12]中所做的复制。0卷积解码器。这个问题与依赖于卷积隐式场[9,45]的早期方法相同。为了比较，我们实现了一个基于方程1的基线，使用与我们的解码器相同的架构。04.3. 表示已知和未知形状0我们首先介绍我们的实验过程，然后分析重建结果和消融研究。0实验设置。与之前的工作[12, 44,72]一样，我们首先评估我们的模型对编码已知和未知形状的表示能力。我们为肝脏、海马和胰腺训练了三个单独的模型。然后我们评估训练集上的重建质量。0并且将训练集和测试集分开。前者被视为已知（K）形状的集合，后者被视为未知（U）形状的集合。对于前者，重建是在自动解码训练过程中进行的。对于后者，我们优化随机初始化的潜在编码h以重建具有固定模型权重的形状。除非另有说明，我们在我们的方法中使用m =5个模板。对于所有情况，使用一组固定的损失权重：L2为10^-3，LLS为10^-3，LDP为10^-2。我们在补充材料中详细介绍了训练和重建过程的其他细节。0度量标准。为了评估真实值和预测重建之间的形状相似性，我们使用Dice相似系数（DSC）和归一化表面Dice（NSD）[43]，它们是医学成像文献中使用的标准度量标准。它们的定义如下：0DSC(O, ˆO) = 0|O| + |ˆO|, (8)0NSD(O, ˆO) = |∂O ∩ BB(τ)∂O|0|∂O| + |∂ˆO|, (9)0其中 O ∈ RD×H×W 和 ˆO ∈ RD×H×W分别是体积的预测重建和真实值，B(τ)∂V = {x ∈ R3 | �˜x ∈∂V, ||x − ˜x||2 ≤ τ}表示表面∂V在容差τ下的边界区域。这里我们取τ =1。从概念上讲，DSC和NSD都是在[0,1]范围内的IoU类似度量（数值越高越好）：DSC衡量体积重叠，而NSD衡量表面重叠。0结果。我们将ImplicitAtlas的两个版本与基线方法进行比较，其中一个版本包含方程7的正则化项，另一个版本不包含。结果报告在表2中。纯MLP解码器在表面度量（NSD）方面表现不佳，但通过使用基于模板的方法可以改善。卷积解码器显著提高了形状表示能力，这表明对医学形状来说，空间约束偏差的重要性。我们依赖于多个可变形模板的方法进一步提高了性能。所提出的正则化项在已知形状上降低了准确性，在未知形状上提高了准确性，除了一个特例。158660D MT L LS L DP 肝脏（K） 海马（K） 胰腺（K） 肝脏（U） 海马（U） 胰腺（U）0DSC NSD DSC NSD DSC NSD DSC NSD DSC NSD DSC NSD0� 98.22 98.01 95.62 91.17 96.15 95.62 96.52 85.43 93.18 74.54 90.61 74.43 � 82.65 26.18 80.13 30.98 55.39 15.66 79.24 22.42 76.82 27.21 51.6414.16 � � 98.58 98.69 96.42 94.72 96.85 97.30 96.59 85.95 93.54 76.99 93.38 81.11 � � � 98.53 98.46 96.28 93.33 96.81 97.11 96.45 85.58 93.62 77.0193.01 80.35 � � � 98.52 98.42 96.32 93.10 96.91 97.77 96.69 86.21 93.79 77.13 94.11 82.04 � � � � 98.50 98.33 96.09 92.85 96.76 97.03 96.72 86.9093.99 77.47 93.31 80.920表3. ImplicitAtlas设计在已知（K）和未知（U）形状上的消融研究。D: 变形。MT: 多个模板（m=5）。L LS:具有拉普拉斯平滑性的正则化。L DP:具有变形惩罚的正则化。性能以DSC（%，↑）和NSD（%，↑）指标评估。请注意，仅MT（不包括D）表示对学习模板的静态匹配。0图4. 形状重建和插值。我们的隐式形状表示产生的重建结果比注释更平滑。此外，它允许使用线性插值的潜在代码h从一个示例插值到另一个示例。0换句话说，它赋予我们的算法更好的泛化性能。0消融研究。我们进行了消融研究，分析了Implici-tAtlas的各个组成部分的有效性。我们在表3中报告了结果。多模板（MT）增加了已知和未知形状的表示能力，特别是对于更困难的情况，如胰腺。如前所述，方程7中的正则化项L LS和LDP增强了对未知形状的泛化性能。请注意，单模板版本在某些情况下性能不如没有模板的纯卷积解码器。例如，将表3中的“D”与表2中的“ConvDecoder”进行比较。这表明模板的性能改进取决于网络架构和数据集，如[12]中所述。04.4. 定性结果0通过可视化，我们现在对上述定义的ImplicitAtlas +reg.进行定性分析。0形状重建和插值。在图4中，我们显示了每个数据集随机选择的2个重建结果。所有的重建结果都具有很高的质量，尽管Tab.2的数值指标并不完美，而且尽管图2所示的训练数据伪影。由于我们的隐式形状模型编码了训练样本的形状先验，因此重建结果比手动注释要平滑得多，这表明我们的方法有潜力用于后处理人工注释。我们还展示了通过线性插值获得的2个样本之间的插值结果。插值样本在整个过程中看起来都是有效的。此外，模型甚至捕捉到了姿态，如底部所示158670方法 肝脏（K5） 海马（K5） 胰腺（K5） 肝脏（U） 海马（U） 胰腺（U）0DSC NSD DSC NSD DSC NSD DSC NSD DSC NSD DSC NSD0MLP解码器[38, 44] 96.67 96.51 93.52 91.31 95.20 95.83 88.33 43.90 83.62 45.07 68.97 27.70 + 模板[12, 72] 97.65 97.88 94.13 92.29 95.9996.53 89.98 45.32 84.43 49.33 70.11 31.06 Conv解码器[9, 45] 98.41 98.38 95.46 87.73 96.67 97.00 91.26 55.13 87.10 50.92 71.79 29.150ImplicitAtlas 98.89 99.53 97.02 96.37 97.23 98.14 90.64 48.27 88.37 54.40 74.71 34.87 ImplicitAtlas + reg. 98.71 99.05 96.48 93.93 96.9097.31 92.06 57.69 89.97 59.39 81.34 46.780表4.使用5个训练样本进行少样本学习的重建准确性。以DSC（%，↑）和NSD（%，↑）指标衡量的5个已知样本（K5）和未知样本（U）的重建准确性。0图5.学习的模板和形状生成。对于每个器官，我们在顶部行中可视化使用的五个模板。在底部行中，我们展示了通过从高斯先验分布中随机采样潜在向量获得的形状。0图的每一行。这意味着我们的模型通过有限的数据学习到了丰富的语义。0学习的模板和形状生成。由于T的每一行可以被解释为一个潜在模板向量t，我们可以使用T(t, ∙)来可视化它们。0占用场。我们对图5的顶部行中使用的五个模板都进行了这样的操作。在投影中，这些模板看起来相似，它们的平均配对DSC（%）分别为96.10、94.89和94.15，对应于肝脏、海马体和胰腺。然而，如表3所示，这些多个模板的存在在可忽略的计算成本下提高了已知和未知形状的表示能力。要生成新的形状，我们从高斯分布中随机采样h，计算方程3中的t(h)和d(h)，并将其解码为占用场。通过在前向传递中对t进行条件约束，可以实现从特定模板生成形状。如图5的底部行所示，生成的形状在大多数情况下是多样且有效的。然而，仍然存在边界效应和空洞等伪影。可以期望通过增加更多的训练样本和复杂的数据增强技术来解决这个问题。04.5. 少样本学习0实验设置。由于医学形状通常很少，我们在数据集上考虑了一个极端的设置：我们能否从仅有5个训练样本中学习到有效的形状模型？为了测试这一点，在训练过程中，我们仅使用每个器官的前5个训练样本，同时保留第4.3节中使用的所有其他设置。0结果。我们在表4中报告了结果。我们的方法仍然明显优于基线方法，特别是在胰腺等更具挑战性的情况下。使用5个训练样本，MLP的数据需求性变得明显：在某些情况下，它无法提供有意义的重建结果。模板和卷积解码器都是有用的，而且提出的正则化项可靠地提高了重建精度。05. 应用0我们模型引入的深度先验可以在生物医学成像的许多下游应用中发挥作用。在本节中，我们探索了一些有前景的方向。05.1. 从点注释中完成形状00.70.750.80.850.90.95020040060080010000.650.70.750.80.850.9020040060080010000.550.60.650.70.750.80.8502004006008001000158680点数 点数 点数0DSC0肝脏 海马体 胰腺0图6. 从点注释中完成形状。在未知形状上，DSC（↑）作为点数（64、256和1,024）的函数。0图7.建立密集对应关系。由于我们的方法将形状建模为从学习的模板（中间）的变形，因此可以轻松建立对应关系。我们为每种情况突出显示了5个不同颜色的关键点。0分割[51]、定位[57]等许多生物医学应用中，点击是一种常见的提供注释的方法。在这里，我们展示了ImplicitAtlas可以从这些点击中生成可接受的形状，从而使注释过程更加简便。在我们的实验中，我们在未知形状的器官边界附近采样了64、256和1,024个点。通过最小化与点相关的LTask损失来优化随机初始化的潜在代码以重建形状。我们使用基线方法或ImplicitAtlas重复了这些实验，并在图6中绘制了结果。通过与地面真值进行比较，使用DSC指标评估了形状完成性能。我们的方法在各种情况下始终优于其他方法，特别是在使用较少点时。我们在补充材料中提供了这些实验的更多细节。05.2. 密集对应关系0关键点和标志物标记是医学图像中的重要任务[17, 47,73]。由于所有变形点都与模板对齐，因此可以轻松建立密集对应关系。0通过我们的隐式变形网络D对模板的对齐效果良好，可以轻松建立多个形状之间的密集对应关系。在图7中，我们突出显示了三个器官上匹配的关键点。在每种情况下，我们在模板上手动选择了5个关键点，并检查这些点被发送到哪里。得到的对应关系在视觉上是可接受的。密集对应关系可以应用于许多潜在的应用。例如，我们可以使用隐式函数创建“图谱”：将模板标记为几个子部分，并将其转移到所有形状注释中。它还提供了一种建模时空变化的方法，例如肿瘤生长[32, 46]。06. 结论与未来工作0我们已经证明，尽管在生物医学应用中存在挑战，但深度隐式曲面可以通过所提出的方法变得有效。在未来的工作中，有许多扩展方向。首先，我们的方法的当前版本适用于单个器官，而许多生物医学应用需要多个器官/部位。将ImplicitAtlas扩展为医学成像领域的多类别模型将特别有用，因为处理不同姿势和尺度的多个对象将是一项挑战。此外，由于隐式函数还可以用于外观建模，我们可以扩展ImplicitAtlas以建模形状和外观的联合分布。形状和外观的隐式模型将实现许多新的应用。最后但并非最不重要的是，有兴趣探索ImplicitAtlas的新应用。模型编码的深度先验可以直接用于改进人工注释或模型预测。它还可以用作医学图像分割、形状分析和多中心泛化的工具。0致谢。本工作得到了中国国家自然科学基金（U20B2072，61976137）的支持。本工作还得到了瑞士国家科学基金会的部分资助。我们要感谢Jan Bednaˇr´ık，Benoˆıt Guillard和OnerDoruk慷慨地帮助我们校对，以及匿名（元）审稿人的宝贵评论。158690参考文献0[1] Michela Antonelli, Annika Reinke, Spyridon Bakas, KeyvanFarahani, Bennett A Landman, Geert Litjens, Bjoern Menze,Olaf Ronneberger, Ronald M Summers, Bram vanGinneken等. 医学分割十项全能赛.  arXiv预印本, 2021.  40[2] A. Atzeni, M. Jansen, S. Ourselin, and J.E. Iglesias.结合深度学习和多模板分割的概率模型用于组织学的半自动标记.在医学图像计算与计算辅助干预会议上, 2018.  20[3] Yoshua Bengio, Nicholas L´eonard, and Aaron Courville.通过随机神经元估计或传播梯度以进行条件计算.  arXiv预印本,2013.  1 ,  30[4] Jan L Bruse, Maria A Zuluaga, Abbas Khushnood, KristinMcLeod, Hopewell N Ntsinjana, Tain-Yen Hsia, MaximeSermesant, Xavier Pennec, Andrew M Taylor, and SilviaSchievano.检测医学图像数据中具有临床意义的形状聚类：应用于健康和病理主动脉弓的层次聚类的度量分析.  IEEE生物医学工程学报,64(10):2373–2383, 2017.  20[5] Juan J Cerrolaza, Mirella L´opez Picazo, Ludovic Humbert,Yoshinobu Sato, Daniel Rueckert, Miguel  ´ Angel Gonz´alezBallester, and Marius George Linguraru.医学成像中多器官分析的计算解剖学综述.  医学图像分析,56:44–67, 2019.  20[6] A. Chang, T. Funkhouser, L. G., P. Hanrahan, Q. Huang, Z.Li, S. Savarese, M. Savva, S. Song, H. Su, J. Xiao, L. Yi, and F.Yu. Shapenet:一个信息丰富的三维模型库。在arXiv预印本上，2015年。10[7] Ye Chen, Jinxian Liu, Bingbing Ni, Hang Wang, JianchengYang, Ning Liu, Teng Li, and Qi Tian.无监督点云理解的形状自校正。在国际计算机视觉会议上，第8382-8391页，2021年。20[8] Z. Chen and H. Zhang.学习生成形状建模的隐式场。在计算机视觉和模式识别会议上，2019年。1,2,3,50[9] J. Chibane, T. Alldieck, and G. Pons-Moll.特征空间中的隐式函数用于三维形状重建和补全。在计算机视觉和模式识别会议上，2020年。1,3,5,70[10]  ¨ O. C¸ ic¸ek, A. Abdulkadir, S. Lienkamp, T. Brox, and O.Ron- neberger. 3D U-Net:从稀疏注释中学习密集体积分割。在医学图像计算和计算辅助干预会议上，第424-432页，2016年。20[11]  ¨ Ozg¨un C¸ ic¸ek, Ahmed Abdulkadir, Soeren SLienkamp, Thomas Brox, and Olaf Ronneberger. 3D U-Net:从稀疏注释中学习密集体积分割。在医学图像计算和计算辅助干预会议上，第424-432页。Springer，2016年。20[12] Yu Deng, Jiaolong Yang, and Xin Tong.变形隐式场：使用学习到的密集对应关系建模三维形状。在计算机视觉和模式识别会议上，第10286-10296页，2021年。1,2,3,5,6,70[13] S. Dong, G. Luo, K. Wang, S. Cao, A. Mercado, O.Shmuilovich, H. Zhang, and S. Li. VoxelAtlasGan:基于图谱引导生成和体素对体素判别的超声心动图左心室分割。在医学图像计算和计算辅助干预会议上，第622-629页，2018年。20[14] Rana Hanocka, Amir Hertz, Noa Fish, Raja Giryes, ShacharFleishman, and Daniel Cohen-Or. Meshcnn:一种具有边缘的网络。ACM Transactions onGraphics，38(4):1-12，2019年。20[15] Rana Hanocka, Gal Metzer, Raja Giryes, and DanielCohen- Or. Point2mesh: 一种可变形网格的自先验。ACMTransactions on Graphics，39(4):126–1，2020年。20[16] Tobias Heimann and Hans-Peter Meinzer.统计形状模型用于三维医学图像分割的综述。医学图像分析，13(4):543-563，2009年。1,20[17] Mattias P Heinrich, Heinz Handels, and Ivor Ja Simpson.通过对称正则化对应场估计COPD患者的大肺运动。在医学图像计算和计算辅助干预会议上，第338-345页。Springer，2015年。80[18] Ngoc-Vuong Ho, Tan Nguyen, Gia-Han Diep, Ngan Le,and Binh-Son Hua. Point-unet:一种上下文感知的基于点的神经网络，用于体积分割。在医学图像计算和计算辅助干预会议上，第644-655页。Springer，2021年。20[19] Xiaoyang Huang, Jiancheng Yang, Yanjun Wang, ZiyuChen, Linguo Li, Teng Li, Bingbing Ni, and Wenjun Zhang.表示无关的形状场。在学习表示国际会议上，2021年。20[20] Y. Huo, Z. Xu, K. Aboud, P. Parvathaneni, S. Bao, C.Bermudez, S. Resnick, L.E. Cutting, and B.A. Landman.空间定位的图谱网络瓦片实现了有限数据的三维全脑分割。在医学图像计算和计算辅助干预会议上，2018年。20[21] Ju