SMPL-A: 建模个体特异可变解剖学

208140SMPL-A: 建模个体特异可变解剖学0Hengtao Guo 1,2 , Benjamin Planche 1 , Meng Zheng 1 , Srikrishna Karanam 1 , Terrence Chen 1 , Ziyan Wu 101 United Imaging Intelligence, Cambridge MA, USA2 Rensselaer Polytechnic Institute, Troy NY, USA0{ first.last } @uii-ai.com, guoh9@rpi.edu0摘要0多种诊断和治疗方案依赖于定位体内目标解剖结构，这些结构可以通过医学扫描获得。然而，随着患者改变姿势，器官会移动和变形。为了获得准确的目标位置信息，临床医生不得不进行频繁的术中扫描，导致患者辐射暴露增加，或者采用代理程序（例如，创建和使用定制模具来保持患者在术前器官扫描和随后治疗期间保持完全相同的姿势）。这种定制的代理方法通常不是最佳选择，限制了临床医生，并且给患者带来了宝贵的时间和金钱成本。据我们所知，本研究是首次提出一种基于学习的方法，用于估计任意人体姿势下患者内部器官的变形，以协助放射治疗和类似的医疗方案。该方法首先利用医学扫描学习患者特定的表示，该表示可能编码了器官的形状和弹性特性。在推理过程中，根据患者当前的身体姿势信息和从先前医学扫描中提取的器官表示，我们的方法可以估计其当前的器官变形，为临床医生提供指导。我们在一个规模较大的数据集上进行了实验，该数据集通过有限元建模使用真实临床数据进行了增强。我们的结果表明，可以通过基于参数化姿势输入的点云自编码器来学习姿势相关的器官变形。我们希望这项工作可以成为未来研究的起点，以实现人体网格恢复和解剖重建之间的闭环，具有医学领域以外的应用。01. 引言0许多医疗程序依赖于目标组织的精确位置和形状信息。由于放射性扫描具有侵入性，每个特定时间段内患者可以安全进行的扫描次数是有限的[10,12]。由于这个限制，医生必须仔细规划成像方案，权衡患者的风险与基于扫描的粗糙调查可能引起的空间和时间不一致性。任何能够在不过多进行成像的情况下确定疾病的发展或治疗的影响的解决方案都将极大地帮助临床医生并减少患者的风险。目前，复杂的方案被用于精确定位器官区域，同时最小化潜在的放射性损伤。例如，在放射治疗中（一种使用高剂量辐射杀死癌细胞和缩小肿瘤的癌症治疗[8]），常见做法是创建和使用患者特定的模具（通常由塑料或石膏制成），以在术前器官扫描和随后的治疗过程中保持患者完全相同的姿势。这种定制的模具有助于确保准确地定位所需的器官区域，而无需在每个治疗过程之前重新扫描患者并重新定位肿瘤。这种定制的代理方法——就像其他方法一样——0SMPL SMPL-A0个体特异参数:α0SMPL SMPL-A0Pose A的RGB0Pose B的RGB0SMPL参数回归0Pose A的MR扫描0SMPL-A器官网格解码器0与MR扫描一致的器官0器官相应地变形0图1.应用概述。先前医学扫描的信息可以帮助估计当前器官的形状和变形。0约束，医生必须仔细规划成像方案，权衡患者的风险与基于扫描的粗糙调查可能引起的空间和时间不一致性。任何能够在不过多进行成像的情况下确定疾病的发展或治疗的影响的解决方案都将极大地帮助临床医生并减少患者的风险。目前，复杂的方案被用于精确定位器官区域，同时最小化潜在的放射性损伤。例如，在放射治疗中（一种使用高剂量辐射杀死癌细胞和缩小肿瘤的癌症治疗[8]），常见做法是创建和使用患者特定的模具（通常由塑料或石膏制成），以在术前器官扫描和随后的治疗过程中保持患者完全相同的姿势。这种定制的模具有助于确保准确地定位所需的器官区域，而无需在每个治疗过程之前重新扫描患者并重新定位肿瘤。这种定制的代理方法——就像其他方法一样——208150针对不同依赖扫描的治疗方法，现有的方法通常是次优的，限制了临床医生，并且给患者带来了宝贵的时间和金钱成本。通过适当的器官姿势估计，这些协议可以得到放松，从而消除了对患者特定模具的需求，并减少了此类重要过程的成本和延迟（即采用更通用且更便宜的模具仅用于在治疗过程中保持患者静止）。其他不太敏感的领域也可以从更便宜和计算量较小的器官姿势估计中受益。现有的模拟工具主要依赖于有限元建模（FEM）[11, 16,23]，以预测基于输入负载力的软组织（如器官）的变形。它们固有的计算占用和抽象性使它们对于实时和艺术应用（例如电影或视频游戏行业）不实用。在本文中，我们不仅提出了一种在推理过程中依赖轻量级操作的建模函数，还将其与更具体的参数（即目标人物的姿势）进行了条件化，从而使这种模拟对更广泛的受众可用。为了学习人体轮廓与体内器官变形之间的潜在对应关系，我们需要一个人体模型的表示。虽然流行的皮肤多人线性（SMPL）模型[22]及其变体[27,33]提供了一种灵活的统计表示，用于捕捉人体姿势和形状变形，但它们没有必要的信息来模拟体内器官变形。在我们的工作中，我们提出了一种解决这个问题的新方法。在保留SMPL模型系列提供的计算灵活性的同时，我们迈出了一步：建模姿势参数如何影响内部器官变形。我们的直觉是，当患者改变姿势（例如，像图2中的将手臂伸直过头），内部器官会相应地变形，我们希望同时捕捉所有这些变化（姿势和内部变形）。具体而言，SMPL系列定义了两个参数θ用于姿势和β用于形状，我们的方法添加了一个额外的器官变形参数α。因此，虽然SMPL模型学习了将（β，θ）映射到人体网格的顶点的函数，我们的方法还从（β，θ，α）中捕捉器官变形。特别是，我们提出了一个框架，可以（1）从先前的医学扫描中提取特定于患者的器官表示，并且（2）在未来的任何扫描中根据任意人体姿势估计器官变形。据我们所知，尽管医学界需要这样的研究，但之前很少有类似主题的研究工作。总结起来，我们的贡献有三个方面：01.我们通过自动建立解剖对应关系，统一了不同患者之间特定器官的形状表示。具体而言，我们在数据集中应用了三维可变形配准，将平均器官的二进制分割与给定分割之间进行配准。生成的变形场可以将平均器官的三维网格变形为数据集中的任何形状，从而使每个器官的表示都可以统一为具有解剖对应关系的固定长度的点云表示，如图3所示。0案例A 案例B 案例D0案例C0图2.我们数据集中的四个数据样本。对于每个受试者，提供了肺部（黄色）、肝脏（绿色）、脾脏（灰色）和肾脏（蓝色）的分割，以及全身皮肤分割（红色）。0将平均器官的3D网格变形为数据集中的任何形状，以便可以统一每个器官的表示为具有解剖对应关系的固定长度的点云表示，如图3所示。02.我们提出了SMPL-A（“A”代表解剖学），这是SMPL模型的扩展，用于姿势/形状相关的器官变形估计。SMPL-A将器官的形状编码为低维表示α，并且可以在推理过程中根据不同的姿势重建变形的器官形状。新提出的框架以一种新颖的方式将患者的外部姿势变化与内部器官变形相关联，这可能对手术指导有重要贡献；03.我们的工作表明，器官的形状和弹性属性确实可以编码为低维表示α。实验结果还表明，在患者外部身体运动的条件下，可以使用从先前扫描中提取的患者特定器官表示重建变形的器官网格。02. 相关工作0人体建模。可以通过各种方法获得特定个体的3D模型。大多数最先进的解决方案从平均/模板3D网格（编码身体表面信息的顶点集）开始，并应用适当的变形来适应人的外观[24]。这种范式导致了各种3D人体的统计模型的创建[1, 14,22]。文献中最主要的模型是基于蒙皮和混合形状的多人线性（SMPL）模型[22]，它是从数千个3D身体扫描中学习得到的。SMPL最初使用24个关节的旋转向量——编码为一个矢量θ∈R3×24——和一个形状参数β∈R10来表示特定姿势下的人体网格。由于β域通过对维度的降维定义，因此β的域是通过对维度的降维定义的。208160身体扫描数据集（主成分分析），其中每个维度都对应特定的形态学变化，例如，第一个维度控制身高和厚度，第二个维度主要影响腰围大小等。这个模型简单而高度表达，已被社区广泛采用[5, 17, 20, 28,36]，并且自那以后提出了许多扩展，例如，添加不同的参数来表达手部[33]、头部（眼球、下颌和颈部）[27]等。基于所有这些参数，SMPL可以模拟与身体形状和姿势相关的逼真表面变形（例如，肌肉可见收缩和脂肪垫相对于某些姿势的变形）。然而，它没有概念的皮肤表面下的体积内容。在这项工作中，我们提议采用SMPL的方法并在其模型中加入患者特定解剖学的体积信息。学习组织变形。在计算机科学和医学的交叉路口上，解剖元素的建模以及它们在各种条件下的行为近年来引起了广泛的兴趣[31]，这是由机器学习的广泛发展推动的。基于人工神经网络的数据驱动模型，应用于可变形器官的模拟，已经取得了令人称赞的准确性[25,29, 30,34]。例如，Pfeiffer等人[30]证明了卷积神经网络（CNN）在合成数据上训练后，能够根据部分输入表面力场推断出器官内部所有点的位移场。同样，Salehi等人[34]利用图卷积网络（GCN）更好地诱导器官的3D结构变形，这是由于施加在表面顶点上的力载荷引起的。大多数这些基于学习的方法被提出作为更传统但更重的有限元法的替代方法[13]。Yeo等人[38]提出了一种有趣的方法，它使用学习的姿态/形状因子来促进分割脂肪组织。与这些以前的模型不同，这些模型将器官的形状表达为局部、抽象的负载力函数，我们的目标是根据患者自身的姿势和形状以及过去的观察（扫描）提供患者特定的器官信息来估计内部器官的变形。0点云配准。为了将模板3D形状变形为自定义形状（例如，特定人体网格），需要对所考虑的样本应用统一的表示。例如，SMPL将人体定义为由13,776个三角面片组成的网格，支持6,890个顶点，其从一个个体到另一个个体的位移可以通过直接映射来控制[22]。我们采用类似的通用形状表示方法来表示所有患者的器官，使其表面顶点的数量和组织得到同一化，如图3所示。选择基于顶点的表示方法使我们能够利用近年来在这方面的广泛努力。0脾脏2 脾脏10SMPL 2 SMPL 10脾脏顶点索引0SMPL顶点索引0图3.样本间的点对应关系。器官形状统一表示的思想源自SMPL模型。然而，我们不像SMPL那样创建一个艺术模板模型，而是使用Elastix配准为器官表面建立点对点的对应关系[19]，例如，使用944个点来表示脾脏的表面。颜色编码表示点云中顶点的索引：相同颜色的两个点位于相应的解剖结构上。0朝着高效处理3D点云结构。在其他操作中，点云的配准是3D重建和场景感知的基础[6,15]。它有助于建立两组3D点之间的对应关系。同源点云配准可以进一步分为基于优化的配准方法[21,37]，基于特征学习的方法[9]，端到端学习配准[35]。大多数关于点云配准的工作都集中在激光扫描捕获的数据上，并旨在实现自然场景的理解。最近的一项工作[3]提出了一个使用PointNet[32]骨干网络的全局特征提取模块，用于融合超声和磁共振图像进行手术引导，通过为每个输入点生成3D位移向量。前面提到的方法都可以作为建立点对点对应关系的候选方法。03. 方法论0在本节中，我们详细介绍了姿势相关的器官变形估计方法。我们首先对问题进行形式化，然后对所提出方法的每个组件的设计进行了合理性解释，展示了如何将变形器官网格重建与患者的外部身体形状和姿势相联系。Point CloudEmbeddingShape 𝛽Pose 𝜃Anatomy α Shape 𝛽′ Pose 𝜃′𝐿 = 𝐿!"#$ + 𝜆𝐿#!%%&$̸208170同一人物的不同姿势0器官形状�!用于�′0SMPL模型�′0特征0提取器�0SMPL-A0解码器�0SMPL-A编码器�0器官形状�用于�0预测的器官0形状�"#$%用于�′0SMPL模型�0SMPL参数0SMPL参数0估计个体化解剖参数0图4.SMPL-A的概述。设M为从患者扫描的目标器官的3D形状，姿势为θ，身体形状为β。我们共同学习一个形状编码函数E来提取患者特定的器官属性α，以及一个姿势相关的解码函数D，从三个参数集合（θ，β和α）的新组合中预测适当的器官变形。03.1. 形式化0对于给定的患者，我们假设提供了一个定制的SMPL模型（即根据患者的照片优化β），以及一组已注释的已知患者姿势θCT的计算机断层扫描（CT）图像I（我们假设3D模型和扫描之间的时间间隔不太长，以便可以假设患者的形状β在两种模态之间保持不变）。受人类SMPL模型的启发，我们将器官表示为3D点云M∈R3×m（m为点的数量），以捕捉器官的复杂拓扑结构（见图3和4.2小节的详细信息）。将3DCT扫描I转换为点云后，我们的目标是定义一组参数化函数来模拟它们的患者特定属性。通过这些模态之间的对应关系（SMPL模型和扫描的点云），我们提出学习一个低维向量α∈Rk（即由kα个实值参数组成），它编码目标器官的患者特定属性，部分解耦于患者的形状和姿势。这个特征向量可以在不同的身体姿势θ′下引导目标器官的3D形状的推断，例如，如果在治疗过程中患者应该采取一个不同的姿势θ′≠θCT（我们稍后讨论我们的方案如何扩展到预测不同身体形状β′的器官变形，例如，如果患者自上次扫描以来体重增加或减少）。为此，如图4所示，所提出的解决方案包括一个基于学习的函数E（θ，β，M）=α，用于编码患者特定的器官特征，以及一个解码函数D（θ′，β′，α）=Mpred，即在患者采取姿势θ′时预测变形的器官形状。这两个模型E和D的设计，以及0在训练和数据预处理方面，我们的方法与现有方法相比具有一定的差异，随后将详细介绍。03.2. 模型定义0上述特定患者器官形状编码器E和姿势条件的器官形状解码器D被定义为人工神经网络，以端到端的方式进行联合训练。特定患者器官形状编码器EEE旨在将器官的3D网格（表示为点云）映射到低维特征表示α。类似于SMPL中形状参数β编码复杂的个人特异性形态信息，α在这里表示目标器官的复杂形状信息，编码为较低维度空间。由于解剖结构的形状本质上依赖于主体本身的姿势和形状参数，我们还将相应的θ和β参数作为输入提供给E，以便网络可以学习将器官形状信息与它们解耦。为了引导形状编码，点云特征提取器F首先将处理过的器官点云（参见第4.2节）作为输入，并产生潜在特征向量zM ∈Rkz。在我们的实验中，固定合理的kz值（设置为128）可以在器官形状编码过程中平衡M的贡献和低维SMPL参数的贡献。然后，多层感知机（MLP）将连接的器官特征向量zM和SMPL参数θ和β作为输入，编码出特定患者、与姿势无关的器官表示α。总体而言，特定患者器官形状编码器可以表示为：0E(θ, β, M) = MLP(θ, β, F(M)) = α。(1)0姿势条件的器官形状解码器D旨在根据同一患者的不同姿势重建变形的器官网格。它以患者的器官形状先验α、SMPL形状参数β和不同的姿势参数θ'作为输入，推断出在新的身体姿势θ'下器官的变形，即：0D(θ', β, α) = M pred。(2)0其中M pred ∈ R 3 ×m是变形器官网格的预测，用于获取M'，即在身体姿势θ'下的患者器官形状。训练：我们建议以端到端的方式训练上述系统，参考自自动编码器的文献。我们直接在顶点集上计算重建损失L网格，如下所示：0L网格 = ∥M' - M pred∥2。(3)0基于这个准则优化E和D的参数将鼓励E从重新参数化的变量θ/θ'中提取与患者特异性器官先验α解耦的信息。208180左肺左肾肝脏脾脏0图5. SMPL-A数据集概述。颜色条表示点云中的顶点索引，显示了不同主体之间的点对点对应关系。0将鼓励D利用所有可用信息来预测适当的器官位移。然而需要注意的是，虽然这个目标鼓励Mpred逼近M'，但D可能会生成非平滑的位移场δM = Mpred -M，这在物理上是不现实的。为了进一步对变形器官表面的平滑性施加约束，考虑了一个由因子λ加权的正则化项L平滑。借鉴自[2]，该项使用相邻点之间的差异近似了δM的空间梯度（详见论文中的进一步细节）。因此，用于训练的完整损失函数表示为：0L = L网格 + λL平滑。(4)0为了训练，我们的框架需要配对的分割器官形状M和M'，以及它们对应的患者姿势参数θ和θ'，并假设患者的身体形状β保持不变。为了放宽这些数据要求，我们在下一节中介绍了如何使用非刚性配准来统一器官的表示，并如何应用有限元方法来有效地用合成变形对(θ, M)和(θ', M')进行数据增强。04. 数据准备0由于本文考虑的数据模态的复杂性和异质性，以及为了可重复性的目的，我们在下面的部分中分享了关于数据预处理的详细信息。04.1. SMPL姿态/形状标注0我们数据集中的每个患者都经过CT扫描处理，得到了全身皮肤分割，突出了患者的轮廓，如图2所示。为了找到相应的姿势参数θ和形状参数β，我们手动生成了最匹配皮肤的SMPL模型。我们使用Blender [7]中的SMPL-X[27]插件逐个调整姿势关节，并调整形状参数以匹配身体轮廓。手动生成与皮肤分割相匹配的SMPL模型被认为对下游分析更准确，尽管这一步骤也可以从自动人体建模过程中受益，例如应用Implicit Part Network (IPNet)[4]或类似的解决方案。2081904.2. 器官对应0经过艺术家雕刻的经典SMPL模型具有固定长度的设计，统一了不同人体主体的表示，即使给定不同的身体形状和姿势。另一个好处是，对于不同的人体主体，第i个顶点表示相同的解剖结构。在我们的任务中，我们还需要对不同患者的器官形状进行参数化，通过统一表示的方式来同质化它们的大小，如图3所示。具体而言，我们为每种器官创建一个平均网格模型，然后将其作为模板变形为其他形状，以实现统一表示（图5）。以脾脏为例：我们首先收集包含3D脾脏分割的数据集{In | n =1，...，N}，其中In表示第n个患者的二值脾脏分割图像。我们首先通过简单平均计算出所有病例中的平均分割3D扫描ˆI，然后均匀采样其表面上的m个顶点，以获得平均器官网格ˆM。器官的平均形状ˆM用作模板，以统一不同主体的器官表示，其中第j个顶点分配给患者之间的相同解剖位置。为了获得这种统一的表示，我们应用Elastix [19]-一种基于强度的医学图像配准方法-在不同主体之间建立器官之间的对应关系。优化函数表示为0µ k  = arg min µ C ( I k , T ( ˆ I ;  µ )) , (5)0我们的目标是找到一个变换Tµ，将3D模板图像ˆI非刚性地对准到任何给定的目标固定图像In，以最小化所选的成本函数C。优化目标µ包含线性变换和B样条变形场的变换参数。我们在这里使用均方差（MSD）作为C的成本函数。优化后的变换Tˆµ可以应用于3D模板网格ˆM，这样我们就可以使用变换后的模板网格T(ˆM;ˆµ)来表示数据集中的任何其他情况。考虑到模板网格ˆM有m个顶点，数据集中的每个其他情况都可以相应地由m个顶点表示。04.3. 有限元建模的变形0我们的工作旨在模拟不同姿势下器官的变形。为了学习这种模式，需要每个患者在不同姿势条件下进行多次扫描。事实上，这样的数据非常难以获取，因为在获取过程中可能会给受试者引入额外的辐射。为了弥补数据的不足，我们运行FEM模拟[11, 16,23]来创建器官变形，通过对器官网格模型施加不同的载荷量。我们首先研究从注释的SMPL数据集中收集的患者姿势信息的统计数据。0节点负载0边界约束0休息姿势 中等姿势 极端姿势0图6.合成数据增强。我们使用有限元法将一些身体运动（例如抬手）与内部器官的拉伸量相关联，以生成合成数据。0大多数受试者都会举起手臂以获得更好的成像效果，如图2所示。为了匹配这种情况，我们模拟了姿势和器官变形之间的关系，重点关注领口和肩关节的旋转角度，即手臂抬起的程度越大，施加在器官上的拉伸力和变形就越大，如图6所示。因此，我们将领口/肩关节的旋转参数与有限元建模期间施加的负荷相关联，以产生对器官合理的变形量。具体而言，我们对器官的上表面分配节点负载，并放置边界约束以稳定下表面。施加的负载会稍微拉伸器官的正Z方向，以模拟抬手时器官的变形。对于每种情况，我们运行有限元法生成一个长度为10的变形序列，从休息姿势到极端姿势，并伴随相应的器官拉伸量。在下游分析中，我们期望训练的网络能够恢复这种模拟的姿势参数与器官变形之间的关系，以验证理论。FEM方法仅在训练期间使用（当计算约束可以放松时），它是对数据样本不足的一种补偿。即使最终收集到每个患者的多次扫描，这种模拟也可以保留以进一步增加数据集。05. 实验05.1. 实现细节0我们从经过IRB批准的临床试验中收集了30个病例，每个病例都有皮肤、肺部、肾脏、肝脏和脾脏分割。我们按照前述的数据准备方法（参见第4.3节）通过将模板模型与皮肤分割对齐来为每个患者生成SMPL模型，并使用有限元法进一步增加数据集，创建一系列变形的器官。由于每个器官的体积大小不同（例如，脾脏的模板顶点数为944，左肺的模板顶点数为3,184等），我们为每个器官的模板选择不同的网格大小m，如图所示。𝛼!𝛼"𝛼#𝛼$PoseBaseline(Mean)W/O 𝐿!"##$%With 𝐿!"##$%(A)(B)208200基准0� 变化，器官形状变化0�变化，器官拉伸0图7. (A) 左肺预测变形误差（以毫米为单位，颜色编码）；(B) 患者姿势参数 θ 和器官参数 α对变形脾脏形状重建的影响（以与每个序列中第一帧的拉伸量为基准，以毫米为单位，颜色编码）。0图5.在训练过程中，我们均匀采样512个等间距点以保证计算效率并保持点对点对应关系。我们分别使用24/3/3的序列划分进行训练、验证和测试。特征提取器F和器官形状解码器D的网络结构都是多层感知器，使用PyTorch[26]实现。需要注意的是，我们的解决方案是网络无关的，例如，F的主干可以切换到任何其他网络结构，如PointNet[32]。对于每个器官，我们使用批量大小K =8的Adam优化器[18]对网络进行端到端的训练，共进行300个时期，初始学习率为1×10^(-5)，每五个时期衰减0.9。05.2. 结果与讨论0对于每个经过FEM模拟的变形序列 { ( θ i , β, α i , M i ) | i =0 , ..., 10 } ，我们通过从第一帧的参数 α 0 和 θ i , β i重建3D变形网格 { M pred,i | i = 1 , ..., 10 }来评估提出的SMPL-A。由于几乎没有先前的参考进行比较，我们计算每个序列的平均网格作为基准方法。由于器官的表面具有点对点的对应关系，我们使用毫米为单位的表面距离误差作为度量标准。多器官重建的结果如表1所示。我们进行了配对t检验进行统计分析，置信区间为0.05。结果表明，提出的SMPL-A的重建误差显著低于基准误差。这表明提出的SMPL-A能够重建同一人的3D0器官形状，通过不同的姿势进行拉伸。图7-A展示了一个左肺变形序列的结果（更多内容请参考补充材料）。从第一行到最后一行逐渐增加了抬手的程度，导致内部器官的拉伸。地面真实形状列显示了由有限元法变形的器官。颜色条编码了与地面真实形状相比的点位表面误差（以毫米为单位）。通过比较最右两列，我们可以观察到平滑约束Lsmooth通过强制平滑的局部变形，防止器官表面变得不均匀（点偏离预期的表面平面）。图7-B展示了不同θ和α对我们的SMPL-A模型的影响。我们对不同患者（即在列上变化α）和不同姿势（即在行上变化θ）重建脾脏形状。形态学上的差异表明SMPL-A可以将患者特异的器官信息编码到α中，并从中恢复3D点云，同时学习患者姿势信息θ和预测变形之间的对应关系。此外，图8展示了另一个患者的左肺网格重建。我们将误差绘制在网格表面上以进行可视化。05.3. 消融研究0为了证明低维表示α可以编码器官的形状信息（类似于SMPL模型的10维形状参数β），我们使用不同大小的潜空间kα训练了一个3D点云自编码器，这个实验不涉及变形，只关注形状编码。0error (mm)48the orientation of the organ; the second value α[2] corre-lates to the thickness in the vertical direction; the third valueα[3] correlates more to the horizontal thickness. Similar tohow changing the β values results in SMPL models [22]that have different height, fatness and proportions; chang-ing the α values results in our SMPL-A model recoveringorgans showing a variety of shapes.208210地面真实形状 基准方法 SMPL-A0姿势0图8. 使用3D网格作为目标模态的左肺预测变形误差（以毫米为单位，颜色编码）。0表1.六个器官部位变形的重建误差（mm）。基准方法计算平均形状与真实形状之间的误差。0基准误差 SMPL-A误差0脾脏 2.5353 ± 0.1088 1.4496 ± 0.0949 肝脏 2.9810± 0.1395 1.7832 ± 0.1012 左肾 2.2364 ± 0.11741.2694 ± 0.0974 右肾 2.4608 ± 0.1207 1.2504 ±0.1088 左肺 4.4784 ± 0.2586 2.2475 ± 0.1688 右肺4.9846 ± 0.2407 2.3716 ± 0.19420表2.我们训练了一个点云自编码器，用于重建α的器官形状消融研究，不涉及姿势条件下的变形。0k α 重建误差（mm）0脾脏 肝脏 肺 左肾 左05 1.45 ± 0.23 2.45 ± 0.23 2.65 ± 0.21 1.65 ± 0.24 10 1.09 ±0.17 1.76 ± 0.20 1.75 ± 0.23 1.33 ± 0.14 20 0.78 ± 0.131.21 ± 0.15 1.22 ± 0.18 0.84 ± 0.12 40 0.74 ± 0.16 1.05 ±0.19 1.15 ± 0.16 0.82 ± 0.140器官变形，只关注形状编码。从表2中可以看出，对于任何器官网格M ∈R3×512，即使kα低至5，仍然可以通过其潜空间表示α相对较低的重建误差来重建其形状。α的大小越大，它的表达能力越强，这符合直觉。我们还试图理解潜空间表示α中每个维度的潜在含义。在图9中，我们逐渐增加α向量中的前三个值，以观察它们对器官形状重建的影响。第一个值α[1]似乎与器官的方向相关；第二个值α[2]与垂直方向的厚度相关；第三个值α[3]更与水平方向的厚度相关。与改变β值导致SMPL模型[22]具有不同的身高、胖瘦和比例类似，改变α值导致我们的SMPL-A模型恢复出显示各种形状的器官。0图9. 重建中前三个α值的影响。06. 结论0在这项工作中，我们提出了SMPL-A模型，它是基于受试者不同姿势的体内器官变形的扩展，作为SMPL系列的一部分。我们首先通过可变形图像配准建立器官网格对应关系，然后使用有限元法模拟由于抬起手臂而引起的器官变形。生成的器官网格表示和相应的姿态/形状参数用于训练SMPL-A网络。在收敛后，SMPL-A网络可以提取每个患者特定的器官形状表示α，并根据不同的姿态参数预测其变形形状。在推断过程中，给定记录中一个人的器官形状表示α以及他/她当前的姿态/形状参数，SMPL-A可以预测各种应用中的当前器官形状，例如手术指导和放射治疗。为了反映我们的方法，我们使用有限元法模拟姿态相关的器官变形，以弥补数据稀缺性。尽管模拟可能无法完全匹配现实数据，但实验结果表明，提出的SMPL-A可以恢复这种复杂的模拟关系。在有足够的数据的情况下，我们可以进一步解开θ（例如，对于SMPL尚未涵盖的身体关节）和β（需要例如，时间序列形态学信息）与器官信息之间的内在关系，并揭示体位/形状与体内器官变形之间的内在关系。作为这类研究的首次尝试（利用跨模态对应关系来联系人体姿势和器官变形），我们的工作旨在证明这种方法的合理性和可行性，并激发进一步的研究，以及进一步的数据收集工作以支持这些研究。208220参考文献0[1] D. Anguelov, P. Srinivasan, D. Koller, S. Thrun, J. Rodgers,and J. Davis. Scape：人体形状补全和动画。《ACM SIGGRAPH2005论文集》，页码408-416。2005年。20[2] G. Balakrishnan, A. Zhao, M. R. Sabuncu, J. Guttag, and A.V. Dalca.Voxelmorph：一种用于可变形医学图像配准的学习框架。《IEEE医学成像交易》，38(8)：1788-1800，2019年。50[3] Z. M. Baum, Y. Hu, and D. C. Barratt.带有部分术中点集数据的实时多模态图像配准。《医学图像分析》，74：102231，2021年。30[4] B. L. Bhatnagar, C. Sminchisescu, C. Theobalt, and G.Pons-Moll.结合隐式函数学习和参数模型进行3D人体重建。《计算机视觉- ECCV2020：第16届欧洲会议，格拉斯哥，英国，2020年8月23日-28日，论文集，第二部分16》，页码311-329。Springer，2020年。50[5] F. Bogo, A. Kanazawa, C. Lassner, P. Gehler, J. Romero,and M. J. Black. Keep itsmpl：从单个图像自动估计3D人体姿势和形状。《欧洲计算机视觉会议》，页码561-578。Springer，2016年。30[6] L. Cheng, S. Chen, X. Liu, H. Xu, Y. Wu, M. Li, and Y. Chen.激光扫描点云的配准：一项综述。《传感器》，18(5)：1641，2018年。30[7] B. O. Community. Blender -一款3D建模和渲染软件包。Blender Foundation, StichtingBlender Foundation, Amsterdam, 2018年。50[8] G. Delaney, S. Jacob, C. Featherstone, and M. Barton.放射治疗在癌症治疗中的作用：通过基于循证临床指南的回顾来估计最佳利用率。《癌症：美国癌症学会的跨学科国际期刊》，104(6)：1129-1137，2005年。10[9] H. Deng, T. Birdal, and S. Ilic.Ppfnet：全局上下文感知的鲁棒3D点匹配特征。《IEEE计算机视觉和模式识别会议论文集》，页码195-205，2018年。30[10] A. J. Einstein.辐射成像对心脏的影响：数据有多好？《美国心脏病学会杂志》，59(6)：553-565，2012年。10[11] S. M. Finley, D. S. Brodke, N. T. Spina, C. A. DeDen, and B.J. Ellis.人类腰椎的Febio有限元模型。生物力学和生物医学工程的计算方法，21(6):444–452，2018年。2，60[12] J. D. Hall, M. Godwin, and T. Clarke.从成像调查中终身暴露于辐射。加拿大家庭医生，52(8):976–977，2006年。10[13] K. Halonen, C. M. Dzialo, M. Mannisi, M. Ven¨al¨ainen, M.de Zee, and M. S. Andersen.工作流评估步态改变对胫骨内侧软骨应力的影响-结合肌肉骨骼模型和有限元分析。科学报告，7(1):1–14，2017年。30[14] D. A. Hirshberg, M. Loper, E. Rachlin, and M. J. Black.Coregistration:关节3D形状的同时对齐和建模。在欧洲计算机视觉会议上，页242–255。Springer，2012年。20[15] X. Huang, G. Mei, J. Zhang, and R. Abbas.点云配准的综述。arXiv预印本arXiv:2103.02690，2021年。30[16] S. F. Johnsen, Z. A. Taylor, M. J. Clarkson, J. Hipwell, M.Modat, B. Eiben, L. Han, Y. Hu, T. Mertzanidou, D. J. Hawkes,et al. Niftysim:一种基于GPU的非线性有限元软件包，用于软组织生物力学模拟。国际计算机辅助放射学和外科学杂志，10(7):1077–1095，2015年。2，60[17] S. Karanam, R. Li, F. Yang, W. Hu, T. Chen, and Z. Wu.实现无接触患者定位。IEEE医学成像交易，39(8):2701–2710，2020年。30[18] D. P. Kingma and J. Ba. Adam:一种随机优化方法。arXiv预印本arXiv:1412.6980，2014年。70[19] S. Klein, M. Staring, K. Murphy, M. A. Viergever, and J. P.Pluim. Elastix:一种基于强度的医学图像配准工具箱。IEEE医学成像交易，29(1):196–205，2009年。3，60[20] C. Lassner, J. Romero, M. Kiefel, F. Bogo, M. J. Black, andP. V. Gehler.统一人体：3D和2D人体表示之间的闭环。在计算机视觉和模式识别IEEE会议论文集中，页6050–6059，2017年。30[21] H. M. Le, T.-T. Do, T. Hoang, and N.-M. Cheung. SDRSAC:一种基于半定规划的随机点云配准方法，无需对应关系。在IEEE/CVF计算机视觉和模式识别会议论文集中，页124–133，2019年。30[22] M. Loper, N. Mahmood, J. Romero, G. Pons-Moll, and M. J. Black.SMPL:一种皮肤多人线性模型。图形学ACM交易，34(6):1–16，2015年。2，3，80[23] S. A. Maas, B. J. Ellis, G. A. Ateshian, and J. A. Weiss.Febio:生物力学的有限元。生物力学工程杂志，134(1)，2012年。2，60[24] A. Mazier, S. Ribes, R. Testylier, F. Van Meer, B. Gilles, F.Faure, and S. Bordas.乳房的预手术规划中的模型。arXiv预印本arXiv:2105.00763，2021年。20[25] A. Mendizabal, P. M´arquez-Neila, and S. Cotin.使用深度学习实时模拟超弹性材料。医学图像分析，59:101569，2020年。30[26] A. Paszke, S. Gross, F. Massa, A. Lerer, J. Bradbury, G.Chanan, T. Killeen, Z. Lin, N. Gimelshein, L. Antiga, et al.Pytorch:一种命令式风格、高性能的深度