精确3D建模中的物理模拟层

135140用于精确3D建模的物理模拟层0Mariem Mezghanni 1 Th´eo Bodrito Malika Boulkenafed Maks Ovsjanikov 101 LIX，Ecole Polytechnique，IP Paris0mezghanni,maks@lix.polytechnique.fr0摘要0我们介绍了一种新颖的生成3D建模方法，明确鼓励生成形状的物理一致性和功能一致性。为此，我们提倡在学习生成模型的过程中使用在线物理模拟。与以前相关方法不同，我们的方法在训练循环中使用完全可微的物理模拟器进行端到端训练。我们通过利用可微编程的最新进展，并引入一个完全可微的基于点的物理模拟层，准确评估形状在受到重力作用时的稳定性。然后，我们将这个层合并到一个有符号距离函数（SDF）形状解码器中。通过将传统的SDF解码器与我们的模拟层相结合，我们通过大量实验证明，在线物理模拟提高了生成形状的准确性、视觉合理性和物理有效性，同时不需要额外的数据或注释工作。01. 引言0在过去的几年里，一直有很多工作致力于开发用于3D形状生成的深度神经网络。一个关键挑战是在保持几何和结构有效性的同时容纳合理和多样化的内容。尽管在这个方向上取得了显著进展，但目前最先进的方法主要关注几何或视觉的合理性，而忽视了3D设计的一个关键目标：功能性。事实上，设计的3D形状通常被期望在现实世界中扮演特定的功能。例如，椅子在受到重力作用时应该是稳定的。忽视这个关键约束会导致生成的内容出现严重的功能性缺陷，如缺乏连通性和物理不稳定性，严重影响其在现实世界下游任务中的实用性。解决这个挑战的一种方法是利用物理模拟。0基准DeepSDF[32]0离线模拟0在线模拟（我们的方法）0图1.在线模拟与最先进的离线模拟[30]在形状优化任务中的定性比较。从上到下：从基准DeepSDF[32]中采样的物理无效形状，使用[30]的结果和我们的结果。优化后的形状反映了在线模拟在物理质量和几何一致性方面相对于离线设置的准确性和效率。0物理模拟是指导生成模型生成功能有效形状的一种常见机制。事实上，物理模拟是验证候选3D形状是否满足特定功能的强大工具[4, 22,41]。尽管物理模拟是一种无需额外数据注释即可应用的强大工具，但将其纳入生成模型中可能具有挑战性，因为它通常是不可微分的，并且在训练时可能既复杂又昂贵。因此，现有的将生成网络与物理模拟相结合的方法通常局限于离线模拟，这要求要么迭代地过滤和更新训练数据[36]，要么训练一个模拟器的替代模型，该模型在学习过程中模拟器的行为[30]。虽然这些方法规避了上述挑战，但它们通过牺牲端到端训练的主要优势来实现这一点。特别是，使用离线模拟和替代模型可能会损害训练网络的泛化能力并引入数据偏差，从而隐式地促进已见几何的合理性。135150而不是解决通用的物理故障。与此同时，构建可微分物理模拟器的最新进展[11, 24,25]为学习具有在线物理模拟的神经网络打开了可能性。到目前为止，这些方法尚未在3D生成网络中得到应用，部分原因是整合物理模拟的困难，同时确保在单一一致的框架中的效率和几何精度。在本文中，我们迈出了实现这一目标的第一步。具体而言，我们展示了如何为基于DeepSDF解码器[32]的深度生成网络赋予基于在线模拟的物理监督。我们专注于生成人造形状，当受到重力作用时应该自然稳定，我们将物理稳定性作为目标函数约束。为了实现这一目标，我们首先设计了一个基于可微刚体模拟器的模拟层(SimL)，我们使用最近高效的DiffTaichi框架[24]来实现该模拟器。该模拟器计算在地面平面存在的重力作用下，3D形状的刚体动力学。这既可以在前向阶段准确评估形状的物理行为，也可以在后向阶段反向传播模拟梯度进行物理监督。然后，我们将SimL集成到隐式形状解码器DeepSDF[32]中，并展示了如何将基于SDF的生成建模与物理模拟结合在一个单一一致的端到端可训练方式中，以创建合理且物理上有效的形状。结合这些贡献，我们引入了一个新模型Phys-DeepSDF，它是第一个具有在线物理模拟的端到端深度生成模型。我们在一系列具有挑战性的案例中展示了我们模型的实用性，并证明它具有比使用离线模拟训练的方法更高的泛化能力，可以实现准确的形状生成和优化。0贡献。我们的主要贡献有三个方面：(1)我们构建了一个基于可微刚体模拟器的基于点的模拟层SimL，可以被整合到3D形状解码器中。0(2)我们展示了如何将我们的层与基于SDF的生成模型结合，使用新的稳定性损失和准确的梯度反向传播。0(3)我们通过改善生成内容的泛化能力和质量，展示了使用在线物理模拟进行3D建模的效率。02. 相关工作02.1. 隐式场的3D形状生成0已经有一些努力基于各种表示形式构建3D形状的生成网络，例如0体素[16, 18, 37, 42]，八叉树[35, 39]，点云[1,21]，表面网格[15, 17, 38,40]，多视角深度图[2]和基于部分的组合[45]。最近，学习隐式场用于生成形状建模，以二进制占用[8,28]和有符号距离[13, 26,32]的形式广泛研究。这种隐式表示在计算和内存效率方面被证明是有效的，同时允许高分辨率几何解码。在我们的论文中，我们专注于有符号距离表示[32]，因为它相对于二进制占用提供了额外的信息，包括到形状表面的距离以及表面法线。事实上，先前的工作[34]证明了可以根据底层深度有符号距离场对3D表面样本进行区分。这使得我们能够将隐式场的深度生成网络与需要显式表示的基于模拟的控制相结合。与[34]不同，后者专注于使用离线模拟进行潜在代码优化，我们构建了一个新颖的可微分在线模拟层，以确保高效、准确和类别无关的物理监督。最后，我们展示了如何将在线模拟集成到生成模型的端到端训练中。02.2. 深度学习中的物理模拟0利用物理监督改善对象和场景理解的兴趣越来越大[46]。特别是，利用物理模拟器进行神经网络学习已经被用于各种主题，包括场景重建[12]，对象理解[29]，接触点和物理力推断[14]等。经典的物理模拟器（如PyBullet[10]）通常是不可微分的，不容易在神经网络学习的上下文中使用。因此，使用梯度近似[12,14,29]或者用可微分的替代模型替换模拟器以模拟模拟器输出[3,34]是必要的。最近，已经有一些工作在构建可微分的物理模拟器[11,24,25]，提供模拟的梯度以克服这些限制，并为这个领域的未来工作铺平了道路。0先前唯一基于物理模拟的3D形状的深度生成方法是[30,36]中的工作。然而，这些方法仅限于离线模拟，并且需要更新训练数据[36]或预训练一个替代网络[30]以通过模拟反馈来指导学习网络。在我们的论文中，我们提倡使用在线模拟梯度通过构建可微分的模拟器来学习生成网络。这使得我们的工作在两个关键方面具有优势：物理监督是类别不可知的，不需要任何预训练，并且可以通过端到端训练有效地优化生成网络。135160图2. PhysDeepSDF概述。我们的生成模型由两个模块组成：a）形状自动解码器，我们设计类似于DeepSDF[32]网络，将潜在代码映射到基于SDF的形状；b）我们的自定义模拟层SimL，在前向阶段（第3.5.1节）从形状表面提取点（参见方程（3）），并在受到重力作用时模拟其轨迹（第3.4节），在后向阶段（第3.5.2节）计算相对于SDF参数的模拟梯度。03. 提出的方法03.1. 概述和动机0我们的主要目标是结合两个主要框架的优势：基于隐式的3D形状建模作为强大的基于学习的生成模型，以及物理模拟来保证生成内容的有效性超越视觉合理性。我们的架构如图2所示。它包括一个自动解码器，用于学习形状的潜在空间，以及一个模拟层SimL，通过提供监督的物理信号来确保生成内容的物理稳定性。在这项工作中，我们专注于形状在受到重力作用时的物理稳定性，最终目标是生成的内容能够在地面平面上保持稳定的平衡。为此，我们的模拟层SimL在将给定的3D形状从一个小高度向下掉落并受到重力作用时，执行可微分的模拟。然后我们评估最后一个模拟步骤的形状方向，以评估形状的物理稳定性：如果形状保持直立位置，则稳定；否则不稳定。图1提供了稳定和不稳定形状的示例。我们专注于物理稳定性，因为它不仅是功能故障的常见原因[30]，而且还代表了不同形状类别（椅子、桌子、长凳等）之间的共享功能要求。此外，物理稳定性已经证明对于提升许多计算机视觉任务[12,33,43,44]非常有益，这扩大了我们的方法的潜在范围超出了生成建模。与现有的具有物理感知的生成模型[30,36]相比，我们的方法的关键区别在于我们在学习过程中使用在线模拟作为神经网络的一部分。正如我们下面所证明的，这有几个优点。首先，物理模块没有学习的需求。0可调参数，因此与训练数据无关，与使用替代模型预训练[30]相比。其次，在线模拟梯度准确且能够精确和明确地解决物理故障，而不会牺牲几何多样性。这与基于替代模型预训练[30]或训练数据过滤[36]的数据驱动方法形成对比，后者自然地继承了数据偏差，并且很可能会推向已知的有效几何形状。因此，在线模拟的效率和准确性使得能够训练一个形状解码器，而不会影响其表达能力，而以前的方法仅限于学习一个映射网络[30]或更新训练数据[36]。在实现这些目标时，出现了两个关键挑战：(1)构建一个可扩展和时间高效的物理模拟器；(2)将显式(基于点的)物理模拟与隐式函数解码器相结合。为了解决这些问题，我们首先构建了一个高效的可微稀疏点云模拟器，然后展示了如何将其纳入基于有符号距离函数(SDF)表示的生成模型中[32]，同时实现了显式和隐式表示之间的准确梯度反向传播。本节的其余部分组织如下：我们首先在第3.2节和第3.3节中介绍SDF和解码器架构。然后，第3.4节和第3.5节分别描述了我们的可微物理模拟器和我们的模拟层SimL。之后，我们在第3.6节中提出了一种新颖的物理稳定性目标函数，并在第3.7节中讨论了我们方法的泛化能力。最后，我们在第3.8节中描述了我们的训练方案以及目标应用。03.2. 有符号距离函数SDF。0在这项工作中，我们用 SDF f S : R 3 → R 来表示一个闭合形状S，它将每个点 x ∈ R 3 归属到离其最近的表面点的有符号距离f S ( x )。f S ( x ) 是正数L(fθ(xj, zi), sji) = |clampδ(fθ(xji, zi)) − clampδ(sji)|,(1)r(zi, θ; Xi) =τ Jt ←p∈Ctmax(1,|Ccolt|)end procedureprocedure Linear Dynamicsvt ← vt−1 + 1m(∆t Fg + Jt)pt ← pt−1 + ∆t vtend procedureprocedure Rotational DynamicsLt ← Lt−1 + ∆t τ Fgt+ τ JtI−1t← rt−1 I−10r⊺t−1ωt ← I−1tLtˆqt ← qt−1 + ∆t2 (qt−1.ωt)quatqt ←ˆqt∥ˆqt∥2rt ← convert qt to rotation matrixend procedureend forreturn {pt, rt}1≤t≤T135170如果 x在形状外部，则为正数；如果在形状内部，则为负数。与二进制内/外隐式函数表示[9]相比，SDF提供了额外的信息，包括到表面的距离 f S ( x ) 和将 x 投影到表面的方向 −� x f S( x)。这些额外的信息不仅有助于生成高质量的表面，而且对于确保显式形状表示的可微分性也很重要，这对于物理模拟是必需的，如第3.5节所解释的。03.3. 解码器架构。0我们的形状解码器 f θ 的设计与DeepSDF [32]类似，其中 θ表示可学习参数。我们简要介绍 fθ，并将读者引至[32]了解更多细节。给定一组 N个训练形状 { S i }，与每个形状周围采样的一组点 { X i = { xj i }}，f θ 试图近似所有 x j i ∈ X i 的 SDF 值 f θ ( x j i , z i) = f S i ( x j ) = s j i，其中 z i ∈ R d 是 S i的可学习潜在表示。损失函数由预测值和真实SDF值之间的L1范数定义：0其中 clamp δ ( x ) = min ( δ, max ( − δ, x )) 将 SDF值限制在 δ = 0.1 范围内。在训练时，Z train = { z i } 从 N(0, 0.01^2) 随机初始化，并与参数 θ一起通过以下重构损失进行优化：0j L ( f θ ( x j i , z i ) , s j i ) + 1 σ 2  ∥ z i0其中  σ  = 10 − 2是正则化参数。请注意，尽管我们固定了解码器架构 fθ，但我们的方法是可推广的，并且可以使用基于符号距离函数的任何形状解码器。03.4. 物理模拟器Ψ。0我们的目标是构建一个可微分的物理模拟器，可以记录模拟步骤中的梯度，并在反向传播期间以相反的顺序重播它们。为此，我们使用了专门用于高性能可微分物理编程的DiffTaichi[24]框架。例如，DiffTaichi中编写的可微弹性物体模拟器比其TensorFlow实现快188倍[24]。为了评估fθ生成的形状的物理稳定性，我们实现了一个可微分的基于冲量的刚体模拟器[5]，详细算法见算法1。简而言之，我们的模拟器Ψ接受由其表面点C表示的形状，以及质量、质心和惯性矩阵，并输出从高度h模拟T个时间步长的下落轨迹：Ψ(C) =  {(pt, rt);  t  ∈  [1, T]}，其中pt和rt分别是时间步长t时质心的位置和方向。这是通过以下方式实现的0算法1 物理模拟器Ψ0变量 点云形状C，重力力Fg =mg，位置p0，速度v0，惯性张量I0，旋转r0，四元数q0，角速度w0，角动量L0 结束 变量 对于 t  →  1  到  T执行 C col t ← { p  ∈ C ;  p  到达地面 } 过程 碰撞处理对于 p  ∈ C col t 执行 计算冲量Jp 结束 对于 Jt  ←0由于我们在算法1中并行实现了碰撞处理过程，计算过程在计算上是可行的，可以计算出物理冲量Jp，遵循[5]中的方程（8-18）。这里，(.)quat表示四元数乘积，如[5]中所示。请注意，我们在模拟过程中引入小的扰动，通过将r0设置为随机小值，沿水平轴惩罚不稳定平衡的形状。0我们强调Ψ不包含可学习参数，并且根据定义，Ψ是可微分的，�CΨ是良定义的。我们将下落高度h设置为形状高度的0.1倍，并为所有形状考虑均匀且相等的体积质量密度。其他超参数，包括时间步长T、模拟步长∆t和初始模拟设置，是根据经验确定的，以优化模拟精度和时间效率。我们在补充材料中提供了更多细节和与PyBullet[10]的比较。0请注意，尽管我们专注于适用于许多形状类别的物理稳定性，但只要它们作用于模拟形状轨迹，我们的模拟器也可以用于促进其他功能约束。∇fθ(.,z)Ψ =� ∂Ψ∂fθ (x)�∂x∂fθ = −n(x) = −∇xfθ,(5)SimL Forward:fθ(., z)→Ψ(Cfθ(.,z))SimL Backward:∂Ls∂Ψ→∂Ls∂Ψ .∇fθ(.,z)Ψ,wheres is the stability loss defined as a function ofr3,3t= cos(βt)cos(γt).(6)Ls(z, θ; G) = 1 − r3,3T .(7)1351803.5. 模拟层SimL。0我们实现了一个自定义的PyTorch层SimL，它接受与3D形状相关的SDF点值对作为输入，并使用Ψ计算其下落模拟轨迹。最终，这使得SimL可以插入到fθ之上，评估生成形状的物理质量。03.5.1 正向阶段：0SimL接受一个给定潜在向量z在分辨率为RG的规则网格G上评估的解码的基于SDF的形状作为输入，并使用Ψ输出其物理行为。为此，我们首先计算模拟模块所需的粗粒化表面C，计算方法如下：0C f θ ( G,z )  =  { x  −  f θ ( x, z ) . � x f θ ( x, z );  x  ∈  G,  |f θ ( x, z ) |  < δ }  。 (3) C f θ ( G,z )由一组足够接近形状表面（ δ  = 4 /R G ）的点 x组成，这些点使用有符号距离值 f θ ( x, z ) 和表面法向量 � xf θ ( x, z ) 投影到表面上。然后，将 C f θ ( G,z )输入到我们的模拟器 Ψ 中计算其下降轨迹 Ψ( C f θ ( G,z ) )=  { ( p t , r t );  t  ∈  [1 , T ] } 。03.5.2 反向阶段：0为了确保梯度能够反向传播到形状解码器的权重，我们需要计算以下梯度：0x ∈ G 。 (4)0我们将 � f θ ( .,z ) Ψ 定义如下：0� f θ ( .,z ) Ψ = � ∂ Ψ ∂x ∂x ∂f θ ，如果 x ∈ Cf θ ( G,z ) ，否则为 0 ，如果 x ∈  G  \ C f θ( G,z ) 。0对于 C f θ ( G,z ) 中的 x ，∂x 是明确定义的，因为根据定义，Ψ 是可微的。剩下的是计算0∂f θ 。根据[34]的定理1，可以证明：0其中 n表示表面法向量。这两个观察结果共同提供了关于解码的基于SDF的形状的模拟梯度。为了直观地理解物理梯度，对于每个 x ∈ C f θ ( G,z ) ，SDF值的梯度方向为 − ∂ Ψ0∂x � x f θ 会将 f θ ( x, z )推向负值，如果模拟梯度与法向量的内积为正（倾向于扩展形状），否则推向正值（倾向于收缩形状）。我们在补充材料中通过可视化进行了说明。0总结一下，我们的模拟层构建如下：0∂ Ψ 是上游损失梯度。03.6. 稳定性损失。0现在我们准备制定稳定性损失，用于惩罚每个解码形状 f θ (., z ) 在给定潜在向量 z的情况下的物理不稳定性。假设所有形状都以直立的姿态对齐，并且假设刚体运动（形状内部点之间的距离保持不变），强制物理稳定性就等同于在 t = T时具有零水平方向。注意，旋转矩阵 r t的第三列和第三行，即 r 3 , 3 t 是水平 y 轴和 x 轴上方向 βt 和 γ t 的函数：0这意味着如果 r 3 , 3 T = 1，形状就是物理稳定的。因此，我们提出了一种稳定性损失，用于控制最终模拟步骤中形状的水平方向：0事实上，我们期望形状在下落模拟过程中保持直立姿势。03.7. 对其他形状表示的泛化。0请注意，尽管我们开发了一种利用隐式形状表示的方法作为当前生成高质量几何的SotA方法[7]，但我们的模拟层也可以与其他3D形状表示结合使用。具体而言，我们的方法可以直接与任何3D解码器 f θ 结合使用，只要能够计算模拟的 C f θ 中的 ∂x ∂f θ ，而不管 f θ的架构如何。注意计算 ∂x0∂f θ的作用是评估模拟梯度如何修改形状的几何结构。为了演示，我们在补充材料中提供了关于点云[31]、网格[17]和基元[20]解码器的详细解释和示例。03.8. 训练和应用0学习形状的潜空间。给定一组与地面真实SDF配对的3D形状S，我们使用重建和物理稳定性损失来训练我们的网络，分别定义为方程（2）和（7）：0L ( z i , θ ) = L r ( z i , θ ; X i ) + α s L s ( z i + ϵ η , θ ; G )，(8)0其中z i ∈ Z train是可学习的训练向量，α s是加权因子，ϵ η是依赖于Z train的d维噪声135190分布。虽然L r保证了生成形状的几何相关性，Ls不仅旨在物理上规范训练形状（∥ ϵ η ∥ 2 =0），还旨在使新的逼真形状模式出现在潜空间中（∥ ϵ η ∥ 2> 0）。为了确保 z i + ϵ η � Z train + ϵ η相关且位于形状的潜空间内，我们使用以下方式控制 ϵ η的范数，与Ztrain向量对之间的范数保持一致。为此，我们随机采样 ϵ η如下：0ϵ η � U (0 , η 0∥N∥ 2 . 1 u �U (0 , 1) < 0 . 10这里的1是指示函数，η等于Ztrain向量对之间的90%分位数，U和N分别是均匀分布和d维标准正态分布，其中d是Ztrain向量的维度。更多细节请参考我们的补充材料。0形状优化。作为第一个应用，我们考虑单个形状优化的任务，以说明我们的模拟层SimL的功能。我们随机采样 z in � Ztrain + ϵ η，并保留与不稳定形状相关联的 zin。我们的目标是计算在物理质量方面最优的形状，同时尽量保持输入形状的结构不变。形式上，我们计算：0ˆ z = arg min z ∥ z - z in ∥ 2 + α s L s ( z ; θ, G )，(9)0形状重建。我们通过准确且无偏差的模拟梯度证明了我们的物理损失保持了形状的潜空间质量，用于形状重建任务。为此，给定一个由SDF点-值对{X i , f S ( X i)}表示的测试形状S，我们计算：0ˆ z = arg min z L r ( z ; θ, X i )，(10)0此外，我们仅在推理阶段评估我们的物理模块的影响，通过考虑以下重建任务：0ˆ z = arg min z L r ( z ; θ 0 , X i ) + α s L s ( z ; θ 0 , G )，(11)0其中θ 0表示基线DeepSDF[32]解码器参数，按照方程8学习，其中α s =0。需要注意的是，在方程11中，首先使用α s = 0计算ˆz，然后使用α s > 0使用Ls进行微调。因此，如果物理模块认为形状是稳定的，则保持不变。04. 实验0数据准备。为了训练解码器f θ，我们使用256^30来自ShapeNetCore数据集（v1）[6]的体素化和洪水填充的3D模型，提供在[19]中。我们首先使用Marchingcubes将形状转换为网格，然后使用提出的库提取出地面真实SDF0[26]。我们选择从体素化的形状开始的动机是为了获得方便进行SDF提取的封闭网格。我们考虑椅子、长凳和桌子类别，并使用与[19]类似的训练/验证/测试划分。有关数据集的更多统计信息，请参考我们的补充材料。0评估指标。所有评估都是在解码分辨率为256^3的网格上进行的0并使用MarchingCubes恢复表面网格。为了评估生成内容的物理质量，我们报告给定一组形状的稳定性比率（SR），定义为物理上稳定的形状数量除以总形状数量。稳定性评估使用BulletPhysics Engine[10]进行投放模拟，以避免对我们的方法有利的偏差。有关我们评估过程的更多细节，请参考我们的补充材料。04.1.形状优化0我们首先将我们的方法与几种形状优化任务的基线进行比较。如上所述，给定一个潜在不稳定的形状，我们的目标是在保持接近输入几何结构的同时改善其稳定性。作为基线，首先我们使用DeepSDF+Ls，它使用经过标准DeepSDF[32]预训练的固定潜在空间，并使用我们的可微分模拟器进行物理优化。其次，我们还评估DeepSDF+[30]，它在[30]中引入，使用一个替代模型来进行物理模拟，而不是我们的可微分模拟器。最后，我们评估我们的方法Phys-DeepSDF，它使用了通过我们的物理损失学习的潜在空间，并进一步利用我们的可微分模拟器进行形状优化。为了训练替代模型，我们遵循[30]中的方法，为每个形状类别训练一个基于体素的神经稳定性预测器，以预测输入形状的物理稳定性。为此，我们使用预训练的基线DeepSDF[32]随机采样N个形状，按照分布Ztrain +ϵη生成。然后，我们使用PyBullet[10]将生成的每个形状注释为稳定{1}或不稳定{0}。注释的数据集用于训练一个替代模型h（二元分类器），以预测稳定性概率p。因此，基线稳定性损失为Lbases =max（0.5−p，0）（我们保留稳定形状，其中p>0.5，如[30]所述）。更多细节请参阅我们的补充材料。需要强调的是，与替代模型h不同，我们的SimL没有可学习参数，因此可以在不进行注释或预训练的情况下推广到不同的形状类别。为了进行实验，我们通过随机采样zin�Ztrain +ϵη创建了一个由N=500个形状组成的测试集Tin，这些形状与不稳定的形状相关联（SR=0，参见图1第一行）。注意，我们为每个形状类别创建了一个独立的Tin。135200DeepSDF [ 32]和Phys-DeepSDF的基于实验。我们用Tf表示优化后的形状，用Ztrain表示对应于训练形状的Ttrain。为了评估，我们使用Chamfer距离CD（30K个点）和潜在距离LD，它被定义为潜在编码的平均L2距离，以衡量生成的形状Tf与输入形状Tin的接近程度。我们还使用Chamfer距离MMD（Tf，Ttrain）计算与训练集相关的最小匹配距离[1]，以捕捉优化内容的新颖性，并确保优化过程能够发现新的形状，而不是过度拟合训练示例。我们报告的MMD结果除以MMD（Tin，Ttrain），因为DeepSDF[32]和Phys-DeepSDF的实验中Tin和Ttrain是不同的。最后，我们计算物理稳定性评估的SR值。我们在表1中报告定量结果。首先观察到，基于SimL的实验DeepSDF +Ls在不同形状类别的几乎所有指标上都击败了基线DeepSDF +[30]。这验证了SimL在物理质量（高SR）和几何一致性（低CD和LD）方面具有优势，同时提出了比训练示例更多样化和更多样的形状（高MMD）。此外，图1中的视觉检查显示，SimL生成的形状变化比其h对应物更合理和准确。这主要是由于准确的模拟梯度，相比之下，h模型梯度受到学习数据模式的严重偏差的影响（参见图3）。加之h近似模拟器行为并且仍然容易出错，而SimL能够准确检测到不稳定性。其次，基于Phys-DeepSDF的实验进一步改进了数值结果。我们将这归因于Phys-DeepSDF潜在空间相对于基线DeepSDF[32]能够容纳更合理形状的优越模式。图4中的定性结果支持Phys-DeepSDF在提高物理稳定性和几何一致性方面的相关性。我们的方法不仅提供具有足够物理质量的形状，而且还产生了视觉上合理的解决方案。我们在补充材料中提供了更多的定性说明，并与训练形状进行了比较。04.2. 形状重建0我们使用Chamfer距离来衡量随机从形状表面采样的30K个点的重建质量。表2和图5分别提供了定量和定性评估。我们的方法在所有形状类别的CD方面都具有足够的性能。特别地，尽管它仅在基准DeepSDF[32]上略有改进，但请注意我们的方法克服了基于代理模型的方法的限制，该方法降低了重建质量，感谢0h0SimL0h0SimL0h0SimL0图3.使用我们的模拟层SimL（每个示例的底部行）和代理模型h（每个示例的顶部行）进行形状优化的可视化结果。我们显示了中间迭代步骤的归一化梯度值。我们将由h计算的梯度设置为0，以避免模糊的体素。两种方法都优化了给定的示例。然而，SimL提供了与相关形状变化相关的准确梯度，而h的梯度是嘈杂的，并且导致更严重的形状变化。0网络 CD ↓ LD ↓ SR ↑ MMD ↑0椅子0DeepSDF + [30] 1.40 0.45 59.8% 0.840DeepSDF + Ls 0.69 0.34 62.8% 0.870Phys-DeepSDF（我们的方法）0.68 0.10 71.8% 0.910长凳0DeepSDF + [30] 1.27 0.18 52.4% 0.910DeepSDF + Ls 1.21 0.12 68.4% 0.880Phys-DeepSDF（我们的方法）0.70 0.13 69.0% 0.860桌子0DeepSDF + [30] 6.40 0.35 67.0% 0.800DeepSDF + Ls 1.72 0.09 55.6% 0.820Phys-DeepSDF（我们的方法）1.46 0.10 68.6% 0.860表1.形状优化的定量评估。我们的物理模块改善了潜空间的质量并提供了合理的解决方案。CD乘以10^2。0对于我们准确且无偏的物理梯度（如图3所示），我们观察到Phys-DeepSDF在长凳类别上具有特殊的准确性改进。我们将这归因于后者相对于椅子和桌子的训练集有限（1K对比约5K）。物理监督通过赋予网络关于合理几何配置空间的物理见解来解决这种数据限制。04.3. 形状插值0最后，我们检查了我们的方法在训练形状之间线性插值任务中的相关性。我们135210图4.使用Phys-DeepSDF进行3D形状优化的视觉结果。顶部行：初始形状。底部行：优化后的形状。我们在从Phys-DeepSDF潜空间随机采样的具有挑战性的示例上展示了我们方法的相关性。0度量网络 椅子 长凳 桌子0CD0DeepSDF 1.72 5.09 2.540DeepSDF + [30] 1.94 5.97 3.900DeepSDF + Ls 1.73 5.44 2.590Phys-DeepSDF（我们的方法）1.68 4.74 2.480表2.形状重建的定量评估。由于形状重建的随机性（形状是通过梯度下降和随机初始化重建的），报告的值是对每个形状进行两次重建并保留CD最低的结果。我们的物理感知潜空间可以高效地恢复未见过的形状。CD乘以10^3。0DS0DS+[30]0DS +Ls0图5. 3D形状重建的定性结果。DS指的是基准DeepSDF[32]，GT指的是真实值。我们的方法保持了几何和物理的合理性。0从基线DeepSDF [ 32 ]中选择一个具有挑战性的插值示例,我们将其与其物理-DeepSDF对应物进行比较,并使用我们的测试时间优化耦合0图6. 3D形状插值的定性结果. 我们从基线DeepSDF [ 32]中选择一个具有挑战性的插值示例(顶部行). 然后,我们使用我们的Phys-DeepSDF与SimL优化进行耦合,可视化其对应物理-DeepSDF(底部行).0基于SimL的物理损失  L s . 图  6  显示,物理正则化有助于确保生成内容的有效性和发现新的形状.05. 结论、限制和未来工作0我们引入了一种新颖的端到端可训练的生成模型,具有在线可微分物理模拟,结合了隐式生成建模和显式(基于点的)模拟.通过在训练生成模型时使用可微分的模拟器,避免使用替代模型,我们的方法有助于在物理有效性方面相比基线方法取得更好的性能, 同时产生几何精确和多样化的形状.我们的方法仍然存在一些限制. 首先,虽然刚体模拟对我们的方法的效率有益,但由于模拟器假设每两个形状点之间的距离是恒定的,所以不解决由断开部分引起的不稳定性. 为了完整起见,我们在补充材料中给出了几个示例,并展示了如何通过使用几次拓扑正则化作为后处理来解决这个限制. 其次, 我们将物理评估的采样分辨率限制为  R G  =32 , 这可能会误导物理评估. 我们通过在方程( 3)中使用投影步骤到形状表面来在很大程度上解决了这个限制. 注意, 这个限制也适用于所讨论的基于替代模型的方法.在未来,利用可微分模拟来扩展我们的方法以处理其他物理属性将是有用的. 还有将我们的方法应用于其他应用,如基于单张图像的3D重建, 并且训练数据有限.为了完整起见, 我们在补充材料中提供了对社会影响的讨论.0致谢  我们感谢匿名审稿人对我们宝贵的反馈和建议.本工作的部分支持来自ERC起始资助项目编号758800(EXPROTEA)和ANR AI Chair AIGRETTE.135220参考文献0[1] Panos Achlioptas, Olga Diamanti, IoannisMitliagkas和Leonidas J Guibas. 学习3D点云的表示和生成模型.arXiv预印本arXiv:1707.02392 , 2017.  1 ,  2 ,  70[2] Amir Arsalan Soltani, Haibin Huang, Jiajun Wu, Tejas D.Kulkarni和Joshua B. Tenenbaum.通过建模多视角深度图和轮廓来合成3D形状的深度生成网络.在IEEE计算机视觉和模式识别会议(CVPR)论文集中, 2017年7月.20[3] P. Baqu´e, E. Remelli, F. Fleuret和P. Fua.测地线卷积形状优化. 在国际机器学习会议(ICML)论文集中,页码472– 481, 2018.  20[4] Ezer Bar-Aviv和Ehud Rivlin.使用具身代理的仿真进行功能性3D物体分类.在英国机器视觉会议上, 2006年.  10[5] David Baraff和David Baraff. 刚体模拟. 在SIGGRAPH95课程笔记34中. ACM SIGGRAPH , 1992.  40[6] Angel X. Chang, Thomas Funkhouser, Leonidas Guibas,Pat Hanrahan, Qixing Huang, Zimo Li, Silvio Savarese, Mano-lis Savva, Shuran Song, Hao Su, Jianxiong Xiao, Li Yi和FisherYu. ShapeNet: 一个信息丰富的3D模型库.技术报告arXiv:1512.03012 [cs.GR], 斯坦福大学 - 普林斯顿大学 -芝加哥丰田技术研究所, 2015.  60[7] Siddhartha Chaudhuri, Daniel Ritchie, Kai Xu, and Hao(Richard) Zhang. 学习3D结构的生成模型。在WenzelJakob和Enrico Puppo（编辑）的《Eurographics 2019 -Tutorials》中。Eurographics协会，2019年。50[8] Zhiqin Chen and Hao Zhang.学习隐式场进行生成形状建模。在IEEE/CVF计算机视觉和模式识别会议（CVPR）论文集中，2019年6月。20[9] Zhiqin Chen and Hao Zhang.学习隐式场进行生成形状建模。在IEEE计算机视觉和模式识别会议（CVPR）论文集中，2019年。40[10] Erwin Coumans and Yunfei Bai.Pybullet，用于游戏、机器人和机器学习的物理仿真的Python模块。http://pybullet.org，2016-2019年。2，4，60[11] Filipe de Avila Belbute-Peres, Kevin Smith, Kelsey Allen,Josh Tenenbaum, and J. Zico Kolter.端到端可微分物理学用于学习和控制。在S. Bengio, H. Wallach, H.Larochelle, K. Grauman, N. Cesa-Bianchi和R.Garnett（编辑）的《神经信息处理系统进展》中，第31卷。Curran Associates, Inc.，2018年。20[12] Yilun Du, Zhijian Liu, Hector Basevi, Ales Leonardis, BillFreeman, Josh Tenenbaum, and Jiajun Wu.学习利用稳定性进行3D场景解析。在《神经信息处理系统进展》第31卷中。Curran Associates, Inc.，2018年。2，30[13] Yueqi Duan, Haidong Zhu, He Wang, Li Yi, Ram Nevatia,and Leonidas J. Guibas. Curriculum deepsdf，2020年。20[14] Kiana Ehsani, Shubham Tulsiani, Saurabh Gupta, AliF