基于学习的框架：使用OperatorNet从差分运算符恢复3D对象的编码与重建

1OperatorNet：从差分运算符恢复3D对象黄如琪巴黎综合理工学院rqhuang88@gmail.comMarie-JulieRakotosaonaLIX，EcolePolytechniquemrakotos@lix.polytechnique.frPanos Achlioptas斯坦福大学optas@cs.stanford.eduLeonidas Guibas斯坦福大学guibas@cs.stanford.eduMaks OvsjanikovLIX，EcolePolytechniquemaks@lix.polytechnique.fr摘要本文提出了一种基于学习的框架，用于从函数运算符重构3D形状，并将其紧凑地编码为小尺寸矩阵。为此 ， 我 们 引 入 了 一 种 新 的 神 经 架 构 ， 称 为OperatorNet，它将一组表示形状的线性算子作为输入，并生成其3D嵌入。我们证明，这种方法显着优于以前的纯几何方法相同的问题。此外，我们引入了一种新的函数算子，它编码的外部或姿势相关的形状信息，从而补充纯粹的内在姿势遗忘算子，如经典的拉普拉斯算子。再加上这个新的运营商，我们的重建网络实现了非常高的reprison c- tion精度，即使在存在不完整的信息的形状，给出了一个软或功能的地图表示在减少的基础。最后，我们证明了这些算子所具有的乘法泛函代数可以用来合成全新的看不见的形状，在形状插值和形状模拟应用的背景下。1. 介绍三维形状的编码与重建是计算机图形学、计算机视觉等领域的一个基本问题。不像图像，享受一个规范的表示，3D形状编码通过各种各样的表示，如点云，三角形网格和体积数据，仅举几例。也许更重要的是，3D形状可能会经历各种各样的变换，从刚性运动到复杂的非刚性和铰接变形，这些变换会影响这些表示。随着最近基于学习的技术的出现，表征问题变得更加突出，导致了许多学习困难的解决方案*表示同等贡献。图1.通过OperatorNet（顶部）和PointNet自动编码器（底部）进行形状插值。我们的插值更平滑，失真更小。几何3D数据[7]。这是具有挑战性的，因为点云和网格缺乏卷积架构所利用的规则网格结构。特别地，设计良好地适应于形状分析和特别是形状合成两者的表示仍然是困难的。例如，通过设计深度神经网络（包括自动编码器架构）和内插由此类网络学习的潜在向量，已经提出了几种形状插值方法[35，1]。不幸的是，不清楚隐向量是否位于线性向量空间中，因此线性插值可能导致不切实际的中间形状。在本文中，我们证明了3D形状不仅可以使用先前提出的形状差异算子[32]作为线性函数算子进行压缩编码，而且这种表示非常自然地适合学习，并允许我们使 用 一 种 新 的 神 经 网 络 架 构 （ 我 们 称 之 为 Op-eratorNet）恢复3D形状信息。我们的主要意见有两个方面：首先，我们表明，由于形状差算子可以存储为典型的矩阵，对于给定的基的选择，他们使使用85888589卷积神经网络架构的一部分。其次，我们证明了这些运营商的功能代数，自然可以用来合成新的形状，形状插值和形状模拟应用的背景下我们认为，由于这种代数在理论上是合理的，因此与潜空间中常用的线性插值相比，它在实践中也会导致更准确的结果（见图1）。在[32]中引入的形状差异算子已经被证明是形状分析中的强大工具，通过允许将集合中的每个形状表征为与某些基本几何的这些差分算子对每个形状如何以及在何处与基础不同的精确信息进行编码，但由于它们作为小矩阵的紧凑表示，因此能够有效地探索集合内的全局变异性受前一种观点的启发，已经提出了用于从形状差异进行形状重建的纯几何方法[5，10虽然理论上是合理的，但这些方法依赖于解决困难的非线性优化问题，并且需要强正则化才能获得准确的结果，特别是当使用截断基时。另一方面，我们的OperatorNet通过使用形状集合来指导recruitment，从而利用在成对级别和集合级别编码的信息众所周知，在一个10个形状的集合中，相关的形状集中在形状空间中的低维流形附近[33，19]。鉴于此，形状差异操作器可以帮助对各个形状的几何形状进行编码，而且还帮助学习真实形状的受约束空间，这通常被纯几何方法忽略最后，它们还允许通过依赖于功能图来编码具有不同离散化的形状之间的差异，而不是例如，点态双射除了证明学习框架中形状差异的代表性之外，我们还 扩 展 了 [32] 中 的 原 始 公 式 ， 该 公 式 仅 涉 及 内 在（即，不变的等距变换）形状的差异，与一个新的外在的差异算子，有利于姿势相关的嵌入恢复。我们的公式是简单和鲁棒性相比，繁琐的方法，例如。[10]，并且，正如我们下面所展示的，可以更自然地集成到统一的学习框架中。概括起来，我们的贡献如下：• 我们提出了一个基于学习的管道，从一组差分算子重建3D形状。• 我们提出了一个新的公式的外在形状差异，它补充了内在运营商在[32]中。• 我们证明，通过对形状差异应用代数运算，我们可以通过OperatorNet合成新的算子，从而合成新的形状，操作，如插值和类比。2. 相关工作形状重建我们的工作与从内在算子进行形状重建密切相关，这在[5，10]中最近被考虑，其中已经提出了几种先进的纯几何优化技术，这些技术在存在完整信息[5]或在强正则化下[10]。这些工作也为形状恢复奠定了理论基础，证明了形状差异算子原则上包含恢复形状嵌入所需的完整信息（例如，命题2和命题4在[10]中）。另一方面，这些方法也突出了在不知道形状所属的集合或“形状空间”的情况下重建形状的实际挑战。相反，我们表明，通过基于学习的方法利用这些信息，可以从它们的形状差异表示中有效地恢复真实的3D形状，此外，可以使用差分算子的代数结构合成全新的形状，例如，用于形状插值。用于学习的形状表示。 我们的工作与最近旨在将深度学习方法应用于形状分析的技术有关主要挑战之一是定义一个有意义的卷积概念，同时确保基本变换（如旋转和平移）的不变性已经提出了几种技术，几何图像[34]，体积[22，38]，基于点的[28]和多视图方法[29]，以及最近将卷积调整到曲面的内在技术[21，6，27]（参见[7]的概述），甚至通过复曲面覆盖[20]，等等。尽管在过去几年中取得了巨大的进步，但定义紧凑的形状表示自然有助于学习，同时对所需的变换类别保持不变（例如，刚性运动）并且不限于特定拓扑结构，仍然是一个挑战。如我们下面所示，我们的表示非常适合于学习应用，特别是用于编码和恢复几何结构信息。我们注意到，最近的一项工作是密切相关的，我们的特征形状差异提出了[14]。这项工作主要集中在分析形状集合，而不是我们的目标形状合成形状空间探索形状空间的结构有着悠久而广泛的研究历史。经典的PCA模型，例如[2，13]，以及更近期的形状空间模型，适用于特定的形状类别，如人类[19]或动物[39]，或参数模型集合[33]，所有这些模型通常都利用了这样一个事实，即“现实”形状的空间明显小于所有可能嵌入的空间。这一点最近也被利用，8590我我我21我我我基于学习的形状合成应用程序，用于形状完成[17]，插值[3]和点云重建[1]等。这些技术严重影响了最近大数据集合的激增，例如DFAUST [4]和Shapenet [8]。与此同时，目前还不清楚，例如，通常使用的线性插值的潜在向量是合理的，导致不切实际的合成形状。相反，我们使用的形状差异算子满足一个有理有据的乘法代数，如我们下面所示，它可以用来创建逼真的合成形状。3. 预备和符号在本文中，我们认为一个形状被给定为三角形网格（V，F），其中V={v1， v2，· ··， vn}是顶点集，F={v1，v2，· · ·，vn}软对应，将点映射到概率密度函数。我们下面开发的所有工具都可以适应这样的通用映射。这是我们方法的一个关键优势，因为它不依赖于所有形状具有相同数量的点，并且只需要功能映射矩阵的知识，可以使用现有技术计算[25，18]。最后，为了表示形状本身，我们使用了[32]中提出的形状差算子的概念。在我们的背景下，这些问题可归纳如下：给定基本形状S0、任意形状Si和它们之间的函数映射C0i，设K0（分别为Ki）是一个半正定矩阵，它定义了S0上函数的某些内积。Si）表示在相应的碱基中。因此，对于表示为系数向量的S0上的一对函数f，g{（vi，vj，vk）|vi，vj，vk∈V}是对连接信息。Laplace-Beltrami算子对于每个形状S，我们使用标准余切权重方案将离散化Laplace-Beltrami 算子L ：=A−1W关联起来[23，26]，其中W是余切权重（刚度）矩阵，A是对角集中面积（质量）矩阵。此外，我们用Λ，Φ分别表示包含S的k个最小特征值和相应特征向量的对角矩阵，使得WΦ=AΦΛ.特别地，存储在Λ中的特征值是非负的，并且可以是或-定义为0=λ1≤λ2≤···。Φ的列被相应地排序，并且相对于面积矩阵正交，即，ΦTAΦ=Ik× k，k×k单位矩阵。众所周知，Laplace-Beltrami本征基提供了一个a，b，我们有= aTK0b.注意，这两个内积K0，Ki不相同。比喻，因为它们是在不同的基础上表达。函数图C0i起着基本同步器的作用因此，捕获S0和Si之间的差的形状差算子简单地给出为：DK=K+（CTKiC0i），（2）其中+是Moore-Penrose伪逆。最初的工作[32]考虑了两个内在的内积，使用上面的符号，可以表示为如：KL=Id，且KH=Λ。这些内积又导致下面的形状差异算子：基于面积（L2）：DA=CTC0i，（3）我我[16]多尺度编码的形状[16]，并允许近似，通过Φ的前几个特征向量所张成的子空间来模拟函数空间。共形（H1）：DC=Λ+CTΛiC0i、（四）功能图功能图框架在[24]中介绍，主要是作为跨形状的地图的替代表示在我们的上下文中，给定两个形状S0，S1和从S1到S0的逐点映射T，我们可以将从S0到S1的函数映射C01表示为：C01= ΦTA1<$01Φ0。（一）这些形状差异运算符具有几个关键特性-额。首先，它们允许将任意形状Si表示为一对大小为k0×k0的矩阵，而与点的数目无关，只需在基本形状Si和Si之间建立一个函数映射。因此，可以通过选择适当的值来控制的k0，其允许从S的角度获得关于S的几何形状的多尺度信息。 第二、1i0这里，A1是S1的面积矩阵，并且如果T（p）=q，则R01是满足R01（p，q）=1的二进制矩阵，否则为0注意C01是一个k1×k0矩阵，其中k1，k0是在S1和S0上选择的基函数的个数.这个矩阵允许传输功能如下：如果f是S 0上的函数，表示为系数a，s. t的向量。f=Φ0a，则C01a是S1上相应函数的系数向量，以Φ1为基表示。一般来说，不是每个函数映射矩阵都来自逐点映射，前者可能包括，例如，也许更重要的是，这些矩阵对于S0或Si的刚性（以及实际上任何内在等距）变换是不变的。最后，以前的工作[10]表明，形状差异原则上包含有关形状内在几何的完整正如我们在下面所示，这些属性自然地使学习应用程序能够用于形状恢复。形状差异的功能性形状差异算子的另一个有用的特性是功能性，如图所示。85910C0A图2. 形状类比的插图。在[32]中，我们在第7节中的形状合成应用中利用了它。给定形状 Si和 Sj相对于基本形状S0的形状差D0i、D0j，函子性允许计算差Di j，而无需Si和Sj之间的函数映射。即（见prop。[9]中的4.2.4图3.从左至右：具有1000个顶点的原始形状，从G恢复的嵌入在原始形状的前导k = 10、60、100和300特征基中编码。f= Φ+X，其中X是n V× 3顶点坐标矩阵[16，15]。不幸的是，Dij =C0i D+D0iC−10i（五）f，虽然是多尺度的和紧凑的，但不是旋转不变的，并且不提供关于固有的直觉上，这意味着形状差异自然满足乘法代数：D0iDij=D0j，直到由C0i确保的基的改变。这个性质可以用于形状类比：给定形状SA、SB和SC，找到SX，使得SX与SC的关系与SB与SA的关系相同（参见图2中的图示）。这可以通过寻找满足以下条件的形状X来解决：C+DCXC0C=C+DABC0A.在我们的应用程序中，我们首先创建一个适当的D0X，然后使用我们的网络来合成相应的形状。最后，乘法性质也暗示了形状差异空间中的插值方式。也就是说，我们不使用D0i和D0j之间的基本线性插值，而是使用指数映射及其逆映射在形状差异的李群的李代数上插值，这导致：D （ t ） =exp （ （ 1−t ） log （ D0i ） +tlog（D0j）），t∈[0，1]. （六）这里exp和log分别是矩阵指数和对数函数.请注意，在恒等式附近，李代数提供的线性化是精确的，我们已经观察到它通常会产生非常精确的结果。4. 外在形状差异在我们的（离散）设置中，仅用纯粹的内在信息，最好可以确定网格。从其边长恢复形状，虽然在某些简单的情况下是可能的，但是-几何例如，坐标向量的插值可以容易地导致形状区域的损失。另一种选择，这是更兼容我们的方法，是旋转不变的，是编码每个形状上的坐标函数的内积使用革兰氏矩阵G=XXT。在相应的基础上表示G，并使用Eq.（2）导致形状差异─比如坐标的表示事实上，下面的定理（见补充材料中的证明）保证了所得到的表示包含与简单地将坐标投影到基上相同的信息，直到旋转不变性。定理1. 设G=ΦTAXX T AΦ是编码在Φ中的外内积，则可以从G恢复坐标函数X在Φ所张成的子空间上的投影，直到刚性变换。特别地，当Φ是完全满基时，X的恢复是精确的。作为定理1的说明，我们在图3中示出了当Φ中的基函数的数量范围从10到300时从G然而，一个形状的格拉姆矩阵G的秩最多为3，这意味着它的大部分特征值为零。这在应用中是一个问题，其中获得有关形状的局部几何形状的信息很重要，例如在我们的形状类比实验中。为了弥补这个缺陷，我们做了前-三本征内积Laplacian类：.十，是一种不确定性，如[10]。缓解ED（i，j）=−E（i，j） ifi j，Σ（七）这种模糊性，我们建议增加现有的内在-sic形状差异与一个新的外在形状差异算子，并反过来提高我们的重建。将外部信息与多尺度拉普拉斯-贝尔特拉米基组合的一种基本方法是将3D坐标函数投影到基上，以获得三个系数向量（每个x、y、z坐标一个）：ijE（i，j）i = j.其中，E（i，j）是<$vi−vj<$2A（i，i）A（j，j），即， squ是形状上的点vi、vj之间的欧氏距离，由相应的顶点面积度量加权。自ED可以看作是完全图的拉普拉斯算子，它的特征值除一个外都是严格正的。0j8592输入形状差异坐标。功能60x60x330x30x8102410243*1000图4.比较一对形状。最大的区域（RESP）非本征的）失真区域由基于面积的（分别为外在的）形状差异。值得注意的是，Gram矩阵和平方欧几里德距离矩阵是密切相关的，并且可以像多维缩放文献[11]中通常所做的那样彼此重新覆盖总而言之，给定一个基本形状S0，另一个形状Si和一个功能图C0i，我们从S0的角度对Si的外部信息进行编码，如下所示：DE=（ΦTE DΦ0）+（CTΦTEDΦiC0i）。（八）图5. OperatorNet架构。网络的输入是被视为通道的形状差异矩阵。它输出形状的坐标函数。网络的第一部分（左）由卷积编码器组成，而第二部分（右）是由密集层构建的全连接解码器。“ground 我们将这种嵌入表示为形状上的三个坐标函数。然后，我们的目标是设计一个网络，能够将输入的形状差异算子转换为地面真实坐标函数。在测试时，我们使用这个网络来重建一个目标形状，只给出相对于基本形状的形状差异算子重要的是，这些形状差异操作-我0 00i i i代理人只需要从功能图的知识，在图4中，我们计算目标形状相对于底部的DA和DE，并对与右侧形状上的最大特征值相关联的正如[32]中所讨论的，这些函数捕获了形状之间相对于相应内积的最高失真区域注意，DA的特征函数捕获局部区域显著收缩的腋窝，而DE的特征函数捕获姿势变化明显的手。请注意，在[10]中，作者还提出了一种用于编码外部信息的形状差异公式，该公式使用表面法线信息定义在形状偏移上。然而，它们的构造可能导致不稳定性，此外，它仅给出关于局部距离的信息，使得难以恢复姿势的大变化。5. 网络详细信息问题设置我们的总体目标是开发一个能够恢复形状坐标的神经网络，给定其表示为一组形状差异矩阵。因此，我们的目标是解决在[5，10]中考虑的相同问题。然而，与这些纯粹的几何方法不同，我们还利用一组训练形状来学习并将重建限制在现实形状的空间因此，我们假设给定一组形状，每个形状由一组关于固定基础形状的形状差异算子表示我们还假设存在从基本形状到集合中每个形状的逐点映射，这允许我们计算基本形状，并且因此可以从具有不同离散化的形状产生，或者可以直接合成用于形状模拟或插值应用。架构为了解决上述问题，我们开发了OperatorNet架构，它将形状差异矩阵作为输入，并输出坐标函数。我们的网络有两个模块：一个浅层卷积编码器和一个3层密集解码器，如图5所示。编码器通过使用卷积来利用形状差异的网格结构。然而，请注意，平移不变性不适用于这些矩阵。在比较了多个深度的编码器之后，我们选择了一个浅版本，因为它在实践中表现最好，这意味着形状差异表示已经有效地编码了有意义的信息。此外，如[10]网格的边长可以通过一系列最小二乘问题从固有的形状差异中恢复，这暗示了增加网络的深度以及因此非线性对于形状差异可能是不必要另一方面，选择解码器是因为其能够将潜在表示转换为用于重建和合成任务的协调数据集我们在两种类型的数据集上训练OperatorNet：人类和动物。 对于人体形状，我们的训练集由从DFAUST数据集[4]中采样的9440个形状和从SURREAL数据集[ 37 ]中采样的8000个形状组成，SURREAL数据集[37]是用[19]中提出的模型生成的的8593GTDFAUST数据集包含受各种运动影响的人类角色的扫描另一方面，SURREAL数据集为身体类型注入了更多的可变性。对于动物，我们使用SMAL [39]中提出的参数模型来生成3个不同物种- 狮子，狗，和马。人类的网（Resp.）动物）被简化为1000个顶点（相应地，1769顶点）。输入形状差异在所有实验中，我们在基本形状上使用维度为60的截断特征基，在目标形状上使用全基来构建输入形状差异，而不管形状上的顶点数量如何。从基础到目标的功能映射由身份映射诱导，因为我们的训练形状是1-1对应。这意味着每个形状由三个60×60矩阵表示，表示基于面积的、共形的和外在的形状差异。形状差异之间的独立性允许灵活地选择输入形状的组合差异，在第6节中，我们比较了几种组合的性能，并在补充材料中提供了更详细的消融研究。值得注意的是，最近基于学习的形状匹配技术实现了有效的（功能）地图估计。特别是，我们使用[31]的无监督匹配方法，并在第6节中评估使用计算形状差异训练的OperatorNet。Loss FunctionOperatorNet重建给定训练形状的坐标函数。我们的形状重建损失分为两个步骤。首先，我们估计最佳刚性变换以对齐地面实况点云图6.我们的方法和基线的定性比较6. 评价在本节中，我们提供了OperatorNet结果的定性和定量评估，并将其与几何基线进行比较。评价结果我们分别用Sgt和Srecon表示地面实况和重建的网格。我们令dR=L（Xgt，Xrecon），其中L是在等式（1）中定义的旋转不变距离。（9）且X是S的顶点集。由于OperatorNet是用Eq.（9），我们引入以下新的指标进行全面、无偏的评价和比较：（1）d V=|V（Sgt）−V（Srecon）|/V（Sgt），即，相对的呃，Xgt和重建的点云X重建，网格体积误差;（3）d=平均|lgt − l recon gtKabsch算法[36]与地面真理对应。其次，我们估计对齐重建和地面真实值之间的均方误差。E其中lij是边（i，j）的长度。（i，j）ijIj|/lij，1L（Xgt，Xrecon）=V科隆五世i=1我Recon）−X i<$2。（ 九）基线考虑了两个主要基线：（1）在─[5]中的三重重建方法，其中我们评估了使用“Shape-from-Laplacian”选项，并在基础形状和目标形状中使用完整的基础;（2）[ 10 ]中的重建方法，其中作者con-i这里R是计算最优transfor的函数X重建和Xgt.我们将计算的重建与地面真实嵌入对齐，使得重建点云的质量对刚性变换是不变的。这是重要的，因为形状差异算子对于形状的刚性运动是不变的，并且因此网络不应该因为没有恢复正确的取向而受到惩罚另一方面，这个损失函数是可微的，因为我们使用的是RXgt，由SVD给出，它使神经网络训练中的反向传播成为可能。结构化偏移表面，也捕获外部几何形状。而且，这种方法还提供了一个纯内在的重构版本.我们用相同的基截断作为输入来评估这两种情况除此之外，我们还考虑了从训练集检索最近邻形状差异矩阵之间的距离。测试数据我们使用来自DFAUST数据集的800个形状作为测试集，其中包含10个子集合（字符+ 动作序列，每个由80个形状组成），这些形状与训练/验证集隔离。 的效率X轴n8594在基线评估的基础上，我们进一步通过关于来自每个子集合的成对Hausdorff距离的毛发点采样对5个形状进行采样，得到一组50个形状，其覆盖了测试集中风格和姿势的显著变化。定性结果我们在图6中展示了从OperatorNet和上述基线重建的形状，其中每行中的红色形状是真实目标形状。这个实验中的基本形状（也是我们计算形状差异的基本形状）如图4所示，它处于静止姿势。几何基线通常在从基础的显著姿势变化下表现较差（参见图6中的顶部两行），但是当差异主要在形状样式中时给出相对更稳定的结果（参见底部行）。另一方面，我们的方法在所有情况下都能产生一致的良好重建。还请注意，正如预期的那样，使用所有3种形状差异的OperatorNet给出了最佳的定量和定性结果。我们提供了更多的重建例子，这些材料突出了我们方法的推广能力。定量结果我们报告了表1中定义的所有定量指标。首先，我们观察到使用内在和外在形状差异的Oper-atorNet实现了最低的重建误差，而纯外在版本是第二好的。其次，在计算的功能图的形状差异上训练的算子网络实现了竞争性的性能，表明即使在没有地面真值双射对应的情况下，我们的方法也是有效的。最后，Opera- torNet的所有版本都明显优于基线。关于卷和边缘恢复的准确性，无论是完整版本还是仅内部版本的OperatorNet都可以获得第二好的结果。我们注意到，由于最近邻搜索通常检索正确的体型，因此体积恢复良好。另一方面，由于完整的拉普拉斯算子被提供作为用于从拉普拉斯算子基线的形状的输入，因此期望保留固有信息。最后，我们证明了我们的方法能够对具有不同离散化的形状之间的差异在图7中，我们通过将精细网格（顶行，具有5k个顶点）投影到具有1k个顶点的较低分辨率基础网格来计算功能映射然后，我们用在低分辨率形状上训练的OperatorNet重建它们另一方面，这对于纯几何方法来说是极其困难的。在补充材料中，我们提供了使用[10]的方法在相同设置中进行重建的示例，以及使用具有2k个顶点的形状训练的OperatorNet进行重建的示例。表1.形状重建的定量评估（dR为10 −4的标度）。DRDVDE操作网（内部+外部）1 .一、110.0140.045业务网（国际）2.410.0130.046业务网（分机）1.250.0170.046运营网络（补偿）（外部）3.860.0210.052操作净（补偿）（内部+外部）6.220.0220.053SfL [5]48.80.0810的情况。012FuncChar [10]（Int）65.10.3560.118FuncChar [10]（Int+Ext）28.40.0280.110NN25.50的情况。0050.043图7.顶行：输入顶点数与基本形状不同的形状;底行：通过手术网进行重建。7. 应用在本节中，我们将展示使用所有3种形状差异训练的Opera- torNet的所有结果形状插值给定两个形状，我们首先使用方程中的公式插值它们的形状差异。（8），然后通过用OperatorNet推断插值形状差异来合成中间形状我们比较我们的方法与最近邻检索和PointNet自动编码器。PointNet自动编码器使用[28]中的编码器架构和我们的解码器进行训练。两个版本的PointNet被训练：一个自动编码器具有空间变换器，一个没有。由于没有空间变换器的自编码器在我们的实验中表现更好最近邻插值检索训练集中插值形状差异的最近邻，并使用相应的嵌入。正如预期的那样，（见图9的第二行），最近邻插值不太连续。如图1所示，我们的方法产生平滑的插值，没有显着的局部区域失真，可与PointNet。类似地，在图9中，我们观察到通过PointNet的插值在手臂上受到局部失真的影响。相比之下，使用OperatorNet的插值是连续的，并且尊重身体的结构和约束，这表明形状差异有效地增强了8595一图8. 使用在动物数据集上训练的OperatorNet进行从老虎（左）到马（右）的形状插值。图9.两个人之间的形状插值。请注意，PointNet自动编码器生成的形状具有局部区域失真，而最近邻（NN）检索的插值不连续。编码形状结构。我们提供了与其他基线的进一步比较，包括[30，3，12]和补充材料中形状差异的线性我 们 还 在 第 5 节 中 描 述 的 动 物 数 据 集 上 训 练OperatorNet，并在图8中显示了从老虎到马的插值。形状类比我们的第二个应用是基于形状类比来构造语义上有意义的新形状。给定形状SA，SB，SC，我们的目标是构造一个新的形状SX，使得SC与SX的关系为SA与SB的关系。在第3节的讨论之后，形状差的函性允许一种明确的和数学上有意义的方式来构造SX的形状差，给定SA，SB和SC的形状差。也就是说，DX=DCD+DB。然后，使用我们的OperatorNet，我们通过将DX馈送到网络来重建未知S X的嵌入。我们比较我们的结果的PointNet自动编码器。在后者中，我们通过解码由lX=lC−lA+lB获得的潜码来重建SX，其中lA是形状SA的潜码（并且对于SB，SC也类似）。在图10中，我们展示了通过OperatorNet和PointNet自动编码器获得的一组形状类比。很明显，我们的结果更自然和直观。我们还提请图10.通过形状类比转移性别：SA和SB是一对固定的人形，姿势和风格相似，但性别不同。我们生成SX，它应该是变化的SC的 “ 女 性 ” 版 本。我们的类比在语义上是有意义的，而PointNet可能产生次优结果（差异见红色虚线框）。读者可以阅读补充材料，以获得更多的类比例子。8. 结论今后的工作在本文中，我们介绍了一种新的学习为基础的技术，恢复形状从他们的不同的运营商。我们的关键观察是，形状差异，存储为紧凑的矩阵，自然地学习，并允许恢复集合中的底层形状空间和编码单个形状的几何形状。我们还介绍了一种新的外部形状差算子，并显示其实用性的形状重建和其他应用，如形状插值和类比。目前，我们的方法只适用于三角形网格。因此，在未来，我们计划扩展这个框架，从数据中学习最佳内积，并使我们的管道适应其他形状表示，如点云或三角汤。致谢本工作的部分内容得到了ERC启动补助金StG-2017-758800（EXPRO- TEA）、KAUST OSR奖CRG-2017-3426 （ Nvidia Corporation 的 礼 物 ） 、 VannevarBush教职员工奖学金、NSF授予DMS-1546206，Google Research奖以及Adobe和Autodesk的礼物。作者感谢Davide Boscaini和EtienneCorman对基线比较的帮助。8596引用[1] Panos Achlioptas，Olga Diamanti，Ioannis Mitliagkas，and Leonidas Guibas.学习三维点云的表示和生成模型。arXiv预印本arXiv：1707.02392，2017。第1、3条[2] Dragomir Anguelov 、 Praveen Srinivasan 、 DaphneKoller、Se- bastian Thrun、Jim Rodgers和James Davis。SCAPE ： 形 状 完 成 和 动 画 的 人 。 在 ACM 图 形 转 换（TOG），第24卷，第408ACM，2005年。2[3] Heli Ben-Hamu 、 Haggai Maron 、 Itay Kezurer 、 GalAvineri和Yaron Lipman。多图生成式曲面造型。《SIGGRAPH Asia》，第215页。ACM，2018。三、八[4] Federica Bogo，Javier Romero，Gerard Pons-Moll，andMichael J. 黑 色 . 动 态 浮 士 德 ： 登 记 人 体 运 动 。 在CVPR，2017年7月。三、五[5] Davide Boscaini，Davide Eynard，Drosos Kourounis，and Michael M Bronstein.从操作符生成形状：从内在算子恢复形状。《计算机图形论坛》，第34卷，第265-274页。Wiley Online Library，2015. 二五六七[6] Da videBoscaini ， JonathanMasci ， EmanueleRodola` ，andMichael Bronstein.用各向异性卷积神经网络学习形状对应关系。神经信息处理系统进展，第3189-3197页，2016年。2[7] Michael M Bronstein，Joan Bruna，Yann LeCun，ArthurSzlam，and Pierre Vandergheynst.几何深度学习：超越欧几里得数据。IEEE Signal Processing Magazine，34（4）：18-42，2017。一、二[8] 天使X作者：Thomas A.作者：Leonidas J. Guibas、PatHanrahan、Qi-Xing Huang、Zimo Li、Silvio Savarese、Manolis Savva 、 Shuran Song 、 Hao Su 、 JianxiongXiao、Li Yi和Fisher Yu。Shapenet：一个信息丰富的3D模型存储库。CoRR，abs/1512.03012，2015。3[9] 艾蒂安·科曼用于几何处理的可变形曲面的函数表示。博士论文，2016年。博士论文。4[10] Etienne Corman 、 Justin Solomon 、 Mirela Ben-Chen 、Leonidas Guibas和Maks Ovsjanikov。本征和非本征几何的函数表征。ACM Trans.Graph. ，36（2）：14：1-14：17，Mar. 2017. 二三四五六七[11] 特雷弗·F考克斯和M.A.A.考克斯 多维缩放，第二版。Chapman和Hall/CRC，第2版，2000年。5[12] 放大图片作者：David G.金布莱恩·罗素马修·奥布里3d编码：通过深度变形的3d在ECCV，2018。8[13] Nils Hasler ， Carsten Stoll ， Martin Sunkel ， BodoRosenhahn，and H-P Seidel.人体姿势和体型的统计模型在计算机图形论坛，第28卷，第337346. Wiley Online Library，2009. 2[14] Ruqi Huang，Panos Achlioptas，Leonidas Guibas，andMaks Ovsjanikov. 极限分析-一个工具，用于了解形状差异和可变性的3D模型集合。计算机图形论坛，2019年。2[15] Artiom Kovnatsky、Michael M Bronstein、Alexander MBronstein、Klaus Glashoff和Ron Kimmel。耦合准调和基在计算机图形论坛，第32卷，第439-448页。Wiley Online Library，2013. 4[16] 布鲁诺·利维。拉普拉斯-贝尔特拉米本征函数的算法，“理解”几何。在IEEE International Conference on ShapeModeling and Applications 2006（SMI三、四[17] 或 者 Litany ， Alex Bronstein ， Michael Bronstein 和Ameesh Makadia。可变形形状完成与图形卷积自动编码器。在Proc. CVPR，第1886-1895页，2018年。3[18] 或者丽塔·尼，塔尔·雷梅斯，埃马努埃莱·罗多尔，艾尔·X·布朗斯坦和迈克尔·布朗斯坦。深层功能图：密集形状对应的结构化预测。在Proc. ICCV，第5659-5667页，2017年。3[19] Matthew Loper， Naureen Mahmood ，Javier Romero ，Gerard Pons-Moll，and Michael J.黑色. Smpl：一个有皮肤的多人线性模型。ACM事务处理图表，34（6）：248：1- 248：16，Oct. 2015. 二、五[20] Haggai Maron，Meirav Galun，Noam Aigerman，MiriTrope ， Nadav Dym ， Ersin Yumer ， VLADIMIR GKIM，and Yaron Lipman.通过无缝复曲面覆盖的曲面上的卷积神经网络。2017. 2[21] Jonathan Masci、Davide Boscaini、Michael Bronstein和Pierre Vandergheynst。测地线卷积神经网络-工作在黎曼流形上。在Proc. ICCV研讨会，第37-45页，2015年。2[22] Daniel Maturana和Sebastian Scherer。Voxnet：用于实时对象识别的3D卷积神经网络。在Intelligent Robots andSystems （ IROS ） ， 2015IEEE/RSJInternationalConference on，第922-928页中。IEEE，2015年。2[23] MarkMe yer ， MathieuDesbrun ， PeterSchr oüder ，andAlanHBarr.2-三角流形上的离散微分几何算子在可视化和数学III，第35-57页。施普林格，2003年。3[24] Maks Ovsjanikov、Mirela Ben-Chen、Justin Solomon、Adrian Butscher和Leonidas Guibas。功能图：图间映射的 一 种 灵 活 表 示 。 ACM Transactions on Graphics（TOG），31（4）：30，2012. 3[25] Maks Ovsjanikov，Etienne Corman，Michael Bronstein，EmanueleRodola` ， MirelaBen-Chen ， LeonidasGuibas ，Frederic Chazal，and Alex Bronstein.用函数图计算和处理对应关系在ACM SIG中-GRAPH 2017课程，2017. 3[26] Ulrich Pinkall和Konrad Polthier。计算离散极小曲面及其共轭。Experimental Mathematics-1993，2（1）：15-36.3[27] Adrien Poulenard和Maks Ovsjanikov。基于等变卷积的多方向测地线神经网络。ACM事务处理图表（Proc