符号不可知学习：从原始数据中学习形状的方法

1X×→XSAL：从原始数据中进行符号不可知学习Matan Atzmon和Yaron LipmanWeizmann科学研究所，以色列图1：我们引入SAL：符号不可知学习，用于直接从原始数据学习形状，例如三角汤（每个灰色对中的左侧;背面为红色）。在每个灰度对中-通过SAL对测试原始扫描进行表面重建;在金- SAL潜在空间相邻的灰色形状之间的插值。原始扫描来自D-Faust数据集[7]。摘要最近， 神经网络已经被用作IM-Ral网络被用作参数化映射，而隐式方法将表面表示为神经网络的零水平集：用于表面重建、建模、学习和生成的显式表示到目前为止，训练神经网络.S=x ∈R3Σ|f（x; θ）= 0、（1）为了成为表面的隐式表示，需要从地面实况（ground-truth）有符号隐式函数（例如有符号距离或占用函数）采样的训练数据，众所周知，这些函数难以计算。在本文中，我们介绍了符号不可知学习（SAL），这是一种深度学习方法，用于直接从原始的无符号几何数据（如点云和三角汤）中学习隐式形状表示我们已经测试了SAL在具有挑战性的问题上的表面重建从一个非定向的点云，以及端到端的人体形状空间学习直接从原始扫描数据集，并实现了最先进的reactions相比，目前的方法。我们相信SAL为许多具有真实数据的几何深度学习应用程序打开了大门，减轻了通常繁琐的手动预处理。1. 介绍最近，深度神经网络已被用于重建、学习和生成3D表面。有两种主要方法：参数[19，4，40，15]和隐式[12、30、28、2、14、17]。在参数化方法中，其 中f ： R3RmR是 神经 网 络 ， 例 如， 多层 感 知 器（MLP）。使用神经网络作为对表面的隐式表示的好处源于它们的灵活性和近似能力（例如，定理1）以及它们的有效优化和推广性质。到目前为止，神经隐式表面表示主要使用回归型损失来学习，需要来自表面的地面实况隐式表示的数据样本，例如符号距离函数[30]或ocu函数[12，28]。不幸的是，对于采集的3D数据R3的普通原始形式，即，点云或三角形汤1，没有这样的数据是现成的，并且计算底层表面的隐式地面实况表示是一项非常困难的任务[5]。在本文中，我们提倡符号不可知学习（SAL），定义了一个家庭的损失函数，可以直接使用原始（无符号）的几何数据，并产生有符号的隐式表示的表面。SAL的一个重要应用是生成模型，如变量自动编码器[24]，直接学习形状空间[1]三角形汤是空间中三角形的集合，不一定是一致定向的或流形。25652566→→从原始的3D数据。图1描绘了一个示例，其中使用SAL共同学习原始人类扫描的数据集克服了数据中的许多缺陷和伪影（每个灰色对中的左侧），并提供了高质量的表面重建（每个灰色对中的右侧）和形状空间（潜在表示的插值是金色的）。我们已经尝试了SAL从点云进行表面重建，以及从D-Faust数据集的原始扫描中学习人体形状空间[7]。将我们的结果与当前的方法和基线进行比较，我们发现SAL是从原始数据学习形状的首选方法，并相信SAL可以促进许多计算机视觉和计算机图形学形状学习应用，使用户能够避免繁琐和未解决的预处理中的表面重建问题。2. 以前的工作2.1. 基于神经网络的曲面学习神经参数曲面。使用神经网络表示表面的一种方法是参数化的，即作为参数化图表f：R2R3。Groueix等人[19] 建 议 使 用 这 种 参 数 化 图 表 的 集 合 来 表 示 表 面（即，atlas）; Williams et al.[40]使用图表之间的适当过渡函数优化地图集，并专注于单个表面的重建。辛哈等人[32，33]使用几何图像作为全局参数化，而[27]使用共形全局参数化来减少地图的自由度数量。参数表示是明确的，但需要处理图表的覆盖、重叠和变形。神经隐式表面。另一种使用神经网络来表示曲面的方法，也是本文所采用的方法，是使用隐式表示，即f：R3R，并且曲面被定义为其零水平集，等式1。一些作品在体积网格上编码f，例如体素网格[41]或八叉树[36]。当隐函数f表示为神经网络时，可以实现模型自由度的更大灵活性和潜在更有效的使用[12，30，28，2，17]。在这些工作中，使用符号距离函数的回归损失[30]，占用函数[12，28]或通过粒子方法来训练隐式，以直接控制神经元水平集[2]。排除需要对零水平集进行采样的后者，所有基于回归的方法都需要地面实况内部/外部信息来训练隐式f。在本文中，我们提出了一个符号不可知的训练方法，即训练方法，可以直接与原始（无符号）数据。形状表征学习。学习形状集合是使用生成对抗网络（GAN）[18]，自动编码器和变分自动编码器[24]以及自动解码器[8]完成的。 Wu等人[41]将GAN用于体素网格编码的形状，而本哈姆等人。[4]将GAN应用于一组共形图。 Dai等人。[13]使用编码器-解码器架构从体积网格上的部分输入学习到完整形状的有符号距离函数。Stutz等人[34]使用可变自动编码器来学习使用体积网格的汽车的隐式表面表示。Baqautdinov等人[3]使用具有恒定网格的变分自动编码器来学习人脸形状空间的Litany等人[25]使用变分自动编码器来学习模板网格的身体形状嵌入Park等人。[30]使用自动解码器来学习形状的隐式神经表示，即直接学习数据集中每个形状的潜在向量。在我们的工作中，我们还使用了变分自动编码器，但与以前的工作不同，学习是直接从原始3D数据中完成的。2.2. 表面重建。带符号的曲面重建。许多表面重建方法需要法向或内/外信息。 Carr等人[9]是最早提出使用参数模型通过计算其隐式表示来重建表面的人之一;它们使用径向基函数（RBFs），并在使用定向法线信息计算的内部和外部点处进行回归。Kazhdan等人[22，23]在体积离散化上求解泊松方程以将点和法线信息扩展到占用指示器函数。Walder等人[38]使用径向基函数并求解变分Hermite问题（即，将隐式的梯度拟合到正态数据）以避免平凡解。在一般情况下，我们的方法与非线性参数化模型（MLP），因此不需要先验空间离散化，也不与固定的线性基础，如径向基函数。无符号曲面重建。与本文更相关的是处理无符号数据（如点云和三角汤）的表面重建方法Zhao等人。[43]使用水平集方法通过最小化表面到点云的损失惩罚距离来将隐式表面拟合到无方向的点云，从而实现一种最小面积表面插值点。Walder等人[37]制定了一个变分问题拟合隐式径向基函数的无方向点云数据，同时最小化一个正则化项和最大化矩阵的范数;求解变分问题等价于特征向量问题。Mullen等人[29]建议通过一个多阶段算法将一个无符号距离函数标记到一个点云，首先将问题分为近距离和远距离。2567→XX×→亚XxX| ||| | −|X{}|−|(a)（b）第（1）款(c)（d）其他事项图2：2D中的符号不可知学习实验：（a）和（b）分别显示无符号L0和L2到2D点云的距离（灰色）;（c）和（d）可视化用相应的符号不可知损失优化的神经网络的不同水平集。请注意零水平集（粗体）如何优雅地连接点以完成形状。场符号估计，以及传播更接近零水平集的远场估计;然后优化将平滑符号函数拟合到所估计的符号函数的凸能量。Takayama等人[35]建议通过最小化广义缠绕数的Dirichlet能量来定向三角形汤，注意正确的方向产生分段常数缠绕数。Xu等人[42]建议通过使用由无符号距离函数定义的偏移曲面来计算三角形汤的稳健有符号距离函数Zhiyang et al.[21]通过优化非凸变分问题最小化光滑项、插值项和数据点处的单位梯度项来隐式拟合RBF。所有这些方法都需要用到一些线性函数空间;当函数空间是全局的时，例如，当使用径向基函数时，模型拟合和评估是昂贵的，并且限制了可以有效处理的点云的大小，而局部支持基函数通常具有较差的平滑特性[39]。相比之下，我们使用非线性函数基（MLP），并提倡一种新颖而简单的符号不可知损失来优化它。评估非线性神经网络模型是有效的和可缩放的，并且训练过程可以在大量点上执行，随机优化技术。3. 符号不可知学习给定一个原始输入几何数据，R3，例如，点云或三角汤，我们希望优化网络f（x;θ）的权重θ∈Rm，其中f：R3×Rm→R，使得其零水平集，等式1，是一个近似于X的曲面。我们介绍了符号不可知学习（SAL）定义的形式.Σ损失（θ）=Ex<$DXτf（x;θ），hX（x），（2）其中DX是由输入数据定义的概率分布;h（x）是一个无符号距离测度;并且τ：R R+R是由以下性质定义的可微无符号相似性函数：(i) 符号不可知的：τ（−a，b）=τ（a，b），τa∈R，b∈R+。(ii) 单调：<$τ（a，b）=ρ（a-b），<$a，b∈R+，其中ρ：R R是单调递增函数，ρ（0）=0。 无符号相似性的示例是τ（a，b）=||一|− b|.为了理解SAL损失定义背后的思想，首先考虑标准回归损失， τ（a，b）=|a−b|在等式2中。这将鼓励f尽可能地类似于无符号距离hX另一方面，使用等式2中的无符号相似性τ引入了新的局部最小损失，其中f是有符号函数，使得f近似hX。 为了得到这个理想的局部最小值，我们稍后设计了一个有利于有符号局部最小值的网络权重初始化θ0。作为说明性示例，插图描绘了一 维 情 况 （ d=1 ） ， 其 中 ，h=x0 ， hX （ x ） =x x0 ， 并 且 τ（a，b）=a b，其满足性质（i）和（ii ） ，如所 讨论的 ，低 ; 因此，损失力求最小。放大黄色区域。当适当地初始化网络参数θ=θ0时，损失的最小化者θ定义了一个隐式f（x;θ），它实现了hX 的 有 符 号 版 本 ; 在 这 种 情 况 下 ， f （ x;θ ）=x−x0。在三个维度中-f（x;θ）的零水平集S将表示一个逼近X的曲面。为了从理论上激发方程2中的损失族，我们将证明它具有平面再现性质。也就是说，如果数据包含在一个平面中，则存在一个临界权重θ，将该平面重建为f（x;θ）的零水平集。平面再现对于曲面近似是重要的，因为曲面根据定义具有近似值。几乎处处匹配切平面[16]。我们将基于无符号距离函数hX的不同选择来探索SAL的实例化，如下所示。2568x∈X≈ ǁ ǁ −N X∈ XX≥ ≥∈≥- −∈X我i=1亚8无符号距离函数。我们考虑两个p-距离函数：对于p=2，我们有标准的L2（欧几里得）距离h2（z）=min <$z−x<$2，（3）对于p=0，L0距离.(a)(b)（c）第（1）款h0（z）=0z∈ X。（四）1 z∈/X图3：神经网络的几何初始化：具有我们的权重初始化的MLP（参见定理1）是ap-无符号相似性函数 虽然对于无符号相似性函数存在许多选择，但在本文中，我们将带符号距离函数逼近到r半径球面f（x;θ0）<$（xr），其中逼近随着隐藏层的宽度而改进：（a）描绘了一个采取τ（a，b）=||一|− b|、（五）具有100个神经元隐藏层的MLP;（b）200;及（c）2000。其中n≥1。 函数τ确实是一个无符号的sim，（1）由于对称性，|·|;由于∂τ =||一|−b|<$−1sign（a−bsign（a））它满足（ii）为- 定义1。函数R：R→R称为强好.分配DX. D X的选择取决于h X的特定选择。对于L2距离，只要简单地选择在x∈ X的每一点（均匀随机的）上对一个各向同性高斯分布N（x，σ2I）进行溅射就足够了;我们把这个概率记为σ（ ）;注意，σ可以取是x的函数来反映局部密度。在在这种情况下，损失的形式是.. ℓloss（θ）=Ez<$Nσ（X ）。|−h 2（z）.|−h2(z).-是的（六）非线性，如果它是可微的（几乎无处不在），反对称的，<$（a）=<$（a），存在βR+，使得β−1<$′（a）β >0，对于所有αR在这里定义。本文中我们使用了τ（a）= a或τ（a）= tanh（a）+ γa，其中γ 0是一个参数。此外，类似于先前的工作[30，12]，我们已经合并了跳过连接层s，将输入x连接到中间隐藏层，即s（y）=（y，x），其中y是f中的隐藏变量。然而，对于L0距离，hX（x）1仅对x∈ X因此，应使用非连续密度;我们选择N（x，σ2I）+δx，其中δx是δ分布2D示例。图2中的两个示例显示了2D点云的SAL，X={x}R2（如图所示测量集中在x处。损失的形式是灰色）作为输入。 这些例子是通过..ℓl oss（θ）=Ez<$Nσ（X ）。|-1。|−1... ℓ+ExX。f（x; θ）.-是的（七）分别使用L2和L0距离优化等式6（右列）和等式7（左列），其中λ=1值得注意的是，后一种损失仅需要随机化数据样本附近的点z，而不涉及任何进一步的计算。这允许处理大的和/或复杂的几何数据。神经结构。虽然SAL可以与不同的参数模型，在本文中，我们考虑一个多层感知器（MLP）定义为使用的架构是8层MLP;所有隐藏层有100个神经元宽，与中间层有一个跳跃连接。注意，hX（x）及其有符号版本都是等式2中损失的局部最小值。这些局部最小值是稳定的，因为从一个移动到另一个时例如，要获得.从图2（d）中的解决方案中删除图2（b）中的解决方案和f（x;θ）=<$wTf<$$>f<$<$−1<$··<$f1（x）+b，（8）ℓ2569d输出我我我我我我一个需要翻转的标志在内部或外部的由黑线定义的区域。不断地改变符号将导致f（y）=ν（Wy+b），W∈Rdout×din，b∈R，（9）SAL损失值。其中，ν（a）=（a）+是ReLU激活，θ=（w，b，W，b，. - 是的- 是的 ，W1，b1）; λ是强非线性，如下定义：在下一节中，我们将详细说明我们的初始化方法θ = θ0，该方法实际上有利于hX的有符号版本。我2570ǁ ǁ−≈ ǁ ǁ −N≠（0，）;进一步设w=d1−d→X ∈ P∈∈∈−N −∈|∈ǁ ǁX XP不4. 几何网络初始化我们的方法的一个关键方面是一个适当的，几何动机的初始化网络对于MLP，方程8 - 9，我们开发了其参数θ=θ0 的初始化，使得f （x;θ0）（xr），其中x r是到r半径球体的有符号距离函数。下面的定理说明了如何选取θ0来实现这一点：定理1. 设f为MLP（见等式8 - 9）。来设置1≤ i ≤ n，bi= 0，Wii.i.d. 从正态分布中图4：图2中神经水平集的高级时期。 L0情况下的极限内/外指示器函数，而对于L2情况（两个左侧图像），它是无符号L2距离的有符号版本。√2发现我f（x）（x− r）.√π出来，c = r. 然后，ℓ刚性变换，这是常见的，并保持在本文考虑的所有情况下。我们证明了关键的存在-图3描绘了使用定理1的初始化的水平集（粗体的零水平集），具有相同的8层MLP（使用λ（a）=a）和在隐藏层中增加100、200和2000个神经元的宽度。请注意，等式2中损失的cal权重（w，b），并且对于其f的零水平集f（x;w，b）=0，再现P：定理3.考虑线性模型f（x;θ）=f（wTx+b），θ=（w，b），具有强非线性.第二类：R→R。随着层的宽度增加，f（x;θ0）<$$>x<$−r假设数据X位于平面P=X|nΣx+c=0，增加，而球形（在这种情况下，圆形）为零水平集在所有近似水平上保持拓扑正确。定理1的证明在补充材料中提供;它是以下定理的推论，展示了如何为单个隐藏层网络选择初始权重：定理2. 令f：RdR是具有ReLU激活、ν和单个隐藏层的MLP。也就是说，f（x）=即，.则存在αR+，使得（w<$，b<$）=（α n，αc）是方程2中损失的临界点。当用SAL优化一般MLP（等式8）以证明局部平面再现时，该定理可以局部应用。详见补充资料。5.2.极限符号函数SAL损失将神经隐式函数f推向无符号距离函数的有符号版本wTν（W x+b）+ c，其中W∈Rd输出×d，b∈R dout，hX. 在L0的情况下，它是内部/外部指示器函数。wRdout，cR是可学习的参数。 如果b = 0，√2π对于L2，它是表面的签名版本，而对于L2，它是表面的签名版本。w=σdout1，c=−r，r >0，W的所有元素都是数据X的欧几里得距离。图4显示了高级i.i.d. normal（0，σ2）则f（x）xr.也就是说，f近似是到半径为r的d1球体的有符号距离函数，该球体位于Rd中，以原点为中心。5. 性能5.1. 平面复制平面再现是曲面逼近方法的一个关键特性，因为曲面本质上是局部平面的，即，有一个近似的切平面几乎每-其中[16]。在这一节中，我们通过证明平面再现性质来对SAL进行理论上的证明。我们首先证明了线性模型的这个性质（即，单层MLP），然后示出这如何意味着一般MLP的局部平面再现。的 设置 是 作为 如下所示：假设 的 输入数据.研发部躺在一架高速飞机上，=xRdnTx+c=0 ， nRd ， n=1 ， 是 平面 的正 规 函数，考虑线性模型f（x;w，b）=n（wTx+b）.此外，我们假设分布DX和距离hX不变，图2中的2D实验的epoch;注意，在这些高级epoch中的f确实更接近于相应hX的有符号版本。由于指示函数和符号欧氏距离在整个表面上是不连续的，因此当使用标准轮廓算法（如Marching Cubes [26]）提取其零水平集时，它们可能会产生量化误差在实践中，这种现象可以通过停止标准（学习率和迭代次数）的标准选择来避免另一个潜在的解决方案是添加一个正则化项SAL损失，我们标记为未来的工作。6. 实验6.1. 曲面重构SAL最基本的实验是从单个输入原始点云重建表面（不使用任何法线信息）。图5显示了基于[ 21 ]中提供的四个原始点云的表面重建，采用三种方法：球旋转[6]、变分隐式重构[21]以及基于L0距离的SAL，即，2571∈XX ×→X∈X−ǁǁXǁ·ǁ ǁ ǁ∈∈∈X2是最接近z的点，测量N（μ，μ）。点云是从扫描中随机均匀绘制的，即，Xi.解码器是隐式表示f（x; w，θ2）加上潜在向量w R256。f的结构被认为是8层MLP，如第6.1小节所述。损失我们使用SAL损失与L2距离，即，h2（z）=minx∈Xi<$z−x<$2到三角形汤i的无符号距离，并将其与变分自动编码器结合类型损失[24]：损失（θ）= ΣEXXi我Σ Σ损失R（θ）+λµ1+λη+11..图5：从（未定向的）点云进行表面重建。从左至右：输入点云;球旋转重建[6];变分隐式重建[21]; SAL重建（我们的）。优化等式7中描述的损耗，其中λ=1。这个损失中唯一的参数是σ，我们为x中的每个点设置为到点云中第50个我们使用了一个8层MLP，f：R3RmR，有512个宽隐藏层和一个到中间层的跳跃连接（更多实现细节见补充材料）。从图中可以直观地看到，SAL提供了高保真表面，即使对于稀疏和不规则输入点云的挑战性情况，也可以近似输入点云。6.2. 从原始扫描中学习形状空间在本文的主要实验中，我们在D-Faust扫描数据集[7]上进行了训练，该数据集由10个人在多个姿势中的大约41 k个原始扫描组成。 每次扫描都是一个三角形汤i，其中常见的缺陷包括孔洞、重影几何和噪声，参见图1中的示例。lossR （ θ ） =Ez<$Nσ （ Xi ） ， w<$N （ μ ， θ ） . |−h2（z）.|−h2(z). 、其中θ=（θ1，θ2），1是1-范数，μ1促使潜在预测μ接近原点，而η +1 1促使方差μ成为常数exp（1）;这些共同在潜在空间上强制正则化。λ是选择为10−3的平衡重量。基线。我们比较了三种基线方法。首先，RumasNet[19]，从原始点云学习形状集合的唯一现有算法之一。At- lasNet使用曲面的参数化表示，可以直接进行采样。在缺点方面，它使用了一组往往不会完美重叠的补丁，并且它们的丢失需要计算生成的点云和输入点云之间的最近点 其次，我们近似一个有符号距离函数，h<$2，到数据i在tw odif fer中，ent方法，并使用DeepSDF [30]中的MLP回归它们;我们称 这 些 方 法 为 SignReg 。 请 注 意 ， OccupationalNetworks [28]和[12]回归了不同的带符号距离函数，并且执行类似的操作。为了近似符号距离函数h<$2，我们首先尝试使用现有技术的表面重建算法[23]来产生防水歧管表面。然而，只有28684个形状被成功地重建（69%的数据集），使得该选项不适用于计算h<$2。我们选择近似符号距离类似于[20]的函数，其中h<$2（z）=nT（z−x<$），其中x∈ X= arg minx∗z−x修改的变分编码器-解码器[24]，其中编码器（μ，η）=g（X;θ1）被认为是PointNet [31]（补充材料中详细描述的特定架构），XRn×3是一个输入点云（我们使用n=1282），µR256是特征向量，ηR256表示对角协方差矩阵，公式为= diag exp η。 也就是说，编码器接收点云X并输出概率2由于该数据集中的时间采样密集，我们使用1：5的样本进行实验。而n是在x∈Xi处的法线。 以接近正常-我们测试了两个选项：（i）直接从原始扫描i具有其原始方向;以及（ii）使用Jets [ 10 ]进行局部法线估计，然后使用CGAL库[ 1 ]进行基于最小生成树的一致定向过程。表1和图6显示了D-Faust原始扫描上随机75%- 25%训练-测试分割的结果。我们报告了5%，50%（中位数）和95%的表面重建和架构为了学习我们使用我2572图6：从D-Faust扫描重建测试集。每列中从左到右：输入测试扫描，SAL（我们的）重建，MascasNet [19]重建和SignReg -带近似Jet法线的带符号回归。注册扫描方法百分之五中值百分之九十五百分之五中值百分之九十五[19]第十九话0.090.150.270.050.090.18火车 扫描法线射流法线2.531.7243.9930.46292.59513.342.631.6544.8631.11257.37453.43SAL（我们的）0.050.090.20.050.060.09[19]第十九话0.10.170.370.050.10.22测试 扫描法线射流法线3.451.8845.0331.05294.15489.353.211.76277.3630.8945.03462.85SAL（我们的）0.070.120.350.050.080.16表1：从D-Faust扫描重建测试集。我们记录重建表面与原始扫描（单侧）的倒角距离，以及地面实况配准;我们报告第5百分位数、第50百分位数和第95百分位数。据报道，数字为2010年3。原始扫描（从重建到扫描的单侧倒角SAL和SignReg重建由前向传递（μ，η）生成g（X;θ1）的点云X<$Xi从原始数据看不见的扫描，产生隐式函数f（x;μ，θ2）。我们使用Marching Cubes算法[26]来网格化零这个隐式函数的水平集。然后，从其上均匀采样30K点，计算出倒角距离。对未知数据的泛化。 在这个实验中，我们在两个不同的场景中测试我们的方法：（i）生成2573看不见的人的形状;以及（ii）生成不可见姿态的形状。对于看不见的人类实验，我们对8个人（4个女性和4个男性）进行了训练，留下2个人进行测试（一个女性和一个男性）。对于看不见的姿势实验，我们随机选择每个人的两个姿势作为测试集。为了进一步改进测试时的形状表示，我们还进一步优化了潜在的μ，以更好地近似输入测试扫描Xi.也就是说，对于每个测试扫描Xi，在前向通过（μ，η）=g（X;θ2）之后，X= Xi，我们进一步优化了作为μ的函数的损耗R，用于800次进一步的迭代。我们将这种方法称为潜在优化。表2表明，与单次向前传递相比，潜在优化在图7和图8中，我们展示了几个代表性的示例，其中我们在每列中从左到右绘制：输入测试扫描、仅使用前向传递的SAL重建以及使用潜在优化的SAL重建。失败案例显示在右下角。尽管在训练数据集中人类的可变性很小（只有8个人类），但是图7示出SAL通常可以使用单次前向通过重构将相当好的人类形状拟合到看不见的人类扫描;使用潜在优化进一步改进了近似，如可以在该图中的不同示例中检查的图8显示了单个前向重建如何能够正确预测姿态，其中潜在优化在形状和姿态方面改进了预测。2574注册扫描方法百分之五中值百分之九十五百分之五中值百分之九十五火车SAL（姿势）0.080.120.25 0.050.070.1SAL（人体）0.060.090.18 0.040.060.09SAL（姿势）0.110.372.26 0.070.180.93测试 SAL +潜在选择（Pose）SAL（人体）0.080.260.160.751.124.990.050.140.090.340.191.53SAL +潜在选择（人类） 0.120.33.05 0.070.140.49图7：重建看不见的人类扫描。每列从左到右：看不见的人体扫描，SAL重建与单向前通过，SAL重建与潜在的优化。右下角显示失败。图8：未见过的姿态扫描的重建。每列从左到右：看不见的姿态扫描，具有单次向前通过的SAL重建，具有潜在优化的SAL重建。右下角显示失败。局限性。SAL的局限性主要在于捕获薄结构。图9显示了来自ShapeNet [11]数据集的椅子和平面的重建（类似于6.1）;注意椅背和平面轮结构中的某些部分缺失。表2：从D-Faust扫描重建看不见的人和姿势我们记录重建表面到原始扫描（单侧）的倒角距离，以及地面实况配准;我们报道了第五次，第五十次和第九十五次，百分位数。据报道，数字为2010年3。图9：捕获薄结构失败。在每一对中：地面实况模型（左）和SAL重建（右）。7. 结论我们介绍了SAL：Sign Agnostic Learning是一种深度学习方法，用于处理原始数据，而无需任何预处理或地面真实正常数据或内部/外部标记。我们已经开发了一个几何初始化公式的MLP近似的符号距离函数的一个球，和理论证明平面再现SAL。最后，我们证明了SAL从原始点云重建高保真表面的能力，SAL很容易集成到标准的生成模型中，从原始几何数据中学习形状空间。SAL的一个局限性在第5节中提到，即优化的停止准则。在其他生成模型（如生成对抗网络）中使用SAL可能是一个有趣的后续研究。另一个未来的发展方向是从部分数据进行全局重建.将SAL与图像数据相结合也具有潜在的有趣应用。我们认为SAL有许多令人兴奋的未来工作方向，推进几何深度学习以处理无组织的原始数据。致谢这项研究得到了欧洲研究委员会（ERC ConsolidatorGrant ， “LiftMatch”771136 ） 、 以 色 列 科 学 基 金 会（Grant No. 1830/17）和研究补助金从卡罗琳基金会（WAIC）。2575引用[1] PierreAlliez，SimonGiraudot，Cle' mentJamin，FlorentLa-farge ， QuentinMe'rigot ， JocelynMeyron ，LaurentSaboret，Nader Salman，and Shihao Wu.点集处理。在CGAL用户和参考手册中。CGAL编辑委员会，5.0版，2019年。6[2] Matan Atzmon，Niv Haim，Lior Yariv，Ofer Israelov，Haggai Maron，and Yaron Lipman.控制神经水平集。arXiv预印本arXiv：1905.11911，2019。一、二[3] Timur Bagautdinov 、 Chenglei Wu 、 Jason Saragih 、Pascal Fua和Yaser Sheikh。使用合成vae建模面部几何形状。在IEEE计算机视觉和模式识别会议集，第3877-3886页，2018年。2[4] Heli Ben-Hamu 、 Haggai Maron 、 Itay Kezurer 、 GalAvineri 和 Yaron Lipman 。 多 图 生 成 式 曲 面 造 型 。SIGGRAPH Asia 2018 技 术 论 文 ， 第 215 页 。 ACM ，2018。一、二[5] MatthewBerger ， AndreaTagliasacchi ， LeeMSeversky ， Pierre Alliez ，Gael Guennebaud ，Joshua ALevine，Andrei Sharf，and Claudio T Silva.基于点云数据的曲面重构研究综述。在Computer Graphics Forum，第36卷，第301-329页中。Wiley Online Library，2017. 1[6] FaustoBernardini，JoshuaMittleman，HollyRushmeier，Cl a'udioSil v a，andGabrielTaubin. 曲面重构的球投算法IEEE可视化与计算机图形学汇刊，5（4）：349-359，1999。五、六[7] Federica Bogo，Javier Romero，Gerard Pons-Moll，andMichael J.黑色. 动态浮士德：登记人体运动。 在IEEE会议 计算机视觉和模式识别（CVPR），2017年7月。一、二、六[8] Piotr Bojanowski，Armand Joulin，David Lopez-Paz，and Arthur Szlam.优化生成网络的潜在空间arXiv预印本arXiv：1707.05776，2017。2[9] Jonathan C Carr、Richard K Beatson、Jon B Cherrie、Tim J Mitchell、W Richard Fright、Bruce C McCallum和Tim R Evans。基于径向基函数的三维物体重建与表示在第28届计算机图形学和交互技术年会论文集，第67-76页ACM，2001年。2[10] 埃里克·卡扎·莱斯和马克·波吉特。用密切射流的多项式拟合估算微分计算机辅助几何设计，22（2）：121-146，2005. 6[11] AngelXChang ， ThomasFunkhouser ， LeonidasGuibas，Pat Hanrahan，Qixing Huang，Zimming Li，Silvio Savarese ， Manolis Savva ， Shuran Song ， HaoSu，et al. Shapenet：一个信息丰富的3D模型存储库。arXiv预印本arXiv：1512.03012，2015。8[12] 陈志勤和张浩。学习生成式形状建模的隐式字段。在IEEE计算机视觉和模式识别会议论文集，第5939-5948页一、二、四、六[13] Angela Dai ， Charles Ruzhongtai Qi ， and MatthiasNießner.使用3d编码器预测器cnns和形状合成的形状完成。InProceedings of the IEEE Conference2576计算机视觉和模式识别，第5868- 5877页，2017年。2[14] Boyang Deng、Kyle Genova、Soroosh Yazdani、SofienBouaziz 、 Geoffrey Hinton 和 Andrea Tagliasacchi 。Cvxnets ： 可 学 习 的 凸 分 解 。 arXiv 预 印 本 arXiv ：1909.05736，2019。1[15] Theo Deprelle 、 Thibault Groueix 、 Matthew Fisher 、Vladimir G Kim、Bryan C Russell和Mathieu Aubry。学习三维形状生成和匹配的基本结构。arXiv预印本arXiv：1908.04725，2019。1[16] 曼弗雷多·P·杜·卡莫。微分几何的曲线和曲面：修订和更新第二版。2016年，《中国日报》。三、五[17] Kyle Genova 、 Forrester Cole 、 Daniel Vlasic 、 AaronSarna、William T Freeman和Thomas Funkhouser。使用结构化隐函数学习形状模板。arXiv预印本arXiv：1904.06447，2019。一、二[18] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。 在神经信息处理系统的进展，第26722[19] Thibault Groueix，Matthew Fisher，Vladimir G Kim，BryanCRussell，andMathieuAubry. 一个学习3D表面生成的简单在IEEE计算机视觉和模式识别会议论文集，第216-224页，2018年。一、二、六、七[20] Hugues Hoppe，Tony DeRose，Tom Duchamp ，JohnMcDonald ， and Werner Stuetzle. 无 组 织 点 的 表 面 重建，第26卷。ACM，1992年。6[21] Zhiyang Huang，Nathan Carr，and Tao Ju.变分隐点集曲面。ACM事务处理图表，38（4），2019年7月。三五六[22] Michael Kazhdan，Matthew Bolitho，and Hugues Hoppe.泊松曲面重建在Proceedings of the fourth Eurographicssymposium on Geometry processing，第7卷，2006中。2[23] Michael Kazhdan和Hugues Hoppe筛选泊松曲面重建。ACM Transactions on Graphics（ToG），32（3）：29，2013. 二、六[24] Diederik P Kingma和Max Welling。自动编码变分贝叶斯。arXiv预印本arXiv：1312.6114，2013。 一、二、六[25] 或 者 Litany ， Alex Bronstein ， Michael Bronstein 和Ameesh Makadia。可变形形状完成与图形卷积自动编码器。在IEEE计算机视觉和模式识别会议论文集，第1886- 1895页2[26] 威廉·E·洛伦森和哈维·E·克莱恩。移动立方体：一种高分辨率三维表面构造算法。在ACM siggraph计算机图形，第21卷，第163ACM，1987年。五、七[27] Haggai Maron，Meirav Galun，Noam Aigerman，MiriTrope，Nadav Dym，Ersin Yumer，Vladimir G Kim和Yaron Lip-man。通过无接缝复曲面覆盖的表面上的卷积神经网络。ACM事务处理图表，36（4）：71-1，2017. 22577[28] Lars Mescheder，Michael Oechsle，Michael Niemeyer，Se- bastian Nowozin ， and Andreas Geiger.Occupancynetworks：Learning 3d reconstruction in function space.在IEEE计算机视觉和模式识别会议论文集，第4460-4470页，2019年。一、二、六[29] Patrick Mullen、Fernando De Goes、Mathieu Desbrun、David Cohen-Steiner和Pierre Alliez。签署未签署的：基于原始点集的曲面重建。在计算机图形论坛，第29卷，第1733-1741页威利在线图书馆，2010年. 2[30] 郑俊朴、彼得·弗洛伦斯、朱利安·斯特劳布、理查德·纽科姆和史蒂文·洛夫格罗夫。Deepsdf：学习连续符号距离函数用于形状表示。在IEEE计算机视觉和模式识别会议（CVPR