符号不可知学习：从原始数据中学习形状的方法

74 浏览量更新于2025-01-16 收藏 2.08MB PDF 举报

×→

SAL：从原始数据中进行符号不可知学习

Matan Atzmon和Yaron Lipman

Weizmann科学研究所，以色列

图1：我们引入SAL：符号不可知学习，用于直接从原始数据学习形状，例如三角汤（每个灰色对中的左侧;背面

为红色）。在每个灰度对中-通过SAL对测试原始扫描进行表面重建;在金- SAL潜在空间相邻的灰色形状之间的插

值。原始扫描来自D-Faust数据集[7]。

摘要

最近，神经网络已经被用作

IM-

Ral网络被用作参数化映射，而隐式方法将表面表示为

神经网络的零水平集：

用于表面重建、建模、学习和生成的显式表示到目前

为止，训练神经网络

∈

（

;

）

、

（

）

为了成为表面的隐式表示，需要从地面实况（

ground-

truth

）有符号隐式函数（例如有符号距离或占用函

数）采样的训练数据，众所周知，这些函数难以计

算。

在本文中，我们介绍了符号不可知学习（

SAL

），

这是一种深度学习方法，用于直接从原始的无符号几

何数据（如点云和三角汤）中学习隐式形状表示

我们已经测试了

SAL

在具有挑战性的问题上的表面

重建从一个非定向的点云，以及端到端的人体形状空

间学习直接从原始扫描数据集，并实现了最先进的

reactions

相比，目前的方法。我们相信

SAL

为许多具有

真实数据的几何深度学习应用程序打开了大门，减轻

了通常繁琐的手动预处理。

介绍

最近，深度神经网络已被用于重建、学习和生成3D

表面。有两种主要方法：参数[19，4，40，15]和隐式

[12、30、28、2、14、17]。在参数化方法中，

其中

： R3RmR 是神经网络，

例如

，多层感知器

（MLP）。使用神经网络作为对表面的隐式表示的好

处源于它们的灵活性和近似能力（

例如

，定理1）以及

它们的有效优化和推广性质。

到目前为止，神经隐式表面表示主要使用回归型损

失来学习，需要来自表面的地面实况隐式表示的数据

样本，例如符号距离函数[30]或ocu函数[12，28]。不

幸的是，对于采集的3D数据

的普通原始形式，

即

，

点云或三角形汤

，没有这样的数据是现成的，并且计

算底层表面的隐式地面实况表示是一项非常困难的任

务[5]。

在本文中，我们提倡

符号不可知学习

（SAL），定

义了一个家庭的损失函数，可以直接使用原始（无符

号）的几何数据，并产生

有符号的

隐式表示的表面。

SAL的一个重要应用是生成模型，如变量自动编码器

[24]，直接学习形状空间

]三角形汤是空间中三角形的集合，不一定是一致定向的或流

形。

2565

2566

→

从原始的3D数据。图1描绘了一个示例，其中使用SAL

共同学习原始人类扫描的数据集克服了数据中的许多

缺陷和伪影（每个灰色对中的左侧），并提供了高质

量的表面重建（每个灰色对中的右侧）和形状空间

（潜在表示的插值是金色的）。

我们已经尝试了SAL从点云进行表面重建，以及从

D-Faust数据集的原始扫描中学习人体形状空间[7]。将

我们的结果与当前的方法和基线进行比较，我们发现

SAL是从原始数据学习形状的首选方法，并相信SAL

可以促进许多计算机视觉和计算机图形学形状学习应

用，使用户能够避免繁琐和未解决的预处理中的表面

重建问题。

以前的工作

2.1.

基于神经网络的曲面学习

神经参数曲面。使用神经网络表示表面的一种方法是

参数化的，即作为参数化图表

：

R2R3

。Groueix等人

[19] 建议使用这种参数化图表的集合来表示表面

（

即

，atlas）; Williams et al.[40]使用图表之间的适当

过渡函数优化地图集，并专注于单个表面的重建。辛

哈等人[32，33]使用几何图像作为全局参数化，而[27]

使用共形全局参数化来减少地图的自由度数量。参数

表示是明确的，但需要处理图表的覆盖、重叠和变

形。

神经隐式表面。另一种使用神经网络来表示曲面的方

法，也是本文所采用的方法，是使用隐式表示，即

：

R，并且曲面被定义为其零水平集，等式1。一些作

品在体积网格上编码

，例如体素网格[41]或八叉树

[36]。当隐函数

表示为神经网络时，可以实现模型自

由度的更大灵活性和潜在更有效的使用[12，30，28，

2，17]。在这些工作中，使用符号距离函数的回归损

失[30]，占用函数[12，28]或通过粒子方法来训练隐

式，以直接控制神经元水平集[2]。排除需要对零水平

集进行采样的后者，所有基于回归的方法都需要地面

实况内部/外部信息来训练隐式

。在本文中，我们提

出了一个符号不可知的训练方法，即训练方法，可以

直接与原始（无符号）数据。

形状表征学习。学习形状集合是使用生成对抗网络

（GAN）[18]，自动编码器和变分自动编码器[24]以及

自动解码器[8]完成的。 Wu等人[41]将GAN用于体

素网格编码的形状，而本哈姆等人。[4]将GAN应用于

一组共形图。 Dai等人。[13]使用编码器-解码器架构

从体积网格上的部分输入学习到完整形状的有符号距

离函数。Stutz等人[34]使用可变自动编码器来学习使

用体积网格的汽车的隐式表面表示。Baqautdinov等人

[3]使用具有恒定网格的变分自动编码器来学习人脸形

状空间的Litany等人[25]使用变分自动编码器来学习模

板网格的身体形状嵌入Park等人。[30]使用自动解码器

来学习形状的隐式神经表示，即直接学习数据集中每

个形状的潜在向量。在我们的工作中，我们还使用了

变分自动编码器，但与以前的工作不同，学习是直接

从原始3D数据中完成的。

2.2.

表面重建。

带符号的曲面重建。许多表面重建方法需要法向或内/

外信息。 Carr等人[9]是最早提出使用参数模型通过计

算其隐式表示来重建表面的人之一;它们使用径向基函

数（RBFs），并在使用定向法线信息计算的内部和外

部点处进行回归。Kazhdan等人[22，23]在体积离散化

上求解泊松方程以将点和法线信息扩展到占用指示器

函数。 Walder等人 [38]使用径向基函数并求解变分

Hermite问题（

即

，将隐式的梯度拟合到正态数据）以

避免平凡解。在一般情况下，我们的方法与非线性参

数化模型（MLP），因此不需要先验空间离散化，也

不与固定的线性基础，如径向基函数。

无符号曲面重建。与本文更相关的是处理无符号数据

（如点云和三角汤）的表面重建方法Zhao等人。[43]

使用水平集方法通过最小化表面到点云的损失惩罚距

离来将隐式表面拟合到无方向的点云，从而实现一种

最小面积表面插值点。Walder等人[37]制定了一个变分

问题拟合隐式径向基函数的无方向点云数据，同时最

小化一个正则化项和最大化矩阵的范数;求解变分问

题等价于特征向量问题。Mullen等人[29]建议通过一个

多阶段算法将一个无符号距离函数标记到一个点云，

首先将问题分为近距离和远距离。

2567

→

×→

亚

| |

|| | −|

{ }

−

(a)

（b）第（1）

款

图2：2D中的符号不可知学习实验：（a）和（b）分

别显示无符号L

和L

到2D点云的距离（灰色）;（c）

和（d）可视化用相应的符号不可知损失优化的神经网

络的不同水平集。请注意零水平集（粗体）如何优雅

地连接点以完成形状。

场符号估计，以及传播更接近零水平集的远场估计;然

后优化将平滑符号函数拟合到所估计的符号函数的凸

能量。Takayama等人[35]建议通过最小化广义缠绕数

的Dirichlet能量来定向三角形汤，注意正确的方向产生

分段常数缠绕数。Xu等人[42]建议通过使用由无符号

距离函数定义的偏移曲面来计算三角形汤的稳健有符

号距离函数Zhiyang et al.[21]通过优化非凸变分问题最

小化光滑项、插值项和数据点处的单位梯度项来隐式

拟合RBF。所有这些方法都需要用到一些线性函数空

间;当函数空间是全局的时，

例如

，当使用径向基函数

时，模型拟合和评估是昂贵的，并且限制了可以有效

处理的点云的大小，而局部支持基函数通常具有较差

的平滑特性[39]。相比之下，我们使用非线性函数基

（MLP），并提倡一种新颖而简单的符号不可知损失

来优化它。评估非线性神经网络模型是有效的和可缩

放的，并且训练过程可以在大量点上执行，随机优化

技术。

符号不可知学习

给定一个原始输入几何数据，R

，

例如

，点云或三

角汤，我们希望优化网络

（x;θ）的权重θ∈R

，其中

：

→

，使得其零水平集，等式

，

是一个近似于X的曲面。

我们介绍了

符号不可知学习

（SAL）定义的形式

损失（

）

<$D

（

;

）

，

（

）

，

（

）

其中

是由输入数据定义的概率分布

（

）是一个

无符号

距离测度

;

并且

：

R R

是由以下性质定义

的可微

无符号相似性函数

：

(i)

符号不可知的：

（−

，

）

（

，

），

∈

，

∈

。

(ii)

单调：

<$τ

（

，

）

（

a-b

），<$

，

∈

，

其中

：

R R

是单调递增函数，

（

）

。无符号

相似性的示例是

（

，

）

一

|−

为了理解SAL损失定义背后的思想，首先考虑标准

回归损失， τ（a

，

b）

−

在等式2中。这将鼓励

尽可能地类似于无符号距离

另一方面，使用等式

中的无符号相似性

引入了新的

局部最小损失，其中

是有

符号

函数，使得

近似

。为了得到这个

理想的局部最小值，我们稍后设计

了一个有利于有符号局部最小值的网络权重

初始化

θ0

。

作为说明性示例，插图

描绘了

一维情况（

1 ），其中，

，

（

）

x x

，并且

（

，

）

a b

，其满足

性质（

）

和（

），如所讨论的，低

;

因

此，损失力求最小。

放大黄色区域。当适当

地

初始化网络参数

时，

损失的最小

化者

定义了一个隐式

（

;

），它实现

了

的

有符号

版本

;

在这种情况下，

（

;

）

−

。在三个维度中

（

;

）的零水平集S将表示一个逼近X的曲面。

为了从理论上激发方程2中的损失族，我们将证明

它具有

平面再现

性质。也就是说，如果数据包含在一

个平面中，则存在一个临界权重

，

将该平面重建为

（

）的零水平集。平面再现对于曲面近似是重要

的，因为曲面根据定义具有近似值。

几乎处处匹配切平面[16]。

我们将基于无符号距离函数

的不同选择来探索

SAL

的实例化，如下所示。

剩余12页未读，继续阅读

cpongm

粉丝: 6

符号不可知学习：从原始数据中学习形状的方法

通信系统仿真2ASK调试与解调.docx

C语言实现filtfilt滤波器：从原始数据中提取心拍和呼吸信号

GIS三调符号库应用指南：土地规划与勘探工具

国土三调符号库完整集：ArcGIS及ArcGIS Pro风格

Java方法：检测字符串中汉字和标点符号的数量

特殊符号大全：从标点到各种语言字符

掌握机器学习的利器：20 Newsgroups数据集详解

Proteus电子元件符号大全：从二极管到场效应管

C语言进阶学习：数据类型与内存存储解析

FontCreator中文教程：从安装到符号制作详解

最新资源