可微网络预测3D曲面法线和曲率

4716学习可微曲面表示JanBednar 'ık Shaif aliParashar ErhanGundog du MathieuSalzmannP ascalFuaCVLab，EPFL，Switzerland{firstname.lastname} @ epfl.chGT网格GT点云预测面片计算法线计算平均曲率图1. 我们的方法预测了一个多补丁表示，其中补丁保证不崩溃，并最小化重叠 由于其显式访问表面的微分特性，我们的方法计算法线和曲率分析建模表面的任何预测点。摘要生成点云的生成模型已经成为表示3D表面的强大工具，目前最好的模型依赖于学习参数表示的集合不幸的是，它们不能控制形成集合的曲面片的变形，因此不能防止它们重叠或塌陷成单点或单线。因此，计算形状属性，如表面法线和曲率变得困难和不可靠。在本文中，我们证明了我们可以利用深度网络的内在可微性，在训练过程中利用此外，这使我们能够可靠地计算曲面法线和曲率等量我们将在几个任务中证明，这在法线估计和塌陷和重叠补丁的数量方面比最先进的方法产生更准确的表面重建。1. 介绍点云作为一种紧凑而富有表现力的方式来表示3D表面，正变得越来越受欢迎，这项工作得到了瑞士国家科学基金会的部分支持因为它们可以捕捉高频几何细节而不需要太多内存。现有技术的方法依赖于编码器/解码器架构来从输入数据创建潜在这些映射中的每一个都可以被认为是将2D矩形面片转换为位于要建模的表面上的一组3D点。FoldingNet [33]和PaddingasNet [16]是这种方法的最佳代表之一，从一个单一补丁到多个补丁的移动已被证明可以有效地实现更高的准确性。然而，这种准确性的提高是有代价的。没有什么能保证每个补丁将代表目标表面的实质部分，并且一些补丁实际上可能会塌陷，这意味着它们生成单个点或线，而不是类似表面的云。另一个潜在的问题是，由不同块生成的3D云将重叠，使得下伏表面的相同部分由若干块表示，从而导致块之间的潜在不一致性并且无效地使用解码器的容量。虽然当训练数据包含许多不同类别的对象时可能不会发生这些问题，例如当使用整个ShapeNet数据集[10]时，但它们在实际场景中变得明显，其中人们旨在对特定表面的形状进行建模，例如一件衣服，如图所示。1.一、在本文中，我们解决这两个问题，利用观察，一阶和二阶导数的去-4717我KKD1ΣΣ2伊日编码器输出可用于计算重构表面的微分特性，而不必对其进行三角测量。换句话说，我们可以通过分析计算精确的表面特性，而不必使用点云或网格来近似这些量。 这使我们能够将防止补丁崩溃并大大减少补丁重叠的损失函数项纳入训练中。在我们的实验中，我们将证明，能够计算微分特性并在训练过程中利用它们（1）完全防止任何类型的补丁崩溃，（2）基本上减少了补丁重叠的数量（3）让我们预测表面法线具有比SotA更高的准确性。我们利用可微性的方法并不依赖于特定的架构，我们将在几个任务中展示它不仅具有最先进的精度，而且还具有更好的表现表面表示，其可微特性可以很容易地估计。因此，我们的贡献是利用3D点云生成方案的通用方法，使得目标表面的差分特性立即可用而无需进一步的后处理，这使得它们可用于执行诸如从阴影恢复形状、纹理映射、从范围扫描进行表面法线估计[2，19]和细节保留重新网格化[8]等任务的后续算法。代码在我们的项目页面1上公开。2. 相关工作曲面重建的深度生成方法。现代生成式深度网络非常擅长于重建3D表面，用于从不完整数据中完成形状完成等任务[11，26，30，28]，单视图形状重建，结构[16，25，6，14]和自动编码点云[16，13]。 它们代表了表面的声音-els [32，30，15]、三角形网格[25，6，12]或点云[16，13，14]。所有这些方法的共同点是，它们在3D位置方面提供精确的形状，但不一定在差分表面属性方面后者可能是不准确的，甚至是荒谬的，这将在距离[31]。这些方法的最大优点之一是，作为连续函数的学习映射允许在测试时的任意采样分辨率。然而，这些方法仍然没有一种能够获得不同的表面特性。一个例外是[21]的方法，该方法学习B样条近似的参数化，但仅适用于2D曲线。使用差示表面性能为训练有一些深度学习技术使用不同的表面属性，其形式为法线映射[6，3]或在三角网格上计算的近似值[17]，但没有一种依赖于3D点云。使用微分表面属性仍然主要属于非深度学习方法的领域，例如模板形状[22，5]或非刚性结构运动[1，24]，这超出了本文的范围。3. 多面片表示如上所述，多面片表示[16，31]是从潜在表示生成表面的强大工具。然而，它们受到一些限制，我们将在下面讨论并在第4节中讨论。3.1. 形式化让我们考虑从给定的低维特征向量d∈RD到由3D点云表示的3D空间中的表面S的映射F。在多-分 片 方 法 中 ， 点 云 是 由 K 个独 立 映 射 fwk ： R×Df→R3（1≤j≤K）生成的点的并集，其中每个fw是一个带参数wk的可训练网络，Df=[cmin，cmax]2表示R2中的一个正方形. 换句话说，fw网络将潜在向量d和Df中的2D点作为输入，并返回3D点。给定包含许多3D形状的训练集，通过最小化倒角距离损失的总和来学习网络权重wk，其中一个倒角距离损失用于训练批次中的每个3D形状，其形式为KMüeL= min？p（k） −q？+实验段CHDKMjüijüek=1i =1（一）1个N？2基于面片的表示。在所有这些方法中，FoldingNet [33]是第一个引入学习思想的方法。Nj=1min？p（k）−q？，i，k从2D面片到3D曲面的参数映射。它依赖于离散采样和后续方法，引入了连续的多补丁表示，通过最小化倒角距离[16，13]（L2距离的形状感知变体[29]）进行训练，或者优化以使用Earth mover1https://github.com/bednarikjan/differential_曲面表示其中M是由每个片预测的点的数量，N是GT点的数量，pk是由fwk预测的第i个3D点，并且qj是第j个GT点。整个管道如图4所示。3.2. 限制最小化等式的损失函数1生成的面片共同覆盖整个曲面，但不约束如何覆盖4718uu单个贴片经历的变形或它们如何相对于彼此定位。在实践中，这导致两种潜在的故障模式。由3D点云表示。然后，我们提出了我们的ap-proach使用它们在培训期间。4.1. 微分表面性质（一）uv空间形变坍缩vu（c）五uv空间形变坍缩u令r =[u，v] ∈ Df，其中Df是定义fwk的2D域，如第3.1节开头所述。p =fwk（r）是曲面S上的一点。我们可以-（b）v(d) v计算S的微分性质，包括法线和曲率，从fwk关于u的导数，uuv如下，给定fw是连续可微的图2. 典型面片塌陷的2D表示。（a）0D塌陷，（b）1D拉伸塌陷，（c）1D偏斜塌陷和（d）功能 为了符号简单，我们去掉下标在本节的其余部分中，wk从fwk局部塌陷设J =fuΣfv是f在p处的雅可比矩阵，其中fu=fv=f。法向量为厄舒修补程序塌陷。一些补丁可能会崩溃，不期望的配置，诸如图2中所示的那些。当训练完成时，这可能不会增加总LCHD值很多，因为剩余的非塌陷茨布夫n =fu× fv。（二）fu×fv补丁可以补偿崩溃的补丁。然而，崩溃的补丁仍然会导致两个主要问题。首先，它们的法线和曲率不再有意义。秒-曲率、面积和形变性质可由度量张量Σ Σ Σ Σ第二，对应于塌陷贴片的fwj变为g=J =ffuffvEF=.（三）没有用，因此浪费了F的代表性力量。ffvffvF Gu v然后，平均曲率和高斯曲率为目标表面贴片1贴片2贴片3c均值1=−2测定g2012年2月2日nG−2u22fF+∂u∂v2fv2ΣE（四）(a)（b）第（1）款2012年2月c=u22012年2月n·v22012年2月n−（u vn）2.（五）图3. 补丁重叠。(a)最多3倍重叠。(b)小重叠的配置。高斯EG−F2贴片重叠。这种方法的另一个缺点是，它不提供对补丁的相对空间配置的控制。因此，它不会阻止它们彼此重叠，如图3所示。 这是一种不期望的行为，因为重叠的面片可能产生没有很好对齐的曲面，并且再次因为F的一些表达能力被浪费了。4. 微分性质的解释我们已经看到，多片表示是强大的，但受到片折叠和重叠，这两者都降低了他们的表达能力。我们现在表明，通过在训练过程中正则化重建曲面的微分特性，我们可以消除面片塌陷并减轻面片重叠。我们将在第5节中证明，这提高了法线和曲率的准确性。在本节的剩余部分，我们首先解释如何在线计算曲面的微分性质K4719此外，由贴片覆盖的表面的面积可以被估计为：∫∫√A=EG− F 2dudv.（六）Df请注意，所有这些表面属性都是通过解析计算的。因此，它们是精确的，可微的，不需要三角测量。这与传统方法不同，传统方法在点云或网格上近似4.2. 学习鲁棒映射回想一下，我们的目标是学习从多个2D面片到3D点云的映射F特别是，我们试图约束F建模的变形，这样可以防止面片塌陷，但复杂的表面仍然可以表示。准确地怨恨我们现在讨论我们所依赖的变形模型，然后介绍所需的训练损失函数。4720（Dx1fwP（Px1（男紫外样品（男x2）fw1（男x3）点云（下午3点）（下午3（男（Nx3紫外空间L数据（1GT形concat码字L定义LolMM区域变形（0，1）（下午x1）（下午x1）法线曲率（0，0）图4. 我们接近的示意图。 K个解码器的集合{fwk}的输入是潜在向量d（称为码字）和从域Df（称为UV空间）采样的2D点的集合。解码器产生点云，它们一起表示目标表面。 fwk w.r.t.的导数。UV空间允许每个片的面积和变形特性的分析计算用于训练我们的模型的损失函数由使用GT注释的数据项L data以及分别防止补丁重叠和补丁崩溃的项L ol和L def组成。4.2.1变形模型保角映射产生低失真，同时保留复杂形状的建模能力。因此，它们广泛用于计算机图形学和计算机视觉，例如纹理映射[9]和表面重建[24]。对于经历保形变形的曲面，度量张量必须具有以下形式：4.2.2损失函数在这里，我们用公式表示应该添加到等式1的数据丢失LCHD的损失项。1，以确保所得到的fwk表示缩放的等距，如上所述，而没有贴片塌陷，并且具有尽可能少的重叠。强制一致性。 我们定义gconf=s（r）Σ Σ十、（七）0 11 ΣKLE= 公里.Σ2E（k）−µEA（k）、（9）k=1i =1其中s：Df→R返回参数空间中每个位置的比例值。不幸的是，让defor-信息保形不能防止贴片塌陷，即使在1 ΣKLG= 公里.Σ2G（k）−µGA（k）、（10）k=1i =1单个补丁场景，因为部分崩溃仍然可以发生在s（ri）>0的任何地方。为了解决这个问题，我们建议使用比例等距地图-1 ΣKLsk=KMM .（k）2002年FiA（k）、（11）k=1i =1ping其度量张量可以写成.K（k）（k）2002年吉西索ΣΣ1 0=s0 1、（8）1Lstr=KMk=1i=1Ei−GiA（k）、（十二）其中s是所有参数共享的未知全局标度称为空间位置。将F约束为缩放的isomet-其中，M是每个曲面片上采样的点的数量;E、F和G在等式中定义3个;Ric映射相当于假设目标表面是µ=1Σ（k）和µ（k）;EKMK iIGK i我分片可展，这已被证明是变形曲面重构领域的合理假设[5，4，23]。在单个补丁场景中，当最小化等式的损失时，s0不再是一个选项1、因为，那么靶表面将是点塌陷的，因此不能覆盖整个靶表面。然而，崩溃仍然可以发生在多补丁的情况下，必须使用适当的损失条款，如下所述，以防止。我我4721以及A（k）是使用以下公式计算的曲面片的面积：当量六、请注意，我们通过A（k）对这些项进行归一化，以使它们独立于当前表面补丁区域，该区域在训练过程中会发生变化。这四个损失中的每一个都控制着方程的度量张量的分量。3，使得其非对角项接近于0，并且其对角项相等，如在等式8中。具体地说，Lstr防止垂直或水平拉伸因此，有效地，0D和1D折叠显示在4722我K图2（a，b）. 如图2（c）所示，Lsk防止1D偏斜崩溃，而LE和LG防止图2（c）所示的部分偏斜崩溃。第2段（d）分段。最后，我们表示我们的完全变形损失Ldef=αELE+αGLG+αskLsk+αstrLstr，（13）其中αE，αG，αsk，αstr∈R是超参数.尽量减少重叠。第4.1节我们可以使用等式2计算由贴片k覆盖的面积A（k）。六、因此，我们介绍也将产生分段线性映射，这将不适合于计算表面曲率。因此，我们使用Softplus函数，它近似于ReLU，同时具有平滑的一阶和二阶导数，如图5所示。5. 实验我们的方法是通用的，因此可以适用于依赖于不同架构的不同任务。我们在下面讨论它们，然后介绍我们用于测试目的的数据集和指标最后，我们提出了我们的结果。.Lol= max0，ΣKk=1.ΣA（k）Σ2-一个（十四）5.1. 任务我们尝试了三种流行的表面制冷剂-以鼓励片最多共同覆盖整个表面的区域，其中，取决于感兴趣的任务，将A计算为GT网格或三角化GT深度图的区域我们估计斑块面积为A（k）=1<$M（k）A（k），其中M（k）是我们在下面描述的任务，以及我们用来解决它们的体系结构。点云自动编码（PCAE）。我们依赖于一个At- lasNet[16]变体，其中我们稍微修改了解码器：ReLU激活被Softplus取代，M（k）i=1i从贴片k采样的点，A（k）是等式6计算一个点。组合损失函数我们将完全损失函数取为L=LCHD+αdefLdef+αolLol，（15）超参数αdef，αol∈R.在实践中，我们使用Eq的权重。13来控制Ldef四项的相对影响，以及αdef和αol来控制变形和重叠正则化项分别4.2.3映射架构(a)(b)（ c ） 第（1）款图5.使用ReLU会导致分段线性映射，如（a）中的红色所示，它只能很差地近似真实的表面法线（黑色）。通过比较（b）和（c）可以看出，Softplus函数近似于ReLU行为，同时具有平滑的一阶和二阶导数。与[16]一样，我们将每个映射fwk实现为多层感知器（MLP），每个MLP都有自己的集合2重量。由于我们需要fw至少是C-可微的，所以我们不能使用流行的ReLU激活函数，它几乎在任何地方都是C2请注意，ReLU函数4723第4.2.3节中所述的原因，最后一次激活是线型我们删除了批量归一化层，因为它们使我们的训练不稳定。形状完成（SC）。给定部分3D点云，例如深度图，形状完成旨在预测完整的对象形状。为此，我们使用一个U-Net [27]编码器，它产生一个大小为2048的潜在表示d，以及FoldingNet [33]解码器，除了最后一个是线性的之外，所有激活都用Softplus替换单视图三维形状重建（SVR）。这个任务的目标是预测观察到的表面的形状在单个RGB图像中。为此，我们使用一个编码器实现为具有瓶颈模块和44层的ResNet [18]，以及一个解码器实现为类似于SC的FoldingNet [33]变体。为了与SotA进行公平的比较，我们还尝试了一个与PCAE相同修改的PakasNet变体[16]。在本节的其余部分中，无论任务在手边，我们将参考我们的模型，我们使用等式的L训练该模型。15我的对于每个实验，我们报告我们使用的超参数αdef和Eq. 十五岁除非另有说明，否则我们将公式13的所有超参数设置为等于1。5.2. 数据集ShapeNet Core v2 [10]（SN）. 该数据集由多个类别的合成对象组成，已被广泛用于衡量3D形状重建方法的性能。我们使用与Atlas- Net论文[16]中相同的训练/测试分割4724MSOLAP0D 1D无纹理可变形曲面[6]（TDS）。 在各种光照条件下捕获的可变形表面的真实世界数据集由RGB图像序列和5个不同物体的相应深度和法线图我们选择了2个最多的数据样本，一块布和一件T恤成像与一个单一的光设置。我们使用85%的样本进行训练，5%用于验证，10%用于测试。创建分割是为了使验证和测试样本尽可能与训练样本不同补充材料中提供了更多细节。女T恤[17]（FTS）. 这个合成数据集包括600名不同女性以不同姿势穿着的T恤。我们将体型随机分为训练集（87%）、验证集（8%）和测试集（5%）。我们使用图形库li- bigl [20]中实现的二次拟合预先5.3. 度量我们根据以下指标报告我们的结果倒角距离（CHD）。 该距离在Eq中给出。1.一、平均（mH）和高斯（mK）曲率。曲线在Eq.4和5.角度误差（mae）。为了测量通过计算n次正态分布，我们将平均角误差定义为表 1. 在 FTS 数 据 集 上 使 用 （ OURS ） 和 不 使 用 Ldef（BASIC）进行SC训练。CHD乘以103，并且mae以度数表示。请注意，计算使用未经Ldef训练的模型获得的表面上的曲率存在数值不稳定性，这使得我们无法在不使用L def时报告m H值。模型CHD美埃MHMKmcol基本0.1424.38n/a170e69我们0.115.9435.2953e30(a)（b）第（1）款图6. 0D和1D塌陷的典型情况。（a）具有表示各个块的不同颜色的预测点云。红色椭圆聚焦于折叠区域。(b)0D和1D塌陷和相应法线的特写视图。我们所有实验的FTS数据集为了训练，我们随机抽取了8000个GT点，OURS和BASIC预测了相同的数量。我们设置αdef= 0。001且αol=0，因此忽略重叠，美埃 =1Mi=1 阿尔科什|尼尼|，其中ni和ni是由方程式15和补丁的数量为25。我们报告的预测点及其最近GT的单位长度法线点取绝对值以使度量不变性于贴片方向，这既不是我们的方法也不是SotA方法控制的。Number of collapsed patches (mcol)我们给你一块补丁表1和图6中的结果描述了典型的塌陷情况。由于OURS没有崩溃，因此结果的准确性得到了提高，这验证了我们的假设，即允许补丁崩溃会浪费一些网络描述能力。 此外，质量改进如果A（k）

下载后可阅读完整内容，剩余1页未读，立即下载