没有合适的资源?快使用搜索试试~ 我知道了~
基于Meshlet先验的三维网格重构
1P,N,TP,N,T P,N,TP,N,TP, N,TP、N、T基于Meshlet先验的三维网格重构Abhishek Badki1,2 Orazio Gallo1 Jan Kautz1 Pradeep Sen21NVIDIA2加州大学圣巴巴拉分校摘要从一组无序的稀疏、有噪声的3D点估计网格是一个具有挑战性的问题,需要仔细选择先验。现有的手工制作的先验,例如平滑度正则化器,在衰减噪声和保留局部细节之间强加了不期望的权衡。最近的深度学习方法通过直接从数据中学习先验知识产生了令人印象深刻的结果。然而,先验知识是在对象级别学习的,这使得这些算法是类特定的,甚至对对象的姿态敏感。我们介绍meshlets,小补丁的网格,我们用来学习当地的形状先验。Meshlets充当局部特征的字典,因此允许使用学习的先验来重建任何姿势和看不见的类中的对象网格,即使噪声很大并且样本稀疏。1. 介绍捕捉、表示和数字化操作对象的能力对于从内容创建到动画、机器人和虚拟现实等广泛的重要应用至关重要。在3D对象的不同表示(还包括深度图,占用网格和点云)中,网格特别有吸引力。然而,估计真实世界物体的网格并不简单,因为常见的捕获策略,如结构光[30]或多视图立体[14,36],会产生点云或深度图。这些中间表示是有噪声的、稀疏的,并且当用于估计连续表面时,它们引入了对噪声的过度拟合和过度平滑之间的权衡传统方法需要手工制作的先验(例如,局部平滑度)来平衡噪声和细节,如拉普拉斯重建的情况[27]。图1显示,当点云有噪声(行标记为N)时,很难达到最近的基于学习的方法直接从大量的例子中学习先验[16,34,15,26,29]。因为这项工作是在A.Badki在NVIDIA实习GT+PC超低压 我们的高膝关节图1:在低(N)和中等(N)噪声下,以及在训练中(T)和训练外(T)的对象的姿势(P)和姿势(P)的网格重建。 GT+PC地面实况网格和点云使用的各种方法来估计,匹配网格。传统方法引入了噪声与平滑度权衡(拉普拉斯低/高[27])。最先进的深度学习方法(OccNet [11]和OccNet[26])学习对象级先验,这导致它们在训练(T)中看不到的对象上失败,甚至在相对于旋转的对象上失败。训练集(P)。我们的方法学习本地先验知识,并强制全局与点云保持一致。这些方法直接从数据中学习先验知识的能力,可以从点云和单个图像中产生令人印象深刻的结果。然而,它们在对象级别学习先验知识,这限制了它们从训练期间未看到的类(标记为T的行)重建对象的能力他们还努力将形状先验与物体姿势分开:现有技术的学习方法在旋转的点云(标记为P的行)上可能完全失败,即使它们可以在点云的姿态类似于训练集(标记为P的行)的姿态时重建相同的点云。Tatarchenko等人表明这些方法中的许多可以28492850P实际上是从数据集中学习一种分类和最近邻检索的形式,而不是正确的3D重建[33]。事实上,即使对于图1中的P行和T行,仔细观察似乎表明,OccasNet [11]和Occ-Net [26]正在从训练集中重建不同的沙发和椅子我们提出了一种基于学习的方法,从一组稀疏的,嘈杂的,无序的点,桥梁transmarting和学习为基础的方法提取三维我们的关键直觉是在局部学习几何先验,同时在全局上执行它们的一致性。为了表示形状先验,我们引入meshlets,小补丁的网格,松散地说,作为一个学习字典的本地功能。具体来说,我们使用变分自动编码器(VAE)[20]来学习可以在自然形状中观察到的meshlet的潜在空间。我们称之为天然网状物。学习这些本地特征提供了两个关键优势。首先,它允许从训练中从未见过的类中重建- struct对象:在某种程度上,沙发表现出与兔子相似的局部特征。其次,它解开了对象的全局姿态为了将meshlet拟合到点云,我们最小化它们到点的距离,同时强制它们属于自然meshlet的潜在空间因此,生成的然而,因为网格是彼此独立地优化的,所以从它们的联合中提取的网格将不是水密的。因此,我们定义了一个辅助的,水密网格,并建议使用它在一个交替的优化,确保网格是一致的,彼此和观察到的点云。我们通过广泛的比较表明,这种迭代方法产生的结果在具有挑战性的场景(如任意姿态的噪声点云)上优于最先进的结果,如图1所示。总之,我们的贡献是:2. 相关工作从点云中提取网格是一个重要的问题,从图形学的早期就一直是许多研究的焦点。传统的方法,如移动立方体[24]或球旋转[4],适用于与点云密度相比噪声较小的情况。然而,总的来说,噪音确实会带来问题。一个传统的解决方案,然后,是使用点和他们的法线来计算一个符号距离函数,其零交叉是所需的表面[8,13,2,17,18]。另一种方法是使用手工制作的先验,例如估计网格的顶点和法线的平滑度[27]。然而,这些先验引入了抑制噪声和保留尖锐特征之间的权衡,对于稀疏和噪声较大的点云,尖锐特征变得越来越脆弱,参见图1。先验知识可以通过神经网络更有效地从数据中学习。例如,深度学习方法在从图像中估计深度图方面取得了巨大的成功,无论是从多个视图[14,36],立体[19]还是甚至是单个图像[9,10,39,21]。甚至可以直接从单个图像中提取网格,前提是对象的类别是已知的[16,34,15]。而不是需要手动修补传统的噪声/锐度权衡,学习先验知识从点云提取网格的方法引入了一个新的方法:一般来说,观察的质量越低(例如,强噪声或点云的稀疏性),则需要更强的先验,从而影响算法例如,学习局部先验的方法是类不可知的,但往往需要低噪声水平的密集点云[12,38,37,35]。最近的作品或公园等。[29],Groueixet al. [11]和Meshederet al. [26]即使在稀疏和潜在噪声较大的数据下也能产生令人印象深刻的结果,但未能推广到全新的观测类别通常,当点云处于与训练姿势显著不同的姿势时,它们甚至会挣扎,如图1所示,行。 这一问题部分是由于• 我们提出了meshlets,一种新的方式来代表当地在局部片上训练的变分自动编码器的潜在空间中的形状先验形成真实世界对象的数据集。• 我们提出了一个交替优化,适合meshlet的测量点样本(强制执行本地约束),同时保持网格的全局一致性。• 据我们所知,我们第一次展示了从非常稀疏的、有噪声的点测量中成功重建3D网格的方法,该方法是基于类别不可知的、基于学习的方法。这些方法缺乏在推理时强制几何约束的机制我们的方法是类不可知的,这要归功于它的学习和执行本地先验的能力,同时在推理时最小化点云的误差。从数据中学习先验知识并在推理时强制几何约束的想法最近被探索用于深度图[5],点云[40]和表面估计[23,22,29]。这些方法使用允许推理时间优化的低维表示。然而,在对象级别学习先验知识的方法往往是特定于类别的。我们的meshlet先验直接编码表面的(局部)形状,而不是以观察者为中心的深度[5]。Meshlets是类不可知论者,2851P可以用来学习和执行不同尺度的先验知识。解决网格估计问题的关键是如何表示网格。存在适合用于神经网络的网格的不同表示,但它们往往也是特定于类的[31,3]。我们的方法的一个关键成分是使用小网格补丁,称为meshlets,它简化了网格的处理,等等。一个相关的方法是Groueix等人的工作。他们还将网格表示为大部分的集合,他们称之为图表[11]。然而,他们的方法没有提供一种机制来强制全局一致性,也没有利用局部形状先验。3. 方法我们的目标是从一组无序的、无方向的点估计一个网格。当点云密集且噪声较低时,该任务很容易。然而,当观测的质量下降时,稀疏或噪声点,先验和先验的选择成为中心。手工制作的先验,如平滑度,引入了过度平滑和噪声重建之间的权衡,如图1所示(Lap-低/高)。另一方面,神经网络可以直接从数据中学习先验知识,但它们带来了其他挑战。首先,捕获通用对象的分布需要在大量示例上进行训练,这些示例可能比现有数据集所能提供的还要多此外,泛化可能是一个问题:现有的基于学习的方法的性能在测试对象与训练中使用的对象不同时迅速降低,网格A插值网格B图2:潜在空间的平滑度。我们可以通过在潜在空间中的相应点之间进行插值来逐步将一个网格变形到另一个网格上(见3.1节)。3.1. 基于Meshlets的局部形状先验在本节中,我们将介绍meshlet,并描述如何利用它们来执行局部形状先验。直观地说,meshletm是一小片变形后粘附在另一个较大网格区域上的网格,见图2和图7(a)。为了在网格M的顶点v处提取网格m,我们首先计算局部测地线参数化[25],该参数化将v邻域中顶点的3D坐标映射到πT上的坐标,πT是在v处与M相切的平面。然后,我们在整数坐标(μ,ν)处重新采样测地线距离函数πT。这就给出了在(μ,ν)处的网格上的一个顶点与在v邻域中的网格上的一个顶点之间的对应关系。如标记为在图1中 最后因为它们只需要一个局部参数化COM-并不能直接解开对象级先验和对象的姿态。图1显示了OccNet [26]和OccasNet [11],这两个最新的最先进的作品,对于训练T中从未见过的类失败,甚至当对象的姿势与训练中看到的姿势显着不同时也失败。为了克服这些问题,我们建议局部地学习先验:即使图1中的斯坦福兔子从未在训练中见过,它的局部特征也与训练集中更常见的对象相似。我们介绍,引入meshlets,这可以被视为一个网格的小补丁,见图2。不严格地说,meshlets充当基本形状特征的字典。小网格是局部的,大小有限,因此提供了一种简单的机制来从对象的姿态中分解(局部)先验然而,如果网格彼此独立地适应点云,则它们可能不会导致水密表面。因此,我们明确地在全球范围内执行其一致性。在下文中,我们将描述这两个阶段,以及提取网格的整个过程。相对于中心顶点v,小网格甚至对于具有大的、变化的曲率的对象也很好地工作因为它们是局部的,所以它们可以学习独立于对象的姿势和类的形状先验用meshlets学习局部形状先验。我们想知道“自然小网格”的分布那些捕捉真实世界物体的局部特征的小网格。受最近方法[40,5]的启发,我们使用变分自动编码器(VAE)。通过训练VAE重构大量的小网格,迫使其瓶颈学习自然小网格的潜在空间换句话说,向量采样,在这个流形上,并送入解码器的结果在自然meshlet 。 我 们 从 ShapeNet 数 据 集 [6] 的 对 象 中 提 取meshlet,并将其3D坐标输入训练。然而,我们首先旋转平移meshlets,使它们成为一个规范的姿势。这种变换是必要的,以确保从不同的3D位置和方向采样的类似的网格映射到VAE的潜在空间中的类似区域。更具体地说,如果A不2852meshletmi,我们首先平移并旋转它,ITER。0ci位于原点,ci处的法线与初始网眼潜在向量ITER。1z轴,然后我们围绕z轴旋转它,使网格的局部(μ,ν)坐标与x和y轴对齐。我们称之为规范姿势。那么,一个网格完全由Pi(从全局到规范姿态的变换)和li(对应于规范姿势的网格:训练编码器训练译码器反向传播到更新特征向量ITER。不计算误差最终的网眼m i={l i,P i}。(一)第4.2节详细介绍了网络的架构。由于我们解开姿势和形状,顺利穿越潜在实小网格低维流形K2-dim空间可能的网格测点样本空间将平滑地改变重构的小网格的形状,如图2所示,其中我们取对应于小网格A和B的潜在矢量1A和1B,并且我们在它们之间逐渐插值以得到矢量11从lI将网格拟合到3D点。现在假设我们得到一组大致对应于meshlet大小的3D点(我们将在3.2节中将其推广到完整的点云)。变形自然网格以适应它现在很简单:我们简单地遍历由VAE学习的潜在空间,以最小化meshlet和点之间的距离。具体来说,我们取meshlet的初始化mi(t0),并通过编码器运行它以找到对应的潜在向量li(t0)。这是我们优化的起点。然后,我们冻结VAE的权重,计算网格和点之间的误差,并通过解码器进行梯度下降。这就把我们带到了潜在空间中的一个新的点,li(t1),以及相应的网格mi(t1)。Meshletmi(t1)是更接近给定3D点的自然网格。我们一直迭代直到收敛,见图3。我们注意到,尽管其他方法也提出了优化VAE的潜在向量以匹配某些测量样本(例如,[29,5,1,23]),他们这样做的对象(或场景)的水平。因为我们的方法学习局部曲面片,并且因此在不同的对象类别中重用曲面先验,所以它可以更好地泛化。3.2. 整体优化在解释了我们的meshlet如何用于学习局部先验知识,以及如何拟合一组3D点之后,我们可以描述整个算法,其核心相当简单。我们从M(t0)开始,这是完整网格的这可以是一个球体,或者任何其他满足我们的网格先验的表面,从M(t0)提取的网格位于由VAE学习的流形上。从M(t0)中我们提取N个重叠的小网格mi(t0)图3:使用学习的潜在空间作为先验来优化我们的meshlets。通过反向传播相对于测量点的误差,并使用它来更新网格图5.我们选择N,使得M(t0)上的每个顶点至少被3个meshlet覆盖一般来说,这会产生500到1500个小网格。我们还找到了M(t0)和点云之间的距离,其梯度,我们可以传播到meshlets,因为我们有mesh和meshlets之间的对应关系的建设。这允许我们更新网格以适应点(3.1节).然而,这种优化是在每个网格上独立执行的,因此它导致网格之间的小间隙,参见图4(a)。因此,我们通过添加一个步骤来强制和保持全局一致性,在该步骤中,我们变形M以匹配meshlet并更新meshlet以匹配M。变形M使其更接近点云,变形meshlets迫使它们全局一致。最后,我们来看看:1. 优化网格以拟合点云(3.2.1)。2. 优化meshlet和mesh以使其相互匹配(3.2.2)。在收敛时,辅助变量M是我们对网格的估计我们现在详细解释这两个步骤3.2.1实施局部形状先验为了相对于点云优化N个网格{mi(t0)}i=1:N,不幸的是,点云和网格顶点之间的对应关系并不容易获得。因此,使用倒角距离并不简单,因为如果没有对应关系,点云中的所有点都会导致所有网格的误差-即使它们位于对象的相对两侧。然而,我们确实有M(t0)和网格的顶点之间28532用3.1节中描述的算法处理meshlet,但这次是为了最小化Cm。我们一直求最小化方程3。此时,网格将与网格一致,进而全局一致。这个过程对应于图4中的“全局一致性”块图4:我们算法中使用的交替优化第一阶段根据底层网格和测量点云之间的误差更新网格。但是,由于meshlet是局部表示,单独优化它们会导致对象之间的不一致因此,在第二阶段中,我们在所有meshlet中强制执行全局一致性,以重建用于算法下一次迭代的网格的更新版本。liPi图5:给定网格上的小网格编码,M。每个小网格由低维流形中的一个特征向量li以及它的全局姿态Pi(由旋转Ri)以及正则空间和全局坐标之间的平移Ti)。让我们因此,我们计算点云和网格之间的倒角距离:4. 实现细节4.1. 优化我们首先描述一些细节,提高效率的优化过程或质量的网格。网格初始化。 辅助网格M(t0)可以是满足小网格先验的任何零亏格网格然而,实际的选择确实与收敛所需的迭代次数有关。我们用过度平滑的拉普拉斯重建初始化我们的方法从经验上讲,我们已经观察到,以这种方式初始化的算法的结果与使用球体作为初始化所获得的结果实际上是不可区分的;然而,收敛确实需要一小部分时间。作为参考,我们在附录中给出了M(t0)Meshlets重新采样。 随着优化的进行,辅助网格M的形状和尺寸可能显著改变。一方面,这是一种可取的行为:CPC=Σ ΣM in||vj−p||2个以上min||二、||2,如果网格可以缩放到任意大小,底层网格的大小,即使初始化vj∈M(t0)p∈PC2p∈PC vj∈M(t0)2(二)远非如此。另一方面,它会导致稀疏的meshlet覆盖,并且可能在某些区域没有覆盖。更多-其中p是输入点云PC中的3D点。方程2给出了网格上的每顶点误差,我们可以将其传播到相应的小网格。然后我们更新网格以最小化CPC,如3.1节所述,并得到一组新的自然网格{mi(t1)}i=1:N。3.2.2加强全球一致性为了强制小网格{mi(t1)}i=1:N是全局一致的,即,它们的结合是一个密不透风的网,我们再次使用M。具体来说,我们计算M的顶点与所有网格的顶点之间的倒角距离,如下所示:Σ过度,可能导致网状物过度拉伸。因此,每20次执行局部形状先验和全局一致性的迭代(图4中的蓝色箭头),我们就对当前网格上的meshlet重新采样。重新啮合。初始化后的较大变化也可能导致网格本身出现问题,可能会在某些区域拉伸或变得不规则。防止这种情况的一种方法是在执行全局一致性时使用强平滑先验,但这会阻碍我们重建尖锐特征的能力。在每 次 迭 代 结 束 时 , 我 们 使 用 Screened PoissonReconstruction [18]重新网格化M,以鼓励平滑,同时尊重所执行Cm=vj∈Mminvk∈{mi}i=1:N||2||2通过我们的方法,保持局部FEA的清晰度,真的。我们在补充文件中提供更多详情Σ+min||vj−vk||二、(三)4.2. Meshlet训练vk∈{mi}i=1:Nvj∈M2为了训练meshlets网络,我们采样2。2 ×106首先,我们保持网格固定,并使M(t0)变形以使Cm最小化.然后我们固定生成的网格M(t1)并调整从ShapeNet数据集的meshlets [6]。 我们取出网状物-让我们通过在几个类中随机选择对象交替优化循环全球一致不一致网格全球一致局部形状先验全球一致性网格(吨)网眼网格(t+1)网眼网格计算误差w.r.t. 测量点(一)(b)第(1)款使成网标准姿态训练编码器构成估计Pi={Ri,Ti}全局姿态信息网格meshletonmeshmeshletmi2854然后,我们对每个对象应用三种不同的尺度,并为每个尺度提取256个meshlet,以便我们的meshlet数据集捕获精细和粗糙的细节。请注意,我们不考虑有问题的meshlets具体来说,我们使用Melvær等人的测地线距离算法。[25]并拒绝那些测地线距离计算导致大的各向异性拉伸或完全失败的然后,网络被训练成使用d2作为损失来重建这些meshlet在我们所有的实验中,我们使用大小为31×31×3的网格。为了利用自然网格的潜在空间,我们使用了一个全连接的编码器解码器网络,该网络以(31·31)×3向量(即,网格的矢量化版本编码器和解码器是对称的,每个都有6层,并且潜在码向量是输入维度的三分之一5. 实验比较。在本节中,我们将根据最先进的方法评估我们的方法。然后,我们比较我们的meshlets其他地方的形状先验,以验证其重要性。我们比较我们的方法与几个国家的最先进的网格重建方法。第一种是Screened Pois- son [18],这是一种广泛使用的传统技术,可以从定向点云创建防水表面。由于我们的输入是一个原始点云,那么,我们需要估计法线.我们使用两种方法来估计正态分布。一个是MeshLab 另一种是最近发表的基于学习的方法,称为PCP- Net [12]。第二种网格重建方法是Oüztireli等人的方法。[28]这也是一个需要注意的问题。他们提出了一种最新的移动立方体变体,使用非线性回归保留了尖锐的特征。此外,我们还与拉普拉斯网格优化进行了比较[27]。利用网格的拉普拉斯算子的范数捕获局部平均曲率的事实该算法有一个自由参数,调节所产生的表面的平滑度在参数扫描之后,我们发现没有一个参数会在整个数据集上产生最佳结果。因此,我们采用了两个值,每个值都在去噪和过度平滑之间提供了不同的折衷我们还与深度几何先验(DGP)[35],OccNet [26]和OccasNet [11]进行了比较,所有这些都是深度学习方法。最后两种方法在对象级别学习先验知识。数据 我们在20个对象上测试了所有的方法。 为了vali- 我们的方法推广得很好,我们还包括四个图形社区常用的对象(苏珊娜,斯坦福兔子,犰狳和犹他Meshlab [7]+表1:我们使用两个指标将我们的方法与最先进的对于每个指标,我们报告所有重建对象的平均值/中值,以及多个噪声水平。绿色和红色分别表示最佳和次佳方法茶壶)。我们从ShapeNet数据集的测试集中选择其余的网格[6]。我们在补充说明中显示所有对象然而,由于ShapeNet网格并不总是防水的,因此我们使用Stutz和Geiger [32]提出的算法对其进行预处理。给定的水密网格,我们随机抽取不同的因素的顶点数,获得三个不同的稀疏水平。对于每个稀疏水平,我们还添加越来越多的高斯噪声。我们描述了我们使用的参数,并在补充文件中提供了不同噪声水平的可视化。数值评估。对于我们的数值评估,我们使用对称Hausdorff距离,它报告每个网格的最大顶点重建误差,以及Chamfer-1距离,它在基于最大顶点分配对应关系后计算两个网格之间的距离。表1表明,我们的方法比所有竞争对手都更好地执行一致性。与在对象级别学习先验知识的深度学习方法相比,这种差距最为明显,这进一步表明我们学习局部先验知识的策略是一个有前途的方向。我们在补充文件中列出了不同噪音设置下每个对象的编号。定性评价。在图7中,我们显示了优化结束时的网格(a)和由我们的算法重建的最终网格的质量(b)。请注意,由于优化过程中的重新网格化步骤(第4.1节),我们的输出是一个高质量的规则网格。我们还显示了一个子集的对象中使用的数值评估图1和6的不同水平的稀疏性和噪声。补充资料中有其他结果。竞争方法受噪声的影响很大,并且产生过于平滑的结果以减弱其效果。例如,使用低正则化(Lap-low)获得的拉普拉斯算子仍然是倒角-101HausdorffScr.Pois. [18个国家]0.0285 /0.01120.339 /0.102RILMS [28]0.0177 /0.01660.149 /0.148Scr.Pois. [18个国家]0.0122 /0.01090.147 /0.140PCPNet [12]+RILMS [28]0.0181 /0.01760.151 /0.153拉普拉斯算子[27]低0.0104 /0.01030.100/0.065高0.0096/0.00940.103 /0.069深度几何前[35]0.0128 /0.01300.147 /0.148[第11话]0.0415 /0.03770.293 /0.263OccNet [26]0.0630 /0.06270.304 /0.2852855GT+PC [7]+[28][7]+[18][12]+[28][12]+[18]单圈低单圈高DGP双绞线OccNetOurs图6:几种重建方法和我们的方法的定性比较。左边是输入,地面实况(GT)网格覆盖稀疏的噪声点云(PC)。我们展示了使用Meshlab [7]和PCPNet [12]估计的法线的结果。我们用RILMS [28]和Screened Poisson [18]重建得到的点云拉普拉斯正则化器[27]显示了两个平滑级别。我们还展示了三种最近的深度学习方法:Deep Geometric Prior(DGP)[35],OccNet [11]和OccNet[26]。所有这些方法都很难应对噪音,训练中看不到的课程,或者两者兼而有之。(a)(b)第(1)款图7:我们的最终meshlet是全局一致的,并捕获网格的局部形状(a)。得到的网格在整个重建对象(b)上是规则的噪声,而我们使用高正则化(Lap-high)的那些是过度平滑的。即使是筛选泊松重建[18],传统方法中的事实标准,与PCPNet [12]结合使用以估计法线,也会产生明显的噪声结果。最后,如图1所示,最先进的深度学习方法仅适用于训练中看到的对象和低噪声水平。另一方面,我们的结果通过恢复局部尖锐特征和小细节,提供了细节和噪声之间的最佳权衡,尽管点云的稀疏性和噪声。关于天然网眼的重要性。 我们的网状先验是我们方法的核心。在这里,我们将自然网格与其他形状先验进行比较,以隔离它们对结果整体质量的依赖性。一是一个拉普拉斯正则化,这是一个标准的平滑先验[27]。第二个是威廉姆斯等人最近的工作,这表明神经网络本身也是局部几何的先验[35]。我们利用这些前科(a)GT+PC(b)Laplacian(c)DGP(d)Meshlets图8:Meshlet比其他先验更准确地重建局部特征输入点云显示在GT网格上(a)。我们的自然meshlet之前,优化小补丁的网格,以小点云提取的真实对象。图8示出了两个代表性示例。尽管局部形状的复杂性和噪声水平,使用我们的策略(第3.1节)的优化能够正确估计底层网格。相反,深度几何先验过度拟合噪声,并且拉普拉斯正则化器过度平滑表面。 在105个小网格上,平均对称Hausdorff距离为0.DGP为027,0。029的Laplacian,和0。024我们的方法为了进一步验证我们的自然网格先验对我们的整体优化过程的重要性,我们将潜在空间搜索与拉普拉斯先验交换,并保留算法的其余部分不变。如图9所示,使用meshlet先验允许更好地平滑噪声,同时仍然重建尖锐特征,例如边缘和拐角。然而,我们也注意到,强制执行全局一致性(GC)是我们方法的重要步骤,没有它,最终重建的质量会降低显著性。2856GT+PC Laplacian先验无GC我们的图9:用拉普拉斯先验替换我们的meshlet先验会导致过度平滑的结果。然而,使用我们的meshlet先验而不使用全局一致性(GC)会产生不规则的网格。如图9所示。6. 讨论和限制我们的方法优化了一个网格和一些网格的基础上,在网格顶点的梯度,同时执行meshlets先验。本文通过计算网格到点云的距离来获得网格的梯度。然而,我们的方法可以从任何来源获取梯度,包括可微渲染器[16]。这增加了我们方法的灵活性。在我们的工作中,我们学习和执行先验的网格估计使用meshlets,它有一个内在的规模和分辨率。我们目前的方法使用一个单一的固定规模的meshlet的所有对象重建,虽然我们有效地学习meshlet在多个尺度(见第4.2节)。这对我们可以重建的细节水平造成了限制:它们不能小于网格的分辨率。当这种情况发生时,精细细节可能无法重建,如图10(a)所示。在整个网格变形过程中使用单一尺度的网格也可能导致局部最小值,如果初始网格明显远离目标,则这是一个特别紧迫的问题。图10(b)显示了落在局部最小值的重建。因此,一个自然的扩展是使用一种由粗到细的方法。最后,我们的方法可能会失败的对象,目前非常薄的结构,如图10(c)所示。为了确保我们的辅助网格在整个优化过程中保持规则,我们执行泊松重建(见第4.1节)。作为一个副产品,我们继承了它处理不同拓扑的能力,(a)(b)(c)图10:如果对象特征小于小网格的分辨率(a),当优化落入局部最小值(b)时,或者对于薄结构(c),我们的重建方法可能会产生差的反射率。图6中的斯坦福茶杯,这是第一种。我们目前的方法在计算上是昂贵的,并且没有针对速度进行优化。 因此,可能需要数小时到几十个小时,取决于运行的初始化充分优化。方程2和3中的倒角距离计算是瓶颈,其在点数上具有二次复杂性。在当前的实现中,我们在每次计算距离时考虑点云中的所有点。将搜索范围限制在当地社区会有所帮助。提高网格提取的效率是另一个明显的加速算法的地方7. 结论我们提出meshlets,一种新的局部形状表示,允许从稀疏,嘈杂的点云重建三维网格。为此,我们训练了一个变分自动编码器来学习自然发生的网格的流形。这个流形上的小网格作为局部的、类不可知的自然特征的先验因此,meshlets允许我们将对象的整体姿态从其形状中分离出来,并可用于从训练中未看到的类中重建对象 为了重建一个完整的网格,我们使用了一些meshlets。然后,我们提出了一个交替的优化过程,首先优化的meshlet匹配点(本地),然后强制执行其一致性(全局)。我们的算法从训练中看不到的类中重建对象,以任意姿势,并且在输入点的显著噪声和稀疏性下,即使现有的最先进的方法失败。致谢我们要感谢Kihwan Kim、Aleandro Troc- coli和BenEckart就比较和评估进行的讨论Arash Vahdat关于潜在空间正则化的讨论和反馈。UCSB感谢NSF资助IIS 16-19376的部分支持和NVIDIA对A. 巴德基引用[1] T. Bagautdinov角Wu,J. Saragih,P. Fua和Y.酋长使用合成VAE建模面部几何形状在2857IEEE计算机视觉与模式识别会议(CVPR),2018年。4[2] Chandrajit L Bajaj,Fausto Bernardini和Guoliang Xu。从3D扫描自动重建表面和标量场。《SIGGRAPH》,1995年。2[3] Heli Ben-Hamu 、 Haggai Maron 、 Itay Kezurer 、 GalAvineri和Yaron Lipman。多图生成式曲面造型。ACM Transactions on Graphics,2018。3[4] FaustoBernardini,JoshuaMittleman,HollyRushmeier,Cl a'udioSil v a,andGabrielTaubin. 曲面重构的 球 投 算 法 IEEE 可 视 化 与 计 算 机 图 形 学 汇 刊(TVCG),1999年。2[5] Michael Bloesch、Jan Czarnowski、Ronald Clark、StefanLeutenegger和Andrew J.戴维森CodeSLAM -学习密集视觉SLAM的紧凑,可优化的表示。在IEEE计算机视觉和模式识别会议(CVPR)上,2018年。二、三、四[6] 天使XChang,Thomas Funkhouser,Leonidas Guibas,Pat Hanrahan , Qixing Huang , Zimo Li , SilvioSavarese , Mano-lis Savva , Shuran Song , Hao Su ,Jianxiong Xiao,Li Yi,and Fisher Yu.ShapeNet:一个信息 丰 富 的 3D 模 型 存 储 库 。 技 术 报 告 arXiv :1512.03012,2015。三五六[7] Paolo Cignoni、Marco Callieri、Massimiliano Corsini、Matteo Dellepiane、Fabio Ganovelli和Guido Ranzuglia。MeshLab:一个开源的网格处理工具。2008年,在欧洲图形意大利分会会议上。六、七[8] Brian Curless和Marc Levoy。从距离图像建立复杂模型在ACM图形转换(SIGGRAPH),1996年。2[9] David Eigen、Christian Puhrsch和Rob Fergus。使用多尺度深度网络从单个图像进行深度神经信息处理系统进展(NIPS),2014年。2[10] C le'mentGodard , OisinMacAodha , andGabrielJ. 兄 弟 -拖。具有左右一致性的无监督单目深度估计。在IEEE计算机视觉和模式识别会议(CVPR),2017年。2[11] 放 大 图 片 作 者 : David G. Kim , BryanC. Russell 和MathieuAubry. 一个学习3D表面生成的简单在IEEE计算机视觉和模式识别会议(CVPR)上,2018年。一二三六七[12] Paul Guerrero、Yanir Kleiman、Maks Ovsjanikov和NiloyJ Mitra。PCPNet:从原始点云学习局部形状属性在计算机图形论坛,2018年。二六七[13] Hugues Hoppe , Tony DeRose , Tom Duchamp , JohnMcDonald,and Werner Stuetzle.由散乱点重构曲面。在SIGGRAPH的会议记录中。1992. 2[14] Po-Han Huang , Kevin Matzen , Johannes Kopf ,Narendra Ahuja,and Jia-Bin Huang. DeepMVS:学习多视图立体视觉。在IEEE计算机视觉和模式识别会议(CVPR)上,2018年。一、二[15] 放大图片作者:Angjoo Kanazawa,Shubham Tulsiani,Alexei A.埃弗罗斯和吉坦德拉·马利克学习特定于类别的网格重建-从图像集合。在欧洲计算机视觉会议(ECCV)的论文集,2018。一、二[16] Hiroharu Kato 、 Yoshitaka Ushiku 和 Tatsuya Harada 。Neu- ral 3D网格渲染器。在IEEE计算机视觉和模式识别会议(CVPR)上,2018年。一、二、八[17] Michael Kazhdan,Matthew Bolitho,and Hugues Hoppe.泊松曲面重建2006年,欧洲图形学几何处理研讨会。2[18] Michael Kazhdan和Hugues Hoppe筛选泊松曲面重建。ACM Transactions on Graphics,2013。二五六七[19] Alex Kendall、Hayk Martirosyan、Saumitro Dasgupta、Peter Henry、Ryan Kennedy、Abraham Bachrach和AdamBry。深度立体回归的几何和上下文的端到端学习在IEEE计算机视觉和模式识别会议(CVPR)上,2017年。2[20] Diederik P Kingma和Max Welling。自动编码变分贝叶斯。arXiv预印本arXiv:1312.6114,2013。2[21] Katrin Lasinger 、 Rene 'Ranftl 、 Konrad Schindler 和Vladlen Koltun。走向鲁棒的单眼深度估计:混合数据集的零拍摄交叉数据集传输。arXiv预印本arXiv:1907.01341,2019。2[22] Chen-Hsuan Lin ,Oliver Wang , Bryan C Russell,EliShecht-man , Vladimir G Kim , Matthew Fisher , andSimon Lucey.用于视频对齐3D对象重建的光度网格优化,2019。2[23] O. Litany,A.布朗斯坦M. Bronstein和A.马卡迪亚用图卷积自动编码器完成可变形形状在IEEE计算机视觉和模式识别会议(CVPR)上,2018年。二、四[24] 威廉·E·洛伦森和哈维·E·克莱恩。移动立方体:一种高分 辨 率 三 维 曲 面 构 造 算 法 。 在 SIGGRAPH 的Proceedings,1987年。2[25] Eivind Lyche Melvær和Martin Reimers。多边形网格上的测地线极坐标。计算机图形学论坛,2012年。三、六[26] Lars Mescheder,Michael Oechsle,Michael Niemeyer,Se- bastian Nowozin , and Andreas Geiger.Occupancynetworks:学习函数空间中的3D重建。在IEEE计算机视觉和模式识别会议(CVPR)上,2019年。一二三六七[27] Andrew Nealen , Takeo Igarashi , Olga Sorkine , andMarc Alexa. Laplacian网格优化2006年ACM计算机图形与交互技术国际会议(GRAPHITE)。一、二、六、七[28] A. CengizOüztireli,G a elGuennebaud,andMarkusGross.基于非线性核回归的特征保持点
下载后可阅读完整内容,剩余1页未读,立即下载
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)