没有合适的资源?快使用搜索试试~ 我知道了~
185830神经网格简化0Rolandos Alexandros Potamias 1 Stylianos Ploumpis 1 , 2 Stefanos Zafeiriou 1 , 201 伦敦帝国学院 2 华为技术有限公司0{ r.potamias, s.ploumpis, s.zafeiriou } @imperial.ac.uk0图1.我们提出了一种快速可学习的网格简化方法,可以实时生成简化后的网格。0摘要0尽管在3D网格的渲染、编辑和预处理方法方面取得了进展,但对于大规模网格来说,其实时执行仍然是不可行的。为了简化和加速这些过程,引入了网格简化方法,旨在减少网格分辨率同时保持其外观。在这项工作中,我们尝试解决可学习和可微分网格简化的新任务。与以贪婪迭代方式折叠边缘的传统简化方法相比,我们提出了一种快速且可扩展的方法,可以一次性简化给定的网格。所提出的方法分为三个步骤。首先,使用一种复杂的随机采样扩展方法对输入顶点进行采样。然后,我们训练一个稀疏的注意力网络,根据采样顶点的边连接性提出候选三角形。最后,一个分类网络估计候选三角形被包含在最终网格中的概率。所提出的方法具有快速、轻量级和可微分的特性,可以在不引入显著开销的情况下插入到每个可学习的流水线中。我们使用多个外观误差度量评估采样的顶点和生成的三角形,并将其性能与几种最先进的基线方法进行比较。此外,我们展示了该方法的运行性能可以比传统方法快10倍。01. 引言0三角网格仍然是表示表面的最流行的3D结构。3D扫描设备的出现使得收集高度详细的3D网格成为可能,这些网格通常包含数千个面。然而,极端的细节会导致巨大的内存需求,限制了它们的使用。包括渲染和编辑以及它们的移动实现在内的各种应用程序,需要轻量级网格以实现实时处理。此外,许多利用分析合成的单目3D重建方法要求在拓扑方面具有计算效率和可微分性。这些类型的迭代优化方法可以从一种可微分的即时简化技术中获得巨大的好处,该技术可以减少它们的计算占用。网格简化是一个长期研究的问题,已经开发了大量的方法来可持续地减小原始网格的大小,而不会极端扭曲其外观。传统的简化技术通过根据成本函数[10,34]优先考虑顶点和边来贪婪地减少输入网格。然而,在大规模对象场景中,简化超过90%的原始网格大小需要迭代遍历数千个顶点,从而导致不可避免的计算负担。除了计算占用之外,传统的简化技术是不可微分的,因此不能直接用于优化网格表面的端到端训练过程。为了减轻上述限制,我们提出了一种可学习的策略。185840网格简化既减少时间和计算要求,又提供即插即用的方法,可适用于任何可微分框架。限制可学习简化方法的一个主要障碍是网格连接的离散性质,即边和三角形。虽然可以使用可学习的采样方法和现成的三角化算法(例如Delaunay或BallPivoting)[28]将网格简化分为两步完成,但这种设置除了耗时之外,还限制了对网格表面的直接优化。最近,已经提出了几种解决差分三角化这一非平凡任务的方法,这些方法使用离散设置的软松弛。然而,由于它们应用于体积表示[5],对每个网格的三角化需要迭代优化[37],或者需要2D参数化[30,31],因此大多数方法被认为是不切实际的。我们的目标是利用一个简单但直观的可微分过程来直接三角化一次性生成的3D点。为此,我们通过生成可能的边和三角形的分布来建模三角化过程,并选择保持原始网格外观的部分。在这项研究中,我们提出了第一个可学习的网格简化方法,可以生成简化网格的点和三角化。与之前的研究[28]不同,我们提出了离散三角化设置的软松弛,通过以无监督的方式学习网格连接分布。所提出的方法可以通过使用极其高效的点采样方法和轻量级的三角形分类器实时简化任何规模的网格。为了遵循初始网格的外观,我们将边的分布限制在原始网格连接定义的先验条件下。所提出的方法是完全可微分的,并且可以适应任何训练过程,而不会引入显著的计算负担。最后,所提出的方法可以推广到展示零样本能力的超出分布样本。本文的主要贡献总结如下:0•我们提出了首个(据我们所知),可学习的网格简化框架,该框架经过训练可以同时选择顶点和生成表面的三角化。0•所提出的模型是完全可微的,并且可以直接适应任何可学习的框架。0•我们引入了一种高效的点选择方法,将朴素随机采样[15]扩展为从底层多项式分布中采样顶点的可训练模块。0•最后,我们展示了一种简单而直观的三角化策略,可以适用于点云网格化。02. 相关工作0网格简化。传统的简化算法根据成本函数重复对输入网格进行减面,以保持其渲染外观,直到达到所需的简化比例。简化方法可以分为两大类:顶点聚类/减面方法和边折叠方法。顶点减面方法根据启发式几何成本函数对顶点进行排序,例如它们与平均平面的距离[34-36],以确保最不重要的顶点首先被减面。然而,每次删除顶点后,都需要重新对生成的孔进行网格化,因此此类算法不实用。另一方面,边折叠方法通过顺序收缩一对顶点(即边)来保持输入拓扑。Hoppe等人[14]首创了一种定义在边上的能量成本函数,试图在每一次收缩步骤中将其最小化。在[10,33]的开创性工作中,每个顶点与其1-环邻域中的平面集相关联,并由一个基本的四次型矩阵表示。作者展示了,使用四次型矩阵,点到一组平面的距离可以用它们的四次型之和表示,这被称为四次型误差度量(QEM)。利用这个性质,引入最小点到平面距离的边首先被折叠。已经有几种方法在QEM的基础上构建,以融合纹理[1, 11]、曲率[16,17]和谱特性[21, 23],或者利用并行处理[19,26]加速处理过程。最近,Hanocka等人[13]提出了一种自适应贪婪边折叠方法作为可学习的池化策略,其中通过网络学习边的权重。然而,除了边折叠方法的低效贪婪性质外,生成的网格面只能被近似地减少一半,从而限制了其适用性。Potamias等人[28]提出了一种保留点云曲率特征的可学习点云简化技术。他们还通过利用现成的算法对简化后的点云进行三角化,将其方法扩展到网格简化任务。然而,这种方法需要对每个样本仔细选择三角化参数。重要的是,忽略了网格的原始拓扑结构,即网格连接可能完全不同,并且无法直接在可学习过程中进行优化。0图池化。受卷积神经网络中常规池化层的启发,引入了几种图池化算子来减小图的大小,并在图神经网络(GNN)架构中实现分层训练。这些方法中大多数利用了不可训练的点选择方法,例如Graclus聚类算法[6-8]和最远点算法。185850图2.所提出模型的概述(底部块)。首先,点采样器模块(左上方)从生成的多项式分布中采样输入顶点的子集。为了避免孤立节点,构建了一个k-nn图来扩展图的已有边。随后,稀疏注意力层对附近顶点之间的连接赋予权重,并生成一组候选三角形(中上方)。最后,面分类器模块在所提出的面上定义一个图,并根据其相对特征为每个三角形分配概率(右上方)。0采样(FPS)方法[29],以生成输入图的分层表示。Ying等人[40]提出了第一个可训练的任务相关池化层,通过学习聚类分配矩阵来实现。然而,软聚类分配矩阵的密集性使得这种方法在大规模图上不可行[3]。为了解决这个限制,提出了几种基于可学习分数的稀疏池化方法[3,9,20]。然而,Top-K方法只保留输入图的一部分边集,导致孤立节点。最近,Ranjan等人[32]利用稀疏软聚类矩阵来解决先前方法中的节点连接问题。关于图池化层的更多细节,请参阅[12]。从抽象的角度来看,可以将网格简化视为一种池化过程,因为已知输入拓扑,我们试图找到其简化版本。然而,与常见的图池化架构不同,网格简化方法还应该尊重网格的表面属性,如平滑性和流形性。一个自然的方法是尝试桥接这两个领域。在这项工作中,我们采用图池化策略以及几何损失来解决网格简化问题。0可学习三角化。尽管多年来已经广泛研究了表面重建方法,但对于可学习和可微分的三角化方法却没有给予足够的关注。文献中现有的大部分技术都是通过估计隐式函数[4,27]、计算体素网格和占用场[22,25]或变形模板网格[39]来生成网格表面。对于直接点集三角化这一具有挑战性的任务,取得的进展较少,主要是由于离散性的限制。0组成网格连接的边的性质的本质。PointTriNet[37]利用两个模型在局部区域建议和分类三角形,使用特定的损失函数强制选择水密和流形的三角形。类似的原则也在[24]中使用,其中候选三角形通过估计的测地距离与欧几里得距离的比率进行迭代过滤。最近,人们开始将传统的Delaunay表面三角化应用于可学习的三角化过程。在[31]中,作者提出了学习一个将输入点块映射到二维空间并使用Delaunay技术进行三角化的参数化方法。类似地,还提出了一种软松弛加权Delaunay三角化的方法[30],它使用包含得分来丢弃最终网格中的候选三角形。与[31]类似,输入点云被三角化为使用最小二乘共形映射参数化产生的谱分割的二维子空间。在本文中,我们提出了一个模块化的架构,直接学习生成输入顶点集的三角化版本,而不需要遵循任何形式的二维投影和映射。03. 方法0所提出模型的架构主要由三个组件组成:点采样器、边预测器和面分类器。所有模块都是完全可微分的,并以端到端的方式进行训练。图2概述了所提出方法的概览。03.1. 点采样器0所提出模型的第一个模块是一个网络,以一种采样顶点集的方式来采样网格的结构。(1)nijikjk(4)n)MLP([rn,k||(f (l−1)n− f (l−1)k)])(5)185860将保持不变。以前的工作使用最远点采样(FPS)来采样输入点集,因为已经证明它能够准确地保留对象的底层形状。然而,FPS的迭代性质不可扩展,因此对于大规模点集来说是不实际的。相反,正如[15]中所示,随机采样非常快速,大小无关,具有O(1)的复杂度,而不是FPS的二次O(N^2)的复杂度。基于这些观察,我们提出将随机采样扩展为一个复杂的可学习模块,打破随机采样的均匀假设,并在多项式分布的假设下对节点进行采样。为此,我们训练点采样模块为顶点集中的每个点分配一个包含得分。考虑到简化后的点集需要近似输入点集的结构,点采样器模块需要被训练以选择提供最佳覆盖输入空间的点。考虑到附近的点也会具有相似的潜在描述符,我们提出利用图神经网络(GNN)的方法,直观地为顶点提供形状洞察力。我们采用基于相对顶点坐标的更新规则,可以近似计算出点与其邻域的偏差,如下所示:0f i = σ ( W ϕ max j ∈N ( x i ) W θ( x i − x j ) )0其中 N ( x i ) 表示 x i 的邻近点,W ϕ 和 W θ是可学习的参数,σ ( ∙ ) 是非线性函数。我们将这个 GNN层称为DevConv。这种形式的优势是双重的。首先,点描述符可以更好地描述给定点的拓扑特征,尖锐和粗糙区域的点相比平滑区域的点将获得更大的值。其次,采样模块对噪声具有鲁棒性,因为最大值作为聚合函数和相对坐标的组合使网络能够轻松识别异常值。03.2. 边预测器0在点采样器之后,边预测器模块负责预测采样点之间的连接性。为此,我们首先通过在采样点上插入由k-最近邻图定义的边来扩展原始网格的连接性,以避免最终网格中的孤立节点。然后,扩展的图 G ext 经过一个DevConv 层和一个稀疏的自注意力层 [ 38 ]进行处理,该层预测点 x i 与点 x j之间的连接概率。这个概率的公式如下:0S [ i, j ] = exp ( W q f j ) T ( W k f i )0k ∈N ( x i ) exp ( W q f j ) T ( W k f k )(2)0其中 W q , W k 是可学习的参数,f i , f j 是点 x i , x j的特征。为了避免邻近点之间具有相等概率的边,我们利用DevConv使它们之间的特征不相似。最后,估计的邻接矩阵使用估计的概率和原始邻接矩阵的乘积来定义,遵循 [ 40 ] 的公式:0A s [ i, j ] = S [ i, :] A S [ j, :] T ,i, j ∈ G ext (3)0我们使用估计的连接性和原始连接性之间的乘积的动机是为了强制简化网格的边缘遵守原始拓扑结构。请注意,所有上述乘法操作都是在稀疏矩阵之间进行的,可以非常高效地计算。候选面集可以很容易地从简化邻接矩阵 A s的非零元素构建。对每个三角形分配一个初始的包含概率 p init t ,定义为 p init t = 103 ( A s [ i, j ] + A s [ i, k ] + A s [ j, k ]) ,其中 i、j、k是三角形 t的顶点。这个初始的包含概率可以被看作是一个先验,FaceClassifier 将调用它来产生边的最终(后验)概率。03.3. 面分类器0面分类器负责为每个三角形分配一个包含得分 p t,该得分捕捉了该三角形在简化网格中出现的概率。为了估计这个概率,我们首先构建一个 k-最近邻图 G tri,它根据它们的重心距离将每个候选三角形与其k-邻居连接起来。然后,一个名为 TriConv 的 GNN 模块在G tri上操作,将面嵌入到潜空间中。为了更好地捕捉空间中两个三角形 n 和 m 的相互作用,我们利用相对位置编码 r n,m定义如下:0r n,m = [( t min n − t min m ) || ( t max n − t max m) || ( b n − b m )] ,0其中 t max n , t min n ∈ R 3 , e n ij 是三角形 n的边向量 x i − x j ; b n , b m 是三角形 n , m的重心,|| 是连接操作。最后,TriConv的更新规则可以定义如下:0f ( l ) n =0其中,N(tn)表示邻域,f(l-1)n表示面n的前一个特征。为了生成最终的包含概率pt,我们堆叠了三个TriConv层,顶部是softmax激活函数。我们使用先验概率pinit作为每个三角形的初始特征。dP,Ps =+dfS,Ss =drS,Ss =�y∈Sspy minx∈P ∥x − y∥2+ (1 − py) 1k�kptk∥xtk − y∥2(8)1858703.4. 损失函数0为了训练所提出的框架,我们使用一组损失函数,强制简化的网格保持原始外观。所使用的损失的基本思想是强制选择代表网格结构的显著点,并惩罚形成不良三角形。0概率Chamfer距离:为了改善均匀采样,我们强制点选择器将高概率分配给覆盖点云表面的点。我们通过使用修改后的概率Chamfer距离来数学地表示这一点:0y ∈Ps p(y) min x ∈P ∥ x − y ∥ 20x ∈P p(y) min y ∈Ps ∥ x − y ∥ 2(6)0其中,P表示输入顶点集,Ps表示采样点,p(y)表示它们各自的概率。请注意,此损失仅应用于点采样器模块,因此可以预先训练并适应任何可学习的框架。0概率表面距离:为了避免在原始网格中不存在的区域中出现三角形,并惩罚表面孔洞的存在,我们制定了一个受Chamfer启发的损失,用于测量地面真实表面与概率表面之间的距离。在这种设置下,距离的前向项,即生成表面Ss与原始表面S之间的距离,强制三角形适应地面真实表面S。我们可以通过以下方式计算这一项:0ˆb ∈Ss pˆb min b ∈P ∥ ˆb − b∥ 2 (7)0其中,b代表地面真实表面的重心,ˆb代表具有相应概率pˆb的生成三角形的重心。通过这种方式,不存在区域(例如连接狗腿的三角形)的重心与地面真实表面的重心相比,距离更大。与前向项相反,距离函数的反向项旨在惩罚具有较小概率的区域,即当这些区域被丢弃时可能导致表面出现孔洞。我们可以用以下方式数学地表示这一点:0其中,x表示地面真实表面S中的一个点,y表示具有概率py的生成表面Ss中的一个点。方程(8)的第二项估计了点y与其所属的生成三角形t k以外的k个最近三角形之间的平均距离。这最后一项可以直观地描述为当y所属的三角形在生成的三角化中不存在时引入的错误。为了使反向项鲁棒,我们从每个生成的三角形中采样足够数量的点。0三角形碰撞:为了避免三角形相互穿透,我们引入了一个损失项,直接惩罚这些三角形的概率。我们以线段(即附近三角形的边缘)穿透其表面来衡量三角形的碰撞。具体而言,我们计算每个面定义的平面,并惩罚由穿透该平面的边缘形成的附近三角形。对于这种不规则三角形,所施加的惩罚与其穿透的平面数量成比例,并定义为:0Lc = 10|Fs|0t ∈ Fs pt mc(t) (9)0其中 pt 表示三角形 t 的概率, mc(t) 表示被三角形 t穿透的面的数量, Fs 表示生成的三角形集合。0边交叉和重叠三角形:尽管三角形碰撞损失足以惩罚穿透其相邻三角形表面的三角形,但它无法捕捉并惩罚具有平行平面的重叠三角形。为了解决这个限制,我们引入了两个额外的损失,分别是边交叉损失 Le 和重叠损失Lo。我们计算附近三角形的线段(边)的交叉,并直接惩罚携带交叉边的三角形。最后,为了避免空间中的重叠三角形,我们从每个生成的面中采样足够数量的点,并计算属于给定面的估计值。这可以通过测量采样点和每个 k个最近三角形的顶点产生的面积之和来有效实现。与碰撞损失类似,对每个三角形施加的惩罚与其穿透的面数成比例。总体目标最终形成如下所示的损失函数:0L = dP1,P2 + dfS1,S2 + drS1,S2 + λcLc + λeLe + λoLo (10)0其中 λ c , λ e , λ o 是缩放损失函数的超参数。185880图3. 提出的方法和基准方法的定性比较。顶部一行是90%简化的人体形状,底部一行是80%简化的猫模型。放大后效果更好。0表1. 在几个简化比率下,提出的方法和基准方法的定量比较。最佳方法以粗体突出显示,次佳方法以蓝色突出显示。0Ns/Norg = 0.05 Ns/Norg = 0.1 Ns/Norg = 0.2 Ns/Norg = 0.5 方法 CD WA LE NE 时间 CD WA LE NE 时间 CD WA LE NE 时间 CD WA LE NE 时间0PointTriNet [37] 1.06 12.14 0.98 0.20 107.2 0.47 11.64 0.52 0.17 238.1 0.21 11.48 0.27 0.13 581.9 0.08 14.92 0.12 0.08 1333.3 QEM [10] 0.45 0.00 0.94 0.14 45.6 0.22 0.00 0.530.10 31.1 0.11 0.00 0.27 0.07 28.4 0.05 0.00 0.13 0.03 25.60DSE [30] 1.39 6.64 0.95 0.23 271.8 0.51 4.38 0.50 0.19 490.7 0.24 3.12 0.26 0.15 941.0 0.07 2.39 0.12 0.08 2245.2 Potamias el al. [28] 10.47 8.53 1.23 0.21 105.2 0.83 8.39 0.76 0.17149.3 0.49 4.72 0.43 0.14 158.7 0.20 4.67 0.22 0.10 183.70提出的方法 1.02 2.17 0.90 0.19 4.1 0.42 2.21 0.47 0.15 4.2 0.19 2.49 0.24 0.11 4.2 0.06 3.57 0.10 0.06 4.404. 实验0在本节中,我们评估了所提出框架产生的简化网格。我们首先检查了点采样器的效果,然后评估了产生的三角剖分的质量以及相应的运行时间。有关额外的实验结果,请参阅补充材料。数据集:为了训练所提出的方法,我们使用了包含80个高分辨率网格的基准TOSCA[2]数据集。我们使用与[28]相同的训练测试分割,并使用不在训练集中的拓扑测试模型。在这种设置下,设计的模型可以直接用于分布之外的网格,并在不同的拓扑之间进行泛化。实施:我们使用Adam优化器[18],每个时期的学习率为1e-5,权重衰减为0.99,训练了150个时期的模型。生成的简化网格是通过仅选择概率大于0.5的面来产生的。我们进一步通过选择每个边上与之相邻的两个面的概率最高的面来限制生成的网格为流形。基准:为了比较,我们选择了几个具有不同特性的基准。特别地,我们与流行的二次网格简化(QEM)[10]进行了比较,该方法仍然是网格简化中最流行和高效的方法之一。此外,我们还选择了0我们使用两种可学习和可微分的三角化方法,即PointTriNet [37]和DSE[30],对使用FPS采样的点云进行三角化,从而引入了一种可微分的网格简化的替代方法。最后,我们将所提出的方法与最近引入的可学习点云简化方法[28]进行了比较,该方法利用Ball-Pivoting算法对简化后的点云进行三角化。04.1. 简化网格的评估0为了评估三角化性能,我们测量非封闭边的百分比(WA),即具有一个、三个或更多相邻面的边。与流形度量相比,当存在孔洞时,WA更好地评估三角化质量,因为围绕孔洞的边仍然是流形的(封闭边是流形的,但流形边不一定是封闭的)。此外,为了评估每种方法的简化性能,我们从每个简化网格的表面采样50K个点,并测量其与原始网格中相应点的Chamfer距离(CD)和法线差异(NE)。最后,我们计算原始模型和简化模型的前200个特征向量的Laplacian的均方误差(LE)。在表1中,我们将所提出的方法与上述基准方法进行了定量比较。尽管迭代的QEM方法更好地保留了简化模型的外观,185890图4.所提出的点采样模块的定性评估。所提出的点采样器选择保留输入点云的结构和细节的点。与均匀采样和[28]相比,所提出的方法更好地保持了对象的结构,并改善了FPS模块生成的平滑点云。顶部行显示了一个龙点云,其大小简化为输入大小的5%,而底部行显示了一个兔子形状,其大小简化为输入大小的20%。请注意,这两个形状都不在TOSCA数据集中。0表2. 在不同简化比例下点采样模块的定量评估。表的右侧部分包括各种方法在测试噪声点云时的简化性能。0无噪声 有噪声0N s /N org = 0.8 N s /N org = 0.2 N s /N org = 0.05 N s /N org = 0.8 N s /N org = 0.2 N s /N org =0.05 方法 CD 曲率 时间 CD 曲率 时间 CD 曲率 时间 CD曲率 时间 CD 曲率 时间 CD 曲率 时间0FPS 0.01 2.21 21.2 0.81 2.99 7.84 4.02 3.42 3.86 2.11 4.07 21.2 3.47 4.35 7.84 7.31 4.79 3.86 Uniform 0.24 2.19 0.05 1.85 2.44 0.04 6.71 2.73 0.03 2.58 3.710.05 3.67 3.97 0.04 7.43 4.20 0.03 Potamias et al. [28] 0.03 2.14 120. 1.18 2.27 35.1 4.78 2.51 17.7 2.11 3.14 120. 3.38 3.65 35.1 7.61 4.12 17.70点采样器 0.05 2.16 0.05 1.22 2.24 0.09 5.12 2.51 0.09 1.99 3.12 0.05 3.21 3.18 0.09 7.18 4.01 0.090在简化的网格中,所提出的方法在Laplacian误差方面表现更好,同时在所有误差度量标准上表现出竞争性能。相反,所提出的方法优于所有可微分方法,并克服了以前三角化方法的局限性。特别是,如图3所示,与PointTriNet[37]相比,所提出的方法几乎没有孔洞,并且在不存在的区域(如大腿和手之间的三角形,图3顶部行)的三角形较少,这是由于概率表面距离损失对此类三角形进行惩罚。更多的定性评估请参见图1。04.2. 时间性能0网格简化最突出的应用之一无疑是渲染。实时渲染需要轻量级的模型结构,因此简化算法通常被用于渲染流程中。为了评估时间性能,我们测量了每种方法在不同简化比例下简化20个网格的执行时间。实验结果如表1所示,展示了所提出方法的高效性,优于基准方法。0特别是,所提出的方法比优化的QEM方法快10倍以上,比其更快的可微分对应方法快100倍以上。所提出的方法的另一个重要特点是,由于高效的点采样器和轻量级的面分类器结构,它几乎不受网格尺度的影响。总之,结果突出显示所提出的方法可以直接插入任何渲染过程中,而不引入任何显著的开销。04.3. 点采样器的评估0点采样器负责选择要保留在简化网格中的顶点。为了评估采样模块的性能,我们以i)Chamfer距离(CD)的结构误差,ii)使用[28]建议的双侧曲率误差保留的细节,以及iii)在几个简化比率下简化输入点云所需的时间(以秒为单位)为指标进行衡量。我们将所提出的方法与FPS[29]、在[15]中使用的均匀随机采样以及最近引入的点云简化模块[28]进行比较。在图4中,我们定性地比较了简化后的点云。定量结果在表2中呈现,表明所提出的点采样器优于均匀采样。185900我们提出的方法采用了[15]中提出的随机采样器,并且还展示了FPS和Potamias等人[28]产生的平滑和锐利结果之间的平衡。重要的是,所提出的方法不受输入大小的影响,其采样速度比FPS和Potamias等人[28]快420%至2400%。这个结果清楚地表明,所提出的方法可以直接用于采样大规模点云,计算开销最小,极大地改进了天真的随机采样方法[15]。最后,我们通过在干净数据集上进行训练,并在添加了均值为零、标准差为单位的高斯噪声的噪声点云上进行测试来评估所提出的采样模块在噪声条件下的性能(表2的右侧块)。很容易观察到,由于Dev-Conv对邻域的最大相对特征进行编码,所提出的方法受到噪声的影响较小,相比之下,其对手受到噪声的影响较大。04.4. 基于曲率的简化0该方法的一个重要特点是其所有组件都是完全可微分的。因此,它可以无缝地集成到需要梯度在整个优化过程中流动的任意迭代框架中。在这个实验中,我们尝试利用该模型适应可训练流程的能力,该流程生成保持原始曲率的简化网格。为了实现这一点,我们利用了一种测量原始网格和简化网格之间曲率差异的损失项,如[28]所提出。实验结果表明,与原始版本相比,经过微调的方法在曲率误差方面取得了40%的改进(平均值)。图5是一个例子,可以很容易地观察到,经过微调的版本相比于未经触及的版本更注重保留原始网格的粗糙细节(如眼睛和鼻尖)而不是平滑网格。04.5. 内在距离的评估0为了评估简化网格中固有属性的失真程度,我们依赖于在表面的一个斑点区域内测量的测地线和谱距离。双调和谱距离的计算方法如[21]所述。图6展示了QEM和提出的方法之间对猫形状进行90%简化的定性颜色编码比较。尽管两种方法都能满意地保持测地线距离,但QEM方法引入了足够的失真到双调和谱距离中。附加基线的比较结果在补充材料中提供。0图5. 为曲率驱动简化调整所提出的方法。0图6.QEM和所提出方法之间的测地线和谱距离比较。距离从猫的鼻尖测量。05. 结论和局限性0在这项工作中,我们试图迈向一个完全可学习的网格简化框架。我们提出了第一个基于图神经网络进展的可微分网格简化模型。所提出模型的运行时效率和轻量级结构使其可以直接在各种可微分应用中使用。所提出的方法优于其所有可微分对应物。所提出方法的局限性在于,尽管我们使用量身定制的损失函数来保持生成的网格的拓扑和流形性,但无法明确保证。不可避免地,与所提出的方法相比,QEM产生了更平滑的封闭表面和更精细的细节。然而,QEM的计算成本更高,并且具有不可微的特性,限制了其应用范围。我们相信,所提出方法的基本原理和本文的研究结果将有益于3D计算机视觉社区。致谢。Stefanos Zafeiriou博士感谢EPSRCfellowship Deform (EP/S010203/1)的支持。185910参考文献0[1] Kanchan Bahirat, Chengyuan Lai, Ryan P.Mcmahan和Balakrishnan Prabhakaran.为虚拟现实设计和评估网格简化算法. ACM Trans. Mul- timediaComput. Commun. Appl., 14(3s), 2018年6月. 20[2] Alexander M Bronstein, Michael M Bronstein和RonKimmel. 非刚性形状的数值几何. Springer Science & BusinessMedia, 2008. 60[3] C˘at˘alina Cangea, Petar Veliˇckovi´c, Nikola Jovanovi´c,Thomas Kipf和Pietro Li`o. 向稀疏分层图分类器迈进.arXiv预印本arXiv:1811.01287, 2018. 30[4] Zhiqin Chen和Hao Zhang. 学习隐式场进行生成形状建模.在IEEE/CVF计算机视觉和模式识别会议上, 页码5939-5948, 2019. 30[5] Angela Dai和Matthias Nießner.从非结构化的范围扫描到3D网格的Scan2mesh.在IEEE/CVF计算机视觉和模式识别会议上, 页码5574-5583, 2019. 20[6] Micha¨el Defferrard, Xavier Bresson和Pierre Van-dergheynst. 具有快速局部谱滤波的图卷积神经网络. 在D. Lee,M. Sugiyama, U. Luxburg, I. Guyon和R.Garnett编辑的Advances in Neural Information ProcessingSystems, 第29卷. Curran Associates, Inc., 2016. 20[7] Inderjit S Dhillon, Yuqiang Guan和Brian Kulis.无特征向量的加权图割方法. IEEE模式分析与机器智能交易,29(11):1944-1957, 2007. 20[8] Xiang Feng, Wanggen Wan, Richard Yi Da Xu, HaoyuChen, Pengfei Li和J Alfredo S´anchez.基于空间池化的3D三角网格感知质量度量. Frontiers ofComputer Science, 12(4):798-812, 2018. 20[9] 高洋和季水旺. 图网络. 在国际机器学习会议上,页码2083-2092, 2019. 30[10] Michael Garland和Paul S Heckbert.使用二次误差度量进行表面简化.在第24届计算机图形学和交互技术年会上, 页码209-216, 1997. 1 , 2 , 60[11] Michael Garland和Paul S Heckbert.使用二次误差度量简化具有颜色和纹理的表面. 在ProceedingsVisualization'98 (Cat. No. 98CB36276)中, 页码263-269. IEEE,1998. 20[12] Daniele Grattarola, Daniele Zambon, Filippo MariaBianchi, and Cesare Alippi. 理解图神经网络中的池化0[13] Rana Hanocka, Amir Hertz, Noa Fish, Raja Giryes, ShacharFleishman, and Daniel Cohen-Or. Meshcnn:具有边缘的网络0[14] Hugues Hoppe, Tony DeRose, Tom Duchamp, JohnMcDon- ald, and Werner Stuetzle. 从无序点重建曲面0[15] Qingyong Hu, Bo Yang, Linhai Xie, Stefano Rosa, YulanGuo, Zhihua Wang, Niki Trigoni, and Andrew Markham.Randla-net:大规模点云的高效语义分割0[16] SJ Kim, WK Jeong, and CH Kim.使用离散曲率误差度量生成LOD0[17] Sun-Jeong Kim, Chang-Hun Kim, and David Levin.使用离散曲率范数进行曲面简化0[18] Diederik P Kingma and Jimmy Ba. Adam:一种随机优化方法0[19] Hyunho Lee and Min-Ho Kyung.使用嵌入树折叠的并行网格简化0[20] Junhyun Lee, Inyeop Lee, and Jaewoo Kang.自注意力图池化0[21] Thibault Lescoat, Hsueh-Ti Derek Liu, Jean-Marc Thiery,Alec Jacobson, Tamy Boubekeur, and Maks Ovsjanikov.谱网格简化0[22] Yiyi Liao, Simon Donne, and Andreas Geiger.深度Marching Cubes:学习显式表面表示0[23] Hsueh-Ti Derek Liu, Alec Jacobson, and Maks Ovsjanikov.几何运算的谱粗化0[24] Minghua Liu, Xiaoshuai Zhang, and Hao Su.使用预测的内外比率指导网格化点云0[25] Lars Mescheder, Michael Oechsle, Michael Niemeyer, Se-bastian Nowozin, and Andreas Geiger. Occupancynetworks:在函数空间中学习3D重建0[26] Alexandros Papageorgiou and Nikos Platis.GPU上的三角网格简化0[27] Jeong Joon Park, Peter Florence, Julian Straub, RichardNewcombe, and Steven Lovegrove.Deepsdf:学习连续有符号距离函数进行形状表示0[28] Rolandos Alexandros Potamias, Giorgos Bouritsas, andSte- fanos Zafeiriou. 重温点云简化:一种可学习的特征保持方法0[29] Charles Ruizhongtai Qi, Li Yi, Hao Su, and Leonidas JGuibas. Pointnet++:深度分层特征学习185920在度量空间中的点集. 在I. Guyon, U. V. Luxburg, S. Bengio,H. Wallach, R. Fergus, S. Vishwanathan, 和 R.Garnett等编辑的《神经信息处理系统进展》第30卷. CurranAssociates, Inc., 2017. 3 , 4 , 70[30] Marie-Julie Rakotosaona, Noam Aigerman, Niloy Mitra,Maks Ovsjanikov, 和 Paul Guerrero. 可微分表面三角化.arXiv预印本arXiv:2109.10695 , 2021. 2 , 3 , 60[31] Marie-Julie Rakotosaona, Paul Guerrero, NoamAigerman, Niloy J Mitra, 和 Maks Ovsjanikov.学习Delaunay表面元素用于网格重建.在《计算机视觉与模式识别IEEE/CVF会议论文集》中,页码22
下载后可阅读完整内容,剩余1页未读,立即下载
![.pdf](https://img-home.csdnimg.cn/images/20210720083646.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 构建智慧路灯大数据平台:物联网与节能解决方案
- 智慧开发区建设:探索创新解决方案
- SQL查询实践:员工、商品与销售数据分析
- 2022智慧酒店解决方案:提升服务效率与体验
- 2022年智慧景区信息化整体解决方案:打造数字化旅游新时代
- 2022智慧景区建设:大数据驱动的5A级管理与服务升级
- 2022智慧教育综合方案:迈向2.0时代的创新路径与实施策略
- 2022智慧教育:构建区域教育云,赋能学习新时代
- 2022智慧教室解决方案:融合技术提升教学新时代
- 构建智慧机场:2022年全面信息化解决方案
- 2022智慧机场建设:大数据与物联网引领的生态转型与客户体验升级
- 智慧机场2022安防解决方案:打造高效指挥与全面监控系统
- 2022智慧化工园区一体化管理与运营解决方案
- 2022智慧河长管理系统:科技助力水环境治理
- 伪随机相位编码雷达仿真及FFT增益分析
- 2022智慧管廊建设:工业化与智能化解决方案
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)