几何与学习共支持的非结构化点云法线估计

Motivated by these challenges, in this work, we pro-pose a two-stage normal estimation method for unstruc-tured 3D point clouds. The key idea of our approach isto solve the ill-posed normal estimation problem via twosub-steps: 1) computing a suboptimal intermediate normalfield with features as well-preserved as possible, by a ge-ometric estimator; 2) formulating the final normal recov-ery procedure as a regression function that maps the in-termediate normal results to their ground truths. In detail,for lowering the difficulty of normal learning in challeng-ing regions, we present a multi-scale fitting patch selection(MFPS) scheme to help estimate a suboptimal normal field,which contributes more on the feature preservation. Sincein some challenging regions, where parameters are hard tobe tuned, the initial normals are still imperfect, we then de-sign a normal-based height map network (NH-Net), whichutilizes both the above estimated normals and the local sur-face information to obtain the final optimal normals. We132380几何与学习共支持的非结构化点云法线估计0周浩然1,2� 陈红华1� 冯一丹1,2 王琼30秦静4 谢浩然5 王福利6 魏明强1,2† 王军1†01南京航空航天大学2工业和信息化部模式分析与智能实验室3深圳先进技术研究院4香港理工大学5岭南大学6香港公开大学0摘要0本文提出了一种用于非结构化点云的法线估计方法。我们观察到，几何估计器通常更注重特征保留，但很难调整参数并对噪声敏感，而基于学习的方法追求整体法线估计的准确性，但不能很好地处理表面边缘等具有挑战性的区域。本文提出了一种新颖的法线估计方法，在几何估计器和深度学习的共同支持下。为了降低学习难度，我们首先提出通过搜索最佳拟合补丁来计算每个点的次优初始法线。基于计算得到的法线场，我们设计了一种基于法线的高度图网络（NH-Net）来微调次优法线。定性和定量评估结果表明，我们的方法在估计准确性和特征恢复方面明显优于传统方法和基于学习的方法。01. 引言0近几十年来，各种3D激光扫描仪和深度相机已经出现，使得点云成为许多实际应用的焦点，例如机器人抓取[20]、3D重建[11]和自动驾驶[24]。通常，扫描的点云只包含与噪声、不完整性和采样不规则性相关的点的空间位置信息，而缺乏局部表面几何属性，如点法线。优质的法线可以促进大量的下游任务，例如点云合并[10]、表面重建[13]和模型分割[8]。因此，对于非结构化点云来说，估计法线是一项不可避免且关键的任务。0� 共同第一作者 †共同通讯作者（mqwei/wjun@nuaa.edu.cn）0法线估计问题已经得到广泛研究，但尚未得到很好的解决。我们可以将现有的法线估计技术大致分为两类：传统方法和基于学习的方法。传统方法通常利用几个精心设计的规则来保留/恢复清晰的特征，而基于学习的方法则追求从噪声输入到真实值的一般映射。然而，目前没有任何现有算法可以作为法线估计的万灵药：1）传统方法总是严重依赖参数调整，比如平面拟合的邻域尺度[31,32]；2）基于学习的技术，无论是使用卷积神经网络（CNN）架构[6, 4]还是PointNet架构[15,33]，都受到特征表示能力的限制。因此，很难从严重退化的输入学习到地面真实法线的直接映射，特别是在清晰特征区域。132390图1.我们法线估计方法的流程。我们首先通过多尺度拟合补丁选择（MFPS）计算每个点的次优法线。然后，基于双边法线滤波器（BNF）和局部高度图补丁（HMPs）构建多尺度点描述符。我们的NH-Net由一个基于HMP的模块和一个聚合模块组成，接收MPDs并生成最终的法线。0通过实验证明，几何估计器方案和基于学习的恢复方案的组合优于它们中的任何一个。我们的主要贡献有三个：•我们设计了一个通过协作几何估计器和深度神经网络的两阶段法线估计方法，相对于现有技术取得了明显的改进。•我们提出了一个多尺度拟合补丁选择方案，可以产生一个保留特征的初始法线场，作为后续恢复网络的输入。•我们提出了一个法线细化网络（NH-Net），能够弥补第一步计算的次优法线结果的不完美之处。02. 相关工作0点云的法线估计是一个长期存在的学术问题。我们将从传统法线估计器到最近流行的基于学习的技术回顾以前的研究。02.1. 传统法线估计器0法线估计的最简单和最著名的方法是基于主成分分析（PCA）[17]，通过分析点周围局部结构的协方差，并将法线定义为对应于最小特征值的特征向量。在这项工作之后，提出了许多变体[23, 7,14]。特别是，Mitra等人[23]分析了邻域大小、曲率、采样密度和噪声对法线估计的影响。另一种法线估计方法基于Voronoi单元[2, 12, 1,22]。然而，这种方法不能很好地估计附近/在尖锐特征上的点的法线。0最近的研究表明，这种方法不能很好地估计附近/在尖锐特征上的点的法线。基于观察到属于不同表面补丁的邻居应该被丢弃，最近的研究致力于选择一个近似邻居的平面，以估计法线[19, 32, 30,31]。在假设表面通常由分段平坦补丁组成的情况下，基于稀疏性的方法[3, 28,9]显示出令人印象深刻的结果，尤其是在尖锐特征保留方面。一些其他方法，如Hough变换[5]，也能产生令人满意的结果。02.2. 基于学习的法线估计器0最近，基于学习的方法逐渐展示了其在法线估计中的能力。Boulch等人[6]提出了将表示法线方向的离散化Hough空间投影到适合CNN深度学习的结构上的方法。Roveri等人[26]定义了一个类似网格的规则输入，用于学习理想的法线结果。Ben-Shabat等人[4]提出了一种使用逐点、多尺度3D修改的Fisher向量表示来近似局部法线向量的方法，该方法作为深度3DCNN架构的输入。此外，他们通过专家混合学习最小化法线估计误差的邻域大小。这三种方法的关键在于将无结构的点云参数化为规则域，以直接应用CNN架构。另一个点云学习框架，即PointNet[25]，在3D领域变得非常流行，因为它可以直接从点数据中学习特征。受此启发，Guerrero等人[15]提出了一种在噪声点云中估计法线和主曲率值的统一方法。该方法基于PointNet架构的修改。(b) RNE [19]EQj(θ) =1|Qj|θ∗Qj = arg maxθEQj(θ),(2)Di = maxQj∈Si EQj(θ∗Qj)wσi(pi, θ∗Qj),(3)132400（a）噪声输入0（c）PCV [31]0（d）我们的0图2.不同方法选择的平面比较。从最左列到最右列：噪声输入，以及RNE、PCV和我们方法的平面拟合结果。红色点表示噪声输入，第一列的蓝色星号是目标点。绿线表示选择的平面，蓝色点是考虑拟合该平面的邻居点。我们可以很容易地观察到，我们的方法可以选择最合适的平面，借助更好的邻域信息。0他们特别强调在给定中心点周围提取局部补丁的局部属性。Hashimoto等人[16]结合了PointNet和3DCNN，提出了一种可以从点云准确推断法线向量的联合网络。基于PointNet架构，Zhou等人[33]引入了额外的特征约束机制和多尺度邻域选择策略，用于估计3D点云的法线。03. 概述0我们提出了一种通过几何估计器和名为NH-Net的深度网络协同工作的两步法线估计方法。图1显示了所提方法的概述。它包括以下两个主要步骤：多尺度次优法线估计（MSNE）和NH-Net。首先，我们针对每个候选点（靠近尖锐特征）提出了一个多尺度拟合补丁选择（MFPS）来计算其次优法线，同时通过PCA（第4节）获得平滑点（远离尖锐特征）的次优法线。然后，基于这些计算得到的法线，我们通过双边法线滤波器（BNF）为每个点定义了一个多尺度点描述符（MPD）作为以下网络的输入（第5.1节）。最后，我们通过我们的NH-Net恢复最终的最优法线，其中包含两个子模块，即基于高度图补丁（HMP）的改进模块和聚合模块（第5.2节）。04. 多尺度次优法线估计0在计算每个点的初始法线之前，我们首先应用局部协方差分析（[32]第4.2节）将所有点分类为候选点（靠近尖锐特征）和平滑点（远离尖锐特征）。平滑点的法线可以通过PCA简单计算得到。为了估计候选点的法线，一种常见的策略是随机选择三个非共线点0构造一组候选平面并选择最能描述底层表面补丁的平面。典型的方法是RNE [19]和PCV[31]，它们引入了一个残差带宽来评估候选平面与底层表面的接近程度。然而，当面对噪声输入时，用于检测候选平面的目标点的邻域往往被来自交叉点另一侧的点破坏。这导致选择的平面偏离真实表面（图2(b)）。PCV更好但仍然不完美（图2(c)）。04.1. 拟合补丁选择0考虑到上述问题，我们提出选择一个更一致和灵活的邻域，为鲁棒法线估计提供更好的局部结构信息。对于每个候选点pi，我们的方法试图找到包含pi的最佳拟合补丁。请注意，平滑点的法线已经通过PCA计算得到。首先，对于点云中的每个点pj，我们定义一个局部补丁Qj（pj的K个最近邻点）。然后，每个Qj的拟合平面θ�Qj由以下目标函数确定：0pkj ∈ Qj Wσj(pkj,θ), (1)0其中Wσj(pkj,θ) =exp(−r2k,θ/σ2j)是高斯函数，rk,θ表示点pkj到平面θ的距离，σj是pj的残差带宽。将Si = {Qj | pi ∈Qj}表示包含候选点pi的所有补丁。对于pi的拟合补丁选择过程完全在Si内进行，通过测量这些补丁与目标点的一致性：0其中 w σ i ( p i , θ � Q j ) =  exp ( − r 2 i,θ � Qj/σ 2 i )0这里，  θ � Q j 是由公式  2 确定的  Q j  的拟合平面，  r i,θ �Qj 是从  p i  到平面  θ � Q j 的残差距离。  E Q j ( θ � Q j )越大，平面拟合误差越小，  w σ i ( p i , θ � Q j )被引入以避免选择离目标点较远的平面。因此，对于每个候选补丁  Q  ∈  S i ，我们使用其拟合平面  θ � Q计算一致性函数，并选择使  D i最大化的补丁作为选择的拟合补丁。04.2. 多尺度方案0尺度参数  K是上述过程中最实用的参数。然而，固定的邻域大小Di = maxQtj∈SiEQtj(θ∗Qtj)wσi(pi, θ∗Qtj)η(Kt).(4)Kt − Kminni = Λ(�pj∈NiWs(||pi − pj||)Wr(||nsubi− nsubj||)nsubj),vbj =�pk∈Nball(bj) w(bj, pk)H(T(pi, nt), pk)�pk w(bj, pk),(6)where T(pi, nt) is the tangent plane defined by pi and nt,H(T(pi, nt), pk) returns the signed distance from pk to theMPDi = {(n1, HMP1), (n2, HMP2), ..., (nX, HMPX)}.(7)132410图3.在噪声fandisk模型上估计法线的可视化比较（不进行点更新）。从左到右：噪声输入，我们在PCA法线上训练的NH-Net，没有网络的次优法线，以及我们在次优法线上训练的NH-Net。0对于密度变化较大的点云，单一尺度的方法将无法进行稳健的估计。因此，我们通过多尺度方案进一步改进了次优法线估计。我们将  K  定义为包含多个补丁尺寸的集合，即  K=  { K 1 , K 2 , ..., K a } 。因此，在点  p j处，我们考虑每个点大小为  K t  ∈  K 的补丁  Q t j，并首先通过公式  2 计算其拟合平面  θ � Q t j。因此，最终的MFPS估计器与第4.1节完全相同，只是将公式  3 修改如下：0其中0K max  −  K min η ( K t )是一个用于惩罚相对较小的补丁的权衡参数，因为在噪声区域中更喜欢较大的补丁。我们经验性地设置  α  = 0 . 9。如图 1所示（MSNE部分），所选的补丁并不总是以目标点  p i为中心的邻域。我们的MFPS估计器倾向于在  S i中搜索最各向同性的补丁，并使用该补丁的拟合平面的法线作为  p i 的次优法线。多尺度方法使得在  S i中有更多的候选补丁可用，以提高对强噪声和细节的鲁棒性（见图 2(d)），在我们的实验中，默认情况下将尺度参数设置为  K  =50 ,  100 ,  150。更多实现细节请参考补充材料。输出的次优法线将在接下来的NH-Net中使用，该网络可以保留几何特征，如图 3的第三个子图所示。与直接使用原始法线（PCA）作为输入相比，这些初始法线提高了网络的性能，如图 3 所示。05. NH-Net0在本节中，我们介绍了算法流程中的学习部分。网络架构如图所示。01（紫色和绿色部分）。首先，我们引入了一个多尺度描述符，称为MPD，然后解释了如何将其输入到下一个两阶段学习模块中，该模块输出最终的法线。详细内容如下。05.1. MPD: 多尺度点描述符0众所周知，神经网络的输入数据应该具有结构化的格式。受Wang等人的工作的启发，对于每个点，我们通过  X对滤波后的法线加上局部HMP来共同增强学习效果来定义其MPD。每个点的滤波后的法线是根据第4节中估计的法线进行双边滤波计算的，而HMP则根据相应的滤波后的法线构建。0多尺度双边滤波器：我们简要介绍常用的双边滤波器[18]。将pi的邻域表示为Ni，每个点的法线表示为n subi。滤波后的法线可以定义为：0(5)其中Λ(�)是向量归一化函数，Ws和Wr是高斯权重函数，即Ws(x) =exp(−x^2/(2σ^2))，表示一对点之间的空间相似性和法线相似性。W s和W r中使用的标准差σ s和σr是需要仔细调整的参数。给定两个参数集Ps = {σ s1, σ s2,...}和Pr = {σ r1, σ r2,...}，我们可以使用这两个参数的每个组合来得到几个滤波后的法线。加上次优的法线，我们得到pi的法线集合N f = {n1, n 2, ..., n X}。0高度图块构建：点pi本身以及其滤波后的法线nt定义了一个切平面，相关的HMP建立在这个平面上。假设我们构建一个m×m的矩阵，描述局部点的位置，矩阵的中心位于pi。与[10]类似，我们通过加权平均来填充每个bin，该加权平均是由bin中心bj的球邻域内点的高度距离加权平均得到的：0σ 2 d）是一个空间高斯权重函数，其中σd是残差带宽。将所有滤波后的法线和HMP对组合得到每个点的MPD：132420图4. 基于HMP的改进模块的分支（左）和聚合模块（右）。0无论方向如何都保持一致性：为了使我们的MPD对旋转不变，我们需要同时考虑法线不变性和HMP不变性。首先，我们对MPD i的法线分量应用全局旋转，使其对刚体变换不变。具体来说，我们通过计算法线张量T i = � X j =1 n j × n T j，n j ∈ Nf，构造旋转矩阵R i。由T i的三个特征向量（按特征值排序）定义的矩阵R i将所有法线旋转到Z轴。此外，如果一个法线指向负Z轴方向，我们将其反转为正方向。地面真实法线也通过相同的旋转矩阵应用。对于MPD i的HMP分量，它们的局部坐标系的Z轴也被矩阵R i旋转。X轴和Y轴由旋转后的法线与最小的两个特征值对应的两个特征向量的叉积计算得到。05.2. NH-Net架构0我们的网络架构如图1所示（绿色部分），将法线和HMP作为输入。首先，我们应用[29]中的基于聚类的方法来促进学习（详见补充材料中的详细评估）。我们的网络由两个模块组成：基于HMP的改进模块和聚合模块。关键思想是使用HMP来学习一个3×3的变换矩阵，该矩阵用于消耗输入法线并连接两个模块。然后，我们收集改进模块的各个分支，并输出最终的法线。0基于HMP的改进模块：HMP单独作为整个网络的起始输入。改进模块包含X个独立的分支，对应于MPD中的X对，每个分支接收一个单独的HMP并使用多个卷积层和最大池化层进行处理。0分支模块：该模块由多个相同的分支组成，每个分支由一系列卷积和全连接层组成，输出一个3×3矩阵Rjt。该模块的详细信息如图4所示（左侧部分）。输出矩阵被视为变换矩阵，并将在聚合模块中使用。选择这种相同分支的设计是为了更好地保留与之前双边滤波的不同参数相关的局部特征。0聚合模块：在从改进模块获得输出{Rjt}Xj=1后，我们的网络将每个3×3矩阵应用于其对应的法线，并得到一个新的向量cj = Rjtnj。这些向量的标准化版本被馈送到聚合模块。该模块是一个单层全连接网络，输出最终的法线N� = (Nx, Ny, Nz)。0损失函数：我们通过最小化输出法线N�与其真实值ˆN之间的均方误差损失来训练网络：0损失函数 = ||Λ(N�) - ˆN||2 + λEreg，(8)0这里，Λ(�)是向量归一化函数，Ereg是常用的L2正则化项，用于避免过拟合，λ = 0.02。05.3. 训练细节0训练数据集：我们使用[29]中的数据集进行训练。训练集由合成三角网格模型构建，包括点样本和法线。地面真值点云包括21个模型，包括6个CAD模型、8个平滑模型和7个特征丰富模型。为了生成噪声输入，我们为每个点云引入高斯噪声，其标准差为边界框对角线长度的0.1%、0.2%和0.3%。最终的训练数据集包含来自63个带噪声点云的150万个点。0参数：在构建MPD时，双边滤波中使用的参数对设置为Ps= {ld, 2ld}和Pr = {0.1, 0.2, 0.35,0.5}，其中ld是点之间的平均距离。因此，MPD包括9对法线和HMP，即HMP基于改进模块中有9个独立的分支。对于HMP的构建，我们使用一个7×7（m =7）的高度图网格。我们使用pytorch在一块NVIDIAGeforce RTX 2080 Ti GPU上训练网络。06. 实验和结果06.1. 合成模型的基准测试0为了定量测试我们的方法，我们使用估计法线与其真实对应法线之间的平均角度误差（度）作为评估指标，这通常用于法线准确性比较。132430图5. 合成基准数据集上不同方法的平均角度误差（度）。0(a) 输入0(b) PCA [17]0(c) HF [5]0(d) HoughCNN [6]0(e) PCPNet [15]0(f) PCV [31]0(g) Nesti-Net [4]0图6. [29]中两个真实扫描模型上不同方法估计的法线的视觉比较。0我们主要从[29]和[31]的测试集中收集了一个基准数据集，这些测试集是合成的网格模型。数据集包括4个类别：SharpFeature、RichFeature、SmoothSurface和BigNoise类别，其中分别包含11个、8个、8个和8个模型。每个类别都包含具有具有挑战性的几何特征和不同采样密度的点云。为了进行数据增强，SharpFeature和SmoothSurface类别中的每个点云都会受到高斯噪声的扰动，其标准差分别为边界框对角线长度的0.05%、0.1%和0.15%。对于RichFeaure类别，引入了0.05%、0.1%、0.15%和0.2%的噪声，对于BigNoise类别，引入了0.2%、0.3%、0.4%和0.5%的噪声。我们的基准数据集总共包含121个点云。06.2. 在合成数据上的实验0我们将我们的方法（包括仅MFPS和完整流程MFPS+NH-Net）与几种最先进的方法进行比较：PCA [17]，HF[5]，LRR [32]，PCV [31]，HoughCNN [6]，PCPNet[15]和Nesti-Net[4]。我们重新在我们自己的数据集上训练了HoughCNN，PCPNet和Nesti-Net。此外，HoughCNN有三个不同尺度的版本，PCPNet有单尺度和多尺度版本。我们评估了所有这些版本。0我们通过将邻域大小K =100设置为三个类别（SharpFeature，RichFeature和Smooth-Surface）上的所有方法进行了比较。特别地，HoughCNN3s考虑了3个尺度，132440(a) RGB图像0(b) 深度图像0(c) PCA [17]0(d) HF [5]0(e) HoughCNN[6]0(f) PCV [31]0(g) Nesti-Net [4]0图7. 在NYU Depth V2数据集[27]上扫描的点云的法线估计结果的视觉比较。0模型 PCA [17] HF [5] HoughCNN [6] PCPNet [15] PCV [31] Nesti-Net [4] 我们的方法0图6 r1 11 . 5 ◦ 2s 14 . 2 ◦ 2s 14 . 6 ◦ 19s 11 . 6 ◦ 96s 11 . 1 ◦ 15s 9 . 0 ◦ 26s 8.8 ◦ 68s0图6 r2 12 . 3 ◦ 2s 15 . 6 ◦ 1s 15 . 4 ◦ 13s 13 . 5 ◦ 66s 12 . 4 ◦ 6s 11 . 1 ◦ 20s 10.8 ◦ 44s0图8 r1 18 . 7 ◦ 1s 9 . 4 ◦ 1s 9 . 2 ◦ 6s 18 . 7 ◦ 20s 6 . 5 ◦ 38s 6 . 8 ◦ 58s 4.5 ◦ 23s0图8 r3 6 . 7 ◦ 21s 5 . 4 ◦ 13s 5 . 8 ◦ 119s 6 . 1 ◦ 609s 5 . 2 ◦ 109s 5 . 0 ◦ 1248s 4.5 ◦ 312s0表1. 法线估计方法的误差和计时比较。r1，r2和r3分别表示第一、第二和第三行。0在他们的论文中推荐的K = 50, 100,200。对于我们的多尺度方法，我们在MFPS中将邻域大小设置为K = 50, 100,150。对于BigNoise类别，我们将邻域大小加倍，即K =100, 200, 400用于HoughCNN3s，K = 100, 200,300用于我们的方法，K =200用于其他单尺度方法。此外，HoughCNN5s考虑了5个尺度，即K = 32, 64, 128, 256,512，适用于所有类别。所有其他参数均设置为默认值。结果通过柱状图在图5中展示。我们的方法在所有类别中表现优于其他方法，尤其是在具有重度噪声的模型上。06.3. 在实际扫描上的实验0我们的方法还在由Microsoft Kinectv1扫描的真实点云数据集上进行了测试[29]。我们在图6中展示了在RGB彩色图像中渲染的估计法线的视觉比较结果。真实的扫描数据揭示了更多的挑战，例如来自Kinect相机的投影过程导致的平面表面上的波动。非高斯和不连续的噪声干扰了估计器对恢复底层表面的能力。通过在这样的扫描数据上进行训练（来自[29]），我们的NH-Net能够区分几何特征和不需要的扫描噪声。同时，如表1所示，我们的方法在法线准确性方面优于所有其他方法。此外，我们还展示了由NYU DepthV2提供的几个室内场景的实际扫描的定性结果[27]。从图7可以看出，PCA、HF、HoughCNN和PCV可以保留细节，但代价是保留噪声（从图7(c)到7(f)）。Nesti-Net可以很好地平滑嘈杂的表面，但过度平滑了几何特征（图7(g)）。请注意，我们通过相同的数据集训练了所有网络以进行公平比较。0我们还在表1中报告了我们的方法和其他方法的时间性能。我们的方法的运行时间是包括所有步骤的总测试时间。06.4. 不同学习方案的实验0为了验证我们的两模块网络的有效性，我们将我们提出的学习方案与我们方法的另外三个变体进行比较。方案1仅在由次优法线构建的HMP上进行训练，并输出一个转换矩阵来优化法线。方案2在由滤波后的法线构建的HMP上进行训练，但没有聚合模块。方案3仅使用滤波后的法线进行训练，而没有构建HMP。此外，我们还报告了次优法线和滤波后法线的平均法线的误差。表2总结了这些法线估计结果在合成基准数据集上的总误差。我们可以看到，通过结合滤波后的法线和局部结构信息，我们提出的方案可以生成更可靠的结果，具有最高的准确性。更多细节请参见补充材料。07. 应用0众所周知，良好估计的法线可以提高许多点云处理任务的效果，如去噪和表面重建。为了进一步验证我们方法的优势，我们使用相同的点更新算法展示了使用不同方法估计的法线结果的去噪结果。注意，Ni是pi的球邻域，我们在这里提供了一个根据估计的法线指导下更新点位置的算法，能够去除(9)132450误差4.81° 5.01° 4.52° 4.61° 4.48° 4.32°0表2. 不同最终法线计算方案的合成基准数据集法线估计误差比较。0(a)噪声输入和地面真实网格0(b) PCA [17]0(c) HF [5]0(d) HoughCNN [6]0(e) PCPNet [15]0(f) PCV [31]0(g) Nesti-Net [4]0(h) 我们的0图8. 基于不同法线估计结果的去噪结果比较。第一行和第三行显示了去噪结果的视觉比较。第二行和底部行是相应的重建结果。0：0p'i = pi + γi0pj∈Ni(pj−pi)(wσ(ni,nj)niTninj+λnTjnj).0σ2)是一个权重函数，λ=0.5是一个权衡参数，γi是设置为1的步长03 |Ni|默认情况下。为了防止点围绕边缘积累，我们在所有迭代中保持邻域信息不变[21]。我们的实验中将迭代次数设置为20。我们展示了去噪结果和重建结果的视觉质量（见图8）。我们的法线结果有助于产生最真实的去噪和重建结果。08. 结论0在这项工作中，我们尝试克服3D非结构化点云法线估计中的几个挑战。我们0提出了一种多尺度拟合补丁选择方案用于次优法线估计。然后，设计了一种新颖的NH-Net，包括两个不同的学习模块，以进一步改进上述估计。NH-net的输入是由滤波后的法线及其对应的HMP组成的多尺度几何描述符（MPD）。我们的方法是基于几何先验和基于学习的方法的合作，相对于其他所有方法取得了令人印象深刻的结果。0致谢0本工作得到了中国国家自然科学基金（No.61502137），香港研究资助局（No. PolyU152035/17E），香港研究种子基金2019/20（No.190-009）以及香港岭南大学研究种子基金（No.102367）的支持。132460参考文献0[1] Pierre Alliez, David Cohen-Steiner, Yiying Tong, 和 Math-ieu Desbrun. 基于Voronoi的无定向点集变分重建. 在第五届欧洲图形学几何处理研讨会, 巴塞罗那, 西班牙, 七月4-6,2007 , 页39–48, 2007.  20[2] Nina Amenta 和 Marshall Bern.通过Voronoi滤波进行表面重建.  离散与计算几何 ,22(4):481–504, 1999.  20[3] Haim Avron, Andrei Sharf, Chen Greif, 和 Daniel Cohen-Or. L1稀疏重建尖锐点集表面. ACM Transactions on Graphics(TOG) , 29(5):135, 2010.  20[4] Yizhak Ben-Shabat, Michael Lindenbaum, 和 Anath Fis-cher. Nesti-net: 使用卷积神经网络的无结构3D点云法线估计. 在IEEE计算机视觉与模式识别会议, CVPR 2019, 长滩, 加利福尼亚,美国, 六月16-20, 2019 , 页10112–10120, 2019.  1 ,  2 ,  6 ,  7 ,80[5] Alexandre Boulch 和 Renaud Marlet.用于具有尖锐特征的点云的快速和鲁棒法线估计. 在计算机图形学论坛 , 卷31, 页1765–1774. Wiley Online Library,2012.  2 ,  6 ,  7 ,  80[6] Alexandre Boulch 和 Renaud Marlet.深度学习用于无结构点云中鲁棒法线估计. 在计算机图形学论坛 ,卷35, 页281–290. Wi- ley Online Library, 2016.  1 ,  2 ,  6 ,  7 ,80[7] Fr´ed´eric Cazals 和 Marc Pouget.使用多项式拟合的微分量估计.  计算辅助几何设计 ,22(2):121–146, 2005.  20[8] Erzhuo Che 和 Michael J Olsen.基于法线变化分析的多扫描分割地面激光扫描数据.  ISPRSjournal of photogrammetry and remote sens- ing ,143:233–248, 2018.  10[9] Honghua Chen, Jin Huang, Oussama Remil, Haoran Xie,Jing Qin, Yanwen Guo, Mingqiang Wei, 和 Jun Wang.结构引导的保持形状的网格纹理平滑通过联合低秩矩阵恢复.计算机辅助设计 , 115:122–134, 2019.  20[10] Honghua Chen, Mingqiang Wei, Yangxing Sun, XingyuXie, 和 Jun Wang. 多补丁协作点云去噪通过低秩恢复和图约束.IEEE trans- actions on visualization and computer graphics ,2019.  1 ,  40[11] Rui Chen, Songfang Han, Jing Xu, 和 Hao Su.基于点的多视图立体网络. 在 IEEE国际计算机视觉会议 论文集 ,页1538–1547, 2019.  10[12] Tamal K Dey 和 Samrat Goswami.可证明的表面重建来自噪声样本.  计算几何学 , 35(1-2):124–141,2006.  20[13] Shachar Fleishman, Daniel Cohen-Or, 和 Cl´audio T. Silva.具有尖锐特征的鲁棒移动最小二乘拟合. ACM Trans. Graph. ,24(3):544–552, 2005.  10[14] Ga¨el Guennebaud 和 Markus H. Gross. 代数点集表面.ACM Trans. Graph. , 26(3):23, 2007.  20[15] Paul Guerrero, Yanir Kleiman, Maks Ovsjanikov, 和 NiloyJ. Mitra. PCPNet: 学习局部形状属性-0从原始点云中提取特征. 计算机图形学论坛，37(2):75–85,2018.  1 ,  2 ,  6 ,  7 ,  80[16] Taisuke Hashimoto 和 Masaki Saito.准确的3D网格重建的法线估计与点云模型结合空间结构. 在IEEE计算机视觉与模式识别会议工作坊, CVPR Workshops 2019,长滩, 加利福尼亚, 美国, 六月16-20, 2019 , 页54–63, 2019.  30[17] Hugues Hoppe, Tony DeRose, Tom Duchamp, JohnMcDon- ald, and Werner Stuetzle.表面重建来自无组织点云，卷26. ACM，1992.  2 ,  6 ,  7 ,  80[18] Thouis R Jones, Fredo Durand, 和 Matthias Zwicker.点渲染的法线改进. IEEE计算机图形学与应用 , 24(4):53–56, 2004.40[19] Bao Li, Ruwen Schnabel, Reinhard Klein, Zhiquan Cheng,Gang Dang, and Shiyao Jin.用于具有尖锐特征的点云的稳健法线估计。Computers &Graphics，34(2):94–106，2010年2月3月0[20] Hongzhuo Liang, Xiaojian Ma, Shuang Li, MichaelG¨orner, Song Tang, Bin Fang, Fuchun Sun, and JianweiZhang. Pointnetgpd:从点集中检测抓取配置。在2019年国际机器人和自动化会议(ICRA)上，页码为3629-3635。IEEE，2019年1月0[21] Xuequan Lu, Scott Schaefer, Jun Luo, Lizhuang Ma, and Ying He.用于几何过滤的低秩矩阵近似。arXiv预印本arXiv:1803.06783，2018年8月0[22] Quentin M´erigot, Maks Ovsjanikov, and Leonidas JGuibas. 基于Voronoi的曲率和特征估计。IEEE Transactions onVisualization and ComputerGraphics，17(6):743–756，2010年2月0[23] Niloy J. Mitra and An Thanh Nguyen.在嘈杂的点云数据中估计表面法线。在第19届ACM计算几何学研讨会上，页码为322-328，2003年2月0[24] Charles R Qi, Wei Liu, Chenxia Wu, Hao Su, and LeonidasJ Guibas. FrustumPointNets用于从RGB-D数据中进行3D物体检测。在IEEE计算机视觉和模式识别会议上，页码为918-927，2018年1月0[25] Charles Ruizhongtai Qi, Hao Su, Kaichun Mo, andLeonidas J. Guibas. Pointnet:用于3D分类和分割的点集深度学习。在2017年IEEE计算机视觉和模式识别会议上，页码为77-85，2017年2月0[26] Riccardo Roveri, A. Cengiz  ¨ Oztireli, Ioana Pandele, andMarkus H. Gross. Pointpronets:使用卷积神经网络合并点云。Comput. Graph.Forum，37(2):87–99，2018年2月0[27] Nathan Silberman, Derek Hoiem, Pushmeet Kohli, andRob Fergus.通过RGBD图像进行室