梯度上升：基于分数的点云去噪

4583梯度上升∗∗∗∗∇∗基于分数的点云去噪罗世通，胡伟*王轩北京大学计算机技术研究所{luost，forhuwei}@ pku.edu.cn摘要从扫描设备获取的点云通常会受到噪声的干扰，这会影响后续任务，如表面重建和分析。噪声点云的分布可以被看作是一组无噪声样本p（x）与某个噪声模型n卷积的分布，导致（p n）（x），其模式是底层的干净表面。为了去噪的点云，我们建议，姿势，以增加从p n通过梯度上升迭代更新每个点的位置的每个点的对数似然。由于pn在测试时是未知的，并且我们只需要分数（即对数概率函数的梯度）来执行梯度上升，我们提出了一种神经网络架构来估计Pn的分数，仅给定噪声点云作为输入。我们推导出用于训练网络的目标函数，并开发了一种利用估计分数的去噪实验证明，该模型优于国家的最先进的方法在各种噪声模型，并显示出潜在的应用在其他任务，如点云上采样。1. 介绍点云由从连续表面不规则采样的离散3D点组成。它是广泛应用于自动驾驶、机器人和沉浸式远程呈现中的日益流行的表示。然而，由于采集设备的固有限制或从图像重建中的匹配模糊性，点云经常被噪声扰动。点云中的噪声会显著影响下游任务，例如渲染、重建和分析，因为底层结构会变形。因此，点云去噪对于相关的3D视觉应用至关重要。然而，由于点云数据的不规则性和无序性，* 通讯作者：胡伟（forhuwei@pku.edu.cn）. 本研究得到了国家自然科学基金项目（61972009）的资助。清洁噪音估计得分函数下垫面的得分图1. 所提出的点云去噪方法的说明。 我们首先从噪声点云估计噪声卷积分布xlog[（pn）（x）]的得分。然后，我们使用估计的分数执行梯度上升来对点云进行去噪。点云的特征。早期的点云去噪方法是基于优化的[6，16，4，1，2，22，31，36]，其严重依赖于几何先验，有时具有挑战性细节保留和去噪有效性之间的平衡。最近，基于深度学习的方法已经出现，并且由于为点云制作的神经网络架构的出现，实现了有希望的去噪性能[24，25，32]。大多数基于深度学习的去噪模型预测噪声点从底层表面的位移，然后将逆位移应用于噪声点云[7，26，11，23]。这类方法主要遭受两种类型的伪像：收缩和异常值，这是由位移的高估或低估引起的。相反，Luoet al. [21]提出了学习噪声点云的底层流形以用于下采样-上采样架构中的重构，这通过学习在下采样阶段滤除高噪声点来缓解离群值然而，下采样阶段4584∗∗∗∗∇∗不可避免地导致细节损失，特别是在低噪声水平下。在本文中，我们提出了一种新的范例的点云去噪的噪声点云的分布特性的动机点云由从3D对象的表面采样的点组成。因此，无噪声点云可以被建模为来自由2D流形支持的一些3D分布p（x）的样本集合。如果点云被噪声破坏，则关于噪声点云的分布可以被建模为原始分布p和某个噪声模型n（例如，高斯噪声），表示为（pn）（x）。在关于噪声模型n的一些温和的假设下（详见第4节），pn的模式是底层清洁表面，具有比其周围空间更高的概率。根据该观察，对噪声点云进行去噪本质上相当于将噪声点移向模式，这可以通过对对数概率函数log[（pn）（x）]执行梯度上升来实现，如图1所示。由于在梯度上升的足够迭代之后，期望点收敛到分布模式，因此我们的方法对诸如收缩和离群值之类的伪影更加鲁棒，而先前的方法没有意识到模式。然而，在或中存在要解决的重大挑战为了实现该方法，在测试时Pn为了解决这一挑战，我们提出了一种细节保留神经网络结构来估计输入噪声点云xlog[（pn）（x）]的分布得分，即，对数概率函数的梯度。我们还制定了目标函数训练的得分估计网络和开发一个去噪算法。此外，我们提供了一个分析的模型从概率的角度来看，揭示了背后的模型正式的原则。大量的实验表明，该模型优于国家的最先进的方法，并有可能被应用到其他任务例如点云上采样。总之，这项工作的贡献包括：• 我们提出了一种新的点云去噪的范例，利用噪声点云的分布模型，并利用分布的分数。• 为了实现该方法，我们提出了一个神经网络的工作架构，从噪声点云的分数估计，制定目标函数训练网络，并开发去噪算法。• 大量的实验证明了所提出的方法在各种噪声模型下的能力。2. 相关工作2.1. 优化去噪在基于深度学习的去噪出现之前，点云去噪问题通常被公式化(a) 基于位移的方法（PointCleanNet等）预测位移应用校正去噪(b) 下采样-上采样方法（DMR去噪）下采样上采样去噪(c) 基于分数的方法（建议）估计分数梯度上升去噪图2.不同类别的基于深度学习的点云去噪方法的说明。作为受几何先验约束的优化问题。我们将其分为四类：（1）基于密度的方法与我们的方法最相关，因为它们也涉及对点的分布进行建模。[36]使用核密度估计技术来近似噪声点云的密度。然后，去除低密度区域中的边缘点。为了最终获得干净的点云，它依赖于双边滤波器[9]来减少无离群点云的噪声。因此，该方法侧重于离群值去除。(2)基于局部表面拟合的方法使用简单形式的函数逼近器用光滑表面逼近点云，然后将点投影到表面上[1]。[9，4，16，6]提出了考虑点坐标和法线的射流拟合和双边滤波(3)基于稀疏性的方法首先通过用稀疏正则化解决优化问题来重建法线，然后基于重建的法线更新点的坐标[2，31，33]。最近提出的MRPCA [22]是一种基于稀疏性的去噪器，其已经实现了有希望的去噪性能。(4)基于图形的方法表示图形上的点云，并使用图形滤波器（如图形拉普拉斯[28，37，12，14，13]）进行去噪。最近，[37]提出了用于点 云 去 噪 的 低 维 人 工 模 型 的 图 拉 普 拉 斯 正 则 化（GLR），而[12]提出了特征图学习的范例，以推断用于去噪的点云的底层图结构。总而言之，基于优化的点云去噪方法严重依赖于几何先验。此外，有时在细节保留和去噪有效性之间存在权衡4585∗∗i=1∗∇∗--∗2.2. 深度学习去噪基于点的神经网络的出现[24，25，32]使得深度点云去噪成为可能。现有的基于深度学习的方法的主要部分使用神经网络预测噪声点云中每个点的位移，并将 逆 位 移 应 用 于 每 个 点 ， 如 图 2 （ a ） 所 示 。PointCleanNet（PCNet）[26]是这类方法的先驱，它采用 PointNet 的 变 体 作 为 其 骨 干 网 络 。 [23] 提 出 了GPDNet，它使用图形卷积网络来增强神经去噪器的鲁棒性。[11]提出了一种无监督点云去噪框架- TotalDenoising（TotalDn）。在TotalDn中，基于具有较密集环境的点更接近底层表面的假设，导出用于训练基于深度学习的去噪器的无监督损失函数上述位移预测方法通常遭受两种类型的伪影：收缩和异常值，作为噪声位移的不准确估计的结果。相反，[21]提出学习噪声点云的底层流形（表面）以用于在如图2（b）所示的下采样-上采样架构中重建。然而，尽管下采样阶段丢弃了输入中的异常值，但它也可能丢弃一些信息性细节，从而导致过度平滑。在这项工作中，我们提出了一个新的框架，区分显着从上述方法。我们的方法是由噪声点云的分布模型它通过由噪声点云的对数密度的估计梯度引导的梯度上升来对点云进行降噪，我们的方法，以减轻文物的收缩和离群值，并实现显着更好的去噪性能。2.3. 评分匹配分数匹配是一种用于训练基于能量的模型的技术-一系列非归一化概率分布[18]。它通过最小化它们之间的平方距离来处理模型预测的梯度和数据对数密度梯度的匹配[17，30]。我们提出的训练目标类似于分数匹配技术。生成建模中的分数匹配技术旨在近似关于数据的无条件分布（例如，图像），而我们的模型估计点的噪声卷积分布。分数匹配已被应用于开发3D形状的生成模型。[3]提出了一种自动编码器架构ShapeGF，其还具有充当解码器的得分估计网络。然而，ShapeGF至少在以下三个方面不同于我们的模型。首先，ShapeGF是为3D点云生成而设计的，并且对无噪声的3D分布p进行建模，而我们的方法对噪声卷积分布pn进行建模，并且旨在基于得分对点云进行去噪图3.建议的网络体系结构的图示。的p n。第二，由于ShapeGF是用于3D形状的通用自动编码器，因此其不具有对分布外形状的通用性。例如，当在ShapeNet数据集[5]上训练时，它很难泛化到ShapeNet中的类别之外的形状。相比之下，我们的模型可推广到任意3D形状，因为我们的评分函数是在局部基础上定义的，它学习3D形状的构建块，而不是整个形状本身。这种方法缩小了三维几何表示的潜在空间，使网络能够学习和重建三维细节。第三，为了重新覆盖3D形状，ShapeGF需要从编码器获得的形状的潜在代码，但是它们的编码器并不意味着学习用于去噪或其他细节要求高的任务的表示3. 方法我们首先提供了一个概述所提出的方法。然后，我们详细介绍了分数估计网络，提出了网络的训练目标，并开发了一种基于分数的去噪算法。3.1. 概述给定噪声点云X=XiN，其由以下组成N个点作为输入，我们将底层的无噪声点云建模为来自由2D流形支持的3D分布p的一组样本，并假设噪声遵循分布n。然后，噪声点云的分布可以建模为p和n之间的卷积，表示为p*n。为了对噪声输入X进行降噪，我们提出es-估 计 噪 声 卷 积 分 布 Pn 的 分 数 ， 即 ， xlog[ （ p n ）（x）]-对数概率函数的梯度，仅从X开始。然后，我们去噪X使用的估计分数的p n通过梯度上升，从而移动噪声点的分布模式，对应的清洁表面的基础。所提出的方法的实现主要包括以下三个部分：1. 以噪声点云作为输入并输出逐点分数的分数估计网络xlog[（p * n）（xi）]（i = 1，. . . ，N）（第3.2节）。4586i=1--i=1SNi=1Σ1L Li=1∈SSi=1∈S∈S3−·我2我KJ----2. 训练得分估计网络的目标函数（第3.3节）。3. 基于分数的去噪算法，利用估计的分数对点云进行去噪（第3.4节）。3.2. 建议的分数估计网络3.3. 拟议的培训目标我们将输入噪声点云为并且地面实况无噪声点云为{yi}N. 使用地面真值Y，我们定义某个点x∈R3的得分如下：s（x）=NN（x，Y）−x，x∈R3，（2）给定噪声点云X={xi}N作为输入哪里返回最接近中. Intu-评分估计网络预测i=1∗为NN（x，Y）x YX中的每个点。我们在局部基础上估计每个点xi的得分，即 该网络的目的是估计xi周围的邻域空间中的得分函数，表示为Si（r）。局部化的评分函数是训练目标将网络预测得分与上面定义的地面实况得分对齐：L（i）=ExN （x）Σs（x）−Si（x）2Σ，（3）该方法基于三维图形的基本片段而不是整个图形本身，缩小了三维几何表示的潜在空间。i（r）的估计由神经网络实现，该神经网络由特征提取单元和得分估计单元组成。所述特征提取单元产生在每个所述特征提取单元处对所述局部和非局部几何结构两者进行编码的特征点所提取的特征随后作为参数被馈送到得分估计单元中以构建得分函数。特征提取单元特征提取单元旨在从输入噪声点云X={xi}N学习逐点特征。我们采用特征提取网络其中（xi）是R3空间中xi邻域内的一个集中分布注意，该目标不仅匹配xi的位置上的预测分数，而且匹配xi的相邻区域上的分数，如图3所示。这很重要，因为点在梯度上升期间四处移动，这依赖于在其初始位置的邻域上定义的分数这种训练目标的定义也将我们的方法与以前的基于位移的方法[26，23]区分开来，因为这些方法的目标仅考虑每个点的位置，而我们提出的目标覆盖每个点的邻域。最终的训练目标只是每个局部得分函数的目标的聚合：广泛用于先前的去噪和上采样模型[21、34、19]。具体来说，我们构建了一个密集连接的动态图卷积层堆栈[32]。动态图卷积能够为每个点提取多尺度以及局部和非局部特征，而密集连接产生具有更丰富上下文信息的特征[15，20]。这些属性使得该架构适合于去噪任务，如以前的作品[21，34]所证明的点X1的学习特征被表示为hi。分数估计单元分数估计单元由点xi的特征hi参数化. 它将X1附近的某个3D坐标XR3作为输入，并输出得分i（X）。注意，这里x不一定对应于输入点云X中的点。 它可能是梯度上升去噪过程中的中间坐标。形式上，分数估计单元采取以下形式：N=（i）。（四）Ni=13.4. 基于分数的图像去噪算法给定噪声点云X=XiN作为输入，我们首先需要为每个点XiX构造局部得分函数i。具体地，我们首先将输入点云X馈送到特征提取单元以获得逐点特征的集合。接下来，通过将xi、hi和某个3D坐标XR3代入等式（1），1，我们得到i（x）作为在x处的估计得分。原则上，我们可以单独使用i对xi进行降噪。然而，为了增强鲁棒性并减少估计的偏差，我们提出了集成得分函数：1ΣE（x）=S（x），x∈R，（5）xj∈kNN（xi）Si（x）= Score（x-xi，hi），（1）其中Score（）是多层感知器（MLP）。请注意，我们xlog[（pn）（xi）]简单地说，s（x）是从x到下伏表面的向量。模型4587我将x xi（x相对于xi的坐标）输入到网络中，因为得分函数位于xi周围。其中kNN（xi）是xi最后，对点云进行去噪相当于更新通过梯度上升确定每个点x（t）=x（t−1）+αtEi（x（t−1）），t=1，. . . ，T，通过优化pro-i i i来训练得分估计。（六）提出的目标，这将在下面讨论。x（0）=xi，xi∈X，4588∇i=1∇→ ∞i=1最大限度地提高了效率。这可以是i=1∫}{----图4.去噪理论的说明。其中αt是第t步的步长我们建议两个cri-t=1通过对两边求导可以表明，如果n的模为0，则来自无噪声分布p的无噪声点云Y正好位于q的模上。当单峰假设成立时，q（x）在无噪声流形上达到最大值。4.2.连接到去噪假设密度函数q（x）是已知的。 基于上述分析，对点云X={xi}N进行去噪ilogq（xi）自然用于选择步长序列的参数 αtT（1）The序列应向0递减，以确保转换。gence. （2）α1应小于1且不太接近于0，因为根据等式（1），α 1应小于12中，分数的大小近似为从每个点到下伏表面的距离（近似为等式2中s（x）的长度）2）的情况。因此，以小于1的适当步长执行足够数量的步长的梯度上升是足够的，并且避免了过度去噪。值得注意的是，与之前一些基于深度学习的去噪器（如PCNet [26]和TotalDn）[11]，但是我们没有观察到由我们的方法引起的任何收缩。因此，我们不需要像在那些作品中那样通过稍微这表明我们的方法比以前的方法对收缩更鲁棒。4. 分析在本节中，我们将详细介绍噪声点云的分布模型4.1. 作为分布首先，我们考虑从由2D流形支持的3D分布p（y）采样的无噪声点云Y=yiN的分布。由于p（y）在2D流形上支撑，它是不连续的并且在周围空间中具有零支撑，即，p（y），如 果 y 恰好位于流形上，否则p（y）= 0。接下来，我们考虑噪声点云的分布噪声点云可以表示为X=Xi=yi+niN，其中ni是来自分布n的噪声分量。在这里，我们假设概率密度函数n是连续的并且在0处具有唯一的模这些假设是为了分析而做出的。我们将通过实验表明，在假设不成立的某些情况下，所提出的方法仍然实现了优越的性能（见补充材料中的A节在n的连续性假设下，关于xi的分布的密度函数可以表示为p和n的卷积：q（x）：=（p*n）（x）通过执行梯度上升直到点连续实现。接近q（x）的模式。 梯度上升仅关于得分函数xlogq（x）-对数密度函数的一阶导数。如前一小节所示，在一些温和的假设下，q（x）在基础流形上达到最大值。因此，向量场xlogq（x）始终朝向清洁表面，如图4所示。然而，密度q在测试时间期间是未知的。代替从噪声观测估计q，我们在去噪期间仅需要logq这激发了所提出的基于模型分数的去噪。4.3. 与培训目标的联系Eq.中定义的培训目标3将预测得分与地面实况得分函数相匹配。估计得分的大小可能不完全等于真实得分函数的大小。然而，这在去噪任务中不是问题，因为只要估计的梯度的方向是准确的，点将以梯度上升的合适步长以足够数量的步长收敛到下面的表面5. 实验5.1. 设置数据集我们从PU-Net [35]的训练集中收集20个网格用于训练，并使用泊松盘采样从网格中采样点，分辨率范围从10 K到50 K点。点云被归一化为单位球体。然后，它们仅受到高斯噪声的干扰，其标准偏差为0.5%至2%。边界球的半径。类似于以前的作品[26，21]，点云在被馈送到模型之前被分割成补丁我们将补丁大小设置为1K。对于定量评估，我们使用两个基准：PU-Net的测试集[35]（20个形状）和Point-CleanNet的测试集（10个形状）[26]。类似地，我们使用泊松盘采样从每个形状中采样点云，分辨率为10K和50K点。我们的模型的性能，然后评估使用各种噪声模型，包括各向同性高斯噪声，模拟激光雷达=s∈R3（七）p（s）n（x− s）d s。噪声、非各向同性高斯噪声、单向噪声、拉普拉斯噪声、均匀噪声和离散噪声。4589数据集噪声点数模型百分之一CD P2M10K（稀疏）2%CD P2M百分之三CDP2m百分之一CD P2M50K（密集）2%CD P2M百分之三CD P2MPU [35]PCNet [26]3.5151.1487.4673.96513.0678.7371.0490.3461.4470.6082.2891.285DMR [21]4.4821.7224.9822.1155.8922.8461.1620.4691.5660.8002.4321.528我们2.521 0.4633.686 1.0744.7081.9420.716 0.1501.288 0.5661.928 1.041PC [26]PCNet [26]3.8471.2218.7523.04314.5255.8731.2930.2891.9130.5053.2491.076DMR [21]6.6022.1527.1452.2378.0872.4871.5660.3502.0090.4852.9930.859我们3.3690.8305.1321.1956.7761.9411.0660.1771.6590.3542.4940.657表1.竞争性去噪算法的比较CD乘以104，P2M乘以104。MRPCA GLRPCNet DMR我们CD2.8862.6633.1372.7642.616P2m1.9331.9202.1421.9101.847表2.在模拟LiDAR扫描生成的点云上测试的不同去噪方法之间的比较，其中真实LiDAR噪声是我们的去噪器看不见的噪声模式，因为我们只在高斯噪声上训练。CD乘以104，P2M乘以104。此外，我们还使用了巴黎-Rue-Madame数据集[29]用于视觉评估，其使用激光扫描仪从真实世界获得。模型：倒角距离（CD）[8]和点到网格距离（P2M）[27]。由于点云的大小不同，我们在计算度量之前将去噪结果归一化到单位球中。超参数我们仅使用一组超参数来训练用于所有实验设置的唯一模型，消融研究除外超参数，包括学习率、去噪步长、网络架构等，在补充材料中提供。代码和数据可在https://github.com/luost26/score-denoise获得。5.2. 定量结果我们首先使用各向同性高斯噪声来测试我们的模型我们将我们的方法与最先进的基于深度学习的去噪器和基于优化的去噪器进行比较。基 于 深 度 学 习 的 去 噪 器 包 括 ： PointCleanNet（PCNet）[26]和DMRDenoise（DMR）[21]。我们在我们的主要实验中排除了Total Denoising（TotalDn）[11]，因为TotalDn是基于无监督学习的，明确比较监督和无监督模型是不公平的。然而，我们将在补充材料[11]中提出的训练目标的启发下，对我们的模型进行无监督适应，并将我们的无监督适应与TotalDn进行比较。基于优化的去噪器包括双边滤波[6]，喷射拟合[4]，MRPCA [22]和GLR [37]。指标我们采用两个指标通常采用在以前的工作来执行定量评估我们的和基线。噪波的标准偏差范围为形状边界球半径的1%到3%。如表1所示，我们的模型在所有设置中都显著优于先前的基于深度学习的方法，并且在大多数情况下超过了基于优化的方法虽然模型仅用高斯噪声训练，为了测试其通用性，我们使用不同的噪声类型-模拟LiDAR噪声。具体而言，我们使用Blensor仿真包[10]提供的虚拟按照[21]将扫描噪声水平设置为1%。 表2中的结果表明，尽管我们的去噪器是使用高斯噪声训练的，但它在推广到不可见的LiDAR噪声方面是有效的，并且优于先前的方法。其他噪声模型，包括非各向同性高斯噪声，单向噪声，拉普拉斯噪声，均匀噪声，和离散噪声也被用来评估我们的方法和双边[9]3.6461.3425.0072.0186.9983.5570.8770.2342.3761.3896.3044.730机场班车[4]2.7120.6134.1551.3476.2622.9210.8510.2072.4321.4035.7884.267MRPCA [22]2.9720.9223.7281.1175.0091.9630.6690.0992.0081.0335.7754.081GLR [37]2.9591.0523.7731.3064.9092.1140.6960.1611.5870.8303.8392.707双边[9]4.3201.3516.1711.6468.2952.3921.1720.1982.4780.6346.0772.189机场班车[4]3.0320.8305.2981.3727.6502.2271.0910.1802.5820.7005.7872.144MRPCA [22]3.3230.9314.8741.1786.5021.6760.9660.1402.1530.4785.5701.976GLR [37]3.3990.9565.2741.1467.2491.6740.9640.1342.0150.4174.4881.3064590∗（i）2嘈杂GLRMRPCAPCNDMR我们清洁（一）（b）第（1）款图5.在（a）高斯噪声、（b）模拟LiDAR噪声下的去噪方法的视觉比较。颜色越黄的点越远离地面实况曲面。基线在大多数这些实验设置中，我们的模型优于竞争基线。详细结果载于补充材料。5.3. 定性结果图5示出了在高斯噪声和模拟LiDAR噪声下来自所提出的方法和竞争基线每个点的颜色表示其重建误差，该误差由第5.1节中介绍的点到网格距离测量。靠近基础曲面的点颜色较深，否则颜色较亮。从图中可以看出，我们的结果比其他方法的结果更清晰，更具视觉吸引力。值得注意的是，我们的方法比其他方法更好地保留了细节，并且与其他基于深度学习的方法（如PCNet和DMRDe- noise）相比，对离群值更具鲁棒性。此外，我们对真实世界的数据集Paris-rue-Madame进行了定性研究[29]。注意，由于无噪声点云对于真实世界数据集是未知的，因此不能计算和可视化每个点的误差。如图6所示，我们的去噪结果比PCNet更清晰、更平滑，细节保留比DMRDenoise更好。此外，我们在图7中呈现去噪轨迹，这揭示了我们的方法的梯度上升过程-噪声随着点逐渐收敛到pn的模式而减小。补充材料中提供了关于合成噪声和真实世界噪声的更多可视化结果。总之，所展示的定性结果与第5.2节中的定量结果一致，这再次验证了所提出的方法的有效性。5.4. 消融研究我们进行消融研究，以评估所提出方法的主要设计的贡献(1) 我们替换梯度上升规则（等式10）。6）通过将预测得分直接添加到输入坐标，这类似于基于端到端位移的方法：yi= xi+ Ei（xi）.（八）我们还按照先前的基于位移的方法迭代地应用该更新规则[26，11]。迭代次数经过微调以产生最佳性能。(2) 邻域覆盖训练目标3个：L=s（xi）− Si（xi）2，（9）4591S嘈杂PCNDMR我们图6.我们的去噪器在真实世界数据集Paris-rue-Madame上的视觉结果[29]。图7.去噪的梯度上升轨迹数据集：PU10K，1%10K，2%10K，3%消融CD P2MCD P2MCD P2M（一）3.2370.9945.2412.2587.4714.049(1)+ iter。3.237*0.994*5.241*2.258*6.0732.953（二）4.7262.1885.7402.7485.9763.036（三）2.5220.4714.0211.2806.8723.497充分2.5210.4633.6861.0744.7081.942表3.消融研究。CD乘以104，P2M乘以104。（*）在仅运行1次迭代之后实现最佳性能这类似于先前基于深度学习的模型[26]中采用的L2目标[26]或倒角距离[21，23]，仅考虑xi的位置，而我们的覆盖xi的邻域。(3) 我们替换方程中的集合得分函数。5，具有单一得分函数i（x）。如表3所示，所有组件都对去噪性能有积极贡献。消融研究的更多结果和分析可参见补充-材料。5.5. 除噪：通过去噪进行上采样超越去噪，我们表明，所提出的方法是适用于点云上采样。特别地，给定具有N个点的稀疏点云作为输入，我们用高斯噪声独立地对其扰动r次，导致由rN个点组成的噪声密集点云随后，我们将噪声密集点云馈送到我们的去噪器以获得最终的上采样点云。我们将基于降噪的上采样方法与经典上采样网络PU-Net [35]进行比较，使用图8.专门的上采样方法PU-Net和我们基于去噪的上采样方法之间的视觉比较。点数5K[35]第三十五话10K[35]第三十五话CD3.4451.6962.8621.454P2m1.6690.2951.1660.181表4. PU-Net与我们基于去噪的点云上采样之间的比较，上采样率为4x。CD乘以104，P2M乘以104。PU-Net的测试集。定量结果列于表4中，定性比较列于图8中。我们看到，基于降噪的上采样方法的性能远远优于专门用于上采样的PU-Net。这意味着所提出的基于分数的点云方法在去噪之外的任务中具有潜力，这将在我们未来的工作中进一步探索。6. 结论在本文中，我们提出了一种新的范例点云去噪，建模噪声点云的样本从噪声卷积分布。我们设计了一个神经网络架构来估计分布的分数，并利用分数通过梯度上升来对点云进行降噪。实验结果验证了我们的模型的优越性，并进一步显示了潜在的应用到其他任务，如点云上采样。稀疏输入PU-Net（4x）我们的（4x）地面实况4592引用[1] Marc Alexa、Johannes Behr、Daniel Cohen-Or、ShacharFleishman、David Levin和Claudio T Silva。点集曲面。在Proceedings Visualization，2001中。VIS'01。，第21-29页。IEEE，2001年。[2] Haim Avron ， Andrei Sharf ， Chen Greif ， and DanielCohen- Or. 1-锐点集曲面的稀疏重建ACM Transactionson Graphics（TOG），29（5）：1[3] 蔡若金、杨关道、哈达尔·阿韦尔布赫-埃洛尔、郝泽昆、塞尔日·贝隆吉、诺亚·斯纳夫利和巴拉斯·哈里哈兰。学习形状生成的梯度场。在2020年欧洲计算机视觉会议（ECCV）上[4] 埃里克·卡扎·莱斯和马克·波吉特。用密切射流的多项式拟合估算微分计算机辅助几何设计，22（2）：121[5] AngelXChang ， ThomasFunkhouser ， LeonidasGuibas，Pat Hanrahan，Qixing Huang，Zimming Li，Silvio Savarese ， Manolis Savva ， Shuran Song ， HaoSu，et al. Shapenet：一个信息丰富的3D模型存储库。arXiv预印本arXiv：1512.03012，2015。[6] 朱莉·迪涅和卡洛·德·弗兰奇斯点云的双边过滤器。Image Processing On Line，7：278[7] Chaojing Duan，Siheng Chen，and Jelena Kovacevic.基于深度神经网络的局部表面估计的三维点云去噪。在ICASSP 2019-2019 IEEE声学、语音和信号处理国际会议中，第8553-8557页。IEEE，2019。[8] Haoqiang Fan，Hao Su，and Leonidas J Guibas.从单幅图像重建三维物体的点集生成网络在IEEE计算机视觉和模式识别会议论文集，第605-613页[9] Shachar Fleishman，Iddo Drori，and Daniel Cohen-Or.双边网格去噪。ACM SIGGRAPH 2003论文，第950-953页。2003年。[10] Michael Gschwandtner ， Roland Kwitt ，Andreas Uhl，and Wolfgang Pree. Blensor：搅拌机传感器模拟工具箱。在International Symposium on Visual Computing，第199-208页中。Springer，2011.[11] Pedro Hermosilla Tobias Ritschel和Timo Ropinski。总去噪：三维点云清洗的无监督学习。在IEEE计算机视觉国际会议论文集，第52-60页[12] Wei Hu，Xiang Gao，Gene Cheung，and Zongming Guo.用于3D点云去噪的特征图学习。IEEE Transactions onSignal Processing，68：2841[13] 胡伟，胡钱江，王泽华，高翔。通过流形到流形距离的动 态 点 云 去 噪 。 arXiv 预 印 本 arXiv ： 2003.08355 ，2020。[14] Wei Hu ， Jiahao Pang ， Xianming Liu ， Dong Tian ，Chia-Wen Lin，and Anthony Vetro.几何数据及其他数据的图形信号处理：理论与应用。arXiv预印本arXiv：2008.01918，2020。[15] Gao Huang，Zhuang Liu，Laurens Van Der Maaten，andKilian Q Weinberger.密集连接的卷积网络。在IEEE计算机视觉和模式识别会议论文集，第4700-4708页[16] Hui Huang，Shihao Wu，Minglun Gong，Daniel Cohen-Or，Uri Ascher，and Hao Zhang.边缘感知点集重采样。ACM transactions on graphics（TOG），32（1）：1-12，2013.[17] AapoHyv érinen. 用分数匹配估计非标准化统计Journalof Machine Learning Research，6（Apr）：695[18] Yann LeCun ， Sumit Chopra ， Raia Hadsell ， MRanzato，and F Huang.关于能量学习的教程。预测结构化数据，1（0），2006年。[19] Ruihui Li ， Xianzhi Li ， Chi-Wing Fu ， Daniel Cohen-Or，and Pheng-Ann Heng. Pu-gan：一个点云上采样的对抗网络。在IEEE计算机视觉国际会议论文集，第7203-7212页[20] Yongcheng Liu，Bin Fan，Gaofeng Meng，Jiwen Lu，Shiming Xiang，and Chunhong Pan.Densepoint：学习密集的上下文表示，以实现高效的点云处理。在IEEE计算机视觉国际会议论文集，第5239-5248页[21] 罗世通和胡伟。点云去噪的可微流形重构。第28届ACM国际多媒体会议论文集，第1330-1338页，2020年[22] Enrico Mattei和Alexey Castrodad基于移动rpca的点云去噪。在Computer Graphics Forum，第36卷，第123-137页中。Wiley Online Library，2017.[23] Francesca Pistilli、Giulia Fracastoro、Diego Valsesia 和Enrico Magli。学习点云去噪的图卷积表示。arXiv预印本arXiv：2007.02578，2020。[24] Charles R Qi， Hao Su ，Kaichun Mo， and Leonidas JGuibas.Pointnet：对点集进行深度学习，用于3D分类和分割。在IEEE计算机视觉和模式识别集，第652[25] Charles Ruizhongtai Qi，Li Yi，Hao Su，and Leonidas JGuibas. Pointnet++：度量空间中点集的深度层次特征学习。神经信息处理系统的进展，第5099-5108页，2017年[26] Marie-Julie Rakotosaona 、 Vittorio La Barbera 、 PaulGuerrero 、 NiloyJMitra 和 MaksOvsjanikov 。Pointcleannet：学习去噪和去除密集点云中的离群点。计算机图形论坛，第39卷，第185-203页。Wiley在线图书馆，2020年。[27] Nikhila Ravi、Jeremy Reizenstein、David Novotny、Tay-lor Gordon 、 Wan-Yen Lo 、 Justin Johnson 和 GeorgiaGkioxari 。 使 用 pytorch3d 加 速3d 深 度 学 习 。 arXiv：2007.08501，2020。[28] 杨·舍嫩伯格、约翰·帕拉特和皮埃尔·范德恩斯特。时变点云的基于图的去噪。2015年3DTV大会：The TrueVision- Capture，Transmission and Display of 3D Video（3DTV-CON），第1-4页。IEEE，2015年。[29] 还有塞纳、比阿特丽斯·马科特·伊吉、弗朗索瓦·古莱特和让·埃马纽埃尔·德绍。Paris-rue-madame数据库：3D移动激光扫描仪数据集，用于基准城市检测、分割和分类方法。2014年4593[30] 杨松和Stefano Ermon。通过估计数据分布的梯度进行生成式建模。神经信息处理系统的进展，第11918- 11930页，2019年[31] Yujing Sun，Scott Schaefer，and Wenping Wang.通过l0最小化去噪点集。计算机辅助几何设计，35：2[32] Yue Wang，Yongbin Sun，Ziwei Liu，Sanjay E Sarma，Michael M Bronstein，and Justin M Solomon.点云学习的动态图cnn。ACM Transactions on Graphics（TOG），38（5）：1[33] Linlin Xu ， Ruimin Wang ， Juyong Zhang ， ZhouwangYang，Jiansong Deng，Falai Chen，and Ligang Liu.几何造型与处理中稀疏性问题综述Graphical Models，82：160[34] Wang Yifan，Shihao Wu ，Hui Huang，Daniel Cohen-Or，and Olga Sorkine-Hornung.基于块的渐进式3d点集上采样。 在IEEE计算机视觉和模式识别会议论文集，第