3D点云无监督学习的完全去噪方法

52完全去噪：3D点云清洗的无监督学习乌尔姆大学伦敦大学学院蒂莫·罗平斯基Ulm University林克平大学摘要我们证明了3D点云的去噪可以在无监督的情况下学习，直接从嘈杂的3D点云数据中学习。这是通过将最近的想法从无监督图像去噪器的学习扩展到非结构化3D点云来实现的。无监督图像去噪器在噪声像素观察是干净像素值周围的分布的随机实现的假设下操作遗憾的是，这个假设对于非结构化点是无效的：3D点云受到总噪声的影响，即。例如，所有坐标的偏差，没有可靠的像素网格。因此，一个观察可以是一个完整的流形的清洁3D点，这使得一个天真的扩展无监督的图像去噪3D点云不切实际的实现。为了克服这一点，我们引入了一个空间先验项，它引导收敛到许多可能模式中唯一的最近模式。歧管。我们的研究结果表明，无监督去噪的性能类似于有监督学习的干净数据，当给定足够的训练样本时，我们不需要任何对噪声和干净的训练数据。1. 介绍虽然干净的3D几何体的数量受到人类3D CAD建模的手动工作的限制，但3D点云的数量每天都在快速增长：我们城市的街道、日常建筑物的内部，甚至我们消费的商品都是常规的3D扫描。遗憾的是图1.我们学习3D点云清理（右），无监督，仅从噪声示例（左）。(Fig. 1），我们需要克服两个主要的限制：具有同一对象的一对两个噪声扫描的实际障碍和3D点云中的噪声是全部的理论困难。我们把噪音称为“总”（图）。2）当失真不局限于范围（像素值）而域是干净的（如像素位置）时，而是局限于更有挑战性的设置，其中域和范围都受噪声影响。这个名字的选择类似于总最小二乘法[9]，它处理域和范围中的同时噪声，但用于线性，非深度设置。本文这些数据被扫描器噪声破坏，因此不能用于需要噪声和干净数据对的监督学习。因此，期望能够通过单独使用噪声来结构化常见噪声2D图像像素清洁嘈杂非结构总噪波3D点云噪声数据本身。最近的两项必要发展表明，这是可能的：3D点云的深度学习[19]和图像的无监督去噪[17，15，2]。不幸的是，这两种方法不能简单地结合起来。学习我们的无监督3D点云去噪器图2.为了学习3D点云的去噪，我们需要从信号的一部分中干净的常见噪声扩展到信号的所有部分都有噪声的总设置该示例示出了针对三个样本（颜色）的公共噪声（左）和总噪声（右）的三种实现。请注意，当两个轴都损坏时，总噪声如何嘈杂嘈杂53||∼|最近在大点云上的单次通过中。2. 相关工作图像去噪图像去噪是最基本的图像处理操作之一。最原始的变体基于线性滤波器，例如高斯滤波器，最终具有额外的锐化[13]。虽然在实践中经常使用非线性滤波器，例如中值，双边[24]或非局部均值[3]，但通过优化稀疏性[6]来实现最先进的结果。最近，当成对的干净和有噪声的图像可用时，学习去噪已经变得流行[4]。Lehtinen等人[17]提出了一种学习去噪的方法更进一步，Noise2Void [15]和Noise2Self [2]是两个扩展，它们消除了对一个图像的两个副本被噪声破坏的要求，而是对单个图像进行处理。在这两种情况下，这都是通过从自身回归图像来实现的。这是通过创建一个带有“盲点”的感受野来完成的，并且网络将盲点从其上下文中回归。我们将在第二节中详述这些论文[17，15，2]背后的理论。3 .第三章。三维点云去噪。3D点云捕获精细的空间细节，但由于其不规则的结构，仍然比图像更难处理[18]。对于图像，可以应用线性滤波器来去除噪声[16]，但以牺牲细节为作为补救措施，图像算子，如双边[8，5]，非局部均值[21]或稀疏编码[1]已被转移到点云。随着PointNet的出现[19]，基于深度学习的点云处理变得易于处理。提出了四种三维点云去噪的非表深度方法。第一个是PointProNet，它通过将点投影到学习的 局 部 框 架 并 在 监 督 设 置 中 使 用 卷 积 神 经 网 络（CNN）将点移回表面来对点的补丁进行降噪[22]。然而，该方法的准确性由局部帧估计的准确性确定，这导致在极端尖锐边缘中的伪影。Rakotosaona等人的第二种方法。[20]使用PCPNet [11]（PointNet [ 19 ]的变体）将嘈杂的点云映射到干净的点云。第三，Yu etal.[30]学会保留边缘，这支配着人造物体。最后，Yifan et al.[29]通过上采样从噪声点定义干净的表面。所有这些深度去噪方法都是有监督的，因为它们需要成对的干净点云和有噪声的点云，而这些点云实际上是通过向合成点云添加噪声而产生的。我们的方法不需要这样的配对。噪音与学习噪声是用于去噪自动编码器的增强策略[25]。然而，这些不以去噪为目的，而是添加噪声以提高鲁棒性。还有，它们的目标没有噪声，但噪声在输入中或添加到内部状态。3. 降噪理论在正则域去噪的基础上，提出了一种新的去噪算法.例如，图像，有或没有监督，我们将建立一个形式主义，以后也可以应用到派生我们的非结构化的三维情况。3.1. 正则域像素噪声。噪声干扰图像中像素i处的观测yi是真实值x i周围的噪声分布yip（z xi）的样本。 如图所示。3，a）。黑色曲线是真实的信号和像素（虚线垂直线）根据围绕真值（粉色圆圈）的采样分布p（zxi）（黄色曲线）在固定位置i（黑色圆圈）对其进行采样监督。在经典的监督去噪中，我们既知道一个干净的xi，也知道一个有噪声的值yp（z Xi），并且最小化argmin E yp（z|xi）l（fΘ（y），xi），Θ其中f是具有参数Θ的可调函数，并且l是损耗，诸如L2。在这里和下文中，我们省略了f的输入包括形成整个图像或至少一个补丁的许多y的事实我们也不显示所有图像（以及稍后的点云）示例的外部总和。无人监管，两人一组。学习从图像的一个噪声实现到同一图像的另一个噪声实现的映射通过Noise2Noise[17]实现。已经证明，学习argmin Ey 1 p（z|x i）Ey 2 p（z| xi）l（fΘ（y1），y2），Θ收敛到相同的值，就好像它是使用分布p（z）的平均值/中值/众数学习的一样|x）当l为L2/L1/L0时。在大多数情况下，我。例如，对于无均值噪声，mean / median / mode也是干净值。我们将这种方法称为“配对”，因为它需要信号的两个实现，即：例如，一个图像具有两个噪声实现。无人监管，没有配对。学习从一个图像中的所有噪声观测（除了一个像素）到这个保留像素的映射是通过Noise2Void [15]和Noise2Self [2]实现的：argmin E yp（z|xi）l（fΘ（y），y），Θ54yzX域p（z|）的方式y域域JSSYXJYYi-1ii+1b）c）q（z|y）yX观察其他像素观察唯一模式曲面像素分布域非唯一模式图3.在对结构化和非结构化数据进行去噪时存在实质性差异。（a）对于结构化数据，每个像素值遵循采样分布p（z|xi）（黄色曲线）围绕真实值（粉色圆圈）。（b）对于非结构化数据，分布p（z| S）有一个模式的流形（粉红线）。（c）通过使用所提出的邻近外观先验，确定最接近表面的唯一模式这里，f是一种特殊形式的-不完全[2]映射，当对像素i进行回归时，f无法访问像素i。例如，“盲点”。与Noise 2Noise中相同的均值/中值/众数和损失之间的关系也注意，该公式不需要两个图像，因此我们将其称为讨论上述所有三种方法都在以下假设下工作：在结构化像素网格中，范围（图1B中的垂直轴）在图1B中的垂直轴上。2，左和图。a）轴i和主z（水平轴）具有不同的语义。噪声仅在该范围内：不确定像素的位置，仅确定其真实值。3.2. 非结构域点噪声。至于像素，我们将表示干净点作为x，噪声点作为y，噪声模型作为p。 我们推导中的所有点都可以是XYZ坐标的位置，也可以是外观的位置，表示为XYZRGB点。据我们所知，尚未提出彩色点云的深度去噪。我们不仅将展示我们的技术如何应用于此类数据，而且还将展示颜色如何在训练点云去噪器的无监督学习时令人惊讶的是，即使在测试时不存在颜色，也可以在训练期间利用这种益处。如果可用，它将有所帮助，我们还可以联合对位置和外观进行监督。点云降噪意味着学习arg min Eyp（z| S）l（fΘ（y），），Θ损失的总和L（e.例如，在一个实施例中，倒角）。已经提出了这样的监督方法，但它们仍然受到可用训练数据量的限制[22，20]，因为它们需要访问干净的点云。4. 无监督三维点云去噪我们将首先描述为什么配对方法不适用于非结构化数据，然后再介绍我们的非配对，无监督方法。4.1. “配对”方法的不适用性学习从一个噪声点云实现Y1到另一个噪声点云实现2的映射fΘ（Y1）=Y2其中两个点云中的第i个点是实现的第i个地面真值，将是Noise2Noise [17]意义上的降噪器。遗憾的是，Noise2Noise不能应用于非结构化点云的无监督学习，原因有二。首先，与图像相同的这种配对设计将需要以被不同噪声实现破坏的相同点云的两个实现的形式的监督虽然这对于2D图像传感器已经很难实现，但对于3D扫描仪来说是不可行的。第二，这将需要网络架构来知道哪个点是哪个点，类似于由明确编码每个像素的身份i的图像的规则结构给出的对于以点为单位的总噪声，情况永远不是这样。与此相反，现代卷积深度点处理[19，12]正是关于在点的重新排序下变得不变。为了克服这个问题，在监督设置，Rakotosaona等人。[20]通过为每个噪声观测选择干净点云中的最近点作为损失的目标来模拟这种配对。然而，这仅仅是真实表面的近似，其精度取决于干净数据的采样质量。幸运的是，我们可以证明不需要配对假设，使得我们的方法不仅在无监督的情况下操作，而且在无配对的情况下操作，如我们接下来将详细描述的。4.2. 未配对学习从噪声实现到其自身的映射fΘ（）=在Noise2Void [15]或Noise2Self [2]的意义上是无监督和未配对的去噪器。定义点云中的不完整性并不困难：只需防止a）、p（y|x）范围域55|||Wd|||S||.Σ1a）、b）、图4.比较小噪声（左）和大噪声（右），我们看到模式（粉红色）偏离GT表面（黑色）。当从y的邻居学习点y时，f访问点y本身。因此，本质上，我们训练一个网络来将每个点映射到它自己，而不需要关于它自己的信息不幸的是，总噪音有以下问题问题陈述。不同于观察图像中索引i处的像素（虚线图1B）。（3）a）告诉我们导致在3D中是表面或者在我们的2D图示中将是连接路径的流形只有单模态噪声分布，如扫描器噪声，没有分支或断开的组件。我们的解决方案将不依赖于该模式结构的拓扑结构。4.4.独特模式如上所述，非监督非配对去噪的简单实现不会有唯一的模式来收敛。因此，我们通过施加先验q（z，y）来正则化问题，先验q（z，y）捕获给定观测y是干净点z的实现的概率。我们建议结合使用空间和外观接近度q（z|y）=p（z| S）* k（z −y）（1）22y是隐藏值xi的实现所以说，它是不k（d）=σ√2πexp−2σ2、（二）已知当不存在时，隐藏的表面点被实现在未配对设置中设置点。噪声点观测y可以是p（z）的实现|x1），因为它可以是p（z x2）的实现。因此，分布p（z）具有模的流形（图1中的粉红线）。3，b）。学习从噪声实现到自身的映射将尝试收敛到该多峰分布，因为对于相同的邻域，网络将尝试同时从该分布回归不同的点。因此，我们要研究两个问题。第一，关于这个模态流形和干净表面的相似性，可以说些什么？第二，我们如何确定在众多可能的模式中哪一个是正确的？回答第二个问题，并推导出第一个问题的范围是本文的关键贡献，使无监督的3D点云去噪。4.3.模式与清洁表面关于第一个问题，模的流形接近表面，但不相同。图4a）将清洁表面示出为具有少量噪声的黑线，其中大多数样品接近清洁表面。在这种情况下，学习收敛到一个与它本来会收敛到的解相同的解，就像在粉红线上训练时然而，随着更多的噪音，它在图中变得可见。4，b）该歧管与表面不相同。我们注意到，模式表面是真实表面和噪声模型p的卷积。我们不能恢复由该卷积去除的细节。这与基于监督NN的反卷积不同，后者可以访问卷积数据和干净数据对。在我们的例子中，卷积是在学习数据的极限情况下，我们从来没有观察到非卷积的干净数据。进一步值得注意的是，并非所有噪声分布其中σ是k的带宽，W = diag（w）是权衡空间和外观局部性的对角权重矩阵。我们使用值w=1/αr，r是模型直径的5%，α是比例因子。在具有外观的点云的情况下，我们在外观行/列中使用w = β，否则，我们仅考虑接近度。有关这些参数值的更多详细信息，请参考补充材料。这会导致在优化arg min Eyp（z| S）Eqq（z|y）l（fΘ（y），q），（3）Θ该先验的效果在图中可见。3，c）。在众多模式中，唯一最接近的一个仍然存在。注意，我们对高斯先验q的选择与噪声模型p的高斯性无关，我们不假设这一点。这里唯一的假设是，在许多解释中，最接近的一个是正确的。我们试验了其他内核，如Wendland [27]和逆多二次，但没有观察到改进。如上所述，带有RGB颜色注释的3D点云是进一步克服无监督训练局限性的一个令人惊讶的机会。否则，在某些情况下，空间先验不能解析圆边。 这并不是因为网络f无法解决它们，而是因为无监督的训练不会“看到”尖锐的细节。图5详细说明了颜色如何解决这个问题：没有RGB，图5中的角是圆的5，a）。当添加颜色时，这里是红色和蓝色（图5）。b），点变得分离（图。5，c）。在红点上的先验q（z y）的采样将永远不会选择蓝色点，反之亦然。因此，学习就像看到了尖锐的细节。56|−|QSS水平点接收特征0字段百分之五1百分之十2百分之十1百分之五03/664128643图5.双边性：没有颜色的2D点云的分布的模式的流形可以针对强噪声而弯曲（a）。不同的外观a，在b中表示为红色和蓝色点，可用于建立双边距离，将点提升到3D。所得到的模式（d）的流形现在保留尖锐的外观边缘。因此，在现有技术中使用颜色加强了一些结构，这些结构在不依赖于规则像素网格时丢失。我们不知道哪个噪声点属于哪个测量，但我们有一个强烈的迹象，即不同颜色的东西不是同一点的噪声观察。当然，可能的是，两个观察值yi和y2看起来来自不同的点，但是碰巧是相同的清洁表面点X的测量，由此范围噪声影响颜色。幸运的是，这种虚假的假阴性比永久性的假阳性问题更少（它们产生方差），导致舍入（偏差）。对称地，并且可能更严重地，颜色的差异也不总是几何不连续性的可靠指示符。如果颜色由阴影主导，则是这样，但是纹理和阴影边缘可能导致高的假阴性距离。请注意，颜色仅用于训练，从不用作网络的输入。4.5. 趋同模式我们训练网络收敛到先验分布q（z）的模式|y）通过使用Lehtinen等人提出的L0损失函数的近似。[17]，（fΘ（y）q+）γ，其中它们的=10−8，并且它们的γ在训练过程中从2退火到0。因此，我们的无监督训练收敛到与图6.架构概述：我们从顶部的噪声点云开始，并执行两级非结构化编码，这减少了感受野，然后使用转置的非结构化卷积进行两级解码采样：我们从y中的r中从Y中选取一个随机点q，并且只有当k（q−y）>时才能在其上进行训练，对于均匀的随机∈（0，1）。实际上，使用单个样本来估计q（z）上的该内部期望值|y）。架构我们使用基于蒙特卡罗卷积的非结构化编码器-解码器实现f [12]（图6）。这样的架构消耗点云，将空间邻域变换成在较粗糙的点集（编码器）上定义的潜在代码，并且将这些上采样到原始点分辨率（解码器）。有效感受野，即考虑NN回归点的邻域，是模型直径的30%。特别地，我们执行两个级别的编码，第一个具有5%的感受野，第二个具有10%的感受野。用于在水平1和水平2中汇集的泊松盘半径是感受野大小的一半该架构执行速度快，允许在配备GeForce RTX 2080的单台机器上在13秒内并行消除800K点噪声此外，该架构仅由25K个可训练参数组成，量级小于其他网络（0. 800万用于PointNet或1. PointNet++为400万训练除了这些好处，我们的方法也很容易实现，如Alg。1.一、这里，表示点云中的所有点的先验样本q的集合。所有操作都定义在具有点云大小的批次我们使用ADAM优化器[14]，初始学习率为。005，其在训练期间减少训练监督找到最接近的RGB外观（如果可用）p，这是通过卷积干净表面和噪声模型p而得到的。4.6. 执行前科为了最小化Eq. 3我们需要根据使用拒绝实现的先验q来a）、b）、c）、d）、57算法1无监督点云去噪训练1：对于所有噪声点云Ydo2：←RANDOMU NIFORMB ATCH（0，1）3：Q ←SAMPLE PRIORB ATCH（Y，S）04 -04刘晓波（||fΘ（Y）−Q||0个）第五章：端58YSX迭代。与以前的工作[20]类似，如果网络的输出再次作为输入，我们的结果会有所改善。然而，这引入了两个问题：点的聚类以及在多次迭代之后点云的收缩。我们以类似的方式解决这些问题Rakotosaona等人。[20 ]第20段。为了防止聚类，我们引入以下正则化项，其强制我们调查的扭曲程度的表面仍然是更严重的腐败与不均匀的采样或离群值是在未来的工作中探索。公制。我们使用Fan等人的倒角距离。[7]，具有等距采样的点云：1d（Y，S，X）=Σ1Σmin||y−s||2+min ||y−x||2Lr= arg minEΘyp（z| S）′ maxy∈n（Y，y）fΘ （y），fΘ（y′）Ny∈Y s∈SMx∈X y∈Y其中n（，y）是来自以y为中心的片内的噪声点云的点的集合。为了防止收缩，我们在平移噪声点之前重新移动低频位移。补充材料显示了这些迭代的效果。5. 评价我们的实验探索了应用，无论是合成（Sec. 5.2）和实际数据（第5.3）。对于合成数据，我们知道答案并且可以应用不同的度量来量化我们的方法的性能，而我们不知道真实数据的基本事实并且结果限于定性研究。5.1. 设置数据集。我们从ModelNet-40 [28]中收集了15个不同的类，每个类有7个不同的多边形模型（5个用于训练，2个用于测试），并使用点对表面进行采样，如下所述。由于我们可以选择使用RGB外观，因此它是使用来自3个随机方向光的朗伯阴影计算的。取样. 我们模拟不同形式的噪声来破坏合成数据集的干净数据。在SIMPLE噪声模型中，我们使用Poisson Disk采样[26]对每个网格进行采样，以获得每个13K和190K点范围内的干净点云，从而产生2200万个用于训练的点和1000万个用于测试的点。然后，我们添加标准偏差为的高斯噪声。5%、1%和1. 边界框对角线的5%ADVANCED采样利用Blendsor [10]（模拟传感器噪声的库）模拟真实传感器噪声。特别地，我们选择仿真Velodyne HDL-64 E 3D扫描。这些设备在测量中引入两种类型的噪声在我们的数据中，我们使用的标准差为。5%的边界框对角线的距离偏差和三个不同级别的每射线噪声，. 5%、1%和1. 百分之五这将生成3K和120K点范围内的点云，从而产生1200万个用于训练的点和500万个用于测试的点。越少越好第一项测量平均值多边形曲面中预测点到其最近点之间的距离。第二项测量点如何分布在地面实况表面中。由于干净的点云遵循泊松盘分布，通过测量它们到最近的预测点的距离，我们能够确定表面是否被我们的预测所覆盖。该度量应用于具有三种不同噪声实现的测试数据中，并在两个完整的训练上取平均值，以减少度量估计的方差。方法. 我们将我们的无监督方法与经典方法以及有监督的机器学习方法进行比较。为了获得关于各个子部分的有效性的见解，我们调查了有和没有空间和/或外观先验的消融。经典的基线是MEAN和BILATERAL[5]，它们也是无监督的。它们的参数被选择为在训练集上是最优的。作为基于监督学习的去噪器，我们使用与无监督设置相同的架构，因此我们使用PointCleanNet [20]中提出的训练算法。虽然这意味着我们不使用基于PointNet的原始PointCleanNet网络架构，但我们相信我们的评估对统一架构更具洞察力最后，我们研究了我们的方法的三个变种。第一个是NO PR。 第二个我们记为NOCOLOR，这是我们的先验，但仅基于邻近度。最后一个是F，包括我们所有的贡献。更确切地说，我们使用XYZ点云用于NOPRIOR和NO C0LOR，并且使用XYZRGB点云用于FULL。同样，颜色仅用于对先验进行采样，而不是在训练或测试期间作为网络的输入。5.2. 定量结果降 噪 性能 。我 们 从 SIMPLE 噪 声 开始 ， 稍 后再 研 究ADVANCED。表1中示出了不同方法的测试集的平均误差的比较。1，其中每列表示一种方法。所有59表1. 单一噪声下每种方法的误差（越少越好）。我们表3.不同级别的SIMPLE噪声的误差（越小越好）。我们卑鄙的比拉特。 没有P没有C 全苏······噪音无p无c 全苏.7等级····0.598.592.582.547 .542.545方法是用相同数量的训练前雇员训练的，即2200万点。1.5%.7340.698.691.6951.0百分比（%）.578.534 .525.5150.5百分比（%）.435.411.408.426.4.5噪声1.5可以看出，我们的完整方法（橙色）表现最好。我们甚至优于有监督的竞争对手（红色），这可能是因为网络必须找到更有效的泛化，并且不太容易过度拟合。还可以看出，其他非学习方法，如平均值（紫色）和双边（蓝色），即使在训练数据上调整为最佳时，也没有竞争力。我们还看到了我们的方法和完整方法的消融之间当在没有空间先验（青色）的情况下进行训练时，该方法比监督的方法差得多，并且仅略好于平均值。不使用颜色进行训练的方法（绿色）这种比较是基于相同数量的数据。然而，在大多数真实世界的场景中，可以假设噪声点云的数量远远高于干净点云的数量。接下来我们将研究这种关系监控可扩展性。我们现在将研究监督方法如何随着干净点云的数量而缩放，以及我们的方法如何随着噪声点云的数量而缩放。结果见表1。其中不同的方法是列，不同数量的训练数据是行。右边的图将关系显示为图形。我们示出了对以点示出的各个测量的对数拟合测量了方法之间的总训练点的数量从. 5到2200万。并不意外，我们看到所有方法都受益于更多训练数据我们看到，我们的方法在一系列训练数据幅度上的表现优于监督。在大约2200万个点，我们可以测量的最高点，我们完整模型的红色和橙色线，表2.不同监督量的误差（越少越好）我们十字架 这只意味着，在这一点之后，我们的非超级-监督方法需要更多的训练数据才能实现与监督方法相同的性能。我们进一步看到，没有先验和没有颜色的我们的方法的消融不仅表现更差，而且规模也不太有利，而我们的（橙色）类似于监督（红色）。无可否认，监督规模最好。噪音量。虽然我们已经研究了先前曲线图中的三个噪声水平的平均值Tbl。3研究了以场景直径百分比为单位的噪声水平的可伸缩性。我们发现，误差随着噪声的增加而增加，但所有方法都以类似的方式进行。在两种情况下，我们赢得了监督，在一种情况下，监督获胜，导致上面报告的平均值提高。降噪性能。虽然我们已经研究了SIMPLE高斯噪声，但我们现在放松这一假设，并探索如第2节所述生成的DVANCED第5.1条与真实扫描数据相反，它具有已知地面事实的益处。TBL. 4示出了针对这种类型的噪声的不同方法的误差。我们看到，在这种情况下，我们的完整方法（橙色）比任何其他无监督方法（例如平均值或双边（紫色和蓝色））表现得更好。监督方法可以比其他方法更好地执行此噪声同样数量的训练数据输入，1200万个点。最后，我们还看到，没有建议先验（青色和绿色）的消融具有更高的误差，表明先验也同样与这种类型的噪声相关。值得注意的是，我们可以以代码透明、与架构无关的方式将任何监督去噪器升级为无监督。考虑一个有监督的去噪器，它采用干净的噪声对，而不是像我们这样只采用噪声对为了应用我们的方法，我们所要做的就是对列车编号p。编号c。全苏.6数据····表4. ADVANCED噪声上每个方法的误差（越少越好）。我们0.5 M.587.557 .558.5741 M.584.550 .557.5634 M.584.553 .543.54622米.582点五四七点五四二点五四五.52.5训练pts22卑鄙的比拉特。 没有P没有C 全苏······378.362.393.359 .356.329误差误差误差误差60图7.多对真实世界的噪声输入扫描（左）和我们的去噪器的结果（右），伴随着放大的插图。使用我们的空间和/或颜色先验，并我们这样做是为了点-[20]并在其数据集上进行了评估。我们看到，即使没有修改他们的架构或监督，我们仍然略优于他们。5.3. 定性结果PCNet [20]吵死了我们的4.54 1.361.34图8.包括和不包括颜色在之前。无外观利用外观一致地改善了Tbl中上述三个变化轴的结果1（和Tbl. 4），Tbl. 2和Tbl. 3、要么把质量超越监督，要么把质量非常接近监督。在这里，我们重复上述实验，对来自基于VelodyneHDL32 3D扫描仪的移动激光扫描设置的真实世界噪声点云。我们使用了由2000万个点组成的巴黎-吕-夫人数据集[23我们将模型细分为ca的部分。每个150K点，导致在训练期间使用1700万个点，并且300万个点用于测试。请注意，在此设置中，噪声是数据的一部分，不需要模拟。此外，最重要的是，没有干净的地面真相。因此，错误无法量化，我们需要依靠人类的判断。我们在图中看到7，我们的方法如何去除噪声并产生干净的点云而不收缩，具有均匀的采样以及细节。我们不能应用错误的可视化，因为基本事实是未知的。相反，我们通过将点云表示为带有阴影的球体网格来提供点云渲染5.4. 消融当不使用空间中的先验（绿色）时，去噪器在不同类型的噪声（Tbl. 1）、噪声幅度（Tbl. 3）和训练数据量（Tbl. 2）始终比高斯或双侧更差并且好不了多少。这表明它是必不可少的。颜色的影响图8示出了具有两种不同颜色的要去噪的尖锐边缘。包括颜色，稍微减少了误差（更少的高误差黄色，更多的蓝色）。6. 结论我们已经提出了一种无监督学习方法来对3D点云进行降噪，而不需要访问干净的示例，甚至不需要噪声对。这允许该方法利用自然数据而不是利用合成噪声解码的干净CAD模型来缩放。我们的成就是通过一个网络，将点云映射到自身，结合空间局部性和双边外观先验。在先验中使用外观是可选的，但是可以改善结果，甚至不需要输入到网络，无论是在测试还是在训练时。以颜色作为输入的去噪，以及颜色和位置的联合去噪，仍然是未来的工作。我们的结果表明，即使在相同数量的训练样本下，我们也可以胜过监督方法。鸣谢本研究部分由德国研究共同体（DFG）资助，赠款RO3408/2-1（ProLint），以及联邦经济事务和环境部资助。Energy（BMWi），授予ZF4483101ED7（VRReconstruct）。我们感谢Gloria Fackelmann提供补充视频叙述。61引用[1] Haim Avron ， Andrei Sharf ， Chen Greif ， and DanielCohen-Or.L1- 稀 疏 重 构 尖 点 集 曲 面 。 ACMTrans.Graph，29（5）：135，2010. 2[2] Joshua Batson和Loıc Royer。Noise2Self：通过自我监督进行盲CoRR，abs/1901.11365，2019。一、二、三[3] 安东尼·布阿德斯、巴托梅乌·科尔和让-米歇尔·莫雷尔。一种非局部图像去噪算法。在CVPR，第60-5页，2005中。2[4] HaroldCBurger 、 ChristianJSchuler 和 StefanHarmeling。图像去噪：普通神经网络能与BM3D竞争吗？在CVPR，第2392-2399页，2012中。2[5] 朱莉·迪涅和卡洛·德·弗兰奇斯。点云的双边滤波器。Image Processing On Line，7：278-287，2017。二、六[6] Michael Elad和Michal Aharon通过学习字典上的稀疏和冗余表示进行图像去噪。图像处理，15（12）：3736-45，2006. 2[7] Haoqiang Fan，Hao Su，and Leonidas J. Guibas一个点集生成网络从一个单一的图像三维物体重建。CoRR，abs/1612.00603，2016。6[8] Shachar Fleishman，Iddo Drori，and Daniel Cohen-Or.双边网格去噪。ACM事务处理图表，22（3）：950-3，2003. 2[9] Gene H Golub和Charles F Van Loan。 总体最小二乘问题的分析。SIAM J Numerical Analysis，17（6）：883-893，1980. 1[10] Michael Gschwandtner ， Roland Kwitt ，Andreas Uhl，and Wolfgang Pree. Blensor：搅拌器传感器模拟工具箱。在Int. Symposium on Visual Computing，第199- 208页，2011中。6[11] Paul Guerrero、Yanir Kleiman、Maks Ovsjanikov和NiloyJ.米特拉PCPNET：从原始点云学习局部形状属性。CoRR，abs/1710.04954，2017。2[12] Pedro Hermosilla，Tobias Ritschel，Pere-Pau Vazquez，Al-var Vinacua，and Timo Ropinski.用于非均匀采样点云学习的Monte Carlo卷积。ACM事务处理图表，37（6），2018. 三五六[13] Anil K Jain 数字图像处理基础。Englewood Cliffs，NJ：Prentice Hall，1989年。2[14] Diederik P. Kingma和Jimmy Ba。Adam：随机最佳化的方法。CoRR，abs/1412.6980，2014。5[15] Alexander Krull，Tim-Oliver Buchholz，and Florian Jug.Noise 2 Void-从单个噪声图像中学习去噪。CoRR，abs/1811.10980，2018。一、二、三[16] 李仁权散乱点的曲线重构。计算机辅助几何设计，17（2）：161-177，2000. 2[17] Jaakko Lehtinen 、 Jacob Munkberg 、 Jon Hasselgren 、Samuli Laine、Tero Karras、Miika Aittala和Timo Aila。Noise2Noise：学习没有干净数据的图像恢复ICML，2018。一、二、三、五[18] Marc Levoy和Turner Whitted。使用点作为显示原语。UNC ChapelHill技术报告，1985年。2[19] Charles Ruzhongtai Qi ， Hao Su ， Kaichun Mo ， andLeonidas J.Guibas Pointnet：点集的深度学习623D分类和分割。CoRR，abs/1612.00593，2016。一、二、三[20] Marie-Julie Rakotosaona ， Vittorio La Barbera ， PaulGuer-rero，Niloy J.米特拉和马克·奥夫斯贾尼科夫。POINTCLEAN-网络：学习去噪并从密集的点云中去除离群值。2019. 二三六八[21] 盖伊·罗斯曼，阿纳斯塔西娅·杜布罗夫，罗恩·基梅尔。分片协作光谱点云去噪。在Computer GraphicsForum，第32卷，第1-12页，2013中。2[22] Ri c cardoR ov eri，A. CengizOüztireli，IoanaPandele，andMarkus H.恶心Pointpronets：使用卷积神经网络合并点云。Comput. Graph.Forum，37（2）：87-99，2018. 二、三[23] 还有塞纳、比阿特丽斯·马科特·埃吉、弗朗索瓦·古莱特和让·埃马纽埃尔·德肖。Paris-rue-madame数据库-用于基准城市检测、分割和分类方法的3D移动激光扫描仪数据集。见ICPRAM，2014年。8[24] 卡洛·托马西和罗伯托·曼杜奇。灰度和彩色图像的双边滤波。ICCV，第839页，1998年。2[25] Pascal Vincent ， Hugo Larochelle ， Isabelle Lajoie ，Yoeli Bengio，and Pierre-Antoine Manzagol.堆叠去噪自动编码器：使用局部去噪标准在深度网络中学习有用的表示。J Machine Learning Res. ，11：3371-408，2010. 2[26] 魏立义 平行泊松圆盘采样。ACM Trans.Graph. ，27（3）：20：1-20：9，2008. 6[27] 霍尔格·温德兰分段多项式、正定、紧支集的最小次径向函 数。 Advances in Computational Mathematics ，4（1）：3894[28] Zhirong Wu ，S. Song，中国黑杨A. Khosla，FisherYu ， Linguang Zhang ， Xiaoou Tang ， and J. 萧 3DShapeNet：体积形状的深度表示。在CVPR中，第19126[29] Wang Yifan，Shihao Wu，Hui Huang，Daniel Cohen-Or，and Olga Sorkine-Hornung.基于面片的渐进式3D点集上采样。在CVPR，2019年。2[30] Lequan Yu，Xianzhi Li，Chi-Wing Fu，Daniel Cohen-Or，and Pheng-Ann Heng.Ec-net：一个边缘感知点集合并网络。在ECCV，第386-402页，2018年。2