自监督任意尺度点云上采样的隐式神经网络表示

1999基于隐式神经网络表示的自监督任意尺度点云上采样赵文波1，2，李先明1，2*，钟志伟1，2，姜俊军1，2，魏高3，3李戈3，向阳继41哈尔滨工业大学彭成实验室3北京大学深圳研究生院、4清华大学摘要点云上采样是一个具有挑战性的问题，从给定的稀疏输入生成密集和均匀的点云。现有的方法大多采用基于端到端监督学习的方式，利用大量稀疏输入和密集地面真值对作为监督信息;或者将不同比例因子的上缩放处理为独立的任务，并且必须构建多个网络来处理具有变化因子的上采样。在本文中，我们提出了一种新的方法，实现了自我监督和放大倍数灵活的点云上采样同时进行。我们制定点云上采样的任务，寻找最近的投影点的隐式表面上为此，我们定义了两个隐式神经函数分别估计投影方向和距离，可以通过两个文本前学习任务进行训练实验结果表明，我们的自我监督学习的基础上的计划取得了竞争力，甚至更好的性能比监督学习的基础上的国家的最先进的源代码可在https://github.com/xnowbzhao/sapcu上公开获得。1. 介绍点云作为一种流行的工具来表示三维数据，由于其灵活性和紧凑性，在描述对象/场景与复杂的几何形状和拓扑结构。它们可以很容易地被现代扫描设备捕获，并且已经被广泛地应用于许多应用中，例如自动驾驶、机器人等。然而，由于三维传感技术的固有局限性，从三维扫描仪获取的原始点云通常是稀疏的，闭塞的和不均匀的。在许多下游应用中，例如表面重建和理解，需要密集的点云来表示具有更丰富几何细节的形状。因此，人们转而开发一种计算方法，称为点云上采样，*通讯作者：csxm@hit.edu.cn这引起了工业界和学术界的广泛关注[7，8，13，20与传统的基于网格的图像不同，点云是不规则和无序的，这使得点云上采样比其2D图像对应部分更具挑战性的任务。点云上采样的目标有两个：1）从稀疏输入生成密集点集以提供对象的更丰富的细节; 2）生成均匀且完整的点集以忠实地覆盖下面的表面。近年来，基于深度神经网络的点云上采样方法出现并变得流行，其自适应地从数据中学习结构，并实现比传统方法（例如基于优化的方法）更优越的性能[1，5，6]。例如，Yu et al. [21]提出学习每个点的多级特征，并通过特征空间中的多分支卷积单元隐式地扩展点集，然后将其分割为多个特征，用于重建上采样点集。Wang等人。 [20]提出在不同的细节层次上逐步训练一系列基于补丁的上采样网络。Liet al. [7]将生成对抗网络应用于点云上采样，在生成器中构建了一个up-down-up扩展单元，用于对点特征进行上采样，并具有错误反馈和自校正，并制定了一个自我注意单元，以增强特征集成。为了更好地表示局部性和聚合点邻域信息，Qian等人。 [13]建议使用一个图形控件，volutional Network执行点云上采样。总之，概述的基于深度学习的方法采取了一种通用方法：首先设计一个上采样模块来扩展特征空间中的点的数量，然后制定损失，以强制输出点尽可能接近地面真实密集点。然而，这些方法受到以下两个限制：端到端培训。这些方法是以端到端的监督学习方式训练的，这需要大量的成对的输入稀疏和地面实况密集点集作为监督信息。训练数据是通过从合成模型中采样而构建的，合成模型的分布不可避免地偏离真实模型的分布2000i=1Y公司简介我i=1Y{} ∈扫描数据这将导致训练的模型在现实世界的应用中具有较差的泛化能力因此，更期望开发自监督或非监督点云上采样方案。修复了上采样因子。由于资源限制，例如显示分辨率和传输带宽，所需的上采样因子通常是各种各样的。这些扩展方法将不同尺度因子的上采样视为独立任务，其针对预定义因子训练特定深度模型，并且必须构建多个网络来处理具有不同因子的上采样。这种方式是笨拙的，它显著增加了模型的复杂性和训练时间。因此，更期望开发能够处理任意比例因子的统一点云上采样方案最近开发的一些方法[9，14，19，22]研究了上述限制并试图解决这些限制：• 关于自监督点云上采样，Liu等人。 [9]提出了粗到细的框架，该框架将输入稀疏补丁下采样为稀疏补丁，然后将它们作为超级视觉信息对来执行端到端训练。[22]提出了一种端到端的自监督学习方式，其中损失函数强制输入稀疏点云和生成的密集点云具有相似的3D形状和渲染图像。然而，这两种方法仍然限于固定的上采样因子。• 关于任意尺度的上采样，受到图像[4]中对应的Meta-SR的启发，Ye等人。这两个函数可以通过两个构建的预文本自监督学习任务进行训练。这样，只要对种子点进行密集、均匀的采样，就可以生成密集、均匀、完整的高分辨率点云。为了保证种子采样的均匀性，我们采用等间距的三维体素来划分点云空间。实验结果表明，我们的自我监督学习的基础上的计划实现竞争力，甚至更好的性能，基于监督学习的国家的最先进的方法。这项工作的主要贡献突出如下：• 据我们所知，我们是文献中第一个同时考虑自监督和任意尺度点云上采样的人。• 我们将点云上采样表示为在隐式表面上寻找种子点的最近投影点的任务，这可以通过两个由借口任务训练的隐式神经函数来完成。从生成的密集点云，我们可以实现任意规模的上采样最远点采样。• 虽然我们的方法是自监督的，但它产生了均匀和完整的高质量密集点云，并实现了有竞争力的客观性能，甚至比最先进的监督方法更好的视觉性能。2. 方法用于放大柔性点云的姿态Meta-PU上采样，其中学习定义X={p}n∈Rn×3为输入稀疏点以动态地调整上采样块的权重 Qian等人 [14]设计一个神经网络，通过分析输入点云的局部几何形状，自适应地学习统一和排序的插值权重以及高阶细化。然而，这两种方法仍然遵循端到端的监督学习方式，需要构造包含大范围尺度的地面真值稠密点集的本文提出了一种基于隐式神经元表示的点云上采样方法，该方法可以同时实现自监督和放大率灵活的上采样。具体来说，为了摆脱地面真实稠密点云的要求，我们不直接学习输入稀疏点集和输出稠密点集之间的映射。或者，受隐式表面可以由符号距离函数（SDF）表示的概念的启发[10，11，15]，我们转而通过两个隐式神经函数来寻找给定种子点在物体表面上的最近投影点，这两个隐式神经函数分别用于估计投影方向和距离cloud.对于期望的缩放因子r，我们的目标是获得对应的稠密点云=piNRN×3，其中包含N=rn个点。定义为密集点云的底层曲面。高分辨率的点云需要是密集和均匀的，以及能够处理遮挡和噪声，即。，要完整干净。与采用端到端训练框架的现有方法不同，我们不直接学习输入稀疏和输出密集点集之间的映射，而是以自监督的方式为给定的种子点寻找对象表面上最近的投影点。通过对空间中的种子点进行密集均匀的采样，可以得到密集的近似均匀的投影点，从而可以较好地描述下垫所提出的自监督点云上采样策略包括四个步骤：• 种子取样我们用三维体素网格表示点云的几何空间，从中选择接近隐式表面S的体素中心作为种子点。2001S∈∈∈∗∈ −--SS∈X{··· }XX^X{−···−}关于我们XM=3M=3--• 曲面投影。对于种子点，我们将其投影到隐式曲面上，得到投影点，这些投影点构成生成的稠密点云。• 离群值删除。我们进一步去除由远种子点生成的投影点，以实现更清洁的点云。• 按比例生成点云为了获得所需的上采样因子，我们通过最远点采样来调整生成的稠密云下面，我们将详细介绍每一个步骤。2.1. 种子取样为了获得均匀采样的种子点，给定点云，我们将3D空间划分为等间距的体素传递空间中一点的坐标，输出该点到曲面的最短距离，其符号表示该点是在曲面内部还是外部。受到SDF的启发，我们提出了以下可行的方法来估计查询种子点在表面上的投影点。值得注意的是，SDF的计算策略，如[10，11，15]，不能直接应用于我们的目的。对于三维查询点x，SDF输出：SDF（x）=s，sR. 符号s只表示它在里面或外面-形状的边，但不提供指向曲面的方向。 在我们的方法中，对于种子点cC，我们将估计投影点的任务分成两个子任务：1)估计投影方向n[ 1，1]3; 2）估计投影距离dR。 则种子点c的投影点的坐标可以获得为：cp=c+n d。投影方向估计 我们训练一个多层次的V（x，y，z），其中V（0，0，0）表示位于3D笛卡尔坐标系的原点我们定义全连接神经网络它接受查询点（·;Θn）为此目的，3D体素体积的分辨率为l×l×l。因此，vo x elV（x，y ， z ）的中心是c （ x ， y ， z ）=[x+0. 5微升，y+0。5μl，z +0。5升]。体素中心均匀分布作为投入：c和稀疏点云Xn=fn（c，X; Θn）（2）在空间中，其充当种子点的良好候选者但是，我们并不使用所有这些，而是选择接近点云底层曲面的那些。选择中心的一个合理原则是根据它们到表面的距离。我们选择一个中心c（x，y，z）作为种子，如果它到表面的距离在预定范围内：[D1，Du]。困难之处为了降低计算复杂度，我们将k取为接近-est指向cin而不是整体作为输入。我们把这个点的子集记为c=p1，，pk.此外，为了方便神经网络的推理过程，我们通过将c设置为原点来对点坐标进行归一化这样，我们可以将估计函数简化为：距离（c（x，y，z），S），因为下面的表面S是非-n=fn（X^c;Θn）（3）知道的 我们提出了一种替代策略来近似距离（c）（x，y，z），S）。 具体来说，从输入稀疏点哪里c= p1c， ，pk c.投影距离估计同样，为了估计集，我们选择最接近c（x，y ，z）的M个点，记为pc，1，pc，2，，pc，m，，pc，M，它们从近到远排序。 从这些点，我们可以形成一组三角形 Tm=（pc，1，pc，2，pc，m）M。然后，我们执行以下近似：Dist（c（x，y，z），S）∈minDist（c（x，y，z），t），t∈{Tm}M其中T表示包含在所构造的三角形中的点。最后，我们得到了种子点集C。通过设置适当的l，我们可以生成稠密且均匀分布的种子点.2.2. 表面投影有了采样的种子点，下一步就是寻找它们在曲面上的投影点，这些投影点就是生成稠密点云的目标点。在3D计算机视觉和图形领域，众所周知，隐式表面可以定义为带符号距离函数（SDF）[10，11，15]。SDF，当（一）2002˜XX{−···−}X·投影距离d，我们还训练了一个多层全连接神经网络fd（; Θn），它将查询点c、最近点c的子集和估计的投影方向n作为输入：d=fd（c，Xc，n; Θd）（4）标准化对这个网络也很有帮助与f n不同，这里的输入n涉及方向。因此，它应该在位置和方向上执行归一化，这可以在两个阶段中完成：1）将c移动到原点; 2）应用旋转矩阵Wr以将n旋转到特定方向nt，即，，nt=Wrn.在归一化之后，c变为c=Wr（p1c），，Wr（pkc），是fd唯一需要的输入：d=fd（Xc; Θd）（5）2.3. 离群值删除在种子采样步骤中，可以将一些实际上远离S的点包含在种子点中2003联系我们--^p−vpp我图1.内隐神经功能的网络结构。由于近似误差，C集。无法很好地估计这些点的法向量和距离，从而导致在所得到的密集点云中出现离群值我们转而利用后处理过程来删除它们。具体来说，对于投影点CP，我们找到它的v个最近点CP，1， ，cp，v. 然后我们计算cp和它们之间的平均偏差：v以多层次地保存表面信息。然后，特征向量通过4个全连接（FC）层进行批量归一化和ReLU，其输出维度分别为1024，512和128最后一个FC层的输出尺寸对于投影方向n为3，对于投影距离d为1。请注意，网络的设计不是本文的主要贡献。我们可以利用任何合适的网络来达到我们的目的。b=1距离（c，c）（6）对于所有的投影点，我们用同样的方法得到b p，其a的平均值记为<$b。 如果一个点满足bp>λ<$b，则我们将其确定为离群点，其中λ在实际实现中被设置为1.5。2.4. 大规模点云生成注意，上述过程不能精确地控制生成的顶点的数量因此，有必要调整顶点的数量以实现具有期望的比例因子的上采样。在我们的上下文中，我们首先对生成的点云执行逆归一化，然后通过最远点采样算法将顶点数调整为N[12]。3. 隐式神经网络训练在本节中，我们将介绍隐式神经网络的架构和训练策略。3.1. 架构网络fn和fd共享如图1所示的相同架构，其借用了编码器-解码器框架的思想[10]。该网络将归一化的点子集作为输入，输入到编码器中以获得2048维特征向量。在这里，我们采用最先进的方法DGCNN [17]作为编码器为了训练这两个隐式神经功能，我们构建了两个借口任务，为此我们准备了由3D点和相应的地面真实投影方向和距离值组成我们使用由[10，16]中提出的TSDF-Fusion从ShapeNet [2]的子集（由13个主要类别组成）构建的规范化水密网格进行训练。由于fn和fd的设计目的不同，我们为它们准备了不同的训练对：• 为了准备f n的训练数据，我们首先生成种子点：通过限制它们与表面之间的距离在预设范围[Dl，Du +]内，在网格表面周围随机选择50K个种子点，其中引入以增加鲁棒性。对于种子点c，我们找到网格上最近的点，并在其周围采样5个点，然后计算c和它们之间的平均向量d。这样，我们可以有效地处理网格重建中的误差。最后，地面真值n被导出为d的归一化。其次，对于每16个种子点，我们随机选取2048个点作为对应的稀疏点云X。• 为了准备fd的训练数据，在网格表面周围随机选择50K个种子点，i=13.2. 培训数据准备2004^X规模2×4×公制（10−3）CD↓EMD↓F评分↑平均值↓标准品↓CD↓EMD↓F评分↑平均值↓标准品↓[21]第二十一话12.9（6）6.75（6）三三四（五）4.02（5）5.62（4）11.3（7）7.02（7）四六二（七）5.05（7）6.81（6）固定比例MPU [20]澳门[7]PU-GCN [13]- 第12.7（5）条12.2（3）-5.09（5）4.94（4）-326（6）360（3）-4.32（6）3.47（2）-6.01（5）5.09（2）10.4（4）10.9（5）10.2（3）5.64（5）6.66（6）5.50（4）527（4）四八四（六）537（3）3.61（4）4.66（6）3.35（2）5.50（3）6.56（5）5.01（2）PU-DR [8]11.0（1）3.55（1）409（1）2.30（1）4.05（1）8.71（1）3.98（2）六二五（一）2.24（1）3.89（1）任意标度[19]第十九话提出12.6（4）12.1（2）3.94（2）4.93（3）339（4）371（2）3.77（4）3.49 (3)5.41（3）10.2（6）10.9（5）10.1（2）3.56（1）4.87（3）506（5）561（2）3.89（5）3.49（3）5.60（4）9.35（7）规模8×16×公制（10−3）CD↓EMD↓F评分↑平均值↓标准品↓CD↓EMD↓F评分↑平均值↓标准品↓[21]第二十一话9.67（5）8.91（6）611（6）4.85（6）6.81（5）9.25（7）10.4（7）六三二（七）6.04（7）8.04（6）固定比例MPU [20]澳门[7]PU-GCN [13]- 第8.82（4）条8.78（3）-5.05（3）6.41（5）- 第676（4）条第六百七十八章（三）- 第3.76（4）条3.33（2）- 第5.51（3）条5.06（2）8.12（5）7.52（2）7.80（4）7.74（6）6.02（4）7.44（5）727（5）770（3）749（4）4.01（6）3.14（2）3.39（4）6.11（5）4.92（2）5.11（3）PU-DR [8]8.34（1）3.95（1）708（1）2.99（1）4.97（1）7.29（1）4.51（1）779（1）2.92（1）4.72（1）任意标度[19]第十九话提出9.71（6）8.70（2）4.33（2）5.53（4）六二五（五）706（2）3.95（5）3.48（3）5.68（4）8.84（6）8.96（6）7.65（3）5.62（2）5.98（3）676（6）772（2）3.87（5）3.35（3）5.59（4）8.34（7）表1.采用最新技术水平的方法进行CD、EMD、F评分、平均值和标准差的客观性能比较。还提供了排名数字。和fn一样。然后，我们找到相应的最近投影点的表面上种子点和投影点之间的距离被用作地面实况d。的生成与fn的生成方式相同。值得注意的是，尽管训练数据是从水密网格生成的，但我们的方案能够处理非水密点云，这可以在图6所示的真实情况下观察到。3.3.培训详细信息fn和fd的训练是通过在均方误差（MSE）损失函数下最小化预测和实际方向/长度值之间的损失之和来完成的训练过程在配备两个Tesla V100 GPU的服务器上进行使用Adam算法，该网络被训练了1200个epoch ，批量 大小为64 。在[10] 中，学 习率设为10−4，亚当的其他超参数设为β1= 0。9，β2= 0。999，=10−8，重量衰减=0。4. 实验在本节中，我们提供了大量的实验结果来证明我们的方法的优越性能。4.1. 比较研究我 们 将 所 提 出 的 自 监 督 任 意 尺 度 点 云 上 采 样（SSAS）方法与几种最先进的作品进行了比较，这些作品可以根据比例因子分为两类：1）固定尺度方法，包括PU-Net [21]，MPU [20]，PU-GAN [7]，PU-GCN[13]，PU-DR [8]; 2）任意尺度方法，包括Meta-PU [19]。2005S×请注意，这些方法都是基于监督学习的。比较的模型是用作者发布的代码训练的，遵循他们论文中的默认设置。我们按照[19]中提到的方法训练所有这些比较方法，以进行公平比较。测试样本来自[19，21]采用的数据集。我们从20个测试模型中使用泊松圆盘抽样非均匀地抽取2048个点来形成测试集。4.2. 参数设置体素l的边长和种子点到曲面的距离[Dl，Du]的范围决定了种子点的个数。然而，数目也取决于输入点云的形状。 为了确保生成足够的点，我们设置l=0。004和[D1，Du]=[0. 011，0. 015]。 在此条件下，最小生成点数为99001（Chair），满足16或更高尺度上采样的要求。归一化中的特定方向nt可以任意选择。 我们在实验中设置nt=（1，0，0）。最近点的数量k在第2.2节中设置为100，在第2.3节中设置为30。用于计算Dis的最近点M的数量t（c（x，y，z），）影响离群点的数量和种子点的连续性。 我们设定M = 10，并进一步讨论了不同M在消融研究中的作用。4.3. 客观性能比较客观评价。我们采用六个流行的指标进行客观评估：1）倒角距离（CD）和地球移动器距离（EMD）[21]：评估预测点与欧几里得空间中的地面真实点之间的相似性。对于这两个指标来说，越小越好。2)[18]《礼记·列传第十八》：“礼之以礼，礼之以礼，礼之以礼。2006规模2×4×p（10−2）0.2%↓0.4%↓0.6%↓0.8%↓1.0%↓0.2%↓0.4%↓0.6%↓0.8%↓1.0%↓[21]第二十一话3.05（6）2.33（6）2.03（6）1.86（6）1.75（6）2.72（7）2.19（7）1.97（7）1.84（7）1.76（7）固定比例MPU [20]澳门[7]PU-GCN [13]- 第2.46（3）条2.68（5）- 第1.86（3）条2.06（5）- 第1.62（4）条1.80（5）-1.50（4）1.65（5）- 第1.43（4）条1.57（5）2.53（6）2.45（4）2.40（3）2.03（6）1.94（5）1.93（4）1.80（6）1.73（5）1.72（4）1.67（6）1.62（5）1.61（4）1.59（6）1.56（5）1.54（4）PU-DR [8]1.83（1）1.34（1）1.17（1）1.09（1）1.06（1）1.77（2）1.46（2）1.34（2）1.28（2）1.24（2）任意标度[19]第十九话提出2.53（4）1.96（2）1.86（3）1.50（2）1.58（3）1.33（2）1.43（3）1.25（2）1.35（3）1.21（2）2.50（5）1.72（1）1.87（3）1.40（1）1.60（3）1.27（1）1.45（3）1.21（1）1.37（3）1.19（1）规模8×16×p（10−2）0.2%↓0.4%↓0.6%↓0.8%↓1.0%↓0.2%↓0.4%↓0.6%↓0.8%↓1.0%↓[21]第二十一话2.64（5）2.21（6）2.02（6）1.91（6）1.84（6）2.86（6）2.42（6）2.22（7）2.10（7）2.02（7）固定比例MPU [20]澳门[7]PU-GCN [13]- 第1.72（2）条2.31（4）- 第1.47（3）条1.93（4）- 第1.38（3）条1.75（4）- 第1.34（3）条1.65（5）- 第1.32（3）条1.59（5）2.30（4）1.79（3）2.42（5）1.96（4）1.57（3）2.07（5）1.82（4）1.48（3）1.91（5）1.73（4）1.44（3）1.82（5）1.69（4）1.41（3）1.76（5）PU-DR [8]1.42（1）1.20（1）1.13（1）1.11（1）1.11（1）1.56（1）1.38（1）1.32（1）1.29（1）1.28（1）任意标度[19]第十九话提出2.72（6）1.72（2）2.05（5）1.45（2）1.76（5）1.34（2）1.60（4）1.29（2）1.51（4）1.27（2）3.27（7）1.75（2）2.51（7）1.51（2）2.14（6）1.41（2）1.93（6）1.36（2）1.79（6）1.33（2）表2.关于NUC评分的均匀性性能比较还提供了排名数字(a)（b）（c）（d）（e）（f）（g）（h）（i）2007×× × ××× × ××图2. Chair、Camel和Fandisk的4点上采样结果。(a)输入点云;（b）地面实况;（c）到（i）PU-Net [21]，MPU [20]，PU-GAN[7]，PU-GCN [13]，PU-DR [8]，Meta-PU [19]和我们的结果。请放大PDF以了解更多详情。化 问 题 。 对 于 这 个 指 标 ， 越 大 越 好 。 3)mean 和std[21]：评估预测点云和地面真实网格之间的距离。对于这两个指标来说，越小越好。4)归一化均匀性系数（NUC）[21]：评估随机选择的圆盘上具有不同面积百分比p = 0的点的均匀性。2%，0. 4%，0. 6%，0.8%、1. 0%。对于这种方法，越小越好。在表1中，我们提供了四种规模的比较结果因素[2，4，8，16 ]，包括CD、EMD、F-评分、平均值和标准差。令人惊讶的是，可以发现，尽管我们的模型是以自我监督的方式训练的，而不需要访问地面事实，但它在指标CD，EMD，F-score和平均值方面与那些基于监督学习的模型实现了竞争性性能以CD为例，我们的方法在[2，4，8，16 ]的七种比较方法中分别排名#2，#2，#2和#3。对于F分数，可以发现类似的结果，对于2008×××× ×××××输入4× 16× 64×图3. Moai的4×、16×和64×上采样结果。我们的方法在所有情况下都排名第二。请注意，我们的方法在标准差方面表现最差，这是因为离群值无法完全去除。表2显示了关于NUC的均匀性评价结果。我们的方法在[2，8，16 ]中排名第2，只需吹PU-DR [8]。在4的情况下，我们的方法排名#1。这些结果表明，所提出的方法产生密集和均匀的点云。推理时间成本比较。本文的实验分析是在一台配备两个1080Ti GPU的服务器上进行的。 在我们的推理过程中，方向和长度的估计是最耗时的步骤。根据实验结果，用我们的方法生成40000个投影点平均需要46s。相比之下，MPU [20]生成40000个点（16）的时间成本为342.4s，Meta-PU [19]为0.228s。应该注意的是，每个点的估计是独立执行的，因此可以并行进行以显著加快速度。4.4. 主观性能比较目视比较。图2显示了我们的方法生成的4个上采样结果，并比较了三种模型Chair、Camel和Fandisk上的最新方法。实验结果表明，该方法比其他方法具有更好的视觉效果所生成的高分辨率点云密度均匀，轮廓连续完整.具体地说，Chair突出显示部分的结果表明，我们的方法成功地从很少的点恢复结构;对Camel中高亮部分的处理结果表明，该方法能够处理复杂的轮廓。此外，我们的方法可以很好地重建边缘区域，如Fandisk的突出显示部分所示。上述视觉比较验证了我们提出的方法的优越性。变量尺度上的结果。图3显示了不同比例因子下的Moai上采样结果。可以观察到，所有结果的轮廓是一致的，并且点的均匀性被很好地保持。对不同输入大小的鲁棒性。图4显示了Eight的4倍上采样结果，512分1024分2048分4096分图4. 4不同输入大小下的8的上采样结果。第一行是输入，第二行是相应的上采样结果。清洁1% 2%图5. 4不同加性高斯噪声水平下的Star输入点集的大小。我们的方法生成一致的轮廓，无论输入点的数量。图5显示了噪声水平为0%、1%和2%的星形的4个上采样结果。我们的计划也很好地工作在有噪声的输入，而均匀性得到很好的保留。总体而言，我们的方法对输入大小和噪声具有鲁棒性。真实世界样本的结果。我们从KITTI [3]中选择一个真实世界的样本来评估我们的方法的泛化能力在图6中，上采样结果2009××图6.来自KITTI的真实世界样本的8倍上采样结果请放大PDF以了解更多详情。在剔除离群值的影响下，给出了剔除离群值前后奶牛的4次上采样结果。结果示于图8中。可以观察到，离群值去除不影响红框中的平滑区域(a)(b)（c）第（1）款图7. 选择M. (a)输入点云，（b）M=3，（c）M=10。(a)(b)（c）第（1）款图8. 去除离群值的消融。 (a)输入点云，(b) 不去除异常值，（c）去除异常值。三个不同的区域。实验结果表明，即使输入点云稀疏且不均匀，我们的方法仍能很好地恢复出高分辨率的点云。4.5. 消融研究关于M的选择M的作用是对种子点到下垫面的距离进行逼近，它影响到离群点的数目和投影点的连续性。当M增加时，连续性和离群值的数量都增加。为了显示不同M的影响，我们提供了M=3和M=10的奶牛的4次上采样结果。结果如图7所示。可以观察到，当M=3时，没有离群值被引入蓝框。但是，红色框中的曲面是不连续的。当M=10时，红框中的表面是连续的，然而，在去除离群值之后，仍然向蓝框引入少量离群值关于去除离群值的必要性。 为了显示ef-而它可以去除蓝框中的大多数离群值。4.6. 限制我们的方法的局限性是双重的。首先，即使进行了野值去除，仍然存在一定数量的野值。其次，我们的方法不能精确控制上采样点集的数量。我们必须先用过采样点生成一个稠密的顶点，然后通过远点采样算法将顶点数调整到目标顶点数。5. 结论本文提出了一种新颖有效的基于隐式神经元表示的点云上采样方法，该方法可以同时实现自监督和任意尺度的上采样。我们将点云上采样公式化为在隐式表面上寻找种子点的最近投影点的任务，这可以通过在没有地面真实密集点云的情况下训练的两个隐式神经函数来完成。 大量的实验结果表明，该方法可以生成均匀、完整的高质量稠密点云，与现有的监督方法相比，具有很好的客观性能和更好的视觉性能。6. 确认本 工 作 得 到 了 国 家 重 点 研 发 项 目（ 2019YFE0109600 ） 和 国 家 自 然 科 学 基 金（61922027、6207115、61932022）的资助2010引用[1] Marc Alexa，Johannes Behr，Daniel Cohen-Or，ShacharFleishman，David Levin，and Claudio T.席尔瓦计算和绘制点集曲面。IEEE Transactions on visualization andcomputer graphics，9（1）：3-15，2003. 1[2] AngelXChang ， ThomasFunkhouser ， LeonidasGuibas，Pat Hanrahan，Qixing Huang，Zimming Li，Silvio Savarese ， Manolis Savva ， Shuran Song ， HaoSu，et al. Shapenet：一个信息丰富的3D模型存储库。arXiv预印本arXiv：1512.03012，2015。4[3] Andreas Geiger，Philip Lenz，and Raquel Urtasun.我们准备好自动驾驶了吗？Kitti Vision基准套件。在2012年IEEE计 算 机 视 觉 和 模 式 识 别 上 ， 第 3354-3361 页 。IEEE，2012。7[4] 胡学才，穆浩元，张翔宇，王自磊，谭铁牛，孙建.Meta-SR：一种用于超分辨率的放大任意网络。2019年IEEE/CVF计算机视觉和模式识别会议（CVPR），第1575-1584页2[5] Hui Huang ， Dan Li ， Hao Zhang ， Uri Ascher ， andDaniel Cohen-Or.面向曲面重构的散乱点云合并。ACM图形交易（TOG），28（5）：1-7，2009。1[6] Hui Huang，Shihao Wu，Minglun Gong，Daniel Cohen-Or，Uri Ascher，and Hao Zhang.边缘感知点集重采样。ACM transactions on graphics（TOG），32（1）：1-12，2013. 1[7] Ruihui Li ， Xianzhi Li ， Chi-Wing Fu ， Daniel Cohen-Or，and Pheng-Ann Heng. PU-GAN：点云上采样对抗网络。在2019年IEEE/CVF国际计算机视觉会议（ICCV）上，第7202-7211页，2019年。一、五、六[8] Ruihui Li，Xianzhi Li，Pheng-Ann Heng，and Chi-WingFu.通过解纠缠细化的点云上采样。2021年IEEE/CVF计算机视觉和模式识别会议（CVPR），第344-353页，2021年。一、五、六、七[9] Xinhai Liu，Xinchen Liu，Zhizhong Han，and Yu-ShenLiu. SPU-Net：通过自投影优化的粗到精重建进行自监督点云上采样，2020年。2[10] Lars Mescheder，Michael Oechsle，Michael Niemeyer，Se- bastian Nowozin ， and Andreas Geiger.Occupancynetworks：Learning 3d reconstruction in function space.在IEEE/CVF计算机视觉和模式识别会议论文集，第4460-4470页二三四五[11] 郑俊朴、彼得·弗洛伦斯、朱利安·斯特劳布、理查德·纽科姆和史蒂文·洛夫格罗夫。DeepSDF：学习用于形状表示的连续符号距离函数。2019年IEEE/CVF计算机视觉和模式识别会议（CVPR），第165二、三[12] Charles Ruizhongtai Qi，Li Yi，Hao Su，and Leonidas JGuibas. Pointnet++：度量空间中点集在重症盖永诉卢森堡S. Bengio，H.瓦拉赫河Fergus，S. Vishwanathan和R.Garnett，编者，《神经信息处理系统进展》，第30卷。Curran Associates，Inc. 2017. 4[13] Guocheng Qian，Abdulellah Abualshour，Guohao Li，Ali Thabet，and Bernard Ghanem. PU-GCN：使用图卷积网络的点云上采样。2021年IEEE/CVF计算机视觉和模式识别会议（CVPR），第11678-11687页，2021年。一、五、六[14] Yue Qian，Junhui Hou，Sam Kwong，and Ying He.深度放大-3d点云上的灵活上采样。IEEE Transactions onImage Processing，30：8354-8367，2021。2[15] David Stutz和Andreas Geiger。从弱监督的激光扫描数据中学习3d形状完成。2018年IEEE/CVF计算机视觉和模式识别会议，第1955-1964页，2018年。二、三[16] David Stutz和Andreas Geiger。学习三维形状的复杂性，在弱监督。CoRR，abs/1805.07290，2018。4[17] Yue Wang，Yongbin Sun，Ziwei Liu，Sanjay E Sarma，Michael M Bronstein，and Justin M Solomon.点云学习的动态图cnn。Acm Transactions On Graphics（tog），38（5）：1-12，2019。4[18] Huikai Wu，Junge Zhang，and Kaiqi Huang.对抗性残差图 网 络 的 点 云 超 分 辨 率 。 arXiv 预 印 本 arXiv ：1908.02111，2019。5[19] 叶树泉，陈冬冬，韩松芳，万子玉，廖静。Meta-PU：一个任意尺度的点云上采样网络。IEEE Transactions onVisualization and Computer Graphics ， 第 1-1 页 ， 2021年。二五六七[20] Wang Yifan ，Shihao Wu ，Hui Huang，Daniel Cohen-Or，and Olga Sorkine-Hornung.基于块的渐进式3d点集上采样。2019年IEEE/CVF计算机视觉和模式识别会议（CVPR），第5951-5960页，2019年。一、五、六、七[21] Lequan Yu，Xianzhi Li，Chi-Wing Fu，Daniel Cohen-Or，and Pheng-Ann Heng.PU-Net：点云上采样网络。2018年IEEE/CVF计算机视觉和模式识别会议，第2790-2799页一、五、六[22] 赵一凡，乐辉，谢晋。SSPU-Net：Self-Supervised PointCloud Upsampling via Differentiable Rendering ， page2214美国纽约州纽约市计算机协会，2021年。一、二