可微分点云采样：改善点云任务效果和计算效率的一种解决方案

7578SampleNetSampleNetSampleNet登记分类一辆车！重建SampleNet：可微分点云采样伊泰朗特拉维夫大学itailang@mail.tau.ac.il阿萨夫庄园特拉维夫大学asafmanor@mail.tau.ac.il特拉维夫大学avidan@eng.tau.ac.il摘要越来越多的任务直接在点云上工作随着点云大小的增长，这些任务的计算需求也在增长。一种可能的解决方案是首先对点云进行采样。经典的采样方法，如最远点采样（FPS），不考虑下游任务。最近的一项研究表明，学习特定任务的抽样可以显着改善结果。然而，所提出的技术没有处理采样操作的不可微性，而是提供了一种变通方法。我们引入了一种新的可微松弛点云采样，近似采样点的混合物，在主输入云的点。我们的近似方案导致一致的分类和几何重建应用程序的良好结果。我们还表明，所提出的采样方法可以用作点云配准网络的前端。这是一项挑战性任务，因为对于共享的下游任务，采样必须在两个不同的点云上一致。在所有情况下，我们的方法优于现有的非学习和学习的采样替代方案。我们的代码是公开可用的1.1. 介绍近年来，3D感测装置的普及度增加这些设备通常以点云的形式捕获数据-一组表示视觉场景的点。分类、配准和形状重建等各种应用都消耗原始点云数据。这些应用程序可以消化大的点云，但需要减小点云的大小（图1），以提高计算效率并降低通信成本。这通常是通过在运行下游任务之前对数据进行采样来完成的[8，11，12]。由于采样保留了数据结构（即，输入和输出都是点1https://github.com/itailang/SampleNet图1. SampleNet的应用我们的方法学习采样点云的后续任务。它 采 用 了 从 输 入 点 云 的 点 的 选 择 的 differentiable 松 弛 。SampleNet允许各种任务，如分类，配准和重建，在一小部分输入点上操作，性能下降最小。云），它可以在过程流水线中原生使用。此外，采样保留了数据保真度并以可解释的表示保留数据。一个新出现的问题是如何选择数据点。广泛使用的方法是最远点采样（FPS）[30，52，18，27]。FPS从集合中的一个点开始，并且迭代地从已经选择的点中选择最远的点[7，23]。它的目的是实现输入的最大覆盖。FPS是任务不可知的。它使几何误差最小化，并且不考虑采样点云的后续处理。Dovratet al. [6]提出了一种特定任务的抽样方法。他们的主要想法是简化点云，然后对其进行采样。在第一步中，他们使用神经网络在环境空间中生成一小组简化点，并针对任务进行优化。不保证此集合是75791234输入.因此，在后处理步骤中，他们将每个简化的点与输入点云中的最近邻居进行匹配，这产生了输入的子集。与非学习方法，如FPS和随机抽样。输入简化12431234柔和投射然而，匹配步骤是不可微操作，并且不能通过神经网络传播梯度找到当地邻居项目 到本地邻域=softmax（;）→0工作与简化的集合相比，这实质上损害了采样点的性能，因为在训练阶段没有引入匹配。我们扩展了Dovrat等人的工作。[6]通过向匹配步骤引入可微分松弛，即，最近邻选择，在训练期间（图2）。这个操作，我们称之为软投影，用输入的最近邻的加权平均值替换简化集中的每个点在训练期间，权重被优化以近似最近邻选择，这在推理时间完成。软投影操作改变表示。代替自由空间中的绝对坐标，投影点在初始点云中的局部邻域的权重坐标中表示。该操作由温度参数控制，该温度参数在训练过程期间被最小化以创建退火计划[38]。表示变化将优化目标呈现为多个局部分类问题，其中每个简化点应被分配给用于后续任务的最佳输入点。我们的方法称为SampleNet，适用于各种任务，如图1所示。广泛的实验表明，我们优于Dovrat等人的工作。始终如一此外，我们研究了一个新的应用程序-注册与采样点云，并显示我们的方法的优势，这个应用程序以及。注册带来了新的挑战：需要采样算法来对两个不同点云上的一致点进行采样，以用于共同的下游任务。总之，我们的主要贡献有三个方面：• 点云采样的一种新的可微近似• 与非学习和学习的采样替代方案相比，改进了用于分类和重建任务的采样点云的性能;• 点云配准方法的应用。2. 相关工作点云深度学习3D点集深度学习的早期研究集中在数据的常规表示，以2D多视图[29，35]或3D体素[44，29]的形式。这些表征使得成功的神经处理范例能够自然延伸图2. 采样近似图。我们提出了一个学习采样点云的方法，采用可微松弛最近邻选择。查询点q（红色）从输入点云（蓝色）投影到其局部邻域相邻点的加权平均形成软投影点r（在洋红色中）。在训练期间，权重被优化为近似最近邻采样（在该示例中为p 2），这在推断时间发生。从2D图像域到3D数据。然而，点云是不规则且稀疏的。正则表示带来了高计算负载和量化误差的代价。PointNet [28]开创了直接处理原始点云的先河。它包括每点多层感知器（MLP），将每个点从坐标空间提升到高维特征空间。全局池化操作将信息聚合到代表性特征向量，其通过全连接（FC）层映射到输入点云的对象类。在过去的几年里，用于点云的各种深度学习应用程序今天，应用包括点云分类[30，18，36，43]，部分分割[15，34，21，42]，实例分割a-[40，19，41]，语义分割[13，25，39]和点云中的对象检测[27，33]。另外的应用包括点云自动编码器[1，48，10，54]。点集完成[53，5，31]和配准[2，22，32]，对抗点云生成[14，46]和对抗攻击[20，45]。最近的几项工作研究了点云合并的主题[52，51，16，49]。然而，对点集的采样策略给予了轻微的关注最近邻选择最近邻（NN）方法已经在文献中广泛用于信息融合[9，30，26，42]。在神经网络的上下文中，使用最近邻居的一个显著缺点是选择规则是不可微的。Goldberger等人[9]建议随机放宽最近邻规则。他们定义了候选邻居集合上的分类分布，其中1-NN规则是分布的极限情况。后来，Pl¨otz和Roth[26]推广了Goldberger等人的工作，通过提出k最近邻（KNN）选择规则的确定性松弛。他们亲-12347580简化MLP池FC×3不简化损失投影损失柔软的突出部L= LKNNSoftmax不柔软的突出部提出了一个神经网络层，称为神经最近邻块，采用他们的KNN松弛。在该层中，特征空间中的邻居的加权平均用于信息传播。用控制权重分布的均匀性的温度系数来缩放相邻权重在我们的工作中，我们采用宽松的最近邻选择作为一种方式来近似点云采样。虽然温度系数在Plo¨ tz和Roth的工作中是不受约束的，但我们在训练期间提升了一个小的温度值，以接近最近邻选择。神经网络中点云采样方法的研究点云神经处理系统中的池化操作[30，27，50]。然而，FPS不考虑采样点的进一步处理，并且可能导致次优性能。最近，已经提出了替代的子采样方法[17，24，47]。Nezhadarya等人[24]引入了临界点层，将具有最活跃特征的点传递到下一个网络层。Yang等[47]在分类网络的训练期间使用Gumbel子集采样而不是FPS，以提高其准确性。但我们的问题的设置是不同的。给定一个应用程序，我们对输入点云进行采样，并将任务应用于采样数据。Dovrat等人[6]提出了一种学习的面向任务的点云简化，这导致了训练和推理阶段之间的性能差距我们通过在训练过程中近似采样操作来缓解这个问题，通过可微分最近邻近似。3. 方法我们的采样方法SampleNet的概述如图3所示。首先，在n个点的完整点云上预训练任务网络并冻结。然后，SampleNet采用完整的输入P，并通过神经网络将其简化为m个点的较小集合Q[6]。通过最近邻选择的可微松弛，Q被软投影到P上。最后，SampleNet的输出R被馈送到任务。SampleNet使用三个损失项进行训练：SampleNet×3 ×3图3. 建议的抽样方法的训练。任务网络在完整的输入点云P上进行训练，并在我们的采样网络SampleNet的训练期间保持固定。用神经网络将P简化为更小的集合Q。那么Q被软投影到P上以获得R，并且R被馈送到任务网络。根据所表示的损失，SampleNet被训练为从P中对手头的任务最优的采样点。图4. 软投影操作。该操作获得点云P和简化的点云Q作为输入。每个点q ∈ Q被投影到它在P中的k个最近邻居上，表示为{pi}。 邻居{pi}根据它们与q的距离和温度系数t通过{wi}加权，以获得软投影点集R中的点r。通过所述软投影操作从所述输入点云中采样点。我们的方法建立在Dovrat等人提出的采样方法的基础上，并对其进行了扩展。[6]的文件。为了清楚起见，我们在3.1节简要回顾了他们的方法。然后，我们在3.2节中描述我们的扩展。3.1. 简化给定一个有n个三维坐标P∈Rn×3的点云，目标是找到一个有m个点R*∈Rm×3的子集，使得采样点云R*被优化为任务T。将T的目标函数表示为F，R*由下式给出R*=argmin F（T（R）），R P，|R|=m≤n。（二）R样本总数任务 （R）+αL简化（Q，P）（一）由于采样操作的不可微性，该优化问题提出了挑战。多夫拉特+λL项目。第一项Ltask（R）将近似样本集R优化为任务。这意味着保留任务性能与采样点云。Lsimplify（Q，P）en-al. [6]提出了一个简化网络，产生Q其中Q对于任务是最优的，并且它的点接近于P的点。为了鼓励第二特性，利用简化损失将平均最近邻损失表示为：鼓励简化集接近输入。也就是说，Q中的每个点都应该在P中有一个闭合点，反之亦然。1La（X，Y）=Σ min||x − y||第二条、 第三条亦然 最后一项，L项目用于近似|X| x∈Xy∈Y2任务任务丢失7581L=（L∗∗ei2最大最近邻损失为：Lm（X，Y）= max min ||x − y||第二条、第四条x∈X y∈Y简化损失由下式给出：Lsimplify（Q，P）=La（Q，P）+βLm（Q，P）（五）+（γ + δ|Q|）La（P，Q）.为了优化任务的点集Q，任务损失被添加到优化目标。简化网络的总损失为：Ls（Q，P）= Ltask（Q）+ αLsimplify（Q，P）。（六）针对特定样本大小m训练上述简化网络。 Dovrat等人[6]还提出了一种渐进式采样网络。该网络根据简化点对任务的重要性对其进行排序，并可以输出任何样本大小。它输出n个点，并在其输出的嵌套子集上使用简化损失进行权重{wi}可以被视为点{pi}上的概率分布函数，其中r是期望值。温度系数控制这种分布的形状。在t→0的极限中，分布收敛于Kronecker δ函数，位于接近最邻近点。考虑到这些观察结果，我们希望点r从P中的局部邻域近似最近邻采样。为了实现这一点，我们添加投影损失，由下式给出：L项目= t2。（十）这种损失促进了较小的温度值。在我们的采样方法中，任务网络被馈送与投影点集R，而不是简化集Q。由于R中的每个点估计从P中选择一个点，所以我们的网络被训练为采样输入点云，而不是简化它。我们的采样方法可以很容易地扩展到渐进采样设置（公式7）。在这种情况下，损失函数采用以下形式：放：Lprog（Q，P）=ΣLS（Qc，P），（7）Σprog总c∈Cs任务 （Rc）+αL简化（Qc，P））（十一）其中C是控制尺寸。3.2. 项目c∈Cs+λL项目其中Rc是通过对Qc应用软投影操作获得的点集（等式8）。我们添加了软投影操作，而不是优化任务的简化点云。操作在推理时，我们将软投影替换为采样，以获得采样点云R*。像在一个分类问题，对于每个点r*∈R*，我们选择如图4所示。 每个点q∈Q都是软投影的到它的邻居上，由它的k个最近邻居定义在完整的点云P中，以获得投影点r∈R。点r是原始点点pi具有最高投影权重：R=pi*， i= argmax w i.（十二）i∈NP（q）形式P：Σr=wipi，（8）与Dovratet al相似。[6]，如果一个以上的点r*i∈NP（q）其中NP（q）包含q在P中的k个最近邻的索引。权重{wi}根据q与其邻居之间的距离来确定，由a缩放可学习温度系数t：−d2/t2对应于相同的点pi*，我们取唯一的采样点，使用FPS完成高达m个点，并评估任务性能。作为幂等运算的软投影严格地说，软投影运算（等式8）不是幂等的[37]，因此不构成数学投影。然而，当温度系数wi=Σj∈NP（q）e−d2/t2，（9）J当等式9中的幂等采样操作变为零时，获得幂等采样操作（等式12）。此外，最近邻选择可以被视为项目的变体距离为g iv en，由di=||q−pi||二、7582邻域大小k=|NP（q）|在采样点的选择中起作用。通过距离项，网络可以调整简化点的位置，使得它将接近其局部区域中的不同输入点。虽然小的邻域大小降级了探索，但是选择过大的大小可能导致局部上下文的丢失在Bregman分歧下的作用[4]。在补充资料中给出了推导。4. 结果在本节中，我们将展示我们的采样方法在各种应用中的结果：点云分类、配准和重建。表演与7583将该方法采样的点云与常用的FPS和Dovrat等人提出的学习采样方法S-NET进行了对比。[6]的文件。分类和配准以Mod-elNet 40为基准[44]。我们使用从数据集模型中均匀采样的1024个点的点云。官方的训练-测试分割[28]用于训练和评估。使用从ShapeNet Core55数据库[3]采样的2048个点的点集评估重建任务。我们使用四个形状类，其中包含最多的示例：桌子、汽车、椅子和飞机。每个类被拆分为100.090.080.070.060.050.040.030.020.010.00.01 2 4 8 16 32 64 128采样率（log2标度）训练/验证/测试集为85%/5%/10%。我们的网络SampleNet基于PointNet架构。它直接在点云上操作，并且对点的排列是不变的。SampleNet将MLP应用于输入点，然后是全局最大池化。然后，从汇集的特征向量计算简化的点云并将其投影到输入点云上。完整的实验设置详见补充文件。4.1. 分类根据Dovrat等人的实验。[6]，我们使用PointNet [28]作为分类的任务网络。Point- Net在1024个点的点云上进行训练然后，实例分类精度评估采样点云从官方测试分裂。采样率被定义为1024/m，其中m是采样点的数量。图5. SampleNet的分类精度。PointNet用作任务网络，并在具有1024个点的完整点云上进行预训练。实例分类精度评估采样点云模型-Net 40的测试分裂。我们的采样方法SampleNet优于其他采样替代品有很大的差距。100.090.080.070.060.050.040.030.020.010.00.0SampleNet图5比较了几种采样方法的分类性能。FPS对于任务是不可知的S-NET优于FPS。然而，S-NET被训练以简化点云，而在推理时，使用采样点。我们的SampleNet是直接训练来对点云进行采样的，因此，它的性能大大优于竞争对手的方法。例如，在采样率为32（原始点的大约3%）时，它实现 了 80.1% 的 准 确 度 ， 这 比 S-NET 的 结 果 提 高 了20%SampleNet还在渐进式采样设置中实现了相对于FPS和S-NET的性能增益（等式7）。结果见补充材料。简化、软投影和采样点我们使用SampleNet的简化、软投 影 和 采 样 点 进 行 渐 进 采 样 （ 表 示 为 SampleNet-Progressive）来评估分类精度结果报告于图6中。当采样比达到16时，简化点的精度明显低于采样点的精度。对于更高的比率，则相反。另一方面，软投影点的精度非常接近采样点的精度。这表明我们的网络学会了选择最佳点1 2 4 8 16 32 64 128采样率（log2标度）图6. 分类精度与简化，软投影，采样点。ModelNet 40测试集上的实例分类精度是用SampleNet-Progressive的简化、软投影和采样点来测量的简化点的准确度比采样点的准确度低（高达比率16）或高（从比率16）相反，软投影点非常接近采样点所达到的对于来自输入点云的任务，通过用可微分软投影操作近似采样。权重演变我们检查投影权重随时间的演变，以深入了解其行为软投影操作。我们针对N e∈ {1，10，100，150，200，. . .，500}个时期，并应用它在ModelNet40的测试集上投影为每个点计算权重，并对测试集的所有点云求平均。图7示出了被训练为对64个点进行采样的SampleNet的平均投影权重。在第一个时期，权重接近均匀分布，最大和最小权重分别为0.19和0.11。在训练过程中，第一近邻FPSS-netSampleNetSampleNet-渐进简化点SampleNet-渐进式软投影点SampleNet-渐进式采样点分类精度分类精度7584折痕第一个和最后一个邻居的权重分别收敛到0.43和0.03。因此，通过软投影操作的最近邻点的近似在训练期间得到改善。有趣的是，权重分布在第一最近邻处不收敛于δ函数。我们记得，我们的学习采样的目标是为后续任务寻找最佳点。如图6所示，利用软投影点和采样点实现了类似的性能。因此，如通过我们的方法所做的，最近邻的近似就足够了。0.0070.0060.0050.0040.0030.0020.0010.0000 100 200 300 400 500时代为了进一步研究这个问题，我们用额外的损失项训练了SampleNet：投影权重向量和1热向量之间的交叉熵损失，表示最近邻索引。我们还尝试了投影权重的熵损失在这些情况下，权重确实收敛到δ函数。然而，我们发现这是一个过度约束，这阻碍了SampleNet的探索能力。详情见补充报告。图8. 温度曲线。几个温度曲线用于SampleNet-Progressive的训练：学习的概况;表示缓慢收敛的线性校正曲线;以及收敛到比所学习的值更低的值的指数曲线。表1中报告了用不同配置文件训练的SampleNet-Progressive的分类准确度。12345670.450.400.350.300.250.200.150.100.050.005004003002001000表1. 不同温度曲线的分类精度。SR代表采样率。第三行到最后一行分别对应于用常数（Con）、线性校正（Lin）、指数（ Exp ） 和 学 习 （ Lrn ） 温 度 曲 线 训 练 的 SampleNet-Progressive。SampleNet-Progressive对配置文件的衰减行为然而，如果温度保持恒定，则分类精度显著降低。前两个配置文件和学习的配置文件是预配置文件。图7. 软投影权重的演变。 SampleNet被训练为对64个点进行采样。在训练期间，它被应用于ModelNet40的测试分割软投影权重与k= 7个邻居（等式9）一起计算，并在测试集的所有示例上求平均具有较暖颜色的较高条表示较高权重。随着训练的进行，权重分布变得更加集中在近邻。温度曲线训练期间的平方温度系数（等式9中的t2）的行为被视为温度曲线。我们研究了温度分布对推理分类精度的影响。代替经由等式11中的投影损失使用学习的轮廓，我们设置λ = 0并且使用预定轮廓。几个配置文件进行检查：线性整流，指数，和常数。第一个表示缓慢收敛;指数型模拟收敛到比学习曲线更低的值;恒定曲线为设定为1，作为初始温度。在图8中显示。表1示出了利用SampleNet-Progressive的采样点的分类精度，其利用不同的配置文件进行训练。线性整流和指数曲线都导致学习曲线的类似性能然而，恒定的温度会导致实质性的性能下降，这甚至比FPS更糟糕。它表明，一个衰减的配置文件是需要成功的SampleNet。然而，它对衰变行为是否稳健。时间、空间和性能SampleNet提供了时间、空间和性能之间的折衷。例如，在PointNet之前采用SampleNet对32个点进行采样可以节省大约90%的推理时间，相对于在原始点云上应用PointNet。它只需要一个额外的6%的内存空间，并导致在分类精度下降不到10%。计算详见补充资料。学习轮廓线性整流剖面指数分布平方温度（t2）Sr248163264128FPS85.681.268.149.429.716.38.6Con85.575.849.632.717.17.04.7林86.786.085.083.173.750.920.5Exp86.685.985.682.074.255.621.4LRN86.886.285.382.274.657.619.475854.2. 登记我们遵循Sarode等人的工作。[32]和他们提出的PCRNet来构建点云配准网络。使用ModelNet40中Car类别的1024个点的点集。对于训练，我们从训练集的示例中生成4925对源和模板点云。模板由三个随机欧拉旋转在[-45◦，45◦]范围内的角度以获得源。另外100个源-模板对是从用于性能评估的测试分割。其他形状类别的实验出现在补充。PCRNet在具有两个超视信号的完整点云上进行训练：配准的源和模板点云之间的地面真实旋转和Cham- fer距离[1]。为了训练SampleNet，我们冻结PCRNet并将相同的采样器应用于源和模板。配准性能是以角度-轴表示中的估计旋转和地面真实旋转之间的平均旋转误差（MRE）来测量的。补充材料中给出了关于损失项和评估度量的Dovrat等的采样方法。[6]不适用于配准任务，并且需要对其进行调整。因此，对于该应用，我们利用FPS和随机采样作为基线。图9显示了不同采样方法的MRE。与我们提出的采样的MRE保持较低，而对于其他方法，它是增加的采样比。例如，对于32的比率，具有SampleNet的MRE为5。94◦，而FPS的MRE为13。46◦，是SampleNet的两倍多。在原始点云的不同部分。相比之下，SampleNet学习从不同的源和模板云中采样类似的点。因此，与其采样集的配准在补充资料中提供了该采样一致性的定量测量总之，SampleNet被证明是用于配准任务的有效采样方法，克服了对两个不同点云进行采样的我们将这一成功归因于SampleNet的置换不变性，而不是FPS和随机采样。这与特定于任务的优化一起，使SampleNet能够实现低配准误差。FPS SampleNet图10. 与采样点配准。顶行：未配准源，1024个蓝色点覆盖在网格模型上来自模板和源的32个点的采样集分别以橙色和洋红色示出。底行：注册的源云覆盖在网格上。SampleNet使我们能够从样本中执行点云的配准。35.030.025.020.015.010.05.00.012 4 8 16 32 64 128采样率（log2标度）4.3. 重建SampleNet应用于从采样点重建点云。在这种情况下，任务网络是Achlioptas等人的自动编码器。[1]在具有2048个点的点云上训练。采样率定义为2048/m，其中m为样本量。我们通过正常-重建误差（NRE）[6]。 重建图9. SampleNet的旋转错误。 PCRNet被用作用于注册的任务网络。它是在ModelNet40中汽车类别的1024个点的注册的源和模板点云对之间的平均旋转误差（MRE）测量我们的SampleNet实现了所有比率的最低MRE。配准示例在图10中可视化。FPS点被均匀地获取，而SampleNet点被定位在形状的语义特征处。使用FPS无法对齐采样点，因为它们是采样的error是重建点云和完整输入集之间的倒角距离[1]。NRE是从采样集重构时的误差除以从完整输入重构的误差。图11报告了我们从ShapeNet数据库中使用的形状类的测试拆分的平均NRE当采样率为8时，所有方法的重建效果基本相同然而，对于更高的比率，SampleNet优于其他替代方案，并且幅度不断增加。例如，对于32的采样率，S-NET的NRE为1.57，而SampleNet的NRE为1.33，减少了随机FPSSampleNet平均旋转误差（度）75862.42.22.01.81.61.41.21.01 2 4 8 16 32 64采样率（log2标度）图11. 用于重建的SampleNet。 输入点云从其采样点重建。重建误差通过使用完整输入点集时的误差归一化。从比率8开始，SampleNet实现了更低的误差，采样比率中的间隙增加。24%我们得出的结论是，SampleNet学习采样有用的点，用于重建训练期间看不到的点集。图12中显示了从样品的重建。FPS点均匀地分布在形状上，这与SampleNet和S-NET的非均匀模式相反。有趣的是，学习的采样方法的一些点在类似的位置被采样，例如，在椅子的腿处。然而，使用S-NET或FPS点重建相反，利用SampleNet更好地重建输入形状。当计算每个形状类的NRE时，SampleNet为Chair、Car和Table类实现了较低的NRE。然而，FPS的NRE优于飞机的SampleNet。例如，对于64个点的样本大小，FPS的NRE为1.31，而SampleNet和S-NET的NRE分别为1.39和1.41图13示出了从64个点重建飞机的示例FPS在机翼上采样的点比Sam- pleNet多这些点对于输入的重构是重要的，从而导致改进的结果。5. 结论提出了一种点云的学习采样方法。我们的网络SampleNet采用输入点云，并生成一个较小的点云，该点云针对一些下游任务进行了优化。关键的挑战是处理采样操作的不可微性。为了解决这个问题，我们提出了一个可微松弛，称为软投影，表示输出点的输入点的加权平均值。在训练期间，投影权重被优化以近似最近邻采样，这发生在推断阶段。软投影操作取代了回归的最佳点在环境空间中的多个classifica-灰问题的输入的局部邻域完成SampleNetS-NETFPS图12。从采样点重建。顶部和第三行：完整的2048点输入点集，输入64个SampleNet点（紫色），输入64个S-NET点（绿色），输入64个FPS点（洋红色）。第二行和底行：从输入和相应的重建点云sample.使用SampleNet可以更好地保留输入形状，并产生与来自完整输入的类似的重建。完整的SampleNet FPS图 13. 失 败 的 例 子 。 顶 行 ： 完 整 输 入 2048 个 点 ， 64 个SampleNet点（紫色），64个FPS点（Ma- genta）。底行：从完整输入和从对应采样点重构在这种情况下，通过FPS的均匀采样是优选的。我们应用我们的技术点云分类和重建。我们还评估了我们的方法上的点云配准的任务。后者比以前的任务更具挑战性，因为它要求在两个不同的点云中采样一致我们发现，我们的方法始终优于competing非学习以及学习采样的替代品的大幅度。致谢这项工作的部分资金来自ISF第1549/19号赠款。FPSS-netSampleNet归一化重建误差7587引用[1] Panos Achlioptas，Olga Diamanti，Ioannis Mitliagkas，and Leonidas J. Guibas 3D点云的学习表示和生成模型Proceedings of the 35th International Conference onMachine Learning（ICML），pages 40二、七[2] 青木康弘，亨特·戈福斯，兰加普拉萨德·阿伦·斯里瓦特山，西蒙·露西. PointNetLK：使用PointNet的鲁棒高效点云配准IEEE计算机视觉和模式识别会议论文集，第7163-7172页，2019年。2[3] 天 使 X 放 大 图 片 创 作 者 ： Michael J. Guibas 、 PatHanrahan、Qixing Huang、Zimo Li、Silvio Savarese、Manolis Savva 、 Shuran Song 、 Hao Su 、 JianxiongXiao、Li Yi和Fisher Yu。ShapeNet：一个信息丰富的3D模型库。arXiv预印本arXiv：1512.03012，2015。5[4] Pengwen Chen，Yunmei Chen，and Murali Rao.Bregman分歧定义的度量《数学科学通讯》，2008年6月。4[5] Xuelin Chen，Baoquan Chen，and Niloy J.米特拉使用对抗训练在真实扫描上完成未配对点云。arXiv预印本arXiv：1904.00069，2019。2[6] Oren Dovrat，Itai Lang和Shai Avidan。学习取样。IEEE计算机视觉和模式识别会议论文集（CVPR），第2760-2769页，2019年。一、二、三、四、五、七[7] Yuval 灵族 迈克尔 林登鲍姆 Moshe 波拉特，以及Y. 耶霍舒亚·泽维图像渐进采样的最远点策略IEEETransactions on Image Processing ， 6 ： 1305-1315 ，1997。1[8] Natasha Gelfand、Leslie Ikemoto、Szymon Rusinkiewicz和Marc Levoy。ICP算法的几何稳定采样Proceedings ofthe IEEE International Conference on 3-D Digital Imagingand Modeling（3DIM），pages 260-267，2003. 1[9] Jacob Goldberger、Sam Roweis、Geoff Hinton和RuslanSalakhutdinov。邻域成分分析Proceedings of Advances inNeural Information Processing Systems（NeuralIPS），第513-520页，2005年。2[10] Zhizhong Han ， Xiyang Wang ， Yu-Shen Liu ， andMatthias Zwicker. Multi-Angle Point Cloud-VAE：通过联合自重建和半对半预测对多角度3D点云进行无监督2019年国际计算机视觉会议（ICCV）的进展。2[11] MichaelHimmelsbach、ThorstenLuettel和H-JWuensche。使用点特征直方图的3D点云中的实时对象分类。2009 IEEE/RSJ智能机器人和系统国际会议，第994-1000页，2009年。1[12] 罗曼·克洛科夫和维克多·伦皮茨基逃离细胞：用于识别3D点云模型的深度Kd网络。IEEE计算机视觉国际会议论文集，第863-872页，2017年。1[13] Loic Landrieu和Martin Simonovsky。基于超点图的大规模点云语义分割亲IEEE计算机视觉与模式识别会议（CVPR）的会议论文集，第4558-4567页，2018年。2[14] Chun-Liang Li，Manzil Zaheer，Yang Zhang，BarnabasPoc- zos，and Ruslan Salakhutdinov.点云GAN。arXiv预印本arXiv：1810.05795，2018。2[15] Jiaxin Li，Ben M Chen，and Gim Hee Lee. SO-Net：用于点云分析的自组织网络。IEEE计算机视觉和模式识别会议（CVPR）的论文集，第9397-9406页，2018年。2[16] Ruihui Li ， Xianzhi Li ， Chi-Wing Fu ， Daniel Cohen-Or，and Pheng-Ann Heng.PU-GAN：一个点云上采样广告 网 络 。 IEEE International Conference on ComputerVision（ICCV），2019。2[17] Xianzhi Li，Lequan Yu，Chi-Wing Fu，Daniel Cohen-Or，and Pheng-Ann Heng.3D形状上独特区域的无监督检测。arXiv预印本arXiv：1905.01684，2019。3[18] Yangyan Li，Rui Bu，Mingchao Sun，Wei Wu，XinhanDi，and Baoquan Chen. PointCNN：X变换点上的卷积。Proceedings of Advances in Neural Information ProcessingSystems（NeuralIPS），2018。一、二[19] Yi Li ， Wang Zhao ， He Wang ， Minhyuk Sung ， andLeonidas J. Guibas.GSPN：用于点云中3D实例分割的生成形状建议网络。IEEE计算机视觉和模式识别会议，第3947-3956页，2019年。2[20] 丹尼尔·刘，罗兰·于，苏浩。将对抗攻击和防御扩展到深度3D点云分类器。arXiv预印本arXiv：1901.03006，2019。2[21] Yongcheng Liu ， Bin Fan ， Shiming Xiang ， andChunhong Pan.基于关系-形状卷积神经网络的点云分析IEEE计算机视觉和模式识别会议论文集（CVPR），第8895-8904页2[22] Weixin Lu ，Guowei Wan ，Yao Zhou ， Xiangyu Fu ，Pengfei Yuan，and Shiyu Song.DeepICP：一个用于3D点云配准的端到端深度计算机视觉国际会议（ICCV），2019年。2[23] Carsten Moenning和Neil A.道奇森快速行进最远点采样。欧洲图形海报介绍，2003年。1[24] Ehsan Nezhadarya，Taghavi Ehsan，Bingbing Liu，andJun Luo. 点云分类的自适应分层下采样arXiv预印本arXiv：1904.08506，2019。3[25] Quang-Hieu Pham 、 Duc Thanh Nguyen 、 Binh-SonHua、Gemma Roig和Sai-Kit Yeung。JSIS3D：使用多任务逐点网络和多值条件随机场对3D点云进行联合语义实例分割。IEEE计算机视觉和模式识别会议论文集（CVPR），第8827-8836页，2019年。2[26] TobiasPl ótz和Ste f anRoth。神经最近邻网络Proceedingsof Advances in Neural Information Processing Systems（NeuralIPS），2018。2[27] Charles R. Qi，Or Litany，Kaiming He，and Leonidas J.Guibas 基于深度Hough投票的三维物体检测7588点云。计算机视觉国际会议（ICCV），2019年。一、二、三[28] Charles R.Qi ， Hao Su ， Kaichun Mo ， and LeonidasJ.Guibas PointNet：用于3D分类和分割的点集深度学习 。 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议 论 文 集（CVPR），第652-660页二、五[29] Charles R. Qi，Hao Su，Matthias Nießner，Angela Dai，Mengyuan Yan，and Leonidas J. Guibas用于3D数据对象分类的体积和多视图CNNIEEE计算机视觉和模式识别会议（CVPR）的论文集，第5648-5656页，2016年。2[30] Charles R.Qi，Li Yi，Hao Su，and Leonidas J.Guibas 点-Net++ ： 度 量 空 间 中 点 集 的 深 度 层 次 特 征 学 习 。Proceedings of Advances in Neura