学习如何采样：S-NET网络生成优化的简化3D点云及后处理步骤

2760学习取样Oren Dovrat特拉维夫大学orendovrat@mail.tau.ac.ilItaiLang特拉维夫大学itailang@mail.tau.ac.il沙伊·阿维丹特拉维夫大学avidan@eng.tau.ac.il摘要处理大型点云是一项具有挑战性的任务。因此，数据通常被采样到可以更容易处理的大小。问题是如何对数据进行抽样？一种流行的采样技术是法拉第点采样（FPS）。然而，FPS对于下游应用（分类、检索等）是不可知的基本假设似乎是，最小化最远点距离，如FPS所做的，是其他目标函数的一个很好的代理。我们表明，它是更好地学习如何采样。为此，我们提出了一个深度网络来简化3D点云。该网络被称为S-NET，采用点云并产生针对特定任务进行优化的较小点云。简化的点云不保证是原始点云的子集因此，我们在后处理步骤中将其与原始点的子集进行我们通过在两个标准数据集上进行实验，将我们的方法与FPS进行对比，并在各种应用中显示出明显更好的结果。我们的代码是公开的11. 介绍近年来，捕获3D数据变得越来越容易，并且在线可用的3D形状存储库的数量越来越多。这些数据可以用多种方式表示，包括点云、多视图图像和体素网格。点云仅包含有关3D对象表面的信息，而基于网格的表示还包含有关自由空间的数据，使前者更有效。然而，处理点云可能具有挑战性，因为它可能包含大量数据点。减少点的数量可以在许多方面是有益的，例如降低功耗、计算成本和通信负载等。减少数据负载的一种简单方法是随机采样点的子集。另一种方法，1https://github.com/orendv/learning_to_sample*同等贡献图1. 所提出的学习采样方法的说明。在训练阶段，S-NET生成传递给任务网络的点，该任务网络经过预训练并保持固定。最小化目标包含任务后者用作正则化器，并鼓励输入点和生成点之间的接近。在推理时，我们将S-NET生成的点与输入点云进行匹配，并获得其子集。然后，只有这些点被馈送到任务网络用于性能评估。在文献中常用的是法拉第点采样（FPS）[27，28，21]。这种采样方法考虑了点云的结构，并选择了一组彼此相距最远的点[6，24]。这些采样方法以及文献[3，18]中的其他方法根据非学习的预定规则进行操作。在过去的几年里，深度学习技术已经成功地应用于点云数据。在各种应用中，可以找到点云分类[27，28，21，42，30，36]，零件分割[27，28，21，30，36，20]，语义分割[27，21，36，34，32，12]和检索[35，17]。其他技术执行点云自动编码[1，38，8]，generation [1，33，19]，complete-[1]，[2]，[4]，[5]，[6]，[7]，[9]，[10]，[11]，[12]，[13]，[14]，[15]，[16]，[17]，[18]，[19]。然而，一个学习的点云采样方法，随后的任务目标，还没有被提出。我们提出了一个简化的网络，称为S-NET，它是基于PointNet的架构[27]。S-net培训S-net任务网络取样损失任务丢失固定共同目标推理匹配S-net拟议抽样任务网络固定评估指标输入点生成的点采样点2761学习生成更小（简化）的点云，该点云针对下游任务（如分类、检索或重建）进行了优化。简化的点云必须平衡两个冲突的约束。一方面，我们希望它保持与原始形状的相似性。另一方面，我们希望将其优化为后续任务。我们通过训练网络来生成一组满足两个目标的点来解决这个问题：抽样损失和任务损失。采样损失使得生成的点接近输入点云。任务丢失确保了点对于任务是最优的。FPS的一个优点是它对原始点的子集进行采样。相反，由S-NET产生的简化点云不能保证是输入点云的子集。为了解决这个问题，我们在推理时执行后处理步骤，其中我们将生成的点与输入点云进行匹配并获得其子集，即，一组采样点（见图1）。实验表明，使用我们的采样点相比FPS的几个任务取得了更好的效果我们的方法可以被认为是一种特征选择机制[9，16]。每个点都是潜在形状的一个特征，我们试图选择对任务贡献最大的点它也可以被解释为视觉注意力的一种形式[22，14]，将后续任务网络集中在重要点上。S-NET被训练为输出固定的样本大小，这意味着我们需要为每个目标大小训练不同的S-NET。为了克服这 个 限 制 ， 我 们 引 入 了 一 个 扩 展 的 S-NET 称 为ProgressiveNet。ProgressiveNet按任务的重要性对点数这允许在推理时选择样本大小，从而允许根据需求和可用资源进行动态详细级别管理。提出的采样方法适用于三个不同的任务：点云分类、检索和重建。 我们将我们的方法与常见的非数据驱动方法进行比较：随机抽样和FPS。对于第一个任务，我们表现出更好的分类精度;在第二个中，我们显示了改进的检索结果;最后得到了较低的重建误差。总而言之，我们的主要贡献是：• 点云• 一种渐进抽样方法，根据点与任务的相关性对点进行排序;• 改进了点云分类、检索和采样点云重建2. 相关工作点云简化和采样点云简化[25，23]或采样的几种技术[15，5]在文献中已经提出。Pauly等[25]提出并分析了几种点采样曲面的简化方法，包括：聚类方法、迭代简化和粒子模拟。这些算法所得到的简化点集并不局限于原点集的子集。在Moenning和Dodgson [23]的工作中采用Faradian点采样作为一种手段，以统一和特征敏感的方式简化几何形状Katz和Tal [15]提出了一种视图相关算法来减少点的数量。他们使用隐藏点去除和目标点遮挡算子，以提高人类对采样点集的理解最近，Chenet al. [5]采用基于图形的滤波器来提取每点特征。保存特定信息的点可能由其采样策略选择。所需的信息被认为是有益的后续应用。上述采样方法旨在优化各种采样目标。然而，它们并不直接考虑要执行的任务的目标。逐步简化在一篇开创性的论文中，霍普[11]提出了一种渐进网格简化技术，第在他的方法的每一步中，一个边缘被折叠，这样就引入了最小的几何失真。Hanockaet al. [10]提出了一种执行任务驱动的网格简化的神经网络。它们的网络依赖于网格顶点之间的边。此信息不适用于点云。一些研究人员研究了点集压缩的主题[26，13，29]。采用八叉树数据结构对点云数据进行渐进编码。压缩过程的目标是低失真误差。点 集 上 的 深 度 学 习Qiet al 的 开 创 性 工 作 。[27]PointNet是第一个直接对无序点云数据进行操作的神经网络。他们通过逐点多层堆叠、对称池操作和几个完全连接的层来构建网络。PointNet被用于分类和分割任务，并显示出令人印象深刻的结果。为了评估PointNet对减少输入点数量的适用性，他们使用了随机抽样和FPS。在我们的工作中，我们提出了一个数据驱动的采样方法，提高了分类性能与采样集相比，这些采样方法。后来，Qiet al.扩展了他们的网络架构，用于分层特征学习[28]。在训练阶段，通过FPS选择用于局部特征聚合的质心点。与他们之前的工作类似[27]，FPS用于评估他们的网络在较少输入点上运行的能力。27622Li等[20]建议通过自组织映射（SOM）学习特征聚合的质心点。他们使用点和SOM节点之间的特征传播，并显示了点云分类和零件分割的改进结果。作为预处理步骤，单独优化SOM在Qiet al. [27]，Achlioptaset al. [1]为点云开发了自动编码器和生成对抗网络。而不是形状类或每点标签，他们的网络输出是一组三维点。在这项工作中，我们应用我们的采样方法的任务点云重建与Achlioptas等人提出的自动编码器。一些研究人员解决了点云合并的问题。Yu等人[40]从网格模型的测地线补丁中提取点云。他们对点集进行随机采样，并训练一个网络来重建原始补丁点。他们的后续工作[39]结合了边缘信息以提高重建精度。Zhang等人[43]研究了采样策略对点云上采样的影响。他们使用Monte-Carlo随机抽样和基于曲率的抽样。他们的网络经过训练，从样本中产生固定大小的点云。与这些工作相比，我们的研究重点是下采样策略。3. 方法问题陈述给定点集P={pi∈R3，i=在训练阶段，生成的点被馈送到任务网络。通过最小化任务损失，将点优化到手头的任务。我们使用了一个额外的采样正则化损失项，它鼓励每个生成的点靠近一个输入点，并迫使生成的点分布在输入云上。在推理时，将生成的点与输入点云进行匹配，以获得其子集。这些是采样点，即我们过程的最终输出。这些点通过任务网络，并评估其性能。我们提供两个采样版本：S-NET和Progres-siveNet。在第一个版本中（图1），我们根据样本大小训练不同的采样网络。在第二个（图2）中，我们训练了一个网络，该网络可用于产生小于输入大小的任何样本大小。3.1. 净S-NET的体系结构遵循Qi等人的体系结构。[27]第10段。输入点经过一组1×1卷积层，得到每个点的特征向量。然后，使用对称特征最大池化操作来获得全局特征向量。最后，我们充分利用几连接层。最后一层的输出是生成的点集。让我们将生成的点集表示为G，将输入点集表示为P。我们构造了一个采样正则化损失，由三项组成：1、. . . ，n}，样本大小k ≤ n和任务网络T，找到一个k个点的子集S，它最小化任务网络1ΣL f（G，P）=min ||g− p||第二章目标函数f：S=argminf（T（S）），S P，|S|= k≤ n。（一）|g ∈ G p ∈ P|g∈Gp∈PL m（G，P）= max min ||g− p||2（三）Sg∈Gp ∈P2这个问题提出了一个挑战， 采样可能1L（ G，P）=Σ min||p − g||二、（四）似乎类似于池化，但在池化中，池化的价值是向前传播，所以相对于它的梯度可以B|P| p∈P g∈G2被计算。然而，离散采样就像因此，不能直接训练采样操作。因此，我们提出了一个两步的过程：首先，我们采用神经网络，即，S-NET，生成一组点。其次，我们将生成的点与输入点云进行匹配以获得其点的子集，即，采样点。图1示出了该过程。S-NET的输入是一组n个3D坐标，即Lf和Lm分别在平均和最坏情况下使G中的点接近P中的点。这是为了鼓励在以下匹配过程中紧密匹配。我们发现，混合平均值和最大值操作加速收敛。Lb确保生成的点很好地分布在输入点上，从而减少匹配过程中的碰撞采样正则化损失是这三项的加权和：点，表示3D形状。S-NET的输出是k生成点。 S-NET之后是一个任务网络。Ls（G，P）=Lf（G，P）+βLm（G，P）+（γ + δ|G|）Lb（G，P）.（五）任务网络在n个点的输入上进行预训练，以在点云上执行给定任务（即，分类、检索或重建）。它在S-NET的训练和测试期间保持固定。这确保采样针对任务进行优化，而不是针对任意采样对任务进行优化。注意，这是倒角距离[7]的推广，当β=0，γ=1和δ= 0时实现。此外，我们将L任务表示为任务网络损失。总的S-NET损失为：LS−NET（G，P）=Ltask（G）+αLs（G，P）（6）276322672 13610ProgressiveNet11151585121433431194任务Task网络网络任务网络任务Task损失损失取样取样损失损失任务丢失取样损失总体目标培训其中α控制正则化权衡。S-NET的输出是一个k×3矩阵，其中k是样本量，我们为每个k单独训练。3.2. 匹配生成的点G不保证是输入点P的子集。为了得到输入点的子集，我们将生成的点与输入点云进行匹配。一种广泛使用的匹配两个点集的方法是地球移动器距离（EMD）[1，41，43，7]。EMD在集合之间找到一个使对应点的平均距离最小化的双射，而点集需要具有相同的大小。然而，在我们的例子中，G和P的大小不同。我们研究两种匹配方法。第一个适应EMD不均匀点集。第二种方法是基于最近邻匹配.在这里，我们描述了后者，它产生了更好的结果。读者可参考补充材料了解其他匹配方法的详细信息在基于NN的匹配中，每个点x∈G被替换为其最接近的欧几里得对应点y∈P：y=argmin||x − y||二、（七）y∈P由于G中的几个点可能最接近P中的同一点，因此唯一采样点的数量可能小于请求的样本大小。因此，我们去除了持续时间点，得到了一个初始采样集。然后，我们通过运行最远点采样（FPS）[28]来完成这个集合，直到G的大小，其中在每一步中，我们从P添加一个点，该点距离当前采样集合最远。匹配过程仅在推理时应用，作为推理的最后一步。在训练期间，生成的点由任务网络按原样处理，因为匹配是不可区分的，并且不能将任务丢失传播回S-NET。3.3. ProgressiveNet：按顺序采样S-NET被训练为将点采样到单个预定义的样本大小。如果需要多个样本量，则但是，如果我们想训练一个可以产生任何样本大小的网络以任意采样率对输入 进 行 采 样 ？ 为 此 ， 我 们 提 出 了 ProgressiveNet 。ProgressiveNet被训练为获取给定大小的点云，并返回由相同点组成的相同大小的点云。但是，虽然输入的点是任意排序的，但输出的点是根据它们与任务的相关性排序的。这允许对任何样本大小进行采样：为了获得大小为k的样本，我们只需取ProgressiveNet输出点云的前k的体系结构ProgressiveNet与S-NET相同，最后一个全连接层的大小等于输入点云的大小（有3n个元素）。图2. ProgressiveNet培训。所生成的点被分成大小递增的组，使得每个组是下一个更大组的子集。每个组都有相应的任务和抽样损失。总目标是每组损失的总和。任务网络是预先训练的，并保持固定。为了训练ProgressiveNet（图2），我们定义了一组大小C s={21，22，.，2log2（ n）}。对于每个大小c∈C s，我们计算一个任务损失项和一个采样正则化损失项，使得ProgressiveNet的总损失变为：ΣLProgressiveNet（G，P）=LS−NET（Gc，P））（8）c∈Cs其中LS−NET是公式6中定义的损失项，Gc是由Pro-gressiveNet生成的点中的前c个点（输出层的前3个c个元素该损失函数定义了点子集的嵌套结构例如，由 两 个 点 组 成 的 第 一 个 子 集 ， 在 所 有 项 LS−NET（Gc，P）中使用，其中c≥2。因为这个子-集合在所有术语中使用，它包含在所有较大的子集中。类似地，前4个点定义第二子集，其包括第一子集并且是所有较大子集的一部分。在这个训练过程中，前k个生成的点（对于任何k个）被优化为既适合于手头的任务作为独立的集合，又适合于与它们的前点集成，以创建将改善给定任务的结果的更大的集合。这确保了对任务更重要的点将更早地出现在生成的点集中，而额外的点将给出递减的边际效用，从而导致点云的面向任务的渐进分解[31]。在推理时，生成的点（ProgressiveNet我们将生成的点的顺序转移到它们的匹配点。为了获得特定的样本大小k，我们取前k个采样点。27644. 结果我们将S-NET应用于三个任务：点集分类[27]、检索与重建[1]。对于分类和检索，我们采用Qi等人提供的ModelNet40 [37]点云数据。[27]和PointNet [27]作为任务网络。对于重建，我们使用ShapeNet Core55存储库[4]和Achlioptas等人的点集自动编码器。[1]的文件。随机采样和FPS被用作替代的非数据驱动的采样方法，用于与100.090.080.070.060.050.040.030.020.010.00.01 2 4 8 16 32 64 128采样率（log2标度）256 512我们建议的方法。为了进行公平的比较，我们只使用匹配过程后的S-NET点，所以我们的采样点和替代方法的点都是输入点云的子集。更多的实验细节可以在补充材料中找到。4.1. 分类我们报告了Model-Net 40数据集上的实例分类结果，采用了官方的训练测试分割。我们使用完整版的PointNet 作 为 S-NET 的 任 务 网 络 ， 使 用 普 通 版 的PointNet作为Pro- gressiveNet的任务网络（以节省训练时间），除非另有说明。S-NET图3显示了PointNet在完整数据（每个点云1024个点）上进行训练并在不同大小的样本上进行测试时我们比较了几种不同的采样方法：在输入点、FPS和S-NET上具有均匀分布的随机采样。我们训练了10个不同的S-NET，k ∈ {2，4，8，. . . ，1024}点。 采样率定义为n/k=1024/k。我们观察到，使用S-NET采样点的分类精度等于或在任何抽样比率下，均优于使用FPS表1显示，在S-NET采样的点上训练PointNet时，其准 确 性 也 更 高 。 此 表 中 的 每 个 数 字 代 表 不 同 的PointNet，每个数字都在使用不同采样方法采样的特定大小的点云上进行训练和测试。例如，我们看到，在仅16个点的点云上进行训练和测试的PointNet在使用S-NET时达到了 85.6%的准确率，而使用FPS时只有76.7%。这表明，S-NET并没有过度拟合到它所训练的分类器的特定实例。相反，它以一种使采样集易于分类的方式对点进行采样，从而在数据中的不同类别之间创建强烈的区分。在图4中，我们比较了PointNet vanilla在由S-NET采样的点上的准确性（在本例中，使用PointNet vanilla进行训练）和由Progres-siveNet采样的点上的准确性。对所有样本量进行了评价，图3. 用于分类的S-NET。PointNet在完整的点云（1024个点）上进行训练，并使用不同的采样方法在测试集的采样点云上进行评估：随机、FPS和S-NET。使用S-NET的精度明显较高。采样点随机FPSS-net102489.289.289.251288.288.387.825686.688.188.312886.287.988.66481.586.187.73277.082.287.31665.876.785.6845.861.683.6426.935.273.4216.618.353.0表1. 在采样点云上训练PointNet分类器。 我们使用不同的采样方法对训练和测试数据进行采样：随机抽样、FPS和S-NET。然后，PointNet在采样数据上进行训练和评估。应用S-NET允许良好的分类，即使用最少的数据进行训练。我们的结论是，S-NET将数据转换成一个更可分离的表示。范围[2，1024]。S-NET结果来自10个不同的S-NET，每个S-NET针对特定的样本量进行训练，对于k∈ {2，4，8，.. . .，1024}点。对于这些值之间的样本量，我们采用了经过训练的S-NET，一个较低的样本量，然后完成与FPS所需的大小。例如，为了获得大小为48的样本，我们将经过训练的S-NET采样的点采样为32个点，然后进行16步FPS。Progressive 结 果 来 自 一 个 输 出 大 小 为 1024 的ProgressiveNet该模型是用大小为C s={2，4，8，. . . ，1024}。我们观察到，S-NET在训练的样本量上具有更好的性能，而ProgressiveNet在两者之间的任何样本量上都表现得更好。这显示了ProgressiveNet的优势，它按优先级对点进行排序，因此精度在样本大小中近似随机FPSS-net分类精度2765100.090.080.070.060.050.040.030.020.010.00.0FPSS-netProgressiveNet1 2 4 8 16 32 64 128 256 512采样率（log2标度）图4. ProgressiveNet与S-NET。PointNet vanilla在完整的点云（1024个点）上进行了训练，并在范围[2，1024]内的每个样本量k上进行了评估。采样率定义为1024/k。我们比较了三种不同的采样方法：FPS、S-NET和ProgressiveNet。S-NET更适合训练的样本量，而ProgressiveNet更适合两者之间的样本量。S-NET的可伸缩性S-NET假设任务网络已经被训练过。这将在非常大的点云的情况下导致问题。我们证明了可以在FPS采样点云上训练任务网络，并使用它来训练S-NET。然后，可以使用所产生的S-NET来重新训练任务网络，以达到更高的精度。有关拟议培训和测试程序的说明，请参见图5。下面的小规模模拟证明了这一点：我们使用FPS对ModelNet40进行采样，每个点云k=32个点，并在这些采样点上训练PointNet。这是我们的基线。测试集上基线的准确率当我们用大小为1024的点云来训练PointNet时，准确率只有46.6%。 然后我们训练的S-NET，使用32大小的点云训练集，和 基 准 PointNet 作 为 任 务 网 络 。 然 后 我 们 再 次 对ModleNet 40进行采样，使其大小k=32，这次使用的是S-NET 。 最 后 ， 我 们 在 S-NET 采 样 的 点 上 训 练PointNet。重新训练的PointNet在测试集上的准确率提高到86.0%。使用S-NET可以让我们提高PointNet时间和空间考虑PointNet类网络的时间复杂度由其每点卷积层决定，因此强烈依赖于输入点云的大小S-NET的空间复杂度是其输出大小k的线性函数。S-NET提供了空间（参数数量）和推理时间（浮点运算数量）之间的例如，与在完整的点云上运行PointNet相比，使用后续PointNet对1024到16个点的点云进行采样的级联S-NET将推理时间减少了90%以上，而空间仅增加了5%。详见补充材料。图5. S-NET的可扩展性。大型点云的拟议训练和推理过程的说明。在第一阶段，我们使用FPS将点云采样到可训练的大小，并使用采样的点云来训练任务网络。在第二阶段，我们在采样点云上训练S-NET，采用固定任务网络。在第3阶段，我们应用S-NET对大型点云进行重新采样，在第4阶段，我们再次训练任务网络，这次是在S-NET的点上。在推理时，我们使用S-NET对大型点云进行采样，以达到任务网络训练的大小。近似采样到目前为止，我们应用匹配后处理步骤来直接与FPS进行比较。然而，可能存在其中k个输出点不必是原始点云的子集在这种情况下，我们可以直接使用S-NET生成的点，放弃匹配步骤。可以使用生成的或采样的点。第三种选择是在两者之间进行插值，即，使用与原始输入点相距最多1000这是通过将每个生成的点与其匹配的采样点进行插值来完成的，以在它们之间的直线上获得第三个点，该第三个点与采样点的距离不超过1/2图6显示了PointNet对于标准化为单位球面的点云，我们发现选择θ = 0。05导致分类精度大约在采样点和生成点的精度之间的中间请注意，在推理时设置了R0关键集抽样关键集，如Qi等人所定义。[27]是构成最大池化特征的点集。我们的方法的一个合理的替代方案可能是对贡献最多特征的临界点进行采样。我们尝试了这种方法，发现它只在小的采样率下可行。在柔软的材料中查看全部细节。4.2. 检索我们现在表明，采用S-NET而不是FPS会导致更好的检索结果。具体来说，我们将用PointNet训练的用于分类的S-NET作为任务网络，而不重新训练它。我们对这些点进行了取样分类精度2766采样生成近似值（= 0.05）精度100.01.090.080.00.870.060.00.650.040.00.430.020.010.00.01 2 4 8 16 32 64 128 256 512采样率（log2标度）0.20.00.2 0.4 0.6召回图6. 近似抽样。PointNet在完整的点云（1024个点）上进行训练，并在不同大小的点云上进行评估我们使用S-NET的生成点和采样点，以及第三组点，其中每个点都是生成点和采样点之间的插值，边界不超过0。05远离原始输入点。当偏离原始点不是问题时，近似采样可以实现更高的精度图7. 用于点云检索的精度-召回曲线。我们比较了FPS和S-NET在采样32点时的性能，以及使用完整的1024点数据。与FPS相比，使用S-NET在所有召回值上都实现了更好的精度。4.3. 重建接下来我们学习使用自动编码器作为任务网络进行采样。我们使用ShapeNet Core 55点云数据表2. 点云检索。我们采用了相同的S-NET，与PointNet分类器训练的任务网络，并将其作为检索的采样方法。形状描述符是PointNet我们测量了不同采样率和方法的宏观平均精度（mAP）S-NET执行对于大采样率，它比FPS更好，并且几乎对采样率不敏感。将其输入PointNet并使用其倒数第二层作为形状描述符。基于该形状描述子的L2我们将ModelNet40测试集中的每个形状作为查询形状重复了这个实验。对于S-NET和FPS，使用不同的样本量重复实验。表2总结了不同采样率和采样方法的平均精密度（mAP）我们看到，S-NET在采样率大于4时表现更好图7显示了原始数据和使用FPS和S-NET的采样数据的精确度-召回率曲线，每个形状采样k我们观察到显着更好的精度时，应用S-NET在所有的召回值。在采样方法中，我们使用归一化重建误差（NRE）。也就是说，我们从点的子集和从完整的点集重建完整的点集，并取两者之间的重建误差比。我们用以下样本量训练了几个S-NETk∈ {16，32，. . . ，2048}，以及具有相同大小的损失项的单个ProgressiveNet。作为替代抽样我们使用FPS。归一化重建误差图8将NRE表示为采样率的函数，其中采样率定义为n/k = 2048/k。 我们比较FPS与S-NET和ProgressiveNet。对于小采样率，我们采样点的NRE与FPS相似然而，随着采样率的增加，我们的采样方法优于FPS。例如，在采样率为32时，FPS的NRE略高于2，而S-NET和ProgressiveNet的NRE约为1。5和1. 75、分别S-NET实现了比ProgressiveNet更低的NRE，因为前者是根据采样率单独优化的，从而提高了重建性能。 我们学习从看不见的形状中采样点，从而降低重建误差。样本和重建可视化图9比较了来自整个点云的重建结果完整输入- 1024点FPS - 32点S-NET - 32点分类精度采样率FPS mAPS-NET mAP由Achlioptas等人提供。[1]，也是他们的座右铭。171.371.3编码器并在四个形状类上训练它：桌子、汽车、椅子270.169.8和飞机。这些类具有最可用的mod-465.764.8埃尔斯每个形状类别分为85%-5%-10%用于列车-858.360.4验证测试集。自动编码器经过训练，1649.459.0并重建2048个点的点云。3237.759.0测量了编码器的重构误差6427.454.5”[1]“以”“。为了比较不同-27674.03.53.02.52.01.51.0FPSProgressiveNetS-NET1 2 4 8 16 32 64采样率（log2标度）图 8. 归 一 化 重 建 误 差 （ Normalized Reconstruction Error ，NRE） 我们在2048个点的完整点云上训练了一个自动编码器，并在测试分割上使用FPS，S-NET和ProgressiveNet评估了 采 样 点 云 的 重 建 误 差 。 当 采 样 率 为 8 时 ， S-NET 和ProgressiveNet的误差与FPS相当。然而，在更高的采样率下，S-NET和Progres- siveNet实现了更低的误差。从64个点的样本大小，其中样本由S-NET或FPS产生。使用S-NET的重建质量高于FPS，接近使用整个点云的重建质量。有趣的是，由S-NET采样的点是非均匀分布的，而FPS采样的点的分布更均匀。对抗性简化在这个概念证明中，我们展示了如何欺骗自动编码器。我们将点云简化为视觉上类似于一个类，但由自动编码器重建为不同类的形状。我们用一对输入和目标形状训练S-NET，其中输入是来自一个类的形状，目标是来自另一个类的形状。采样损失在输入点和S-NET生成的点之间。重建损失介于目标形状和重建形状之间图10显示了将飞机变成汽车的结果5. 结论我们提出了一种学习如何对针对下游任务进行优化的点云进行采样的方法该方法包括一个简化的网络，S-NET，其次是一个后处理匹配步骤。我们还提出了一个网络，称为ProgressiveNet，用于根据每个点对任务的贡献对点云进行排序由此产生的方法在几个任务的采样点方面优于FPS：点云的分类、检索和重建。所提出的方法是通用的，可以产生一个小的点云，由不一定是原始输入形状的一部分的点。输出点云最小化相对于输入点完成输入S-NET FPS NRE = 1.00 NRE = 1.11NRE = 2.38图9. 点云重建。NRE是Normalized Reconstruction Error的缩写。顶行：完整的输入点云2048个点，输入64个S-NET采样点（绿色），输入64个FPS点（洋红色）。为了可视化的目的，采样点和FPS底行：从输入和从对应的样本重建的点云。由S-NET采样点重构的点云图10. 对立的简化。顶行：输入形状（蓝色）和256个生成点（红色）。底行：目标形状和从生成的点重建虽然简化的点云类似于输入的飞机形状，但它被重建为一个完全不同的形状-汽车！云，同时优化下游任务的目标函数。我们已经证明，学习采样可以改善结果，并与各种应用程序结合使用致谢：本研究的部分内容得到了ISF 1917/15的资助。归一化重建误差2768引用[1] Panos Achlioptas，Olga Diamanti，Ioannis Mitliagkas，and Leonidas J Guibas. 3D点云的学习表示和生成模型。国际学习表征会议（ICLR），2018。[2] Shubham Agrawal和Swaminathan Gurumurthy。基于潜在优化的点云高逼真度语义形状完成。IEEE WinterConferenceonApplicationsofComputerVision（WACV），2018年。[3] Marc Alexa，Johannes Behr，Daniel Cohen-Or，ShacharFleishman，David Levin，and Claudio T.席尔瓦点集表面。IEEE可视化会议论文集，第21-28页[4] 天使XChang，Thomas Funkhouser，Leonidas Guibas，Pat Hanrahan ， Qixing Huang ， Zimo Li ， SilvioSavarese ， Mano-lis Savva ， Shuran Song ， Hao Su ，Jianxiong Xiao，Li Yi，and Fisher Yu.ShapeNet：一个信息丰富的3D模型库。arXiv预印本arXiv：1512.03012，2015。[5] 陈思恒，田冬，陈峰，安东尼·维特罗，杰莱娜·科瓦埃维.基于图形的三维点云快速重建IEEE Transactions onSignal Processing，66：666[6] Yuval 灵族 迈克尔 林登鲍姆 Moshe 波拉特，以及Y. 耶霍舒亚·泽维图像渐进采样的最远点策略IEEETransactions on Image Processing，6：1305[7] Haoqiang Fan，Hao Su，and Leonidas J Guibas.从单幅图像重建三维物体的点集生成网络IEEE计算机视觉和模式识别会议（CVPR），2017年。[8] 放 大 图 片 作 者 ： David G. Kim ， Bryan Russell ，andMathieuAubry. AtlasNet：一个学习3D表面生成的方法。 IEEE计算机视觉与模式识别会议（CVPR），2018年。[9] Isabelle Guyon和Andr Elisseeff。变量和特征选择的介绍.机器学习研究杂志，第1157-1182页[10] Rana Hanocka、Amir Hertz、Noa Fish、Raja Giryes、Shachar Fleishman和Daniel Cohen-Or。MeshCNN：一个边缘网络。arXiv预印本arXiv：1809.05910，2018。[11] Hugues Hoppe渐进网格。ACM计算机图形学特别兴趣小组会议录（SIG-GRAPH），第99-108页[12] Binh-Son Hua、Minh-Khoi Tran和Sai-Kit Yeung。逐点卷积神经网络。IEEE计算机视觉和模式识别会议，2018年。[13] 黄燕，彭景良，C.- C. Jay Kuo和M. 戈比基于八叉树的点云渐进几何编码。《欧洲图形学研讨会关于基于点的图形的论文集》，第103-110页[14] Ba Jimmy，Volodymyr Mnih，and Koray Kavukcuoglu.具有视觉注意的多目标识别2015年国际学习表征会议（International Conference on[15] Sagi Katz和Ayellet Tal。提高点集的直观性。IEEE计算机视觉和模式识别会议论文集（CVPR），第121-128页[16] Ron Kohavi和George H.John. 用于特征子集选择的包装器人工智能，第273-324页[17] 邝振中，俞军，范建平，谭敏。三维模型检索的深点卷积方法2018年IEEE多媒体与博览会国际会议（ICME）主办方[18] 林森·拉尔斯点云表示。技术报告，卡尔斯鲁厄大学计算机科学，2001年。[19] Chun-Liang Li，Manzil Zaheer，Yang Zhang，BarnabasPoc- zos，and Ruslan Salakhutdinov.点云GAN。arXiv预印本arXiv：1810.05795，2018。[20] Jiaxin Li，Ben M Chen，and Gim Hee Lee. SO-Net：用于点云分析的自组织网络。IEEE计算机视觉和模式识别会议，2018年。[21] Yangyan Li，Rui Bu，Mingchao Sun，Wei Wu，XinhanDi，and Baoquan Chen. PointCNN：X变换点上的卷积。Proceedings of Advances in Neural Information ProcessingSystems（NIPS），2018。[22] Volodymyr Mnih ， Nicolas Heess ， Alex Graves ， andKoray Kavukcuoglu.视觉注意的循环模型。神经信息处理系统进展（NIPS），2014年。[23] Carsten Moenning和Neil A.道奇森一种新的点云简化算法。2003年IASTED可视化、成像和图像处理国际会议论文集[24] Carsten Moenning和Neil A.道奇森快速行进最远点采样。欧洲图形海报介绍，2003年。[25] Mark Pauly，Markus Gross，and Leif P.科比特点采样曲面的高效简化。IEEE可视化会议论文集，2002年。[26] Jingliang Peng和C.-C. 郭杰基于八叉树的渐进几何编码器。SPIE会议记录，第301-311页，2003年。[27] Charles R Qi， Hao Su ，Kaichun Mo， and Leonidas JGuibas.PointNet：用于3D分类和分割的点集深度学习。IEEE计算机视觉和模式识别会议论文集（CVPR），第652-660页[28] Charles R Qi，Li Yi，Hao Su，and Leonidas J G