基点集：点云高效学习的方法

4332基于基点集的点云高效学习谢尔盖·普罗库金德国图宾根马克斯·普朗克智能系统sergey. tuebingen.mpg.de克里斯托夫·拉斯纳亚马逊Tubingen，German yclassner@amazon.comJavier Romero†Amazon巴塞罗那，西班牙javier@amazon.com摘要随着3D扫描技术的日益普及，点云作为日常场景的丰富表现形式正逐渐成为计算机视觉的焦点。然而，由于它们的无序结构，机器学习算法很难处理它们。一种常见的方法是应用占用网格映射，这大大增加了存储的数据量，同时通过离散化丢失了细节。最近，提出了深度学习模型来直接处理点云并实现输入排列不变性。然而，这些架构通常使用增加数量的参数，并且计算效率低。在这项工作中，我们提出了基点集（BPS）作为一种高效和完全通用的方法来处理点云与机器学习算法。基点集表示是可以有效计算的残差表示，并且可以与标准神经网络架构和其他机器学习算法一起使用。使用所提出的表示作为一个简单的全连接网络的输入，使我们能够在形状分类任务上匹配PointNet的性能，同时使用三个数量级的浮点运算。在第二个实验中，我们展示了如何提出的表示可以用于注册高分辨率网格嘈杂的3D扫描。在这里，我们提出了第一种方法，用于单通道高分辨率网格配准，避免了耗时的每次扫描优化，并允许实时执行。1. 介绍点云数据变得比以往任何时候都更加普遍：任何人都可以使用易于使用的摄影测量软件从一组照片中创建点云，或者使用全球范围内众多消费级深度传感器之一来直接这些传感器将很快被用于在亚马逊实习期间，最后两位作者同样参与了图1. 点云的基点集编码。点云X={x1，. . .，xn}是固定长度的特征向量，计算为到固定点集的最小距离B= [b1，.，bk]T.这种表示可以用作任意机器学习方法的输入，特别是它可以用作现成神经网络的输入。与占用网格编码或专门的神经网络架构相比，这导致了实质性的性能增益，而不会牺牲预测的准确性在我们日常生活的大多数方面，自动驾驶汽车记录街道和城市环境，VR和AR设备定期记录我们的家庭环境。由此产生的数据为计算机视觉研究提供了巨大的机会：它为图像数据补充了深度信息，并开辟了新的研究领域。然而，点云数据本身是非结构化的。这导致了各种各样的问题：（a）点云没有固定的基数，其大小取决于记录的场景。他们也没有'登记'的意义上说，在相同或相似场景的记录中找到点之间的对应关系并不是微不足道的（b）点4333图2. 概述了我们提出的模型，用于将网格配准到噪声扫描的任务。计算出的到所选基点集的最小距离作为输入提供给具有两个完全连接层的两个块的简单密集网络。该模型直接预测网格顶点位置，向前传递的时间不到1ms。我们还提出了一个模型的形状分类;见第二节。五是细节。云没有邻居的概念。这意味着目前还不清楚卷积（深度学习中的关键操作之一）应该如何执行。在本文中，我们提出了一个新的解决方案，上述问题，特别是变化的云基数。如图所示，参见Fig. 1.一、我们建议将点云编码为到一组固定点的最小距离，我们 称 之 为 基 点 集 。 这 种 表 示 比 经 典 的 广 泛 的occupational grid有效得多：它将每个点云缩减为相对较小的固定长度向量。向量长度可以被调整以满足特定应用的计算约束，并且表示编码的保真度和计算效率之间的折衷。与点云的其他编码相比，所提出的表示也具有优势，在保留表面的高频信息所需的值的数量方面更有效。给定其固定长度，所提出的编码可以与大多数标准机器学习技术一起使用。由于人工神经网络的广泛性和准确性，本文主要采用人工神经网络来建立模型。特别是，我们分析了两个应用中的编码性能：点云分类和噪声3D扫描上的网格配准（c.f.，图2）的情况。对于点云分类，我们在ModelNet40 [46]形状分类基准上实现了与PointNet [34]相同的准确性，同时使用了数量级更少的参数和数量级更少的浮点运算。为了证明编码的多功能性，我们展示了它如何用于网格任务虽然在FAUST数据集[2]上显示出与最先进方法的竞争性能，但我们方法的主要优势是能够在单次前馈过程中从噪声扫描中生成对齐的高分辨率网格这甚至可以在非GPU膝上型计算机上实时执行，不需要额外的后处理步骤。我们为这两个任务提供代码，以及在其他项目中使用的库1。2. 相关工作在本节中，我们将描述现有的3D数据表示和模型，并将它们与所提出的方法相关联。我们专注于与深度学习模型兼容的表示，因为它们在各种3D形状分析任务上具有高性能。点云。 提出了许多直接处理3D点云的方法[34，36，41，47，25]，其中PointNet系列模型最受欢迎。这种方法使用一个小的神经网络单独处理每个点，然后使用池化操作进行聚合步骤，以推断整个点云。在其他作品中也提出了类似的基于池化的方法，用于在一般无序集上实现特征不变性[47]。直接在点云上工作的其他方法将数据组织在kd树和其他图形中[23，12，24]。这些结构定义了一个邻域，因此可以应用卷积运算。反之亦然，可以为稀疏3d数据设计特定的卷积滤波器[44，41]。登记 我们使用编码的向量作为输入到一个新的-直接预测网格顶点位置的RAL网络。1https://github.com/sergeyprokudin/bps4334我x∈X我我们从这些作品中借用了几个想法，例如使用kNN方法有效地搜索局部邻域，或者通过在计算到基点的距离上使用池化操作来然而，我们认为，与现有的点云网络相比，提出的编码和模型架构提供了两个主要优势：（a）更高的计算效率和（b）概念上更简单，易于实现的算法，不依赖于特定的网络架构或需要自定义神经网络层。占领电网。与2D图像的像素类似，ocu网格是编码3D信息的自然方式。提出了许多以occulus网格作为输入的深度模型[29，35，30]。然而，这种编码的主要这导致需要大量的数据来准确地表示表面。即使是相对较大的网格，我们的狗-我们的编码方案可以准确地保留具有任意拓扑结构的物体的表面信息，正如我们在第二节中的实验所示4.第一章我们现在描述用于从给定点云构造提议的基点表示的算法3. 方法标准化。所提出的编码算法以一组点云作为输入X={Xi，i=1，. . .，p}。每个点云可以有不同数量的点ni：Xi={Xi1，. . . ，xin}，xij∈ Rd，（1）其中，对于3D点云的情况，d = 3。在第一步骤中，我们将所有点云归一化为一个适合一个单位球：xij−Ex <$Xxij租用内存标准（1283，2563）不足以支持x为IJ伊日，J.（二）高频表面的精确表示，人体 同时，这种体素化最大值x∈Xi xij−ExijXixij在用于表示3D表面时会导致非常稀疏的体积：大部分体积测量值为零。这使得该表示在多种方式上是低效的表面描述符。有许多方法可以解决这个问题[45，37]。然而，表示高频细节的问题仍然存在，以及运行卷积的大内存占用和低计算效率。有符号的距离场。截断有符号距离场（TSDF）[8，31，38，42，48，9，33]可以被视为占用网格的自然扩展：它们在网格单元中存储到表面的距离信息，而不是简单的占用标志。虽然这部分解决了表示表面信息的问题，但对内存的立方要求和卷积的低计算效率仍然存在。相比之下，我们的方法可以被看作是一个使用任意子集的点从距离场。的BPS施工。接下来，我们形成一个基点集。 对于这个任务，我们从给定半径r的球中采样k个随机点：B=[b1，.， bk]T，bj∈Rd，n bjn <=r.（三）值得一提的是，这个集合是任意的，但对于数据集中的所有点云都是固定的。r和k是该方法的超参数，并且k可以用于确定计算复杂度和表示的保真度之间的折衷。特征计算。接下来，我们通过计算从每个基点到所考虑的点云中最近点的最小距离，为数据集中的每个点云形成特征向量：关键的区别是，我们采样的距离场是无符号的，并且没有截断，样本的数量是xB=[min我伊日d（b1，xij），. . .，minxij∈Xid（bk，x（i，j）]T，与原始云中的点的数量成比例。我们进一步调查占用网格，TSDF和BPS之间的连接。4.1.2D投影另一种常见的策略是将3D形状投影到2D表面，然后应用标准框架-xB∈ Rk.（四）或者，可以以从每个基点到原始点云中最近点的增量向量的形式存储完整的方向信息适用于2D 输入处理其中包括深度XB=.. argmin d（b，x）ΣΣk×d地图[46]，高度地图[40]，以及各种多视图模型[43，22，11]。与此密切相关的我xij∈Xiqij-bq∈R、（五）将3D形状投影到球体中并应用球面卷积以实现旋转不变性[10，6]。虽然基于投影的方法在区分任务（分类、形状检索）中显示出高准确性，但它们在表示具有多个“折叠”的形状（从外部视图不可见）方面基本上受到限制相比较而言，4335关于最近点的其它信息（例如，RGB值，表面法线）可以保存为这个固定的表示的一部分。特征计算如图所示1.一、公式（4）和（5）给出了点云的固定长度表示，可以很容易地用作学习算法的输入。4336R2|x∈Xirrx∈XBPS选择策略。我们研究了一些基点选择策略，并在第二节中提供了这些实验的详细信息四点二。总体而言，从单位球中均匀分布的随机采样提供了生成过程的效率、通用性和表面重建结果之间的良好权衡，并且我们将其应用于本文的整个实验中。或者，可以与任何现有的3D卷积神经网络串联使用广泛的3D基点网格，以便以增加计算复杂性为代价实现最大性能。复杂性在这项工作中，我们使用点之间的欧几里得距离来创建我们的编码，但原则上可以使用其他度量。由于我们使用的是3D点云（对应于d的小值），因此可以通过使用球树等数据结构来提高最近邻搜索的效率[32]。渐近地，O（nlogn）的操作需要从点云Xi和O（klogn）的操作需要运行最近邻查询k个基本点构造一个球树。这导致每个点云的总体编码复杂度为O（nlogn+klogn）。kNN搜索步骤也可以有效地实现为端到端深度学习管道的一部分[21]。实际上，我们基准测试我们的编码方案的不同值的n和k，并显示实时编码性能的值感兴趣的当前现实世界的应用程序。详情请参阅补充资料。4. 分析4.1. 与占用格网、TSDF和普通点云的非正式的直觉。与占用网格和TSDF相比，所提出的BPS编码的效率和优越性基于两个关键观察。首先，存储一些连续全局信息（例如，Euclidean distance（到最近点的欧几里德距离），而不是简单的二进制标志或局部距离。在后一种情况下，大多数体素保持为空，而且，当对对象应用轻微的平移或旋转时，相比之下，每个BPS单元总是存储关于编码对象的一些信息，并且特征向量相对于仿射变换平滑地变化。由此也衍生出第二个图3. 使用占用网格（左）和基点集（右）进行表面编码。在相同的编码长度N下，该方法可以更准确地捕获表面细节。即使只使用k103个基点，我们的方法也可以捕获表面的细节（右下）。原创云现在，我们将通过比较表面重构和实际学习能力方面的上述表示来验证这种直觉。表面重建实验。独立于手头的某个点云，编码从对象中捕获细节的效果如何？为了回答这个问题，我们从Model-Net 40 [46]数据集中随机选取103个CAD模型，并通过从每个表面采样104个我们比较了三种编码所得点云的方法：将它们按原样存储（原始点云）、占用网格和所提出的经由基点集的编码，如等式（1）中所建议的。五、对于所有方法，我们定义固定的允许描述长度N（作为N个浮点值），并比较原始点云X和不同编码的重构点云Xr重要观察：当每个单元都存储了一些全局信息时，我们可以使用更少的单元来精 确 地 表示形状，从而避免了dCD（X，Xr）=1|X|Σxi∈Xminxri∈Xr ||xi -x i||广泛的网格表示的立体复杂性。1月2日这可以在图中看到1和右下角图。3、在哪里kn个基点能够捕捉到+的|XRmin||xi−x i||.（六）我4337√我−333√√××图4. 曲面重建质量与不同的3D数据编码方法的编码长度。我们测量了来自ModelNe40数据集的103个建议的表示是更准确地表示表面的细节比标准的占用网格。我们的最佳基选择方法的性能接近于用子采样无序点云对表面进行编码，同时是一种固定长度的表示，可以直接用于各种机器学习算法。参见第4、更多细节在描述长度相同的情况下，我们可以从原始点云中存储N/3个点，NN-N个二进制占用标志或N/3个基点，其中矩阵XB定义在等式五、从这个矩阵中，一个子集可以通过简单地将相应的基点坐标添加到每个增量矢量来重建原始点的坐标。对于占用网格编码，我们使用被占用网格单元的中心;请注意，尽管存储二进制标志不需要全浮点表示，但实际上，大多数机器学习方法将与浮点编码的占用网格一起工作，并且我们假设这种表示。图4示出了编码长度和作为倒角距离（c.f.，当量（六）。建议的编码产生不到一半的编码误差相比，占用网格的点云高达约104点（见图。3进行定性比较）。这是其在保持形状信息方面的优越性的指标。基本点集的误差曲线接近于二次采样点云表示的误差曲线。基点集表示不如原始点云准确，因为所得到的提取点不一定是唯一的。然而，基点集是一种有序的、固定长度的向量编码，非常适合应用机器学习方法。图5. 不同的基点选择策略。参见第4.2详情在这项工作中，我们主要使用随机均匀球采样，因为它的简单性和效率，以及矩形网格基础，使我们能够以一种简单的方式应用3D卷积。不同的BPS布置允许使用不同类型的卷积。4.2. 基点选择策略我们研究了图中可视化的选择基点的四种不同变体。五、矩形网格基础。基组构造的一个基本方法是简单地在矩形上排列点，[ 1，1]3格。在这种情况下，基点集表示类似于截断符号距离场[8]表示。然而，一个重要的区别是，我们不截断遥远基点的距离，允许集合中的每个点存储有关物体表面的一些信息。我们将在SEC中展示5.1这种小的概念差异对绩效有重要影响。我们还允许将完整的方向信息存储在如等式中所定义的单元中。五、最后，BPS不需要将点云转换为防水表面，因为使用了无符号距离球栅基础。 由于所有点云均归一化为通过等式中定义的变换拟合单位球2、矩形网格角点处的基点远离点云。这些角点实际上构成47个。所有样品的6%（这可以通过比较单位球与单位立方体的体积比来4338−−id方法acc.FLOPs参数[29]第二十九章：一个女人0%>1089. 0 ×10579.第79章最后一击9%±0. 33 .第三章。4×1071 .一、7 ×10774.第74章最后一击5%±0. 21 .一、1×106五、5 ×10580.第80章我的世界0%±0. 33 .第三章。4×1071 .一、7 ×10775.第75章最后一击9%±0. 31 .一、1×106五、5 ×10588.第88章我的世界3%±0. 23 .第三章。4×1071 .一、7 ×10787.第87章我的世界6%±0. 31 .一、1×106五、5 ×10587.第87章我的世界7%±0. 31 .一、1×106五、5 ×1058BPS-MLP（83兰特）88. 0%±0. 31 .一、1×106五、5×1051088.第88章我的世界1%±0. 31 .一、1×106五、5 ×10511BPS-Conv 3D（323网格）89岁。8%±0. 23 .第三章。5×1081 .一、7 ×107129 →直接。向量86岁。2%±0. 3二、2×1061 .一、1 ×1061311 →直接。向量九十8%±0. 33 .第三章。8×1081 .一、7 ×10714BPS-ERT [13]（163g.）八十五4%± 0. 2 N/A N/A15BPS-XGBoost（323g.）86岁。1%± 0. 1 N/A表1.在ModelNet40 [ 46 ]挑战中，将占用网格、截断距离场（TDF）和BPS作为3D形状分类的输入特征进行比较。我们在实验中保持模型结构不变。全局BPS编码显著优于其本地对应物。参见第5.1更多详情因此，我们可以通过简单地修剪网格的角并在单位球内使用更多的采样位置来提高采样效率。随机均匀球抽样。一个通用的简单的策略来选择位于d维球内的点是均匀采样。这可以通过从d维立方体中进行拒绝采样或在[17]中总结的其他有效方法来完成。Hénical close packing（HCP）。 我们还实验了基点的六边形紧密堆积[7]。这种选点策略背后的非正式直觉是，它将以基点为中心的相同大小的球最佳地覆盖单位球[16]。我 们 在 图 4 中 显 示 了 使 用 不 同 采 样 策 略 的 103 个ModelNet对象的重建误差比较。总体而言，随机均匀和HCP选择策略提供了最佳的重建结果。使用reg-网格打开了应用卷积运算的可能性，并增加了学习平移和旋转不变特征的可能性。我们现在评估不同的编码和基点选择策略，以确定它们对机器学习算法的适用性。5. 使用基点集学习5.1. 三维形状分类对点云执行的经典任务之一是分类。我们在Mod-elNet 40[46]数据集上展示了这项任务的结果。我们对几种深度学习进行了4339··−使用建议的点云表示的体系结构，并将它们与使用alter- native编码的现有方法进行比较。该数据集由12103CAD模型从40个不同的类别，其中9。8 103用于培训。我们使用与[34]中相同的过程从CAD模型获得点云，即，我们从网格面中采样n=2048个点，然后进行公式中定义的归一化过程。（二）、与占用网格和VoxNet的比较。展示BPS特征的优越性以及消除贡献的歧义（即，BPS编码本身和所提出的网络架构），我们修复了一个简单的通用MLP架构，具有2个[全连接，relu，batchnorm，dropout]层块，并使用占用图的32× 3矩形网格，截断距离场（TDFs）和BPS作为输入进行训练。结果总结见表。1，第1-7行。使用全局距离作为特征，而不是使用相同网络的占用标记，明显提高了准确性，优于专门为处理此类输入而设计的架构：VoxNet [29]（第1行）。TDFs仅存储网格单元内的局部距离，并且遭受与体素相同的局部性问题（r。4）.同样重要的是要注意，减小网格大小会显著影响这些方法（第3行和第5行，精度下降5%6，0。7%）。我们还比较了表7-10行中不同的BPS选择策略1.一、在没有网络运营商利用点排序的情况下（例如，3D卷积）、随机和HCP策略在性能上略有提高。当矩形BPS网格中的点顺序与VoxNet等3D卷积深度学习模型一起使用时，性能提高的代价是增加计算复杂度（大约多两个数量级的触发器，Tab。1号河第11段）。用由等式定义的全方向信息代替欧几里德距离5对普通全连接网络的性能产生负面影响（表1）。1，r.12），而它提高了3D卷积模型的性能1号河第13段）。为了显示所提出的表示的多功能性，我们还使用相同 的 BPS 特 征 作 为 极 端 随 机 树 （ ERT [13] ） 和XGBoost [5]框架的集合的输入。与其他方法比较。 最后，我们将这些发现与其他增强功能（例如，用少量的固定旋转来增加数据，改进学习时间表和正则化-请参考文档材料和相应的存储库以了解更多细节），并将我们的两个性能最好的模型与Tab中的其他方法进行比较。二、4340×AMS10×10六、2× 109. 9 ×1077×10球形CNN [10]88.9%2. 9× 105。0 ×105基于点云的方法：[23]第二十三话8%>109>107KCNet [41]91.0%>1089. 0 105SO-Net [25] 90.9%>108>106[47]第四十七话：5× 1092. 1 ×105[36 ]第36话我的世界6× 1091. 7 ×106[34]第34话4× 1083. 5×106[34]第一个在美国上市的公司。4× 1088. 0 ×105[47]第一个2010年的中国电影节8× 1072. 1 ×105我们的（BPS-MLP）89.0%7. 6× 1053. 8 ×10590.第90章大结局8%3. 5× 1084. 4 ×10691.我的超次元帝国百分之六3. 5× 109 4. 4 ×107表2. ModelNet40 [46] 3D形状分类挑战的结果。简单的全连接网络可以在几分钟内在单个GPU上训练BPS功能，以达到PointNet的性能。总之，简单的全连接网络，在单个GPU上在几分钟内训练BPS功能，达到PointNet的性能[34]，PointNet是点云分析中使用最广泛的网络之一。在BPS矩形网格上训练的3D卷积模型与PointNet++的性能相匹配[36]，同时仍然在计算上更有效。最后，10个这样的模型的粗略集成使我们能够在仅对点云作为输入的方法中匹配最先进的性能[23]（例如，而不使用在CAD模型中可用但在现实世界场景中很少可用的表面法线）。5.2. 3D扫描的单通道网格配准我们展示了第二个实验，一个不同的，generative任务，以证明编码的多功能性和性能。为此，我们选择了具有挑战性的问题，人体点云配准。在这个问题中，对应关系之间的观察，非结构化的点云和变形体模板。传统上，人类点云配准已经采用迭代方法[18，49]。然而，它们通常在计算上是昂贵的，并且需要在应用时使用可变形模型。基于机器学习的方法[15]通过用足够大的训练语料库替换它们来消除这种依赖性。然而，像[15]这样的当前解决方案依赖于具有复杂内部表示的多级模型，这使得它们训练和测试缓慢。我们鼓励对人体网格注册感兴趣的读者回顾[15]中提供的对以前工作方法内（内）Inter（间）[49]第四十九话1.5683.1263D编码[15]1.9852.878我们2.3274.529深度函数映射[26]2.4364.826农场[28]2.814.123Convex-Opt [4]4.868.304表3. FAUST数据集内和间挑战中所有已发表方法的结果，按内挑战中的错误排序我们基于BPS的网络具有与其他方法相当的性能，同时允许单次通过，实时网格配准，没有每次扫描优化。我们使用一个简单的DenseNet [20]架构，其中有两个模块（见图2），输入是点云的BPS编码，输出是公共模板中每个顶点的位置。注意，在我们的系统中没有可变形模型，并且我们不估计可变形模型参数或位移;该网络仅基于其训练数据来学习再现相干体。为了生成这个训练数据，我们使用SMPL身体模型[27]。SMPL是一种可再成形、可搁置的模型，其将与姿势相关的姿势参数和与地下身体的内在特征相关的形状参数（例如，身高、体重、臂长）。我们从CAESAR [39]数据集中采样形状参数，该数据集包含各种年龄、体质和种族。对于采样姿势，我们使用两个源：CMU数据集[1]和从3D扫描仪推断的一小组姿势。由于CMU数据集大量填充有行走和跑步序列，因此我们使用从样本到CMU分布的逆Mahalanobis距离作为权重来执行姿势的加权我们粗略地将CMU姿势对齐为正面。为了增加训练数据的变化，我们将从所有考虑的姿势的协方差中采样的噪声引入到一半的数据点。从这些网格，一组10- 4点均匀采样的表面构成和形状的SMPL模板。这些点云然后用于计算BPS编码。我们在4小时内训练了1000个epoch的对齐网络，其推理时间在非GPU笔记本电脑上不到1ms。为了评估我们的方法，我们处理了来自FAUST [2]数据集的测试集它是用来比较网格对应算法，通过使用相应的扫描点列表为了找到两个点云之间的对应关系，我们用我们的网络处理每个点云，从而获得两个注册的网格模板。然后，模板定义点云之间的密集对应关系57方法acc.FLOPs par[22]第二十二话九十七百分之三十七大于10 95。84341图6. FAUST数据集和预测网格的点云。蓝色：来自3D扫描仪的点云。 肤色：我们的模型通过处理其BPS表示来预测网格。注意，网络产生每个输出顶点的位置;它们的相干结构仅从训练数据中学习。我们获得了2的平均性能。受试者体内激发时为327mm，受试者间挑战中的529mm（见表1）（3）第三章。这些数字是相当的，但高于最先进的方法，如[15]或[49]。然而，我们注意到，在FAUST内部挑战中优于BPS的两种方法比我们的系统慢了几个数量级。[ 15 ]中的两阶段过程需要几分钟，[ 49 ]中的粒子优化需要几个小时，而我们的系统在1ms内产生对齐（定性结果，见图10）。（六）。这使得3D扫描的实时处理成为可能，这在以前是不可能的，或者可以用作更快的多级系统的第一步，以提高这种单级方法的精度。我们还在补充视频2中对Dynamic FAUST[3]数据集进行了定性评估。2https://youtu.be/kc9wRoI5JbY6. 结论和未来工作在本文中，我们介绍了基点集获得一个紧凑的固定长度的点云表示。BPS计算可以用作各种机器学习模型的预处理步骤。在我们的实验中，我们证明了在两个应用程序和不同的模型，我们的方法的计算优越性，与现有的方法相比，在处理时间上具有数量级优势，保持竞争力的准确性。我们已经展示了将矩形BPS网格与标准3D卷积网络结合使用的优势然而，在未来的工作中，考虑其他类型的BPS安排和相应的卷积[19，6，10，14]以提高效率和学习旋转不变表示将是有趣的4342引用[1] http://mocap.cs.cmu.edu。 7[2] Federica Bogo ， Javier Romero ， Matthew Loper ， andMichael J Black. Faust：3D网格配准的数据集和评估。IEEE计算机视觉和模式识别会议论文集，第3794- 3801页，2014年。二、七[3] Federica Bogo，Javier Romero，Gerard Pons-Moll，andMichael J.黑色. 动态浮士德：登记人体运动。在2017年IEEE计算机视觉和模式识别会议上，Piscataway，美国新泽西州，2017年7月。美国电气与电子工程师协会。8[4] Qifeng Chen和Vladlen Koltun。鲁棒非刚性凸优化配准。在ICCV。IEEE计算机学会，2015年。7[5] 陈天琦和卡洛斯·格斯特林。Xgboost：一个可扩展的树提升系统。第22届acm sigkdd知识发现和数据挖掘国际会议论文集，第785-794页。ACM，2016。6[6] TacoSCohen， MarioGeiger ， JonasK？hler ，andMaxWelling. 球 形 cnns 。 arXiv 预 印 本 arXiv ：1801.10130，2018。三、八[7] 约翰·霍顿·康威和尼尔·詹姆斯·亚历山大·斯隆球填充，格和群，第290卷。Springer Science Business Media，2013. 6[8] Brian Curless和Marc Levoy。从距离图像建立复杂模型的体积法。1996. 三、五[9] 安吉拉·戴和马蒂亚斯·尼斯纳Scan2mesh：从非结构化范围扫描到3D网格。arXiv预印本arXiv：1811.10464，2018。3[10] Carlos Esteves 、 Christine Allen-Blanchette 、 AmeeshMaka- dia和Kostas Daniilidis。用球面cnn学习so（3）等变在欧洲计算机视觉会议（ECCV）的会议中，第52三、七、八[11] Yifan Feng，Zizhao Zhang，Xibin Zhao，Rongrong Ji，and Yue Gao.Gvcnn：用于3D形状识别的组视图卷积神经在IEEE计算机视觉和模式识别会议论文集，第264-272页3[12] Matheus Gadelha，Subhransu Maji和Rui Wang。使用空间 分 割 的 点 云 生 成 形 状 。 arXiv 预 印 本 arXiv ：1707.06267，2017。2[13] Pierre Geurts，Damien Ernst，and Louis Wehenkel.非常随机的树。Machine learning，63（1）：3-42，2006. 6[14] 本杰明·格雷厄姆和劳伦斯·范德马滕。子流形稀疏卷积网络。arXiv预印本arXiv：1706.01307，2017。8[15] Thibault Groueix 、 Matthew Fisher 、 Vladimir Kim 、Bryan Russell和Mathieu Aubry。3d编码：通过深度变形的3d九月2018年7月。七、八[16] 托马斯·C·黑尔斯开普勒猜想的证明。数学年鉴，第1065 - 1185页，2005年。6[17] 拉多斯拉夫·哈曼和弗拉迪米尔·拉科。n-球面和n-球均匀采样的分解算法Journalof Multivariate Analysis，101（10）：2297 -2304，2010.6[18] David A Hirshberg ， Matthew Loper ， Eric Rachlin 和Michael J Black。配准：关节式三维形状的同步对准和建模 。在欧洲 计算机 视觉会 议上， 第242-255页。Springer，2012. 7[19] Hoogeboom ， Jorn WT Peters ， Taco S Cohen 和 MaxWelling。六角锥体arXiv预印本arXiv：1803.02108，2018。8[20] Gao Huang，Zhuang Liu，Laurens Van Der Maaten，andKilian Q Weinberger.密集连接的卷积网络。在IEEE计算机视觉和模式识别会议论文集，第4700-4708页，2017年。7[21] 卡鲁卡斯·凯泽，奥菲尔·纳彻姆，奥科·罗伊和萨米·本·吉奥.学会记住罕见的事件。arXiv预印本arXiv：1703.03129，2017。4[22] Asako Kanezaki，Yasuyuki Matsushita ，and YoshifumiNishida.旋转网：使用来自无监督视点的多视图的联合对象分类和姿态估计。在IEEE计算机视觉和模式识别会议论文集，第5010-5019页三、七[23] 罗曼·克洛科夫和维克多·伦皮茨基逃离细胞：用于三维点云模型识别的深度kd网络。在IEEE计算机视觉国际会议论文集，第863-872页二、七[24] Loic Landrieu和Martin Simonovsky。基于超点图的大规模点云语义分割在IEEE计算机视觉和模式识别会议上，第4558-4567页，2018年2[25] Jiaxin Li，Ben M Chen，and Gim Hee Lee. So-net：用于点云分析的自组织网络。在IEEE计算机视觉和模式识别会议论文集，第9397-9406页，2018年。二、七[26] 或Lita ny，TalRemez，EmanueleRodo la`，Al e xanderM.Bronstein，and Michael M.布朗斯坦深度功能图：密集形状对应的结构化预测CoRR，abs/1704.08686，2017年。7[27] Matthew Loper、 Naureen Mahmood 、Javier Romero 、Gerard Pons-Moll和Michael J Black。Smpl：一个有皮肤的 多 人 线 性 模 型 。 ACM transactions on graphics（TOG），34（6）：248，2015。7[28] Ric cardoMarin ， SimoneMelzi ， EmanueleRodola' ，andUm-bertoCastellani. Farm：3D人体的功能自动注册方法。CoRR，abs/1807.10517，2018。7[29] Daniel Maturana和Sebastian Scherer。Voxnet：用于实时对象识别的3D卷积神经网络。2015年IEEE/RSJ智能机器人和系统国际会议（IROS），第922-928页。IEEE，2015年。三六七[30] 文京植，张朱勇，李京武。V2v-posenet：体素到体素预测网络，用于从单个深度图进行准确的3d手部和人体姿势估计。在IEEE计算机视觉和模式识别会议论文集，第5079-5088页，2018年。34343[31] Richard A Newcombe、Shahram Izadi、Otmar Hilliges、David Molyneaux 、 David Kim 、 Andrew J Davison 、Pushmeet Kohi、Jamie Shotton、Steve Hodges和AndrewFitzgibbon。运动融合：实时密集表面映射和跟踪。2011年IEEE混合和增强现实国际研讨会，第127-136页。IEEE，2011年。3[32] 斯蒂芬·M·奥莫亨德罗。五种球树构造算法。伯克利国际计算机科学研究所，1989年。4[33] 郑俊朴、彼得·弗洛伦斯、朱利安·斯特劳布、理查德·纽科姆和史蒂文·洛夫格罗夫。Deepsdf：学习连续符号距离 函 数 用 于 形 状 表 示 。 arXiv 预 印 本 arXiv ：1901.05103，2019。3[34] Charles R Qi， Hao Su ，Kaichun Mo ， and Leonidas JGuibas.Pointnet：用于3D分类和分割的点集深度学习。Proc.ComputerVisionandPatternRecognition（CVPR），IEEE，1（2）：4，2017. 二六七[35] Charles R Qi，Hao Su，Matthias Nießner，Angela Dai，Mengyuan Yan，and Leonidas J Guibas.用于三维数据对象分类的体积和多视图cnn。在IEEE计算机视觉和模式识别会议的论文集，第5648-5656页，2016年。3[36] Charles Ruizhongtai Qi，Li Yi，Hao Su，and Leonidas JGuibas. Pointnet++：度量空间中点集的深度层次特征学习。神经信息处理系统，第5099-5108页，2017年。二、七[37] Gernot Riegler、Ali Osman Ulusoy和Andreas Geiger。Octnet：以高分辨率学习深度3D表示在IEEE计算机视觉和模式识别会议论文集，第3577-3586页3[38] Gernot Riegler，Ali Osman Ulusoy，Horst Bischof，andAn- dreas Geiger.Octnetfusion：从数据中学习深度融合2017年国际3D视觉会议（3DV），第57-66页IEEE，2017年。3[39] 凯瑟琳·M罗比内特、雪莉·布莱克威尔、海因·达嫩、马克·博梅、斯科特·弗莱明、蒂娜·布里尔、达·德·霍费尔林和丹尼斯·伯恩赛德斯。民用美国和欧洲表面人体测量资源（CAESAR）最终报告。技术报告，美国空军实验室，2002年。7[40] KripasindhuSarkar ， BasavarajHampiholi ， KiranVaranasi，and Didier Stricker.使用2d卷积网络将3d形状学习为多层高度图。在欧洲计算机视觉会议（ECCV）的Proceedings中，第71-86页，2018年。3[41] 沈亦儒、陈锋、杨耀青、田栋。基于核相关和图池的点云局部结构挖掘。在IEEE计算机视觉和模式识别会议论文集，第4548-4557页，2018年。二、七[42] Shuran Song、Fisher Yu、Andy Zeng、Angel X Chang、Mano-lis Savva和Thomas Funkhouser。从单个深度图像中完成语义场景。在IEEE计算机视觉和模式识别会议