众多人类注释的大规模3D关键点数据集

1KeypointNet：一个由众多人类注释聚合的大规模三维关键点数据集Yang You，Yujing Lou，*Chengkun Li，*Zhoujun Cheng，LiangweiLi，Lizhuang Ma，Cewu Lu，Weiming Wang†上海交通大学，中国摘要三维物体关键点的检测是图形学和计算机视觉领域的一个重要研究课题。已经有几个2D和3D关键点数据集旨在以数据驱动的方式解决这个问题然而，这些因此，我们提出KeypointNet：第一个大规模和多样化的3D关键点数据集，包含来自16个对象类别的83，231个关键点和8，329个3D模型，利用大量的人工注释。为了处理来自不同人的注释之间的不一致性，我们提出了一种新的方法来自动聚合这些关键点，通过最小化保真度损失。最后，十个国家的最先进的方法对我们提出的数据集进行1. 介绍3D关键点的检测在许多应用中是必不可少的，例如对象匹配、对象跟踪、形状检索和配准[21，6，36]。利用关键点来匹配3D对象具有提供语义上重要的特征的优点，并且通常使这样的关键点对于旋转、缩放和其他变换是不变的。在深度学习的趋势中，在大量高质量数据集的帮助下，2D语义点检测得到了提升[3，22]。然而，很少有3D数据集关注对象的关键点表示。Dutagaci等人[10]收集43个模型，并根据不同人的注释对其进行标记。最后通过测地线聚类对来自不同人的注释进行聚合。ShapeNetCore关键点数据集[41]和类似的数据集[14]，以另一种方式，诉诸专家为了减少专家对“非政府组织”定义的偏见*这些作者的贡献相等。†Weiming Wang为通讯作者。图1. 我们提出了一个大规模的KeypointNet数据集。它包含8K+模型和83K+关键点注释。关键点，我们要求一大群人根据他们自己的理解来注释各种关键点。挑战的出现是因为不同的人可能注释不同的关键点，我们需要识别这些注释中的共识和模式。当大量关键点分布在整个模型中时，找到这样的模式并不简单的聚类将需要预定义的距离阈值，并且无法识别紧密间隔的关键点。如图1所示，每架飞机尾翼上有四个间隔很近的关键点，简单的聚类方法很此外，聚类算法没有给出关键点的语义标签，因为聚类组之间的连接是模糊的。另外，人们的标注并不总是精确的，标注的关键点位置的错误是不可避免的.为了解决这些问题，我们提出了一种新的方法，通过优化保真度损失来聚合来自不同人在这个自动聚合过程之后，我们根据一些简单的先验知识（如对称性）验证这些生成的关键点在本文中，我们建立了第一个大规模和多样化的1364713648KeypointNet数据集包含8，329个模型和83，231个关键点。这些关键词具有高度的真实性，并具有丰富的结构或语义意义。图1中给出了一些示例。我们希望这个数据集可以提高对常见对象的语义理解。此外，我们提出了两个大规模的关键点预测任务：关键点显著性估计和关键点对应性估计。我们使用mIoU、mAP和PCK指标对十种最先进的算法进行基准测试。结果表明，关键点的检测和识别仍然是一项具有挑战性的任务.总之，我们做出以下贡献：• 据我们所知，我们提供了第一个关于3D关键点的大规模数据集，包括类别和关键点的数量。• 我们提出了一种新颖的方法来聚合人们• 我们在我们的数据集上实验了十个最先进的基准，包括点云，图形，体素和基于局部几何的关键点检测方法。2. 相关工作2.1. 关键点检测三维关键点检测是三维物体理解中的一项重要任务，可以用于物体姿态估计、重建、匹配、分割等领域。研究者们提出了各种方法在物体上产生兴趣点以帮助进一步的物体处理。传统的方法，如3D Harris[30]，HKS [31]，显着点[7]，网格显着性[17]，尺度相关角[23]，CGF [13]，SHOT [34]等，利用局部参考帧（LRF）提取几何特征作为局部描述符。然而，这些方法只考虑了局部几何信息，而没有考虑语义知识，这使得检测算法与人类理解之间存在一定的差距。最近的深度学习方法，如SyncSpecCNN [41]，深度功能字典[32]被提出来检测关键点。深度学习方法利用由人类注释并经过专家验证的地面实况标签。利用语义标签，关键点检测器可以从数据集中学习并表现良好。2.2. 关键点数据集关键点数据集起源于2D图像，其中大量关于人体骨骼和物体间的数据集提出了一些建议。对于人类骨架，MPII人类姿势数据集[3]、MSCOCO关键点挑战[1]和PoseTrack [2]注释了人类上的数百万个关键点对于更一般的对象，SPair-71 k [22]包含70，958个图像对，具有不同的视角和比例，每个图像对上都有许多对应的关键点。PUB [35]提供了来自200个鸟类类别的11，788个图像上的15个部分位置，PASCAL [5]提供了20个对象类别的关键点注释。HAKE [18]提供了许多关于人类互动关键点的注释。ADHA [24]注释视频中的关键副词，这是一系列2D图像。3D物体上的关键点数据集，包括Dutagaci等人。[10]，SyncSpecCNN [41]和Kim等人。[14 ]第10段。Dutagaci等人[10]在数据集非常小的情况下，使用ad-hoc 方 法 聚 合 来 自 不 同 人 的 多 个 注 释 。 虽 然SyncSpecCNN [41]，Pavlakos et al.[25]和Kim et al.[14]对于相对较大的关键点数据集，它们依赖于手动设计的关键点模板，这不可避免地存在偏差和缺陷。GraspNet [11]给出了关于3D物体抓取的密集注释。表1说明了他们和我们之间的差异。3. KeypointNet：大规模三维关键点数据集3.1. 数据收集KeypointNet基于ShapeNetCore构建[8]。ShapeNet-Core涵盖55个常见对象类别，约有51，300个独特的3D模型。我们过滤掉那些偏离大多数的模型，并为每个类别保留最多1000个实例，以提供一个平衡的此外，建立一致的规范取向（例如，直立和前面），因为在ShapeNetCore中不完全对齐。我们让注释者决定哪些点是重要的，相同的关键点索引应该为每个注释者指示相同的含义。虽然注释者可以自由地给出自己的关键点，但应该遵守三个一般原则：(1)每个关键点应当描述在同一对象类别的实例之间共享的对象之后，我们利用启发式方法来聚合这些点，这将在第4节中讨论。关键点在网格上进行注释，然后将这些注释的网格下采样到2，048个点。我们的最终数据集是一个点云的集合，带有关键点索引。3.2. 注释工具我们基于NodeJS开发了一个易于使用的Web注释工具。每个用户可以根据自己的理解点击最多20个兴趣点。UI界面如图2所示。显示了带注释的模型13649数据集域对应无模板实例类别关键点格式浮士德[4]SyncSpecCNN [41]Dutagacietal.[10] Kim et al. [第十五条]PASCAL 3D+[39]人类主席√√√×√××√××√×100624343404362921116412六八九千60K<1K3K150K+网格点云网格RGB w. 3D模型我们一般83291683K+点云网格表1.3d关键点数据集的比较。对应性指示关键点是否被相应地索引无模板指示它是否避免硬编码的关键点模板。而下一个未处理的模型显示在右侧面板中。由人C注释。注意，不同的人可以具有不同的关键点索引集合，并且这些索引是独立的。我们的目标是聚合一组潜在的地面实况k∈y点Y={ym ， k|ym ， k∈Mm ， m=1 ， . -是 的 -是 的 M ，k=1，. - 是的- 是的 其中Km是针对每个模型M，m提出的关键点的数量，使得y m1，k和y m2，k共享相同的语义。4.2.关键点显著性每个注释都允许在一个小区域内出错，因此关键点分布定义如下：p（x|x是第k个关键点，x ∈ Mm）=φ（1m，k，x），Z（φ）图2.注释工具的Web界面3.3.数据集统计数据在 这 项 工 作 的 时 候 ， 我 们 的 数 据 集 已 经 从ShapeNetCore收集了16个常见类别，8329个模型。每个模型包含3到20个关键点。我们的数据集分为训练，验证和测试分裂，比例为7：1：2。表2给出了我们数据集的详细统计数据。我们的数据集的一些可视化如图3所示。4. 关键点聚合考虑到所有人工标记的原始关键点，一种新的方法将它们聚集在一起，其中φ是高斯核函数。Z是归一化常数。这与许多先前的注释关键点的方法相矛盾，其中隐式地假设δ我们认为，人类在注释关键点时经常会犯错误，并且由于中心极限定理，关键点分布将形成高斯分布。4.3.地面实况关键点生成我们提出联合输出参数为θ的密集映射函数gθ：M→Rd和聚合的地面实况关键点集合Y。gθ将每个点转换为Rd中的高维嵌入向量。具体地说，我们解决以下优化问题：（θθ，Yθ）=arg min[f（Y，g）+H（g）]地面实况关键点一般有两个原因：1）不同的人可能θ θθ，Y（一）注释不同的关键点集合，而人工标记的关键点有时是错误的，因此我们需要一种优雅的方法来聚合这些关键点; 2）简单的聚类算法不能区分那些间隔较近的关键点，也不能给出一致的语义标签。4.1. 问题陈述S.T. g θ（ym1，k）<$g θ（ym2，k），<$m1，m2，k.其中f（Y，gθ）为数据保真度损失，H（gθ）为正则化项，以避免gθ≥0的平凡解.该约束规定，地面实况密钥的嵌入具有相同索引的点应该相同。给定一个2维子流形Mm<$R3，其中我们定义f（Y，gθ）为：m是模型的索引，来自c的有效注释，ΣM ΣC Kmφ（l（c）φ，x）第一个人是关键点集合{l（c）|l（c）∈M }Kc 得双曲余切值.f（Y，gθ）=13650dθ（x，ym，k）m，ndx，m，km，kmk=1MZ（φ）k是关键点索引，Kc是关键点m=1c=1k=1m13651m，n飞机瓶帽椅子滑板表图3. 数据集可视化。在这里，我们绘制了几个类别的地面实况关键点。我们可以看到，通过利用我们的自动聚合方法，提取了高保真度的关键点。其中dθ是嵌入空间中两个向量之间的L2距离：d（a，b）= <$g（a）−g（b）<$2，当嵌入空间编码对象的语义信息时，对噪声点是鲁棒的。方程1涉及θ和Y，这是不切实际的和θ θ θ2以封闭的形式解决这个问题。在实践中，我们使用交替最小化和深度神经网络来逼近嵌入函数gθ，以便我们解决nθ=arg mindθ（l（c），y m）.n与以前的方法，如Dutagaci等人。[10]在人类标记点的简单测地线平均值作为地面实况点给出的情况下，我们寻找一个点，其到所有人类标记点的预期嵌入距离为下面的对偶问题代替（通过稍微放松约束）：θθ=arg min[H（gθ）θ最小的 原因是测地距离是有意义的-对错误注释的关键点敏感，无法区分M+λ<$gθ（ym，k）−gθ（ym，k）<$2]，（二）13652关键点间距很近，而嵌入距离更大1 22m1，m2k13653M类别火车 Val测试所有#注释器飞机718103 206 102721浴缸3515010150211床11016321586瓶27739803968帽2949426车703101 201 100514椅子714102 205 102115吉他4306212361511头盔7010211015刀21731623105笔记本312449044610摩托车21030613017马克杯13419391928滑板10515311516表793113 227 113313容器6509318692913总5823 832 1674 8329159类别火车 Val 测试所有飞机6987 1014 2061 10062浴缸462068213686670床13862064202012瓶24883487163552帽1452044209车11189 1601 3209 15999椅子8508 1174 2442 12124吉他26864047693859头盔47868143689刀65193186930笔记本18592635372659摩托车16792404882407马克杯14722084292109滑板7921122321136表639290418259121容器678197919339693总58113 8316 16802 83231NMS人类验证聚类t-SNE……保真度误差计算……......……原始注释嵌入空间保真度误差图聚合的关键点筛选的关键点潜在的关键点图4. 关键点聚合管道。我们首先从人类标记的原始注释中推断密集嵌入。然后通过将嵌入距离与人类标记的关键点相加来计算进行非最小抑制以形成潜在的关键点集。这些关键点然后用t-SNE投影到2D子空间上，并由人类进行验证。表2. 关键点数据集统计信息。 左：每个类别中的型号数量。 右：每个类别中的关键点数量。ΣM ΣC Kmφ（l（c）φ，x）非最小值抑制方程3可能难以求解，因为Km也是事先未知的。 为每个模型Mm，与每个电位相关的保真度误差Y=arg minYm=1c=1k=1dθ（x，ym，k）Mmm，nZ（φ）dx，最终关键点ym ∈Mm 是：∫（c）第（1）款S.T. g θ（y m1，k）<$g θ（y m2，k），<$m1，m2，k，ΣM ΣCf（ym，gθ）=dθ（x，ym′）φ（lm′，nx） dx，（三）并在两个方程之间交替直到收敛。m′ mc=1Mm′Z（φ）2（四）其中ym′= arg minym′∈Mm ′<$gθ（ym′）−gθ（ym）<$2。通过解决这个问题，我们找到了一个最佳的em-然后，通过进行非最小Sup，bedding函数gθ，以及类内一致性13654MM地面实况关键点Y，同时保持其与人类标记的关键点的嵌入地面实况关键点可以被视为投影人类标记的数据到嵌入空间。压力（NMS），使得：f（y_m，g_θ）≤f（y_m，g_θ），<$ym∈Mm，dθ（ym，y<$）<δ，（五）13655表椅子马克杯GroudTruth RSNet RSCNN DGCNN GraphCNN ISS3D HARRIS3D图5.六种算法检测到的关键点的可视化飞机浴缸床瓶帽车椅子吉他头盔刀笔记本电机马克杯滑冰表容器平均PointNet9.1/8.50.5/3.66.4/6.40.0/1.30.0/3.20.0/2.34.5/9.60.0/1.00.0/0.40.0/16.311.6/14.51.9/2.60.0/3.40.0/1.711.0/12.00.0/2.22.8/5.6PointNet++ 20.5/33.6 10.2/5.716.1/18.4 22.0/26.0 30.7/32.2 40.3/49.9 27.3/39.7 31.5/36.6 42.3/47.2 20.5/27.8 29.8/38.9 15.7/14.3 22.0/35.4 48.2/31.3 18.0/25.9 12.4/16.7 25.5/30.0RSNet20.5/31.1 12.8/17.8 19.2/29.5 13.1/12.8 15.7/21.8 15.1/21.8 13.9/15.4 16.4/16.18.4/6.118.3/31.5 22.8/35.0 20.2/26.1 16.8/23.24.0/5.415.4/45.39.7/12.815.1/22.0SpiderCNN 22.2/25.87.2/6.717.7/19.84.1/2.72.7/4.05.5/6.515.9/18.9 7.1/10.50.0/0.430.0/28.4 22.4/34.3 14.5/15.04.9/5.30.0/1.723.9/30.28.5/8.911.7/13.7PointConv25.3/28.1 15.2/24.6 32.4/45.8 7.3/10.113.5/15.7 20.3/24.6 21.7/30.8 21.2/21.72.1/2.05.0/17.3 27.8/46.5 18.9/29.3 21.7/27.3 13.2/18.9 26.8/42.4 13.9/22.6 17.9/25.5RSCNN21.0/34.4 11.9/17.3 19.3/28.4 11.6/16.8 18.9/31.6 15.8/16.3 17.6/21.7 17.9/18.20.0/3.124.2/30.6 25.3/37.9 13.4/23.8 17.2/25.45.9/9.723.7/41.4 10.1/14.7 15.9/23.2DGCNN32.3/43.8 17.7/26.2 21.6/33.4 15.0/20.7 21.5/27.6 15.1/21.4 23.8/30.3 20.7/22.93.5/4.829.4/40.5 30.1/46.4 23.5/29.2 18.1/24.9 12.8/17.3 31.7/52.1 15.6/19.7 20.8/28.8GraphCNN 22.9/25.9 12.5/14.90.7/0.81.8/5.20.2/0.310.3/10.5 12.7/14.81.0/5.70.3/0.40.1/0.20.3/0.318.7/23.0 10.8/11.40.4/0.524.2/34.48.9/9.77.9/9.9哈里斯3D0.4/-0.3/-1.0/-1.0/-0.0/-0.7/-1.4/-1.6/-0.2/-0.0/-0.0/-0.3/-0.3/-0.5/-0.7/-3.3/-0.7/-SIFT 3D4.5/-0.9/-0.9/-0.7/-1.0/-1.2/-0.9/-0.2/-0.9/-0.0/-0.5/-0.7/-0.7/-0.3/-1.0/-2.2/-1.0/-ISS3D0.4/-1.0/-0.5/-0.9/-1.9/-2.0/-0.0/-0.6/-0.8/-0.0/-0.2/-0.3/-0.5/-0.5/-0.0/-3.3/-0.8/-表3.距离阈值为0.01的比较方法的mIoU和mAP结果（百分比）其中δ是某个邻域阈值。在NMS之后，我们将得到几个地面实况点y m，1，ym，2，.。. .，y m，k，对于每个流形Mm.然而，每个模型内的任意分配的索引k不提供跨不同模型的一致的语义对应。因此，我们根据这些点的嵌入通过首先将它们投影到具有t-SNE的2D子空间[20]。地面实况验证虽然上述方法自动地以高精度聚合一组潜在的关键点集合，但是在某些情况下它省略了一些关键点作为最后一步，专家们根据一些简单的先验知识（如对象的旋转对称性和中心对称性）手动验证这些关键点。4.4. 实现细节在交替最小化开始时，我们初始化Y以从原始注释中采样，然后运行一次迭代，这足以进行收敛。我们选择隐藏维数为128的PointConv作为嵌入函数g。在方程3的优化过程中，我们将-用SoftMax层将每一个点分成K类，提取倒数第二层的特征作为嵌入。学习率是1 e-3，优化器是Adam [16]。4.5. 管道整个流水线如图4所示。我们首先从人类标记的原始注释中推断出密集的嵌入然后，通过对到人类标记的关键点的嵌入距离求和来计算保真度误差图。进行非最小抑制以形成潜在的关键点集。这些关键点然后用t-SNE投影到2D子空间上并由人类验证。5. 任务和基准在本节中，我们提出了两个关键点预测任务：关键点显著性估计和关键点对应性估计。关键点显著性估计要求评估方法给出一组潜在的不可区分的关键点，而关键点对应性估计要求定位固定数量的可区分的关键点。5.1. 关键点显著性估计对于关键点显著性估计，我们只考虑一个点是否是关键点，而不给出其语义标签。我们的数据集分为训练集、验证集和测试集，比例分别为70%、10%和20%。13656评价指标采用两个指标来评价关键点显著性估计的性能 首 先 ， 我 们 评 估 它 们 在 并 集 上 的 平 均 交 集 [33]（mIoU），可以计算为0.70.60.5IOU=TPTP+FP+FN.（六）0.4mIoU是在从0到10的不同误差容限下计算的。0.1. 其次，对于那些输出关键点概率的方法，我们评估它们在所有类别上的平均精度基准算法我们对七种最先进的点云语义分析算法进行基准测试：PointNet [26]，PointNet++ [27]，RSNet[12]，Spider-CNN [40]，PointConv [38]，RSCNN [19]，DGCNN [37]和GraphCNN [9].还考虑了三个传统的局部几何关键点检测器：[28]第29话：3D，3D，3D。0.30.20.100 0.02 0.04 0.06 0.08 0.1图6.对于比较的算法，在各种距离阈值（0-0.1）下得到mIoU结果。0.6评估结果对于深度学习方法，我们使用默认的网络架构和超参数来预测每个点的关键点概率，并采用mIoU对于基于局部几何的方法，使用mIoU。每种方法进行了测试与各种测地误差阈值。在表3中，我们报告了在限制性阈值0.01下的mIoU和mAP结果图6显示了从0到0.1的不同距离阈值下的mIoU曲线，图7显示了mAP结果。我们可以看到，在限制性的距离阈值0.01下，几何和深度学习方法都无法预测合格的关键点。图5显示了来自0.50.40.30.20.100 0.02 0.04 0.06 0.08 0.1RSNet、RSCNN、DGCNN、GraphCNN、ISS3D和Har-ris3D。深度学习方法可以预测一些地面实况关键点，而预测的关键点有时会对于基于局部几何的方法，如ISS 3D和Harris 3D，它们给出了分布在整个模型上的更多兴趣点，而这些点与语义信息无关。学习区分特征以更好地跨各种对象定位准确且不同的关键点仍然是一项具有挑战性的任务。5.2. 关键点对应估计关键点对应性估计是一项更加复杂的任务，其中不仅需要预测关键点，还需要预测它们的语义标签。语义标签应该在同一类别中的不同对象之间保持一致数据集准备对于关键点对应关系估计，每个关键点都标记有语义索引。对于那些在某些对象上不存在的关键点，给出index - 1。类似于SyncSpecCNN [41]，最大图7.不同距离阈值（0-0.1）下的mAP结果，比较算法。关键点的数量是固定的，并且数据分割与关键点显著性估计相同。评 估 指 标 网 络 的 预 测 通 过 正 确 关 键 点 的 百 分 比（PCK）进行评估，该百分比用于评估许多先前作品中关键点预测的准确性[41，32]。基准算法我们对七种最先进的点云语义分析算法进行基 准 测 试 ： PointNet [26] ， PointNet++[27] ， RSNet[12] ， Spider- CNN [40] ， PointConv [38] ， RSCNN[19]，DGCNN [37]和GraphCNN [9].类似地，我们使用默认的网络架构。表4显示了具有误差分布的PCK结果PointNetPointNet++RSNetSpiderCNN PointConvRSCNNDGCNNGraphCNNHarris 3DSIFT 3DISS 3DPointNetPointNet++RSNetSpiderCNNPointConvRSCNNDGCNNGraphCNN13657GroundTruth PointNet RSCNN PointConv SpiderCNN DGCNN GraphCNN浴缸头盔摩托车图8.检测到的关键点及其语义标签的可视化相同的颜色表示相同的语义标签。飞机浴床瓶帽 车 椅子 吉他头盔刀笔记本电机马克杯滑冰表容器平均PointNet42.719.5 28.925.085.0 22.913.218.82.854.247.925.030.215.939.616.730.5PointNet++42.324.1 32.721.545.0 30.425.323.36.526.742.232.522.412.155.817.628.8RSCNN36.927.8 34.615.638.3 30.821.532.64.733.352.240.025.517.249.219.430.0RS-Net38.328.8 46.324.020.0 39.324.129.29.657.860.045.831.718.236.719.433.1SpiderCNN44.319.4 32.212.680.0 18.323.726.76.524.440.034.221.219.854.222.430.0PointConv40.30.00.015.655.0 13.322.620.93.733.350.035.025.525.042.521.225.2DGCNN38.920.3 21.914.210.0 16.213.919.88.338.944.421.916.09.836.89.021.3GraphCNN41.123.3 25.016.013.3 18.520.017.53.037.844.431.715.011.540.024.423.9表4.对于各种深度学习网络，PCK结果在距离阈值0.0110.90.80.70.60.50.40.30.20 0.02 0.04 0.06 0.08 0.1图9.比较算法在各种距离阈值（0-0.1）下的PCK结果阈值0.01。图9示出了距离阈值从0变化到0.1的正确点曲线RS-Net在距离阈值小于0.02的情况下，性能相对优于其他方法。RSCNN在距离阈值大于0.02的情况下给出了更好的结果。然而，所有七种方法都面临着预测精确一致的语义关键点的巨大图8显示了dif的一些可视化结果不同的方法相同的颜色表示相同的语义标签。我们可以看到，大多数方法可以准确地预测一些关键点。但仍有一些关键点缺失和定位不准确。关键点显著性估计和关键点相关性估计对目标理解都很重要。关键点显著性估计通过提取有意义的点来对目标进行稀疏表示。关键点对应估计建立了不同对象上的点之间的关系。从上述结果可以看出，这两项任务仍然具有挑战性。这是因为从人的角度来看，对象的关键点不是简单的几何显著点，而是抽象的语义意义6. 结论在本文中，我们提出了一个大规模和高质量的KeypointNet数据集。为了从原始人类注释中生成地面实况关键点，其中它们的模式的识别是非平凡的，我们将问题转换为优化问题，并以交替的方式解决它。通过优化保真度损失，生成地面实况关键点及其对应关系。此外，我们评估和比较了几种最先进的方法在我们提出的数据集，我们希望这个数据集可以提高三维对象的语义理解。PointNetPointNet++RS-NetSpiderCNNPointConvRSCNNDGCNNGraphCNN13658引用[1] 2016年Mscoco关键点挑战赛。2[2] Mykhaylo Andriluka，Umar Iqbal，Eldar Insafutdinov，Leonid Pishchulin ， Anton Milan ， Juergen Gall ， andBernt Schiele. Posetrack：人体姿态估计和跟踪的基准。在IEEE计算机视觉和模式识别会议论文集，第5167-5176页，2018年。2[3] Mykhaylo Andriluka，Leonid Pishchulin，Peter Gehler，and Bernt Schiele. 2D人体姿态估计：新的基准和最先进的分析。在IEEE计算机视觉和模式识别会议（CVPR）中，2014年6月一、二[4] Federica Bogo ， Javier Romero ， Matthew Loper ， andMichael J.黑色. FAUST：3D网格配准的数据集和评估。IEEE Conf.计算机视觉和模式识别（CVPR），皮斯卡塔韦，NJ，USA，2014年6月。美国电气与电子工程师协会。3[5] Lubomir Bourdev和Jitendra Malik Poselets：使用3d人体姿势注释训练的身体部位检测器。2009年IEEE第12届计算机视觉国际会议，第1365-1372页。IEEE，2009年。2[6] MBueno ， JMart'ınez-Sa'nchez ， HGonza'lez-Jorge 和HLorenzo。几何关键点检测及其在点云粗配准中的应用。国际摄影测量学档案，遥感空间信息科学，41，2016。1[7] Umberto Castellani、Marco Cristani、Simone Fantoni和Vittorio Murino。结合3d网格显著性与统计描述子的稀疏点匹配。在Computer Graphics Forum，第27卷，第643-652页中。Wiley Online Library，2008. 2[8] AngelXChang ， ThomasFunkhouser ， LeonidasGuibas，Pat Hanrahan，Qixing Huang，Zimming Li，Silvio Savarese ， Manolis Savva ， Shuran Song ， HaoSu，et al. Shapenet：一个信息丰富的3D模型存储库。arXiv预印本arXiv：1512.03012，2015。2[9] MichaeülDefferrard，XavierBresson，andPierreVandergheynst.具有快速局部谱滤波的图上卷积神经网络。神经信息处理系统的进展，第3844-3852页，2016年。7[10] Helin Dutagaci，Chun Pan Cheung和Afzal Godil。通过人工生成的地面实况评估三维兴趣点检测技术。TheVisual Computer，28（9）：901- 917，2012. 一、二、三、四[11] 方浩树，王晨曦，郭明浩，陆策武。Graspnet：一个用于对象抓取的大规模集群和密集注释的数据库arXiv预印本arXiv：1912.13470，2019。2[12] Qiangui Huang，Weiyue Wang，and Ulrich Neumann.用于点云三维分割的回流切片网络。在IEEE计算机视觉和模式识别会议论文集，第2626-2635页7[13] Marc Khoury，Qian-Yi Zhou，以及Vladlen Koltun。学习紧凑的几何特征。在IEEE国际计算机视觉会议集，第153-161页，2017年2[14] Vladimir G Kim，Wilmot Li，Niloy J Mitra，SiddharthaChaudhuri，Stephen DiVerdi，and Thomas Funkhouser.从 大 量 的 3d 形 状 中 学 习 基 于 零 件 的 模 板 。 ACMTransactions on Graphics （ TOG ） ， 32 （ 4 ） ： 70 ，2013。一、二[15] Vladimir G Kim ，Wilmot Li ，Niloy J Mitra， StephenDiVerdi，and Thomas Funkhouser.使用模糊对应探索3d模型集合ACM Transactions on Graph-ics（TOG），31（4）：1-11，2012. 3[16] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。6[17] Chang Ha Lee，Amitabh Varshney，and David W Jacobs.网格显著性。ACM图形交易（TOG），24（3）：659-666，2005年。2[18] Yong-Lu Li，Liang Xu，Xijie Huang，Xinpeng Liu，ZeMa，Mingyang Chen，Shiyi Wang，Hao-Shu Fang，andCewu Lu.Hake ： 人 类 活 动 知 识 引 擎 。 arXiv 预 印 本arXiv：1904.06539，2019。2[19] Yongcheng Liu ， Bin Fan ， Shiming Xiang ， andChunhong Pan.用于点云分析的关系-形状卷积神经网络。In Proceedings of the IEEE Conference计算机视觉和模式识别，第8895- 8904页，2019年。7[20] Laurens van der Maaten和Geoffrey Hinton使用t-sne可视化 数 据 。 Journal of Machine Learning Research ， 9（Nov）：2579-2605，2008. 6[21] Ajmal S Mian ， MohammedBennamoun 和 RobynOwens。杂乱场景中基于三维模型的目标识别与分割。IEEEtransactionsonpatternanalysisandmachineintelligence，28（10）：15841[22] Juhong Min，Jongmin Lee，Jean Ponce，and Minsu Cho.Spair-71 k：语义对应的大规模基准arXiv预印本arXiv：1908.10543，2019。一、二[23] 约翰·诺瓦纳克和西野高比例相关的三维几何特征。2007年IEEE第11届计算机视觉国际会议，第1-8页IEEE，2007年。2[24] 庞波，查凯文，张一凡，卢策武。通过副词进一步理解视频：新的视频任务。在AAAI，2020年。2[25] Georgios Pavlakos ， Xiaowei Zhou ， Aaron Chan ，Konstanti- nos G Derpanis，and Kostas Daniilidis. 6-从语义关键点的DOF对象姿态。2017年IEEE机器人与自动化国际会议（ICRA），第2011- 2018页。IEEE，2017年。2[26] Charles R Qi， Hao Su ，Kaichun Mo， and Leonidas JGuibas.Pointnet：对点集进行深度学习，用于3D分类和分割。在IEEE计算机视觉和模式识别会议论文集，第652-660页7[27] Charles Ruizhongtai Qi，Li Yi，Hao Su，and Leonidas JGuibas. Pointnet++：度量空间中点集的深度层次特征学习。神经信息处理系统的进展，第5099-5108页，2017年。7[28] 布莱恩·里斯特，马克·A·霍洛维茨，丹尼尔·L·鲁宾。基于不变关键点的体图像配准。13659IEEE Transactions on Image Processing ， 26 （ 10 ） ：49007[29] Samuele Salti，Federico Tombari，Riccardo Spezialetti，and Luigi Di Stefano.学习特定于描述符的3d关键点检测器。在Proceedings of the IEEE International Conferenceon Computer Vision，第2318-2326页，2015年。7[30] 伊万·西皮兰和本杰明·布斯托斯。Harris 3d：一种用于三维网格上兴趣点检测的harris算子的鲁棒扩展。TheVisual Computer，27（11）：963，2011. 二、七[31] Jian Sun，Maks Ovsjanikov，and Leonidas Guibas.基于热扩散的简明可证信息多尺度签名计算机图形论坛，第28卷，第1383-1392页。Wiley Online Library，2009. 2[32] Minhyuk Sung ， Hao Su ，Ronald Yu ，and Leonidas JGuibas.深度函数字典：从函数