点对盒网络：一种用于点云中三维目标跟踪的端到端学习方法

6329P2B：点对盒网络在点云中的三维目标跟踪齐浩哲、陈锋、曹志国、赵峰、杨晓华中科技大学人工智能与自动化学院，多光谱信息处理科学与技术国家重点实验室，武汉430074zgcao@hust.edu.cnfzhao@alumni.hust.edu.cnXiao@hust.edu.cn摘要针对点云中的三维目标跟踪问题，提出了一种端到端学习的点到盒网络P2B。我们的主要思想是首先在嵌入目标信息的3D搜索区域中局部化潜在的目标中心。然后，点驱动的三维目标规划和验证联合执行。以这种方式，可以避免耗时的3D穷举搜索。具体来说，我们首先样本种子从点云的模板和搜索区域分别。然后，我们执行置换不变的特征增强，从模板中嵌入目标线索到搜索区域种子，并表示它们与目标特定的功能。因此，增强的搜索区域种子通过霍夫投票回归潜在的目标中心。这些中心通过种子方向的目标性分数进一步最后，每个中心聚类其邻居，以利用集合 功 率 进 行 联 合 3D 目 标 建 议 和 验 证 。 我 们 使 用PointNet++作为主干网络，并在KITTI跟踪数据集上进行了实验证明P2B请注意，P2B可以在40FPS上运行。单个NVIDIA 1080Ti GPU。我们的代码和模型可以在https://github.com/HaozheQi/P2B上找到。1. 介绍点云中的3D对象跟踪对于自动驾驶和机器人视觉中的应用至关重要[25，26，7]。然而，点云的稀疏性和无序性给这项任务带来了巨大的挑战，并且导致了这样的事实，即，成熟的2D对象跟踪方法（例如，，暹罗网络[3]）不能直接应用。大多数现有的3D对象跟踪方法[1，4，24，16，15]继承了2D的经验并且严重依赖于RGB-D信息。但当RGB视觉信息因IL-1而退化时，它们可能会失败。曹志国为通讯作者（zgcao@hust.edu.cn）。图1. 示例说明展示了P2B如何工作，从种子采样到3D目标建议和验证。亮度变化或甚至不可接近。因此，我们专注于3D对象跟踪，只使用点云。关于这个主题的第一个pi-oneer努力出现在[11]。它主要使用卡尔曼滤波[12]执行3D模板匹配，以生成3D目标建议束。同时，它使用形状完成规则化特征学习点集。然而，它往往遭受四个主要缺陷：1）它的跟踪网络不能端到端的训练，2）三维搜索与卡尔曼滤波消耗大量的时间; 3）每个目标建议仅用一维全局特征表示，可能丢失精细的局部几何信息;4）形状完备网络带来较强的类先验，削弱了通用性。针对上述问题，我们提出了一种新的点到框网络，称为P2B，用于3D对象跟踪，可以端到端训练。与[11]中使用框的直观3D搜索不同，我们转向通过首先定位潜在目标中心，然后联合执行点驱动的目标建议和。我们的直觉存在于两个文件夹中。首先，逐点跟踪范例可以帮助更好地利用3D局部几何信息来表征点云中的目标sp=0.15目标模板sp=0.96具有目标特定特征的种子点最终预测的3D目标框sp=0.77搜索区域3D目标提案潜在靶中心簇sp：建议的目标性得分0种子方面1目标得分......6330图2. P2B的主要管道。P2B有两个部分：1）目标特定特征增强，2）3D目标提议和验证。主干应用修改后的PointNet++。1)用来自模板的目标线索丰富搜索区域种子。2）利用增强后的种子，回归潜在目标中心，并评估种子的目标性，用于联合目标建议和验证。其次，以端到端的方式制定三维目标跟踪任务我们在图中展示了P2B是如何工作的。1.一、我们首先将模板和搜索区域分别送入主干网中，并获得它们的种子。搜索区域种子将因此预测潜在的目标中心，用于联合目标建议和验证。然后在搜索区域种子中添加目标特征，得到3个主要部分：1）搜索区域种子的3D位置坐标，以保留空间几何信息; 2）搜索区域种子与模板种子的逐点相似性，以这种增强对种子的排列是不变的之后，通过Hough投票[28]将增强的种子投影到潜在的目标中心。同时，每个种子被赋予其目标性，以规范早期的特征学习;结果目标性得分进一步加强其预测目标中心最后，每个潜在的目标中心聚类的邻居，以利用集成功率的联合目标建议和验证。KITTI跟踪数据集[10]上的实验证明，P2B在很大程度上显著优于最先进的方法[11]（成功率和精度均为10%）。请注意，P2B可以在单个NVIDIA 1080Ti GPU上以约40FPS运行总体而言，本文的主要贡献包括• P2B：一种用于点云中3D物体跟踪的新型点到盒网络，可以端到端训练;• 目标特定特征增强，包括用于3D对象跟踪的全局和局部3D视觉线索;• 3D目标建议和验证的集成2. 相关作品我们简要介绍了与我们P2B最相关的工作：3D对象跟踪，2D暹罗跟踪，深度学习点集、目标提案和Hough投票。3D对象跟踪。据我们所知，仅使用点云的3D对象跟踪在最近的先驱尝试之前很少被研究[11]。较早的相关跟踪方法[24，16，15，27，1，4]通常求助于RGB-D信息。虽然从不同的理论方面进行了努力，但它们可能存在两个主要缺陷：1）它们依赖于RGB视觉线索，如果它被降级甚至不可访问，则可能失败这限制了一些实际应用; 2）它们没有为3D跟踪设计的网络，这可能限制了代表性功率。此外，其中一些[24，16，15]专注于生成2D框。上述问题在[11]中得到了解决。利用对点集和3D目标建议的深度学习，它仅使用点云实现了3D对象跟踪的最新结果然而，它仍然遭受一些缺点，如在SEC中。1，这是我们研究的动力。2D Siamese跟踪。许多最先进的2D跟踪方法[33，3，34，13，42，35，20，8，40，36，21]都是建立在暹罗网络上的。通常，暹罗网络有两个分支，模板和搜索区域共享权重，以衡量它们在隐式嵌入空间中的相似性。最近，[21]将区域建议网络和暹罗网络结合起来以提高性能。因此，避免了耗时的多尺度搜索和在线微调。后来，许多努力[42，20，40，36，8]遵循这一范式。然而，上述方法都是由2D CNN驱动的，这不适用于点云。因此，我们的目标是扩展暹罗跟踪范例的3D对象跟踪有效的3D目标的建议。点集上的深度学习最近，点集上的深度学习引起了越来越多的研究兴趣[5，30]。为了解决点云3D姿态估计[22，9，6]和3D对象跟踪[11]。然而，[11]中的3D跟踪网络不能执行。特定目标特征增强3D目标建议和验证模板种子潜在目标中心区3D目标PointNet++潜在提案集目标中心...……相似性图级联逐点相似...……PointNet++搜索区域种子搜索具有目标特定特征的区域种子种子靶向评分建议式目标性评分得双曲余切值.KKS不SnK×（1+3+d2）我我S不s，pni×（1+3+d2）11S不s，pn1×（1+3+d2）M1×（3+d1）M2×（3+d1）最终3D盒............搜索区域N2×3模板N1×3M2×M 1特征加强M2×（3+d2）投票分类M2×1M2×（3+d2）M2×（1+3+d2）聚类用%s验证6331121RJ特征加强Simj，：321q1q2q3RRJJi=1D2j=1RJR符号定义模板和搜索区域的点集。qi，Q模板种子和种子集。rj，R搜索区域种子和种子集cj，C潜在目标中心和中心设置。ft，Ft特定于目标的特性和特性集算法1 P2B。Φ和Θ表示在特征通道上操作的MLP-Maxpool-MLP网络输入：模板中的点（大小为N1的Ptmp）和搜索区域（大小为N2的Psea）。输出：具有最高sp的建议。1：特征提取。将Ptmp和Psea送入主链，种子Q={q}M1和R={r}M2，特征f∈Rd1。每个种子ss种子方面的目标性得分。i i=1jj=1sp提议方面的目标性得分。pt3D目标建议。MLP多层感知器，具有全连接层，批量归一化和ReLU。用其3D位置和f表示，以产生3 + d1的维度。2：点式相似性。 计算每个种子rj和Q之间的逐点相似性Sim j：。 对于所有的搜索种子，我们得到Sim ∈ RM2×M1.3：功能增强。 增加每个Simj：其中Q的大小为M1 ×（1+ 1）。Maxpool使用MAX操作的池化层。3+ d1）。 将结果馈送到Φ中以获得rj的目标特定特征ftJ ∈Rd2.rj用其3D位置表示，而ftJ 得到3 + d2的维数。表1.P2B中的符号。4：生成潜在的目标中心。 每个种子rj 1）预测一个潜在目标通过Hough投票，具有特征fcj∈R的中心cj，以及2）用种子方向的目标性得分ss∈R。cj由连接ss表示，其变更单、j，：2 1J J3D位置和fcj以产生1+3+d2的维度。5：集群。对C中的子集进行采样，使其大小为K。 对于每个采样的cj，用球查询生成聚类Tj，其中Tj包含nj个潜在的目标中心。6：3D目标建议。 将每个Tj馈送到Θ中以生成一个3D目标提议pt具有提议方面的目标性得分sp。共预测了K个建议。RJ、=确定潜在目标中心，实施联合目标方案，以端到端的方式进行验证和验证P2B有图3.置换不变性的概念。为了表示rj，我们首先计算rj和所有模板种子Q={q}3. 然而，Sim一直在改变两个主要部分（图）2）：1）目标特定特征增强，以及2）3D目标建议和验证。我们首先ii=1j，：由于Q 这促使我们的功能增强一致（即，，置换不变）ft。“1、2、3“表示尺寸，单位为Sim j，i和ft。端到端的3D目标联合提出和验证，这是P2B目标提案。在2D跟踪任务中，许多检测跟踪方法[41，37，14]利用模板中包含的目标线索来获得高质量的目标特定建议。它们以目标感知的方式对具有边缘 特征 [41]、 区域 建议 网络 [37]或 注意 力图 [14]的（2D）基于区域的像素进行操作。相比之下，P2B将每个点视为一个潜在目标中心的回归量，直接关系到3D目标建议。霍夫投票Hough voting [19]的开创性工作提出了一种高度灵活的对象形状的学习表示，它可以将在不同训练示例中观察到的信息结合到广义Hough变换[2]的概率扩展中。最近，[28]将Hough投票嵌入到端到端可训练的深度网络中，用于点云中的3D对象检测，这进一步聚合了本地上下文并产生了有希望的结果。但如何有效地将其应用于三维目标跟踪仍然是未知的。3. P2B：一种用于三维目标跟踪的点集网络3.1. 概述在3D目标跟踪中，我们专注于逐帧定位搜索区域中的目标（由模板定义）。我们的目标是将模板的目标线索嵌入将模板和搜索区域分别馈送到主干中获取它们的种子然后，模板种子帮助增加搜索区域种子与目标特定的功能。之后，通过Hough投票将这些增强的搜索区域种子投影到潜在的目标中心还计算了逐种子的目标性得分，以规范特征学习并加强这些潜在目标中心的辨别能力。然后，每个潜在的目标中心聚类其邻居的3D目标建议。具有最大提议目标性得分的提议被验证为最终结果。我们将详细说明如下。P2B中的主要符号在表1中定义。为了便于理解，我们还在算法1中描绘了详细的技术流程。3.2. 目标特定特征增强在这里，我们的目的是合并模板我们首先饲料模板和搜索区域分别到特征骨干，并获得它们的种子。在模板中嵌入目标信息后，基于模式匹配的思想，在搜索区域种子中加入目标特征，同时满足排列不变性，解决了点云点云上的特征编码。我们将模板Ptmp（大小为N1）和搜索区域Psea（大小为N2）中的点馈送到特征主干，并获得M1个模板种子Q ={qi}M1和M2个搜索区域 种 子 R ={rj}M2 ， 其 中 特 征 f∈Rd1 。 我 们 应 用PointNet++[30]的分层特征学习架构作为骨干（但不限制于它），使得Q和R可以保持Ptmp和Psea内的局部连续性。 每个种子最终用[x;f]∈R3+d1表示（x表示种子的3D位置）。3特征加强二季度一季度三季度公司简介123ftRJftRJ1236332的特征信道在M1频道副本M2×M 1×（1+3+d1）M1×（3+d 1）M2×M 1×d2RJJJJJRJ模板种子MLP1MaxpoolMLP2专题频道搜索具有目标特定特征的搜索区域XYZsM2×3图4. 目标特定特征增强的图示。我们的方法嵌入模板置换不变目标特定特征aug-R3+d2其中xc=xrj +xrj和fcjt+ f t。心理状态为了将Q一个简单的想法是计算逐点相似性Sim（大小M2× M1），例如，使用余弦距离：不Lreg=1MTSΣǁ∆xj−∆gtjǁ·I[rjontarget].（二）JSIM=fqi·frj，∈Q，r∈R.（一）j，ifqi·frj2这里，Rgtj表示从rj到tar getcenter;I（·）表示我们只训练那些seeds注意，Simj：（Sim中的第j行）表示rj和Q中的所有种子。 我们可以首先考虑Simj：作为rj的目标特定特征。然而，如图所示3，Simj，：由于Q的无序而保持不稳定这与我们需要位于地面实况数据集的表面上;Mts表示训练的种子的数量。集群和目标提案。对于每个cj，我们使用球查询[30]生成半径为R的聚类Tt：Tt=J J一致的特征，即，，Q的内部特征不变量排列因此，我们应用对称函数（特别是Maxpool）来确保置换不变性。如图4所示，我们首先用Q '空间坐标和特征（全局跟踪线索）来增强每个Simj：（局部跟踪线索），产生大小为M1 ×（1 + 3 + d1）的张量。然后我们将张量送入网络Φ（MLP-Maxpool-{ck|ck−cj<$2 25006334MaxpoolM2型坦克1方法先前结果上一个GT当前GTTSFA的方法成功精度[11]第十一话41.364.676.9我们的默认设置56.272.8P2B（我们的）56.282.484.0无模板要素55.670.9精密SC3D [11]57.974.581.3无相似图52.769.4P2B（我们的）72.890.190.3具有搜索区域功能A56.872.6具有搜索区域功能B49.364.8表2. 与SC3D的全面比较。右边三列生成搜索区域的方式不同。方法汽车行人面包车骑自行车平均帧数6424 6088 124830814068成功SC3D [11] 41.3 18.2 40.441.5 31.2P2B（我方）56.2 28.7 40.832.142.4[11] 2016年12月27日表4. 目标特定特征增强（tsfa）的不同方法。用于获得搜索特征A和B的方法在图1中示出。六、concatenate之后的特点精度P2B（我方）72.8 49.6 48.444.760.0表3. 与SC3D的广泛比较。右侧五列显示不同目标类型的结果及其均值。我们应用了Adam优化器[17]。学习率为零-搜索区域特征（B）0.001，10个周期后下降5倍批量为32。在实践中，我们观察到P2B在大约40个时期之后收敛到令人满意的结果。试验. 我们使用经过训练的P2B来逐帧推断tracklet内的3D绑定框。对于当前帧，模板最初采用第一GT我们将先前的结果在当前帧中放大2米，并收集内部点云以获得搜索区域。4.2. 综合比较我 们只 将我 们 的P2B与 SC3D [11]进 行了 比较 ，SC3D是第一个也是唯一一个基于点云的3D对象跟踪。我们在表2中报告了3D汽车跟踪的结果。我们生成的搜索区域集中在以前的结果，以前的GT或当前GT。使用以前的结果作为搜索中心满足实际场景的要求，而使用以前的GT有助于近似评估短期跟踪性能。对于这两种情况，SC3D应用卡尔曼滤波来生成建议。使用当前GT是不合理的，但在SC3D中被认为是近似穷举搜索和评估SC3D具体而言，SC3D围绕目标中心进行网格搜索，以在生成的建议中包括GT框然而，P2B集群潜在的目标中心，以产生建议，没有明确的依赖于GT框。即P2B可以适应各种场景，而SC3D可以在GT盒被移除时降级，如表2所示。综合来看，P2B大幅优于SC3D。所有后来的实验都采用了使用先前结果的更现实的设置（第12节中的4.1.3）。广泛的比较。我们进一步比较了行人、货车和骑自行车者的P2B与SC3D（表3）。P2B的表现平均超过SC3D约10%。P2B的优势在数据丰富的汽车和行人上变得明显。但是P2B当训练数据减少时，图6.在目标中包含搜索区域要素的两种方法具体特征增强。对于A，我们复制了搜索区域种子沿着相似性图的每一列;对于B，我们将搜索区域特征与Maxpool之后的特征连接在一起（图2）。4）.面包车和自行车。我们推测P2B可能依赖更多的数据来学习更好的网络，特别是在回归潜在的目标中心时。相比之下，SC3D需要相对较少的数据来满足两个区域之间的相似性测量为了验证这一点，我们使用在数据丰富的Car上训练的模型来测试Van，相信Car类似于Van，并且包含潜在的可转移信息。正如预期的那样，P2B的成功率/精度结果显示出49.9/59.9的改进（原始：40.8/48.4），而SC 3D报告下降37.2/45.9（原始：40.4/47.0）。4.3. 消融研究4.3.1目标特定特征增强的方法除了我们在P2B中的默认设置（第二节），3.2），还有另外四种可能的特征增强方法：使用搜索区域特征A和B，去除模板特征（的重复），去除相似性图（图2）。（六）。我们比较了表4中的五种设置。在这里，移除模板特征或相似性图会降低约1%或3%，这验证了这两部分在默认设置中的贡献。搜索区域特征A和B没有改善甚至损害性能。请注意，我们已经在两个条件下组合了模板特征。这可能表明搜索区域特征仅捕获空间上下文而不是目标线索，因此对于目标特定的特征增强变得无用。相比之下，我们的默认设置带来了更丰富的目标线索，从模板种子，以产生一个更副本M2×d 1搜索区域特征……副本模板种子M1×（3+d1）（一）M2×M 1×（1+3+）d1+d 1）M2型坦克1M2导弹M2导弹……M2×M 1相似性图6335P2bSC3D1020406080100120一些建议精度图7. 种子定向得分和潜在目标中心的图示。 绿线显示从种子（第一行中的有色点）到潜在目标中心（第二行中的有色点 我们标记了这些信息点，即。目标性得分较高的为红色，相反的为黄色。配对种子和潜在中心以相同的颜色标记以显示相关性。使用%s的成功精度的方法成功的源泉精确度表5.种子定向的有效性。所有先前的结果51.441.366.857.9808060604040202000P2bSC3D1020406080100120一些建议表6. 模板生成的不同方式。“First在第一GT和先前结果内，以更新模板以提高效率。在这里，我们报告了四种设置图8. 不同数量的建议，以显示我们的方法是兼容的参数范围广泛。4.3.2种子定向的有效性节中3.4中，我们获得种子方向的目标性得分s，并将它们与潜在的目标中心连接起来，以指导建议和验证。在这里，我们测试了P2B，没有这个级联，甚至没有ss的整个分支（表5）。我们可以观察到，在删除整个分支的同时，省略串联会使性能下降10%下降了13%。 这证明SS提供了良好的超级-学习整个网络的愿景，以提高目标建议和验证。4.3.3不同提案数量的稳健性我们测试了P2B（没有重新训练）和SC3D与不同数量的建议。从图中的结果。8、P2B在只有20个提案的情况下取得了令人满意的结果。但是当使用少于40个亲时，SC3D急剧退化。总之，P2B变得更强大，以更少的建议，表明P2B可以产生更高的质量和效率的建议4.3.4模板生成方法对于模板生成，SC3D连接所有先前结果中的点，而P2B连接点对于模板生成：第一个GT，前一个结果，第一GT与先前结果的融合，以及所有非精确结果。表6中的结果显示了P2B我们将降级归因于1）我们没有包括形状完成[11]和2）我们没有使用所有先前的结果训练P2B，而SC3D考虑了两者。4.4. 定性分析4.4.1严重病例我们首先在图1中举例说明了我们的目标特定特征的区分能力。7.第一次会议。第一行可视化种子 我们可以观察到，P2B已经学会了 以将目标种子与背景种子区分开。第二行可视化P2B如何将种子投射到潜在的目标中心。我们可以观察到具有更多目标信息的潜在中心紧密地聚集在GT目标中心周围，这进一步验证了我们的区分性目标特异性特征。此外，P2B还可以解决遮挡问题，因为它可以生成多组信息丰富的潜在目标中心，用于最终预测。然后，我们将P2B相对于SC3D的优势可视化，以解决图中点云的稀疏性。9.第九条。 我们可以观察到，在SC3D跟踪偏离路线甚至失败的稀疏场景中，我们预测的盒子紧紧抓住目标中心。成功我们的默认设置56.272.8模板点P2B（我们的）SC3D[11]P2B（我们的）SC3D [11]无连接55.170.8第一个GT46.731.659.744.4如果没有整个s的分支52.667.4先前结果53.125.768.935.1首页上一页56.234.972.849.86336T=1T=5T=10T=18时间轴8第一帧搜索区域P2B18地面实况P2BSC3D地面实况时间轴1（帧）时间轴2（帧）T=30T=60T=90T=120T=150T=1T=5T=10T=20T=30图9. 我们的P2B与SC3D比较的病例。我们可以在密集（第一行序列）和稀疏（第二行序列）场景中观察到P2B图10.当初始模板包含很少的信息点时，P2B的失败案例。4.4.2失败案例在这里，我们搜索P2B失败的tracklet，发现大多数失败的情况下出现时，在第一帧中的初始模板太稀疏，因此产生的目标信息很少如图所示。当P2B面对这种情况并在杂乱背景下偏离路线跟踪时，来自初始模板的点不能修改当前错误的预测并重新获得信息模板。该失败还可能揭示P2B从模板而不是搜索区域继承目标信息。我们相信，当提供更多包含潜在丰富目标信息的点时，P2B可以生成更高质量的pro-bits，从而产生更好的结果。我们的直觉在图中得到了验证。11个国家。4.5. 运行速度在这里，我们平均所有测试帧的运行时间为汽车来衡量P2BP2B在单个NVIDIA 1080Ti GPU上实现了45.5FPS，包括处理点云的7.0 ms，网络前向传播的14.3 ms和后处理的0.9 ms。默认设置下的SC3D在同一平台上以1.8 FPS运行。5. 结论在 这 项 工 作 中 ， 我 们 提 出 了 一 种 新 的 点 到 盒（P2B）网络的三维目标跟踪。我们专注于将模板中的目标信息嵌入到搜索空间中，并制定了一个端到端的点驱动的目标识别和验证联合方法P2B在采样上运行9590858075706560555045第一帧汽车图11. 第一帧的车上的点数对我们的方法的影响我们对测试集中每个间隔（横轴）的平均成功率进行了种子而不是3D框，以大幅减少搜索空间实验证明了我们的建议实验还表明，P2B需要更多的数据，以获得令人满意的结果。因此，我们可以期待一个更少依赖数据的P2B，同时我们也可以收集更多的数据来处理这个大数据时代的问题。此外，我们可以寻求更好的方法，在搜索区域的特征增强和测试我们的方法更具挑战性的情况下。致 谢 本 工 作 得 到 国 家 自 然 科 学 基 金 （ 批 准 号 ：U1913602、61876211和61502187），国家装备预研基金（批准号：国家重点实验室开放基金（批准号：61403120405）6142113180211）和中央大学基础研究基金（批准号：2019kfyXKJC 024）。成功6337引用[1] AlirezaAsvadi，PedroGirao，PauloPeixoto，andUrbanoNunes.使用RGB和激光雷达数据的3D对象跟踪。IEEEInternationalConferenceonIntelligentTransportation Systems（ITSC），2016年。一、二[2] D. H. 巴 拉 德 推 广 霍 夫变 换 检 测 任 意 形 状 。Patternrecognition，13（2）：111-122，1981. 3[3] Luca Bertinetto 、 Jack Valmadre 、 Joao F Henriques 、Andrea Vedaldi和Philip HS Torr。用于对象跟踪的全卷积连体网络。欧洲计算机视觉会议（ECCV），2016年。一、二[4] Adel Bibi，Tinahzu Zhang和Bernard Ghanem。具有自动同步和注册的基于3D部件的稀疏跟踪器 在proc IEEE计算机视觉和模式识别会议（CVPR），2016。一、二[5] R. 齐查尔斯，苏浩，莫开春，列奥尼达斯。GuibasPointnet：对点集进行深度学习，用于3D分类和分割。IEEE计算机视觉与模式识别会议（CVPR），2017年。2[6] Xinghao Chen ， Guijin Wang ， Cairong Zhang ， Tae-Kyun Kim，and Xiangyang Ji. Shpr-net：从点云进行深度语义手部姿势回归。IEEE Access，第43425- 43439页，2018年。2[7] 安德烈·E·W 我 Comport， 埃里克 马尚 和 弗朗索瓦· 肖 梅特 。机 器人 视觉 鲁棒 模型 跟踪 。IEEE/RSJInternational Conference on Intelligent Robots and Systems（IROS），2004年。1[8] 范恒和凌海滨。用于实时视觉跟踪的Siamese级联区域投 影 网 络 。 IEEE 计 算 机 视 觉 与 模 式 识 别 会 议（CVPR），2019年。2[9] 刘浩、蔡玉军、翁君武、袁俊松。手点网：使用点集的3d手姿态估计。IEEE计算机视觉与模式识别会议（CVPR），2018年。2[10] Andreas Geiger，Philip Lenz，and Raquel Urtasun.我们准备好自动驾驶了吗？Kitti Vision基准套件。IEEE计算机视觉和模式识别会议（CVPR），2012年。二、五[11] Silvio Giancola，Jesus Zarzar，and Bernard Ghanem.杠杆老化形状完成三维暹罗跟踪。IEEE计算机视觉和模式识别会议，2019年。一、二、五、六、七[12] Neil Gordon，B Ristic，and S Arulampalam.超越卡尔曼滤波器：跟踪应用的粒子滤波器Artech House，伦敦，2004年。1[13] David Held Sebastian Thrun和Silvio Savarese学习使用深度回归网络以100 fps的速度跟踪。在proc欧洲计算机视觉会议（ECCV），2016年。2[14] LianghuaHuang ， XinZhao ， andKaiqiHuang.Globaltrack：一个简单而强大的长期跟踪基线。arXiv预印本arXiv：1912.08531，2019。3[15] Ugur Kart、Alan Lukezic、Matej Kristan、Joni-KristianKa- marainen和Jiri Matas。通过用视图特定的鉴别相关滤波器重建的对象跟踪。在procIEEE计算机视觉和模式识别会议（CVPR），2019年。一、二[16] Matas J. Kart U，Kamarainen J K.如何制作RGBD跟踪器？欧洲计算机视觉会议（ECCV），2018年。一、二[17] Diederik P. Kingma和Jimmy Ba。Adam：随机最佳化的方法。2015年国际学习表征会议（ICLR）。6[18] 罗曼·克洛科夫和维克多·伦皮茨基逃离细胞：用于三维点 云 模 型 识 别 的 深 度 kd 网 络 。 在 Proc. IEEEInternational Conference on Computer Vision（ICCV），2017。2[19] Bastian Leibe，Ales Leonardis，and Bernt Schiele.具有交叉分类和分割的鲁棒对象检测International Journal ofComputer Vision，77（1- 3）：259-289，2008. 3[20] Bo Li，Wei Wu，Qiang Wang，Fangyi Zhang，JunliangXing，and Junjie Yan.Siamrpn++：siamese视觉跟踪与非常深的网络的演变。在proc IEEE计算机视觉和模式识别会议（CVPR），2019年。2[21] Boli，Junjie Yan，Wei Wu，Zheng Zhu，and Xiaolin Hu.基于暹罗区域投影网络的高性能视觉跟踪。IEEE计算机视觉和模式识别会议（CVPR），2018年。2[22] 李世乐和李东赫基于点到位姿投票的残差置换等变层手部 位 姿 估 计 IEEE 计 算 机 视 觉 与 模 式 识 别 会 议（CVPR），2019年。2[23] Yangyan Li，Rui Bu，Mingchao Sun，Wei Wu，XinhanDi，and Baoquan Chen.Pointcnn：x变换点上的卷积神经信息处理系统进展（NIPS），2018年。2[24] 刘烨、景晓媛、聂建辉、高浩、刘军、蒋国平。用于rg