11177Just Go with the Flow：自监督场景流估计卡内基梅隆大学hmittal@andrew.cmu.edu卡内基梅隆大学bokorn@andrew.cmu.edu卡内基梅隆大学dheld@andrew.cmu.edu摘要当与高度动态的环境交互时，场景流允许自治系统推理多个独立对象的非刚性运动。这在自动驾驶领域尤其令人感兴趣，在该领域中，许多汽车、人、自行车和其他物体需要被准确地跟踪。当前最先进的方法需要来自自动驾驶场景的带注释的场景流数据，以利用监督学习来训练场景流网络。 作为替代方案，我们提出了一种方法，训练场景流，使用两个自我监督的损失，基于最近的邻居和循环一致性。这些自我监督的损失使我们能够在大型未标记的自动驾驶数据集上训练我们的方法;所得到的方法与不使用真实世界注释的当前技术水平的监督性能相匹配，并且当在较小的标记数据集上将我们的自监督方法与监督学习相结合时，超过了现有技术水平的性能。1. 介绍对于自动驾驶车辆，了解周围环境的动态对于确保安全规划和导航至关重要自动驾驶车辆必须能够感知周围各种实体的动作，例如其他车辆、行人和骑自行车的人。在记录为3D点云的数据的背景下，可以针对每个3D点估计运动;这被称为场景流，其指的是场景中每个3D点的3D速度。它的2D模拟，光流，是场景流到相机的图像平面上场景流估计的替代方案是使用3D对象检测来进行对象级跟踪，并且假设3D对象检测内的所有点边界框具有相同的刚性运动。然而，在这样的流水线中，对象检测中的错误可能导致跟踪中的错误。相比之下，场景流方法可以通过直接估计每个3D点的运动来避免这样的误差。最近的最先进的方法学习从3D点云估计场景流[9，6，23，26]。然而，在这方面，图1：我们使用两个自监督损失来学习大型未标记数据集上的场景流。“最近邻损失”惩罚预测点云（绿色）与第二个为了避免退化的解决方案，我们还估计这些预测点（绿色）之间的流动，在相反的方向回到原始点云（蓝色），以形成一个循环。循环中的新预测点（紫色）应该与原始点（蓝色）对齐;这两组点之间的距离形成了我们的第二个自监督损失：“周期一致性”这些方法是完全受监督的，并且需要用于训练的注释数据集。这样的注释是昂贵的获得，因为它们需要标记场景中的每个点的运动。为了弥补现实世界数据的不足，基于学习的场景流方法主要在合成数据集上进行训练，并在现实世界数据上进行微调这种对标记训练数据的要求限制了这种方法在现实世界中的有效性。为了克服这一局限性，我们提出了一种自监督的场景流估计方法使用两个自我监督损失的组合，我们能够模仿由人类注释创建的监督。具体来说，我们使用了一个周期一致性损失，这确保了场景流在时间上是一致的（即，我们确保时间周期在其开始的地方结束我们还使用11178我我我我我我最近邻损失;由于场景流注释的不可用性，我们将时间上下一点云中与预测的平移点最近的点视为伪地面真实关联。直觉上，最近邻丢失会促使一个点云流向下一个点云的邻近区域.我们表明，这种损失的组合可以用来训练场景流网络在大规模，未注释的数据集包含序列点云数据。我们的方法的概述可以在图1中找到。我们使用最先进的场景流方法的神经网络架构来测试我们的自我监督训练方法[9]。自我监督使我们能够在大规模的、未标记的自动驾驶数据集上训练这个网络。当没有给出真实世界的注释时，我们的方法与当前最先进的性能相匹配。此外，我们的方法在与较小的标记数据集上的监督学习相结合时，超过了最先进的场景流量估计方法的性能2. 相关工作Scene FlowVedulaet al. [19]首先介绍了场景流估计的任务。他们提出了一种线性算法来计算它从光流。其他工作涉及立体场景流的相机外函数和深度估计的联合优化[17]，粒子滤波器的使用[7]，局部刚性运动先验[20，22，21，11]和基于平滑度的正则化。larization [1].Deep Scene Flow最先进的场景流如今的方法使用深度学习来提高性能。FlowNet3D [9]建立在PointNet++[16，15]的基础上，直接从一对点云估计场景流Gu等人[6]产生了类似的结果，使用permutohedral lattice以稀疏的结构化方式对点云数据进行编码。上述方法直接从3D点云计算场景流[9，6]。涉及体素化的方法与对象中心刚体假设[2]，范围图像[18]和非网格结构化数据[23]也已经被包括自监督信号的工作是图像帧排序[14]，图像随时间的特征相似性[24]，以及从点云的聚类和重建[8]。虽然这些可以潜在地用于从3D数据的表示在我们工作的同时，Wuet al. [26]表明倒角距离，平滑约束和拉普拉斯正则化可以用于以自我监督的方式训练场景流。3. 方法3.1. 问题定义对于场景流估计的任务，我们具有点云的时间序列：点云X作为在时间t捕获的点云和在时间t+1捕获的点云Y。这些点云上没有强制的结构，它们可以直接从LIDAR记录下来传感器或通过立体声算法估计点云X中的每个点pi={xi，fi}包含该点的笛卡尔位置xi∈R3，以及传感器产生的任何附加信息，如颜色、强度、法线等，由fi∈Rc表示。这两个点云之间的场景流D={di}N，di∈R3描述了将点云X映射到其在由点云Y描述的场景中的对应位置x ′，使得x′=xi+di，并且N是点云X的大小。场景流被定义为使得xi和x′表示移动的对象的相同3D点。时间与光流估计不同，x′的精确3D位置可能不一定与点云Y，由于点云的稀疏性此外，X和Y的大小可以不同。与我们的任务相关联的真实误差是估计流g（X，Y）=D={di}N与真实流D={di}N之间的差，1ΣNL=d−d2.（一）用于场景流估计。所有上述方法使用合成数据[10]或少量注释的真实世界数据[5]（或两者）进行训练。我们的自我监督损失可以在大型未标记数据集上进行训练，从而大幅提高性能。自我监督学习Wanget al. [25]使用自我监督学习进行视频的2D跟踪他们提出了一种跟踪器，该跟踪器在时间t获取图像的一个补丁，在时间t-1获取整个图像，以跟踪图像中的图像补丁上一帧。他们定义了一个自我监督的损失通过跟踪-在时间上向前和向后移动补丁以形成循环，同时通过循环一致性和特征相似性来惩罚错误。我们从这项工作中获得灵感，用于点云上的自监督流估计。其他gtNii我公式1中的损失是有用的，因为它在理论上等同于终点误差，我们将其用作评估指标。然而，计算该损失需要注释的地面实况流数据。这种类型的注释很容易在合成数据中计算[10]，但需要对真实世界数据集进行昂贵的人工标记因此，只有少量带注释的场景流数据集可用[12，13]。虽然在纯合成数据上进行训练是可能的，但通常可以通过在目标应用领域的真实数据上进行训练来获得大的改进。例如，Luiet al. [9]在对少量带注释的真实世界进行11179我我我我我我我我流di∈D到每个点xi∈Xgi表示点xi在n e xt帧中的位置：xi=xi+dii。(a) 最近邻损失（b）周期一致性损失然后，我们在相反的方向上计算场景流对于每个变换点x′，我们估计将该点变换回原始帧的流D′=g（X′，X）。通过这种“反向”流动我我图2：连续点云X（蓝色）和Y（红色）之间的自我监督损失示例。我们考虑点x，其地面真实投影点x'在训练时间内未知。（a）最近邻损失计算投影点xx x′之间，预测如下：前向流和Y轴上最近的点 （b）周期一个新的估计点xx′ ′。 如果前向流和反向流都是准确的，则该点x′′应与原始点x i相同。这些点之间的误差e周期为：“循环一致性损失”，由下式ΣNL=x"−x2。（三）一致性损失使用反向流将该变换的点跟踪回到其原始帧上，作为点xx′′，并计算到其原始位置x的距离。数据这一结果促使我们使用自我监督训练来训练大型未标记数据集。最近邻（NN）损失对于大型未标记数据集，由于我们没有关于数据集的信息，因此无法计算公式1中的损失。代替注释数据，我们从迭代最近点[3]等方法中获得灵感，并使用我们的trans-nearest-neighbor。形成的点x′=xi+di作为真第一周期我类似的损失在[9]中用作正则化。然而，我们发现，如果只使用自监督学习而不使用任何地面实况注释，则以这种方式实现周期损失可能会产生不稳定的结果。 这些不稳定性似乎是由以下错误引起的：- 所估计的流量，其导致变换后的点云X“ 中 的 结 构 失真 ，其被用作用于计算反向流量g（X" ，X）的输入。这就需要网--工作，同时学习纠正任何扭曲，同时也学会了估计真实的反向流。To为了解决这个问题，我们使用最近的邻居y通信。对于每一个变换点x∈x∈x，我们J变换点x′作为反向中的锚点找到它的最近邻居yj∈ Y，并计算欧几里得到该点的距离，如图2a中的eNN所1ΣNL=minx′−y2。（二）我过去的 使用最近邻yj稳定结构同时仍然保持围绕周期的对应性。这种稳定化的效果如图3所示。当我们使用锚定时NNNyj∈Yi我由于这一点是周期反向传递的一部分，我们将这种损失称为假设初始流量估计足够接近正确的流量估计，该损失将使变换的点云和目标点云更接近。然而，如果强加这种损失具体来说，我们计算锚定反向流如下。 首先，我们像以前一样计算前向流D=g（X，Y），我们用它来计算变换后的点云x′=xi+di。然后我们计算锚点一个人首先，点xi的真实位置被变换为“”Ni地面实况流x′=x+d′可能不相同X={x<$i}作为变换后的我我我点及其最近邻点x′=λx′+（1−λ）yj。在作为x的最近邻的位置（由ii估计流量），这是由于估计流量中潜在的大误差，如图2a所示此外，如果点X’与Y中的任何点不对应，则X’的位置可以不与云Y足够稀疏，这对于点云很常见由稀疏3D LIDAR收集，用于自动驾驶。Fi-通常，这种损失不会惩罚退化解，其中X中的所有点映射到Y中的同一点;这样的退化解在等式2下将获得0损失。为了解决这些问题，我们使用了一个额外的自监督损失：周期一致性损失。为了避免上述问题，我们引入了一个额外的自我监督损失：周期一致性损失。如图2b所示 我们首先估计“for ward”流为D = g（X，Y）。应用所估计的通过实验，我们发现λ=0。5生产最多准确的结果。最后，我们利用这些锚点计算了反向流：D<$′=g（X<$′，X）。然后，将公式3的循环损失应用于该锚定反向流。通过使用锚定，预测点云X"的一些结构变形将在锚定点云X“中被消除，从而导致用于逆流。注意，循环一致性损失也有一个退化解：“零流量“，即。D=0，根据公式3将产生0损失。 然而，零流量将当使用锚定循环电容器时，产生非零损耗;因此锚定有助于去除这种退化的溶液。此外，对于零流的退化解，最近邻损失也将是非零的J11180我们的自我监督方法我们看到，这种变化导致了基线性能的小幅改善，我们将其包含在结果表中。(a)（b）第（1）款图3：复合误差导致使用转换点云估计反向流的问题。（a）大的流量预测误差会降低转换后的云X′（显示为绿色）的结构。因此，计算X"（绿色）和X（蓝色）之间的反向流动是一种病态，提出的任务。（b）使用最近邻点（红色）作为锚点，我们能够稳定转换后的云X′（青色），从而保留重要的结构信息。因此，最近邻和循环一致性损失中的每一个的局部最小值冲突，允许它们的和L=LNN+Lcycle充当真实误差的稳定替代。仅在一个方向上具有点云序列的数据集可能会产生运动偏差，这可能导致网络预测流等于训练集的平均前进速度。为了减少这种偏差，我们通过翻转点云来增加训练集通过这种增强，网络可以看到具有向前运动和向后运动的相等数量的点云序列。4. 实验我们运行了几个实验来验证我们的自监督方法，用于场景流估计，用于各种监督级别和不同数据量。首先，我们证明了我们的方法，在大型未标记数据集上进行自监督训练，可以在现有标记数据上进行监督训练。接下来，我们研究如何通过将自监督学习与少量监督学习相结合来改善我们的结果，从而超过纯监督学习的性能。最后，我们通过消融研究探索了我们方法中每个元素的效用。4.1. 实现细节对于所有数据配置（我们的方法和基线），我们使用在FlyingThing3D数据集[10]上预训练的Flownet3D模型[9]的参数初始化我们的网络。我们将我们的自监督训练过程与在KITTI数据集上使用监督微调的基线进行比较[5]。比较中使用的基线与Liu等人的基线相同。[9]，除了我们将训练迭代的数量从150 epoch（如原始论文中所述）增加到10k epoch，以保持训练迭代的数量与4.2. 数据集KITTI Vision Benchmark SuiteKITTI [5]是一个真实世界的自动驾驶数据集。KITTI中有150个LIDAR数据场景，使用Velodyne 64 LIDAR的七次扫描收集，使用3D模型进行增强，并使用地面实况场景流进行注释[13]。对于我们在自我监督和监督设置下的实验，我们考虑150个场景中的100个用于训练，其余50个场景用于测试。地面点从每个场景中删除使用预处理，这是在concilious工作[9]中执行每个场景由两个不同时间记录的一对点云以及第一个点云的每个点的地面实况场景流组成。nuScenesnuScenes [4]数据集是一个用于自动驾驶的大规模公共数据集。它包括850个公开提供的驾驶场景，总共从波士顿和新加坡.使用以20 Hz旋转的Velodyne32 LIDAR收集LIDAR数据。这与用于KITTI数据集的64束Velodyne以10 Hz旋转形成对比。传感器的这种差异导致数据稀疏性的差异，从而在KITTI和nuScene之间产生分布偏移这种分布变化需要在我们的nuScenes自我监督训练之外对KITTI进行额外的训练。尽管如此，我们的结果显示了nuScenes上的自我监督训练的实质性好处。由于nuScenes数据集[4]不包含场景流注释，因此在使用此数据集时必须使用自监督方法。在我们的实验中，在850个可用场景中，我们使用700个作为训练集，其余150个作为验证集。与KITTI类似，我们使用手动调整的高度阈值从每个点云中删除地面点。4.3. 结果我们使用三个标准的指标来定量评估预测的场景流时，场景流的地面实况注释可用。我们的主要评估指标是端点误差（EPE），它描述了预测点和地面真实转换点之间的平均欧几里得距离，如公式1所示。 我们还计算了两个阈值水平的准确度，Acc（0.05）作为EPE 0的场景流预测的百分比<。05 m或相对误差<5%和Acc（0.1），作为EPE为0的点的百分比<。1m或相对误差10%，与以前的工作[9]中进行的评估相同。<11181图4：在没有任何标记的LIDAR数据的情况下训练的KITTI数据集的时间t（红色）和t+1（绿色）的点云之间的场景流估计来自我们的自监督方法的预测，在nuScenes上训练并使用自监督学习在KITTI上进行微调，以蓝色显示;仅合成训练的基线以紫色显示。在没有真实世界监督训练的情况下，我们的方法明显优于基线方法，后者高估了许多区域的流量。(Best颜色显示）(a) 我们的（自我监督微调）（b）基线（无微调）图5：我们的自监督方法与仅在合成数据上训练的基线的比较，显示在nuScenes数据集上。场景流是在时间t（红色）和t+1（绿色）的点云之间计算的;使用估计流变换的点云显示为蓝色。在我们的方法中，与基线相比，预测的点云与下一个时间戳（绿色）的点云由于nuScenes数据集不提供任何场景流注释，因此监督方法无法针对此环境进行微调。4.3.1定量结果自我监督训练：与以前的工作不同，我们不限于带注释的点云数据集;我们的方法可以在任何连续点云数据集上训练。有许多点云数据集包含城市场景的真实LIDAR捕获，但它们中的大多数不包含场景流注释。由于缺少注释，这些数据集11182训练方法EPE（m）↓ ACC（0.05）↑ ACC（0.1）↑图6：在时间t（红色）和t+1（绿色）的点云之间，KITTI数据集的LIDAR数据的场景流估计我们的方法使用自监督学习在nuScenes上进行训练，然后使用监督学习在KITTI上进行微调，显示为蓝色。基线方法仅在KITTI上使用监督训练进行微调，并以紫色显示。总的来说，这两种方法都能很好地估计场景流，在nuScenes（蓝色）上添加自监督训练使我们的预测能够更接近下一帧点云（绿色）。在几个场景中，纯监督方法（紫色）低估了流量，过于接近初始点云（红色）。(Best颜色显示）无微调0.12225.37%57.85%KITTI（监督）0.10031.42%66.12%消融：KITTI（自我监督）0.12632.00%73.64%我们的：nuScenes（Self-Supervised）+ KITTI（Self-Supervised）0.10546.48%79.42%我们的：nuScenes（自我监督）+ KITTI（监督）0.09147.92%79.63%表1：KITTI数据集上的监管水平比较。最近邻+锚定周期丢失用于nuScenes（自监督）和KITTI（自监督）。所有方法都在FlyingThings3D[10]上进行了预训练，并为KITTI和nuScenes数据集删除了地面点。不能用于有监督的场景流学习。相比之下，我们的自我监督损失允许我们轻松地将它们整合到我们的训练集中。这些数据集的组合（KITTI + NuScenes）包含的真实数据比单独使用KITTI多5倍。结果示于表1中。 为了展示自我监督训练的价值，我们在不使用任何地面实况注释的情况下评估了我们方法的性能。我们首先在合成的FlyingThings 3D数据集上进行预训练;然后在大型nuScenes数据集上进行自监督微调，然后在较小的KITTI数据集上进行进一步的自 监 督 微 调 （ 第 4 行 ： 我 们 的 ： nuScenes （ Self-Supervised）+ KITTI（Self-Supervised）可以看出，不使用真实世界的注释，我们能够实现0.105 m的EPE。这优于仅在合成数据上训练的基线（“无微调”）。更令人印象深刻的是，我们的方法与基线相似，基线对合成数据进行预训练，然后对KITTI数据集进行监督微调（“KITTI（监督）”）;我们的方法具有类似的EPE，并且在准确性方面优于该基线，尽管不能访问任何注释的训练数据。这个结果表明，我们的自监督训练方法，在足够大的未标记数据集上，可以匹配监督训练的性能自我监督+监督：最后，我们展示了将我们的自监督学习方法与少量监督学习相结合的价值。对于这个分析，我们如上所述在NuScenes上执行自监督训练，然后在更小的KITTI数据集上进行监督训练结果见表1的最后一行。可以看出，这种自我监督训练然后进行监督微调的方法在此基准上优于所有其他方法，获得0.091的EPE，优于先前使用的最先进结果。11183图7：相对于地面实况流量幅度（m）的平均EPE（m）的分析。流量估计值按地面实况流量大小进行分组，所有结果的置信区间均为95%。只有监督训练。这显示了在大型未标记数据集上进行自监督训练以提高场景流准确性的好处，即使在场景流注释可用时也是如此。虽然表1仅显示了使用FlowNet3D [9]架构的结果，但我们注意到，我们的方法也优于HPLFlownet [6]的结果（EPE为0.1169）以及它们所比较的所有模型。图7提供了对平均端点误差与地面实况流的幅度之间的相关性的分析可以看出，我们的方法在几乎所有流量量级上都一致地优于基线。4.3.2定性分析自我监督培训- KITTI结果：接下来，我们进行定性分析，以可视化性能我们的方法。我们将我们的方法（nuScenes上的合成预训练+自监督训练+KITTI上的自监督训练）与仅合成训练KITTI的结果如图4所示。该图分别以红色和绿色显示了在时间t和t+1捕获的点云。我们的方法的预测以蓝色显示，基线预测以紫色显示。如图所示，我们的场景流预测（蓝色）与时间t+1的点云（绿色）有很大的重叠。另一方面，基线预测（紫色）在时间t+1不与点云重叠。仅在合成数据上训练的基线无法推广到真实世界的KITTI数据集。相反，我们的自我监督方法可以在任何现实世界的环境中进行微调，并显示出比基线有显着的改善。自我监督训练（nuScenes + KITTI）NN损失比丢失锚点翻转EPE（m）ACC（0.05）ACC（0.1）CCCC0.10546.48%79.42%CCC0.10740.03%72.20%CC0.14630.21%48.57%C0.10842.00%78.51%0.12225.37%57.85%自我监督（nuScenes）+监督训练（KITTI）NN损失比丢失锚点翻转EPE（m）ACC（0.05）ACC（0.1）CCCC0.09147.92%79.63%CCC0.09340.69%74.50%CC0.09230.76%72.94%C0.11431.24%64.58%0.10031.42%66.12%表2：消融分析：我们研究了不同的自我监督损失和数据增强的效果。上图：模型在nuScenes和KITTI上使用自我监督训练;下图：模型在nuScenes上使用自我监督训练，然后在KITTI上使用监督训练。自我监督训练- nuScenes结果：接下来，我们将我们的方法在nuScenes数据集上的性能可视化。请注意，由于nuScenes没有场景流注释，因此只能在此数据集上显示定性结果。对于这种分析，我们的方法像以前一样在合成数据（FlyingThings3D）上进行预训练，然后以自我监督的方式在nuScenes上进行微调。nuScenes的场景流注释不可用，因此我们将其与仅在合成数据上训练的基线进行比较。nuScenes上的结果如图5所示。这些结果再次展示了对真实世界数据的自我监督优于纯合成监督训练的优势。如前所述，该图显示了在时间捕获的点云t和t+1分别为红色和绿色。预测结果以蓝色显示，我们的方法在左边（图1）。 5a）和右边的基线（图。5b）。如图所示，我们的场景流预测（左图，蓝色）与时间t+1（绿色）的点云有很大的重叠。另一方面，基线预测（右图，蓝色）在时间t+1与点云不重叠。基线的低性能可以再次在-这归功于它在合成数据上的训练，以及它无法推广到真实世界的数据。对于nuScenes数据，不存在场景流注释，因此只有自监督学习才能提高性能。自我监督+监督训练- KITTI结果：最后，我们展示了将我们的自监督学习方法与少量的监督学习相结合的价值，与仅执行监督学习相比。对于我们的方法，我们执行合成预训练，然后对nuScenes进行自我监督微调，然后对小得多的KITTI数据集进行监督微调。我们比较了一个基线，它只执行合成预训练，然后进行监督微调KITTI。11184λEPE（m）↓ACC（0.05）↑ACC（0.1）↑00.120百分之二十四点零九73.20%0.250.12226.41%65.57%0.50.10546.48%79.42%0.750.12523.59%62.96%10.14922.97%49.58%表3：改变λ参数以“锚定”周期一致性损失的效果。显示了在nuScenes + KITTI上进行自监督训练的结果。图8：消融研究比较了我们的自我监督方法与最近邻损失和锚定循环一致性损失（蓝色）相比，仅使用最近邻损失（紫色）进行训练。场景流是在时间t（红色）和t+1（绿色）的KITTI数据集的点云定性结果见图6。该图分别以红色和绿色显示了在时间t和t+1捕获的点云。我们的方法的预测以蓝色显示，基线预测以紫色显示如图所示，我们的场景流预测（蓝色）与时间t+1的点云（绿色）有很大的重叠，而基线预测（紫色）没有。基线预测了一个小的运动，使变换后的云（紫色）过于接近初始位置（红色）。如上所述，这种朝向小运动的偏差可能是由于在合成数据集上训练基线，这影响基线到真实世界数据集的泛化，其中对象表现出与模拟中所见通过在一个明显更大的未标记数据集上进行训练，我们的方法能够避免过度拟合，并更好地推广到合成数据集中不存在的场景和流动4.3.3消融研究我们通过运行一系列消融研究来测试我们方法中每个组成部分的重要性表2显示了在纯自监督（顶部）和自监督+监督（底部）训练中迭代删除我们方法的部分的效果。锚定周期一致性损失的好处（与仅使用最近邻损失相比）可以在表2（底部）以及图8中看到。锚定的好处是显而易见的，当锚定被移除时，自我监督训练的性能大幅下降（顶部）。当只使用自我监督训练时，将锚点云作为反向流的一部分引入可以大大提高性能（图8，顶部）。这表明，锚定点云稳定了循环一致性损失的训练。此外，我们评估了我们的系统对锚定参数λ的选择的敏感性。表3显示，我们在λ =0时获得最佳结果。5，即使用预测点和最近点的平均值。总的来说，这些分析显示了我们方法的每个组成部分进一步的消融分析可参见补充资料。5. 结论在这项工作中，我们提出了一个自我监督的方法，训练场景流算法使用的时间周期一致性和最近邻损失的组合我们的纯自监督方法能够实现与广泛使用的KITTI自动驾驶数据集上的监督方法我们进一步表明，当监督训练在大规模的无注释数据集上进行自我监督时，结果超过了当前最先进的性能。我们的自我监督方法打开了对缺乏场景流注释的任意数据集进行微调的大门。确认这项工作得到了CMU Argo AI自动驾驶汽车研究中心和NASA空间技术研究奖学金的支持。引用[1] Tali Basha，Yael Moses，Nahum Kiryati。多视图场景流估计：一种视图中心变分方法。IJCV，101（1），2013年。2[2] Aseem Behl，Despoina Paschalidou，Simon Donne，andAn- dreas Geiger.Pointflownet：从点云学习用于刚性运动估计的表示。在CVPR，2019年。2[3] Paul J Besl和Neil D McKay。三维形状配准方法。在SensorfusionIV ： controlparadigmsanddatastructures，第1611卷，第586国际光学与光子学会，1992年。311185[4] 放大图片作者：Holger Caesar，Varun Bankiti，AlexH.Lang，Sourabh Vora，Venice Erin Liong，Qiang Xu，Anush Krishnan，Yu Pan，Giancarlo Baldan，and OscarBeijbom.nuscenes：用于自动驾驶的多模态数据集。arXiv预印本arXiv：1903.11027，2019。4[5] Andreas Geiger，Philip Lenz，and Raquel Urtasun.我们准备好自动驾驶了吗？Kitti Vision基准套件。CVPR，2012。二、四[6] Xiuye Gu，Yijie Wang，Chongruo Wu，Yong Jae Lee，and Panqu Wang.Hplflownet：用于大规模点云场景流估计的分层全面点阵流网在CVPR，2019年。一、二、七[7] Simon Hadfield和Richard Bowden使点运动：来自深度传感器的基于粒子的场景流。见ICCV，2011年。2[8] Kaveh Hassani和Mike Haley点云上的无监督多任务特征学习。在ICCV，2019年。2[9] Xingyu Liu ， Charles R Qi ， and Leonidas J Guibas.Flownet3d：学习3D点云中的场景流。在CVPR，2019年。一二三四七[10] Nikolaus Mayer ， Eddy Ilg ， Philip Hausser ， PhilippFischer ， Daniel Cremers ， Alexey Dosovitskiy ， andThomas Brox.用于训练卷积网络的大型数据集，用于视差，光流和场景流估计。在CVPR，2016年。二、四、六[11] Moritz Menze和Andreas Geiger。自动驾驶车辆的对象场景流。CVPR，2015。2[12] Moritz Menze，Christian Heipke，and Andreas Geiger.车辆与场景流的联合三维估计。 ISPRS年鉴 摄影测量，遥感&空间信息科学，2015年2月。2[13] Moritz Menze，Christian Heipke，and Andreas Geiger.对象场景流。ISPRS Journal of Photogrammetry and RemoteSensing，140，2018。二、四[14] Ishan Misra ， C Lawrence Zitnick ， and Martial Hebert.Shuf- fle 和学习：使 用时序验证的无监 督学习。在ECCV，2016年。2[15] Charles R Qi， Hao Su ，Kaichun Mo ， and Leonidas JGuibas.Pointnet：对点集进行深度学习，用于3D分类和分割。在IEEE计算机视觉和模式识别会议论文集，第652-660页2[16] Charles Ruizhongtai Qi，Li Yi，Hao Su，and Leonidas JGuibas. Pointnet++：度量空间中点集的深度层次特征学习。神经信息处理系统的进展，第5099-5108页，2017年。2[17] Le viValg aerts ， 和 re'sBruhn ， HenningZimmer ，JoachimWeickert，Carsten Stoll和Christian Theobalt。从立体序列联合估计运动、结构和几何形状。ECCV，2010年。2[18] 维克多·瓦奎罗，阿尔贝托·桑菲留，弗朗切斯科·莫雷诺-诺格尔.深激光雷达cnn了解动态移动车辆。在ICRA，2018年。2[19] Sundar Vedula 、 Simon Baker 、 Peter Rander 、 RobertCollins和Takeo Kanade。三维场景流。载于ICCV，1999年。211186[20] 克里斯托弗·沃格尔康拉德·辛德勒和斯特凡·罗斯。具有刚性运动先验的3D场景流估计。见ICCV，2011年。2[21] 克里斯托弗·沃格尔康拉德·辛德勒和斯特凡·罗斯。片段式的刚性场景流。InICCV，2013. 2[22] 克里斯托弗·沃格尔康拉德·辛德勒和斯特凡·罗斯。基于分段刚性场景模型的三维场景流估计IJCV，115（1），2015. 2[23] Shenlong Wang，Simon Suo，Wei-Chiu Ma，AndreiPokrovsky，and Raquel Urtasun.深度参数连续卷积神经网络。在CVPR，2018年。一、二[24] 王小龙和阿比纳夫古普塔。使用视频的视觉表示的无监督学习。在ICCV，2015年。2[25] Xiaolong Wang，Allan Jabri，and Alexei A Efros.从时间的周期一致性中学习对应。在CVPR，2019年。2[26] Wenxuan Wu ， Zhiyuan Wang ， Zhuwen Li ， WeiLiu，and Li Fuxin. Pointpwc-net：一个由粗到细的网络，用于3d点云上的监督和自监督场景流估计。2019. 一、二
我的内容管理
展开
