LiDAR扫描无需标签的移动对象检测方法

1130学习从LiDAR扫描中检测移动对象而无需标签Yurong You*†，1 Katie Luo*，1 Cheng Perng Phoo1Wei-Lun Chao2Wen Sun1Bharath Hariharan1Mark Campbell1KilianQ.Weinberger11康奈尔大学2俄亥俄州立大学摘要目前用于自动驾驶的3D物体检测器几乎完全是在人类注释的数据上训练的虽然这些数据质量很高，但产生这些数据既费力又昂贵，使其局限于少数几个特定地点和对象类型。本文提出了一种完全基于未标记数据的替代方法我们的方法利用几个简单的常识分类来创建近似种子标签的初始集合。例如，相关交通参与者通常不坚持多次穿越同一路线，不飞行，并且从不在地下。我们证明，这些种子标签是非常有效的引导一个令人惊讶的准确检测器，通过重复的自我训练，没有一个 单一的人类注 释标签。代码可 在https：github.com/ YurongYou/MODEST获得。1. 介绍自动驾驶有望彻底改变我们运输货物、旅行以及与环境互动的方式。为了安全地规划路线，自动驾驶汽车必须首先感知和定位移动交通参与者，如3D中的其他车辆和行人。目前最先进的3D物体检测器都是基于深度神经网络[45，48，49，61]，并且可以产生高达80个平均精度。在基准数据集上的选择[21，22]。然而，与所有深度学习方法一样，这些技术对标记数据有着无法满足的需求具体而言，为了训练将LiDAR扫描作为输入的3D对象检测器，通常需要首先提出感兴趣的对象的列表，并在3D点云空间中用紧密的边界框来注释它们中的每个。这样的数据注释过程是费力和昂贵的，但最糟糕的是，当训练和测试数据分布匹配时，所得的检测器只能实现高精度[58]。换句话说，它们的准确性会随着时间和空间的推移而下降，*表示平等缴款。†所有信件可直接发送至yy785@cornell.edu汽车、植被和背景物体的外观和形状发生变化。为了保证良好的性能，必须为特定的地理围栏区域收集标记的训练数据并不断重新标记数据，这极大地限制了自动驾驶车辆的应用和发展。这些问题引发了一个问题：我们可以从未标记的LiDAR数据中学习3D物体检测器吗？在这里，我们专注于“移动”对象，即，可能移动的对象，其中涵盖了广泛的交通参与者。乍一看，这似乎是一个难以克服的挑战。毕竟，探测器如何仅从LiDAR点云就知道行人是交通参与者而树木不是？我们在两个重要见解的帮助下解决这个问题1) 我们可以使用简单的识别技术，即使没有标记，偶尔也能或多或少可靠地将交通参与者与背景物体区分开来; 2）如果数据是嘈杂的，但多样的，神经网络擅长识别共同的模式，允许我们重复自标记剩余的对象，从一小部分种子标签开始。通过电子学弱标签。我们建立在一个简单但高度概括的概念，发现移动对象-移动对象不太可能随着时间的推移而持续停留在同一位置。虽然这需要相同位置的多个时间戳的未标记数据，但收集它们可以说比注释它们更便宜。毕竟，我们中的许多人每天都开车经过相同的路线（例如，上班或上学）。即使去新的地方，新的路线对我们来说可能是频繁的当地居民。具体地说，每当我们发现一条路线的多次穿越时，我们为每个LiDAR点计算一个简单的短暂性统计[3]，它表征了穿越时其局部邻域的变化。我们根据Li-DAR点的坐标和短暂性统计数据对它们进行所产生的集群具有高的短暂性统计，并位于地面上，被认为是移动的对象，并进一步配备了直立的边界框。自我训练（ST）。 虽然移动业务的该初始种子集不是穷举的（例如，停放的汽车可能会被错过）和有点嘈杂的形状，我们证明，对象检测器训练后，他们已经可以学习潜在的对象模式，并能够输出更多和更高，1131种子标签在种子上训练的探测器自我训练后的检测器地面实况图1. MODEST输出的可视化。 我们在两行中显示了Lyft数据集中两个场景的LiDAR扫描。从零标签，我们的方法能够引导一个检测器，实现接近地面真相的结果。关键的见解是利用从短暂性分数产生的噪声“质量边界框比种子集。这一有趣的观察进一步打开了使用检测到的对象框作为“更好的”伪地面事实来训练新对象检测器的可能性我们表明，这样的自我训练周期[32，59]使检测器能够随着时间的推移而自我改进;值得注意的是，它甚至可以受益于额外的未标记数据，这些数据没有与它们相关的多次过去遍历我们在Lyft 5级感知数据集[29]和具有各种类型检测器的nuScenes数据集[6]上验证了我们的方法MODEST（具有Ephemerality和Self-Training的M/O对象检测）[31，49，60，70]。我们证明，MODEST产生非常准确的移动对象检测器，与他们的监督同行具体而言，我们的贡献有三个方面：1. 我们提出了一种简单而有效的方法来识别“2. 我们表明，使用这些种子对象，我们可以引导准确的移动对象检测器通过自我训练。3. 我们在各种设置下详尽地评估了我们的方法，并在多个真实世界的数据集上展示了一致的性能2. 相关作品我们试图在没有任何人类监督的情况下建造物体探测器我们简要讨论几个相关的研究领域。3D物体检测和现有数据集。大多数现有的3D物体检测器将LiDAR生成的3D点云作为输入。它们由可以直接在点云上操作的专用神经架构组成[45不管是哪种架构，使用监督和它们的性能直接取决于训练数据集。然而，现有自动驾驶数据集[6，7，21，22，29]中的观测和驾驶条件的有限变化阻碍了探测器[58]。将这些推广到新的领域需要一个新的标签工作。相比之下，我们的无监督方法可以自动发现所有的交通参与者，并且可以用于在任何新的条件下训练检测器，而无需任何标记。2D/3D中的无监督对象发现。我们的工作遵循先前从2D图像和3D数据中发现对象的工作。对象发现的第一步是从单个场景/图像中识别候选对象或对于2D图像，这通常是通过使用外观线索分割图像来完成的[11，20，35，56]，但颜色变化和透视效果使其变得困难。Tian等人[53]利用图像和3D点云之间的对应关系来检测2D中的对象。在3D场景中，可以使用3D信息，例如表面法线[14，20，26也可以使用temporal如运动的变化[13，17，30，35，36]。我们的工作将有效的3D信息与场景随时间变化的线索相结合，以检测移动物体[26，27，37]。特别是，类似于我们的方法，Herbst等人。[26，27]在不同的时间重建相同的场景，并将不同的区域划分为移动对象。我们使用Barnes等人提出的类似的短暂性思想。[3]的文件。我们在我们的工作中表明，这个想法产生了一个令人惊讶的准确的初始对象集。此外，我们还利用了其他常识性规则，如物体的位置（例如，物体应该留在地面上）[9，15，16，38]或物体的形状（例如，对象应该是紧凑的）[15，16，28]。然而，至关重要的是，我们不只是停留在这个提案阶段。相反，我们使用这些种子标签来1132C−∈CC. .Σ。Σ·||−通过多轮自我训练来训练物体检测器。这可以有效地识别多个场景中一致的对象虽然以前的工作试图使用这种一致性线索[1，11，50，55-分割[19，33，64]），现有的工作通常使用聚类来实现这一点。相比之下，我们证明了神经网络训练和自我训练提供了非常强的信号，并大大提高了提案或种子标签的质量。自我训练，半监督和自我监督学习。 当训练我们的检测器时，我们使用自我训练，这对于半监督学习[32，59]，域适应[8，39，62，67，71，72]非常有效。和少量/迁移学习[23，42，43，54]。有趣的是，我们表明，自我训练不仅可以发现更多的对象，而且还可以纠正最初嘈杂的框标签。神经网络可以对噪声标签进行降噪的结果在[2，25，41，44]之前已经观察到自我训练也与其他半监督学习技术相似[4，5，24，51]，但更简单，适用范围更广3. 方法问题设置。 我们需要一种检测移动目标的检测器，即，可能移动的物体。我们希望仅从简单地通过在城镇周围驾驶获得的未标记数据训练该检测器，使用配备有同步传感器的汽车（特别是提供3D点云的LiDAR这样的数据收集方案是实用的并且不需要注释者;事实上，人们在日常生活中很容易收集到这些信息。我们假设这些未标记的数据至少包括几个被多次访问过的位置;正如我们将看到的，这为我们提供了一个非常有效的学习信号来识别移动对象。概况. 我们提出了简单的，高层次的常识属性，可以很容易地识别一些种子对象的未标记的数据。这些被发现的物体将作为几天后，当人们再次访问该十字路口时，该对象不太可能仍然存在换句话说，移动对象是场景的短暂成员[3]。当然，偶尔像汽车这样的移动物体可能会长时间停在路上。然而，在大多数情况下，短暂物体很可能是移动物体。移动对象还有哪些其他属性？很明显，他们必须在地面上，而不是在地面下或在天空之上。它们也可能比建筑物小。人们可以想出更多的，但我们发现，这些直观的，常识性的属性作为足够的从未标记的数据中挖掘对象的约束。基于这两组属性，我们提出了一种自下而上的方法，该方法首先识别短暂的点，然后将其聚类为服从这些常识属性的种子对象。在下面的部分中，我们将讨论实现，并在图2中显示一个示例种子标签生成。3.1.1识别临时点我们假设我们的未标记数据包括一组位置L，这些位置在单独的驾驶场景（或遍历）中被遍历多次对于通过位置c的每次遍历tL，我们聚合在c的[Hs，He]范围内捕获的点云，以产生密集的3D点云St对于遍历T1中的位置C。然后，我们使用这些密集的点云St来定义由巴恩斯等人所描述的短暂性。[3]的文件。具体地，为了检查场景中的3D点q是否是短暂的，对于每个遍历t，我们可以计算落在距离r到q内的LiDAR点的数量NT（q），Nt（q）= pi|<$pi− q<$2

下载后可阅读完整内容，剩余1页未读，立即下载