SLIM: 自监督LiDAR场景流和运动分割

13126SLIM：自监督LiDAR场景流和运动分割Stefan Andreas Baur* 1，2，David Josef Emmerichs* 1，5，Frank Moosmann1，PeterPinggera1，B joürnOmmer4，5andAndreasGeiger2，31Mercedes-BenzAG，Stuttg art2MPI-IS，Tübingen3UniversityofTübingen4Ludwig Maximilian University of Munich5 HeidelbergUniversityfirstname[middlename]lastname@daimler.comommer@uni-heidelberg.deandreas. tue.mpg.de摘要最近，已经出现了用于点云上的3D场景流的自监督学习的几个框架。场景流固有地将每个场景分成多个移动代理和一个单一的刚性传感器运动之后的一大类点。然而，现有的方法不杠杆年龄的数据在其自我监督的训练例程，可以改善和稳定的流量预测的这个属性。基于鲁棒刚性自我运动估计和原始流预测之间的差异预测的运动分割，反过来，是由我们的算法出席静止点的运动信息的聚合在静态部分的场景。我们学习我们的模型端到端的反向传播梯度通过Kabsch使用我们的方法，我们在多个领域展示了最先进的结果图1：SLIM的场景流预测。如色轮所示，流矢量按其方向和大小着色。我们的方法正确地将背景注释为静态，并为两辆车产生一致的结果，与地面实况场景流相匹配。经由p（t+1）=p（t）+fi将第一帧的第二帧的第二帧的第一帧另一个代表-我我不同的真实世界数据集的三个场景流度量，展示了这种方法的鲁棒性和通用性。我们进一步分析性能增益时，执行-形成联合运动分割和场景流在消融研究。我们还提出了一种新的3D激光雷达场景流的网络架构，它能够处理一个数量级更多的点在训练过程中比previously可能的。1. 介绍对场景中动态对象的运动进行推理对于自动驾驶等机器人应用至关重要。这种运动的一种表示是场景流，即两个连续时间帧之间的一组位移向量，形成3D向量场Ft-t+1。它的应用程序允许转换点Pt记录在第一帧*共同第一作者，同等贡献。表示是将点二进制分类为移动或静止，称为运动分割。本文解决了使用深度网络同时进行LiDAR场景流估计和运动分割的问题。现有的作品对待这两个问题独立。他们中的大多数依赖于大量的标记数据来获得最先进的结果（见第2.2节）。自监督学习试图缓解这个问题，但是使用弱监督或自监督的现有场景流网络具有严重的缺点：目前，所有这些都需要在训练期间将点云从典型LiDAR帧的约128，000个点下采样到不超过8，192个点，或者它们在具有1对1点对应关系的数据集上进行训练和评估，参见第2.4节。我们的方法即使在没有1对1对应关系的数据集上也能很好地训练，并且可以处理比以前的自监督场景流的方法多一到两个数量级的点。我们建立在RAFT [39]之上，这是光流的最新技术，并扩展了13127该网络对点云的基于PointPillar的鸟瞰图（BEV）特征表示执行迭代场景流估计和运动分割这种架构实现了generalizability，准确性和计算工作量之间的一个很好的权衡。利用静止背景下运动的一致性，我们能够提取训练目标进行自监督运动分割。除了原始的、连续记录的点云之外，训练不需要额外的数据或标签，用于自监督分类的线索仅来自这些类的典型运动轮廓。我们的主要贡献是：• 我们的方法是第一个基于点云的场景流估计方法，可以根据自监督训练将点分类为• 我们的方法在基于点云的场景流估计中显着优于以前的方法，特别是在对以前看不见的数据的泛化方面，我们在多个数据集上，在自监督和全监督设置中证明了这一点。• 我们的新型网络架构可以处理显着- icantly比目前的弱或自我监督的方法更多的点。2. 相关工作术语场景流首先由Vedula等人引入。[47]第47段。传统上，它是使用立体相机[14，25，44，16，29，6，30，51，25]来估计的，并且已经成功地应用于其他领域，例如RGB-D传感器[36]。2.1. 运动分割虽然存在一组将光流分层成一致组的方法，但它们不能容易地转移到点云，因为它们大量使用颜色信息和亮度恒定性假设[38，54，37]。范围图像上的场景流和运动分割的研究始于手工制作的特征和匹配，参见[28]。然而，在这项工作中，我们专注于场景流估计的点云域，它提供了自己的挑战，如稀疏的数据，以及缺乏完善的表示。近年来，焦点转向了基于学习的方法，如下面所讨论的2.2. 基于点云的有监督场景流通过里程计和前景-背景分割来训练他们的网络，以同时进行运动分割和场景流估计，使他们能够使用SemanticKitti [3]数据集来训练他们的方法。2.3. 自我监督学习对昂贵的注释数据的依赖可以通过自监督学习来克服。它已经成功地应用于在图像上训练网络，以使用几何和时间/循环一致性损失来预测光流、立体流、深度（或其组合）[48，1，15，56，58，19，7，10，34，49，23]和运动分割[43，4]。然而，点云上的自监督学习是一个年轻的领域，在大多数情况下，自监督也被用于在代理任务上预训练网络，并使用监督重新使用或微调实际任务的权重[13，35，55，32，40，57]。2.4. 基于点云最近，已经有一些关于点云上的自监督场景流估计的研究，但是所有这些工作都有各种各样的缺点。点 云 大 小 ： 许 多 架 构 基 于 图 [42 ， 31] ，PointNet/FlowNet 3D [27]或具有粗全局所有对所有相关性与精细局部相关性相结合的布局[18]。为了应对训练过程中爆炸式的内存需求，它们依赖于对输入点云的随机下采样，在许多情况下也是在推理过程中。Mittal等人[27]子采样到2，048点，其他[53，18，31，42]下采样到8，192点。这些方法在从立体相机或具有小稀疏性的RGB-D数据源相比之下，LiDAR传感器覆盖的区域比立体钻机大得多，但点密度低得多常规LiDAR传感器在每帧中测量超过100k个3D点我们能够处理比以前的作品更多的点。这使我们的架构的优势超过现有的方法，因为它可以利用任意点密度在训练和推理。对应假设：Zuanazzi等人发现了当前方法的另一个严重缺点。[59]：他们注意到[53]和[27]在点上训练（和评估）具有1对1对应关系的云p（t+1）=p（t）+fi，我我多年来，基于点云的场景流估计领域的研究集中在监督学习方法上。大多数方法依赖于合成数据集[12，21，22，50，52，33，45]或非公开数据集[46]进行训练。Behl等人。[2]开始使用真实世界的Kitti Tracking数据集，但它只在相机视场（FoV）中进行了密集注释。Gojcic等人[11]通过使用弱监督降低了对注释数据KITTI-SF和FT 3D数据集。此外，它们在实验中显示，当在训练/推断之前为了破坏对应性而对点进行洗牌和采样时，性能严重下降。来自LiDAR的真实世界测量不遵守对应性假设，因为对于每个时间步长对场景进行采样，并且点云之间的双射映射不存在。对离群值的鲁棒性由于静态点上的流向量13128P PI I∈-≤≤P ∈ P∈LLLP∈LLF ∈2R我4我我都来自相同的传感器运动，Tishchenko等人。[42]介绍了一个两阶段的网络：第一阶段，姿态回归网络，估计自我运动和转换的源点云。第二阶段随后估计流量。虽然真实数据记录包含的静态点比移动点多得多，这应该会带来良好的性能，但它们在真实数据上存在高离群值率- 即使在静态点上。我们在我们的实验中证明了通过使用完全可微的Kabsch算法回归传感器的自我运动来预测所有点的密集场景流的更好的离群值抵抗力2.5. 自监督运动分段在点云上据我们所知，只有一个先前的网络使用自我监督来学习点云上的运动分割：Thomas等人。[41]使用相同环境的多个记录来训练网络以识别永久静止、缓慢和快速移动的对象。我们的方法不需要多次记录，可以直接在点云对上训练。3. 方法3D场景流估计使用两个连续的输入点云tRN×3，电话+1RM×3来预测第一点云中的每个点的3D位移矢量，表示每个点相对于. 传感器框架。3.1. 网络架构我们利用一个高效的网络，从自主车辆（AV）的角度专门研究LiDAR数据，牺牲了推广到FT3D中看到的更自由移动的场景和对象的能力请。我们的网络由三个组成部分，详细的图。2：下面解释的点云编码器、流主干和输出解码器。我们还介绍了使用的损失函数和它们的用途。点云编码器：使用[20]中引入的柱特征网络（PFN）（共享权重）将输入点云t、t+1单独编码为BEV伪图像，得到的值t，t+1RH×W×C则为被脊骨刺穿确保与其他方法[53，42，21，52，12，11]中，我们对所有数据集使用相同的BEV范围，覆盖自我车辆周围从35mx，y到35m的正方形，其中x，y是水平轴。我们使用H=W=640的分辨率，其对应于大约11cm的柱尺寸。流量主干：我们的骨干受到RAFT [39]的启发，RAFT[39]被开发用于预测密集的光学特性。图像上的校准流。它的核心组件是一个递归地作用于隐藏状态的更新块和一个流预测块。每次迭代。因此，从独立编码的输入图像构建相关体积，使用先前的流预测来查找相关值，并且因此将流引导到更准确匹配的像素区域。即使RAFT是专为密集的光流，我们表明，它也是非常合适的，以及在人口稀少的BEV域，其中包括更分散，更小的区域和非常独立的运动模式（移动的交通参与者）比常规图像的推广。我们调整RAFT [39]来处理流量预测，并迭代更新两个额外的logit，如图所示。2.第一logit图cls用作输出信号以将点分类为静止或移动w.r. t。世界框架。预测流量的准确性在场景中可能变化很大，因为无特征表面不适合于流量估计。第二个logitwgt用于克服这个问题，允许- ing网络在流量估计中用信号表示其置信度。输出解码器使用这两个logit来聚合和提高静态和动态场景元素的准确性。CLS的处理类似于流，但是置信加权的任务更紧密地与流预测联系在一起，因此数据流在信息处理期间是耦合除了这个小的变化，我们保留了RAFT的一般框架，包括归零的梯度不仅对输入流，但也对每个更新块的输入logits。输出解码器：我们的主干产生2D BEV流图RH×W×2以及两个logit图cls、wgt。此外，我们的模型通过移动平均线，dis，……在3.2节中有更详细的讨论首先，输出解码器使用这些BEV图来根据输入点云t 的对应柱单元的值用流向量fi和两个logitIcls ，i、Iwgt，i来通过这样做，我们假设柱中的所有点的行为非常相似。我们相信这对于几乎所有在户外测量的LiDAR点云都是正确的，因为所有移动的交通参与者都需要占用一些地面。此外，大多数LiDAR系统以其光束不朝上的方式构建 注意，尽管我们的网络架构以这种方式专门化，但是我们的损失框架适合于任何3D场景流预测，并且不需要2D流的假设。为了正则化和改进静态场景上的流预测，输出解码器聚集点类。简化为一个单一的相干刚体运动里程变换TrR4×4。当将其结果流与来自网络的流预测进行比较时，该聚合变换应最小化平方误差：T=argmin Σw（T−I）p −f（1）更精确、更精确的流量定义测距变换Ot→t+1 =E（t+1）∈EtT∈R 4×4个pi∈Pt13129（O−I）p4 it电话+1不≈LLPPP PNNwi=Σ|Pt|我我我相关体积上下文特征编码器RAFT血流主干输出解码器Kabsch算法相关查找更新区块PFN0筏编码器更新区块PFNConv6次迭代隐藏状态ConvGRU图2：我们的网络架构概述。卷积门控递归单元（ConvGRU）使用由预测流引导的相关查找来迭代地预测流和logits的更新。R4×4作为时间t +1时在自我车辆坐标系中从时间步t测量的自我车辆位置，我们知道所有静止点的流量应为-1。我们因此，期望计算的变换→r-10t→t+1至是车辆里程计的良好近似。我们使用Kabsch每个点的权重w，i确定每个流矢量预测对最终结果Tr有多大影响。我们首先将S形激活应用于置信度对数，然后基于分类对数对其进行掩蔽。之后，我们将所有权重归一化为1，以确保数值稳定性。有关融合计算的详细信息，请参见补充资料k-NN损失：首先，我们使用k-NN损失作为我们的流量估计的自监督信号，正如早期的自监督场景流[27，53，42]所做的那样。给定一个点态流fi和一个最近邻函数NNPt+1（pi）=argminpj∈Pt+1|pj−pi|对于P t中的每个流量校正点，我们找到基于NN的误差距离：ei=|NNPt+1 （ pi+fi ） − （ pi+ fi ） |（4）当我们处理噪声数据，特别是非双射点云时，在远处的点中观察到更大的误差。为了减轻这种情况，我们定义了一个离群值百分比p输出<<1，并忽略位于该最高百分位数中的所有错误。此外，我们不将该损失应用于聚合流Fagg，而是分别应用于原始流预测F和刚性流fr，i=（Tr-I4）pi，从而导致总NN损失σ（lwgt，i）[σ（lcls，i）≥pstat]J]）≥pstat）[σ（lcls，j σ（lwgt，j（二）L=1Σe（f）+e（f）的情况。（五）置信度对数仅通过以下方式接收梯度更新因此，端到端地训练Tr和Tr的计算，而无需进一步的监督。出于推断的目的，我们的网络的最终聚合流图是我们发现这在早期阶段稳定了训练并且不损害性能。仅将损失应用于聚合流具有以下问题：在训练期间的早期，平滑且小的刚性流更准确，并且因此在引导净流的原始流上占主导地位。f=.（Tr−I4）piiflcls，i≥pstat（三）进入局部最优，其中分类预测阿格岛fi如果我cls，i 0。3或相对误差> 0。1分类阈值：我们在实验中观察到我们的得分和度量取决于用于在移动点或静止点的情况之间切换的良好校准的阈值P_stat。由于我们的训练流水线已经在Tr的计算中要求该阈值用于权重，因此我们需要在线机制来调整该阈值，而不是在后处理期间选择它。因此，我们跟踪我们想要针对可能阈值p〇、p1、… pN.然后，我们可以用下式定义阈值p_stat=p_ii= argminm（pi）（12）i =0，…，N作为我们的度量当前最优的点。 它是IM-值得注意的是，在自监督训练的情况下，我们只使用k-近邻误差ei和er，i，它们13131H其中EE> 0的ROutl点比率。3，相对误差> 0。3为了确保与先前工作的可比性，我们将Outl报告为KITTI-SF上的度量，然而，我们发现它具有若干缺点，最值得注意的是Outl和AccR的总和通常大于100%，这对于离群值度量是违反直觉的。在其他数据 集 上 ， 我 们 专 门 报 告 了 上 文 定 义 的 稳 健 变 体ROutl。这两个指标的更详细的讨论和直接比较可以在补充材料中找到。由于我们调查的其他数据集包含移动场景部分w.r. t的较大不平衡。固定的，我们分别报告这两个班级的分数。地面实况测距法用于计算非刚性流分量fnr，gt，i=fgt，i−（Ot−1t+1−I4）pi.非刚性点不需要任何地面事实标签，但也只有大约-流量大于m转thresh =5厘米（相当于1.8公里）13132图3：KITTI-SF场景中方法的定性比较根据AccR准确估计的流量为蓝色，不准确的预测为红色。从左至右：PointPWCNet（PPWC），PoseFlowNet（PF），Ours被标记为动态的，其余的被标记为静态的。我们引入AEE 50-50作为分别在静止点和移动点上测量的AEE之间的平均值。基线：我们选择了两种方法作为基线，它们为场景流的自我训练和监督训练提供了最新的最先进的结果：我 们 比 较 的 第 一 个 基 线 是 PointPWCNet （ PPWC ）[53]，它使用类似于RAFT [39]的主干，因为它也依赖于其架构内部的相关卷。第二个基线取自[42]，并学习预测与非刚性流分开的流的自我运动分量，类似于我们的在下文中，我们 将该方法称为PoseFlowNet（PF）数据集：为了获得有代表性的结果，我们使用了三个非常不同的户外交通场景数据集，它们的共同点是它们通过LiDAR从参与交通的（自主）车辆的位置观察场景。此外，我们使用FT3D [24]作为基线作为训练数据。FlyingThings3D：两种基线方法都广泛使用了FT3D [24]数据集，由随机飞行的物体组成。点云和流是1对1对应的，并且具有比来自其他数据集的对应物显著更多的点。该数据集不适合于我们的方法，因为我们假设流动主要在水平x，y平面中，并且同一支柱内的点这两个假设都不适用于这个数据集，因此我们不使用它来训练我们的方法。nuScenes：nuScenes [5]是使用Velodyne VLP32 LiDAR传感器记录的自动驾驶（AD）数据集，具有空间和时间上的密集注释对象框我们使用记录的静态点的车辆里程计和移动对象的跟踪信息（边界框），用地面实况信息注释点云。CARLA：使用CARLA模拟器[8]，我们收集了一个人工数据集，其中包含142k个连续点云和地面实况流注释。Town07专门用于评估，我们记录了1，900个不同的场景。KITTI：KITTI-SF [26]训练数据集被许多作品用作3D场景流的主要基准[21，53，42，18]。对于这142个样本，给出了立体地面实况和流注释，允许将数据集转换 为 具 有 场 景 流 标 签 的 点 云 表 示 。 与 nuScenes 和CARLA数据集相比，它由成对的1对1对应的点云和流组成，这与在不同时间步长测量的真实世界点云不同。我们还将我们的方法与该数据集上的基线进行了比较。对于训练，我们使用KITTI [9]数据集（缩写为KITTI-RL）发布的未标记原始LiDAR点云的整个集合。4.2. 点云密度我们的网络架构能够处理来自KITTI-RL的完整场景作为输入，包括大约64，000个点。虽然在理论上，基线可以在类似的大小上运行推理，但在训练期间，由于内存需求和训练时间急剧增加，运行超过8，192个点的基线是不可行的因此，增加的点云密度不仅提供更多的信息，而且还表示在推理期间网络的域我们的第一组实验显示了哪种类型的评估对基线和我们的方法产生更好的结果，并确定了我们在下面的实验中使用的评估模式。表1示出了这些实验的结果我们在FT 3D上以自我监督的方式训练基线，因为在KITTI-SF上评估时，它会给他们最好的分数。对于我们的网络，我们在KITTI-RL上训练自监督，因为它反过来会在KITTI-SF上产生最佳结果。我们的结论是，这两个基线遭受域移位由于不同的点密度，并没有受益于增加的分辨率。因此，我们总是在下采样点云上评估基线，并且我们的13133↓ ↑↓所所↓ ↑↓≈评估数据#点AEE↓ AccS↑ AccR↑ Outl↓表1：点云密度的影响我们的方法（*）是在KITTI-RL上训练的。2019 - 06 -21 0.1610 0.2035 0.5809 0.781165536 0.1654 0.1999 0.5783KITTI-SF81920.3466 0.0820 0.3145 0.8233表3：nuScenes上的自监督训练评估移动状态50-50AEE AccR ROutl AEE AEE零0.6381 0.16320.5783 0.52480.58141999年12月31日电话：+86-021 - 8888888传真：+86-021- 88888888我们的0.1050 0.7365 0.0240 0.09250.0987全部0.3648 0.0726 0.2974 0.8579819265536KITTI-SF8192KITTI-SF81922019 - 06 - 22 00：00：002017年12月31日0.30090.09862019年12月31日0.1207 0.5178 0.79560.40240.0668 0.7695 0.9342表4：对CARLA的自我监督训练评估移动状态50-50AEE AccR ROUTI AEE AEE零0.4049 0.18050.4753 0.47520.4401表2：具有域转移的自监督训练，在KITTI-SF列车数据AEE↓ AccS↑ AccR↑ Outl↓粤ICP备05016666号-1nuScenes 0.7708 0.0897 0.2078 0.9193（a）秘书长的报告KITTI-RL 0.37120.1992 0.4092 0.7406粤ICP备16039999号-1nuScenes 0.4628 0.0000 0.1356 1.0000（a）秘书长的报告KITTI-RL 0.4448 0.0526 0.2310 0.9885nuScenes 0.1013 0.7156 0.8739 0.3046（a）临时工作人员KITTI-RL0.0668 0.7695 0.9342 0.2488方法对全点云。4.3. 训练数据集和域转移基线已经在KITTI-SF上进行了评估，网络在FT 3D上进行了训练。我们发现，我们的方法在KITTI-SF上的表现完全不同，这取决于训练过程中使用的数据集。因此，表2示出了针对不同训练数据集的KITTI-SF上的自监督模型的验证性能。我们的方法给出了最好的结果KITTI-RL。这是有意义的，因为除了KITTI-SF中的小相机FoV之外，几何属性及其分布匹配。当在FT3D上训练时，基线给出的结果比在任何其他数据集上更好。然而，在其他三个LiDAR数据集中，KITTI-RL似乎是最佳选择。FT 3D比KITTI-RL 工作得 更好也并不 奇怪，因为 它更像KITTI-SF中发现的相机FoV。定性结果见图。3.第三章。4.4. LiDAR数据为了更接近真实世界的评估，我们在没有点对应的两个注释数据集CARLA和nuScenes上进行自监督实验。与静态点相比，两个数据集都表现出移动点的大得多的不平衡（非刚性流> m阈值）。在KITTI-SF中，大约40%的点在移动，而在nuScenes和CARLA中只有5%在移动。因此，我们分别计算AEE和Acc分数，并报告新引入的AEE 50-50，以便于比较方法。表3示出了nuScenes数据集的结果，表4示出了CARLA的结果，其中我们在相应的数据集上训练了我们的方法以及基线。可以看出，两种基线方法的性能都比我们的方法差得多。然而，将他们的结果与他们在KITTI-SF上实现的结果进行比较表明，当在更真实的数据上进行训练时，这些方法本身没有丢失对应性的真正问题4.5. 有监督流量预测最后，我们给出了每种方法在不同数据集上的最佳结果。除了我们的方法和KITTI-SF数据集的情况外，所有结果都是使用监督训练实现的。在这里，我们的方法在KITTI-RL上进行自监督训练时表现最好，而在其他两个注释数据集上进行监督训练时表现最好，证明了我们的自监督模型的能力表5和表6表明，我们的方法大大优于基线w.r.t.几乎所有的指标。KITTI-RL和KITTI-SF之间的域间隙是所有域中最小的，因此我们的网络使用自监督在KITTI-SF上实现了最佳结果其他方法都无法获利从小的畴隙到相同的程度。在nuScenes和CARLA的情况下，基线会发生-PF我们我们PPWCPPWCPFFT3DFT3DPPWC0.3811 0.0948 0.50570.2577 0.3194PF0.5711 0.00850.1093 0.3402我们0.0809 0.8351 0.05280.0853 0.083113134nuScenes卡拉表5：所有方法在KITTI-SF上的最佳结果注表7：nuScenesPPWC和PF接受全面监督培训，同时我们的方法仅使用自我监督。方法训练数据AEE↓ AccS↑ AccR↑ Outl↓PPWC FT3D 0.2578 0.1803 0.4838 0.7176PF FT3D 0.1743 0.2716 0.5830 0.8729自我监督logit自我确认移动Stat.50-50介绍aggr.重量AEE AEE AEE0.1214 0.18890.1050 0.0925 0.0987✓ 0.1413 0.1100 0.1256我们的KITTI-RL0.0668 0.7695 0.9342 0.2488表6：最佳监督结果监督✓ ✓✓ ✓0.1530 0.14010.09330.04740.07040.07020.04990.0600移动状态50-50方法AEE ↓AccR ↑ROutl ↓AEE ↓AEE↓2006 - 2007年电话：+86-021 -88888888传真：+86-021 - 88888888我们的（a）在2004年12月31日之前电话：+86-021 - 88888888传真：+86-021 -88888888我们的0.0702 0.8921 0.01700.04990.0600与移动点的不平衡成角度。特别是PF实现了有希望的结果的固定点，甚至优于我们的方法在nuScenes。然而，它完全忽略了移动对象。相比之下，我们的方法使用移动分类阈值，因此优雅地完全适应移动点数量变化的数据集。我们得出结论，我们的方法稳健地处理具有大约5cm的一致流AEE 50-50的不同数据集，而基线在更现实的数据集上表现得截然不同4.6. 消融研究我们现在进行一系列实验，以消除单个组件的重要性，从我们最基本的设置开始：具有RAFT主干作为强基线的PP编码器[20]，参见表7。我们首先修改RAFT主干以更新和跟踪流图以及分类逻辑，我们使用分类逻辑将聚合步骤应用于掩蔽的自我运动流图，以便调节运动场以提高场景的静态部分的准确性。然后，引入用于产生由聚合步骤使用的权重的另一个logit图，在理论上，允许网络选择具有高流量确定性的区域，并且导致对静态场景元素的甚至更强的性能。对于监督训练，我们观察到性能的稳定改善。然而，在自我监督的情况下，我们观察到的信心权重不产生进一步的改善相比，纯聚合。我们将此归因于以下事实：在自监督训练期间，仅通过非常嘈杂的kNN残差更新移动阈值。这不足以将移动阈值引导到最佳校准。第关于更详细的分析，我们参考补充材料。4.7. 运动分割如表7所示，运动分割提高了场景流性能。定性分析图中的logits。4揭示了网络确实学会了从点云中挑选移动对象。通过在KITTI-RL上进行自我监督训练，我们的模型在KITTI-SF上的mIoU得分为59.5%，灵敏度为73.1%。关于运动分段的更详细的讨论可以在补充材料中找到。图4：左：地面实况运动分割，右侧：预测的动态性，更高的移动概率更亮5. 结论我们介绍了SLIM，这是一种用于LiDAR场景流估计的新方法，它通过几个关键贡献改进了最先进的技术：我们提出了一种新的网络设计，允许我们在更大的点云上进行训练和评估，从而消除了下采样的需要。我们的模型分类静止和移动的场景部分。我们证明了静态流的所得聚集导致刚性流场的显著改善，进而使得能够更好地自监督分类成静止点和移动点。在未来的工作中，我们计划探索更好的正则化策略和更多的自我监督信号，以进一步增强我们的方法。6. 确认AndreasGeiger得到DFG EXC编号2064/1-项目编号390727645的支持。B joürnOmmer在“KI Absicherung -自动驾驶安全AI”项目中得到了德国联邦政府BMWi的支持13135引用[1] Tali Basha，Yael Moses，Nahum Kiryati。多视图场景流估计：一种视图中心变分方法。国际计算机目视，101（1）：6[2] AseemBehl，DespoinaPaschalidou，SimonDonne'，andAn-dreas Geiger.Pointflownet：从点云学习用于刚性运动估计的表示。在IEEE计算机视觉和模式识别会议上，CVPR 2019，长滩，加利福尼亚州，美国，2019年6月16日至20日，第7962计算机视觉基金会/ IEEE，2019年。[3] Jens Behley ， Martin Garbade ， Andres Milioto ， JanQuen-zel，S v enBehn k e，CyrillStachniss，andJürgenGall.Se-mantickitti：激光雷达序列语义场景理解数据集。在2019年IEEE/CVF国际计算机视觉会议，ICCV 2019，韩国首尔（南），2019年10月27日至11月2日，第9296-9306页。IEEE，2019。[4] Pia Bideau，Rakesh R. Menon，and Erik G.学习米勒。Moa-net：自监督运动分割。在Laura Leal-Taixe和StefanRoth，编辑，计算机视觉- ECCV 2018研讨会-德国慕尼黑，2018年9月8日至14日，会议记录，第六部分，计算机科学讲义第11134卷，第715-730页。Springer，2018.[5] 放大图片作者：Holger Caesar，Varun Bankiti，AlexH.Lang，Sourabh Vora，Venice Erin Liong，Qiang Xu，Anush Krishnan ， Yu Pan ， Gi- ancarlo Baldan ， andOscar Beijbom.nuscenes：自动驾驶的多模态数据集。2020年IEEE/CVF计算机视觉和模式识别会议，CVPR2020，美国华盛顿州西雅图，2020年6月13日至19日，第11618-11628页。IEEE，2020年。[6] 罗德里戈湖Carceroni和Kiriakos N.库图拉科斯通过surfel采样的多视图场景捕获：从视频流到非刚性3d运动，形状和反射。国际期刊。目视，49（2-3）：175[7] 陈宇华，考迪莉亚·施密德，克里斯蒂安·斯明奇斯-埃斯库.单目视频中具有几何约束的自监督学习：连接流量，深度和摄像头。在2019年IEEE/CVF国际计算机视觉会议，ICCV 2019，韩国首尔（南），2019年10月27日至11月日，第7062-7071页。IEEE，2019。[8] AlexyDos o vitski y，Germ a´ nRos，FelipeCod e villa，Anto-nioM. 洛佩斯和弗拉德伦·科尔通。CARLA：开放式城市驾驶模拟器。在第一届机器人学习年会上，CoRL 2017，Mountain View，California，USA，2017年11月13日至15日Proceedings，Proceedings of MachineLearning Research ， 第78 卷 ，第 1-16 页 PMLR ， 2017年。[9] Andreas Geiger ， Philip Lenz ， Christoph Stiller ， andRaquel Urtasun.视觉与机器人技术的结合：KITTI数据集。国际机器人研究杂志，32（11）：1231[10] Cle' mentGodard ， OisinMacAodha ， MichaelFirman ，andGabriel J. Brostow.深入研究自我监督的单目深度估计。在2019年IEEE/CVF国际计算机视觉会议，ICCV2019，韩国首尔（南），2019年10月27日至11月2日，第3827-3837页。IEEE，2019。[11] 放大图片作者：J.Guibas和Tolga Birdal。刚性三维场景流的弱监督学习。CoRR，abs/2102.08945，2021。[12] Xiuye Gu，Yijie Wang，Chongruo Wu，Yong Jae Lee，and Panqu Wang. Hplflownet：Hierarchical permutohedrallattice flownet for scene flow estimation on large-scalepoint clouds.在IEEE计算机视觉和专利识别会议