利用刚性约束进行LiDAR场景流估计

12776(a)无配向(b)间接约束(c)直接刚度约束(d)直接约束+EAO利用刚性约束进行LiDAR场景流估计中国科学技术大学图1. 不同递归神经网络的推理实例。从左到右：（a）来自lidarKITTI场景流数据集的源（红色）和目标（蓝色）输入点云[23]，（b）FlowStep3D间接引入优化目标的拉普拉斯约束[16]，（c）我们的方法直接引入多体刚度约束，以及（d）我们的方法引入基于（c）的错误有趣的文物被圈起来，并在底部放大。摘要以往的LiDAR场景流估计方法，特别是递归神经网络，在遇到稀疏反射和运动遮挡等困难时，往往会出现结构失真。在本文中，我们提出了一种新的优化方法的基础上，递归神经网络预测激光雷达场景流在弱监督的方式。具体来说，我们的神经递归网络利用直接刚性约束，以保持在迭代对齐过程中的变形源场景的几何结构。提出了一种误差补偿优化策略，通过最小化点测量误差来更新LiDAR场景流，而不是多次重建成本体积。在两个自动驾驶数据集上进行训练后，我们的网络在lidarKITTI上的表现远远优于最近最先进的 网 络 。 代 码 和 模 型 将 在 https ： //github 上 提供。com/gtdong-ustc/LiDARSceneFlow。1. 介绍LiDAR场景流估计是三维场景理解中的一项基本任务，在自动驾驶等计算机视觉应用中具有重要意义与光流估计，重点是有限元分析，*同等缴款。†通讯作者：zwxiong@ustc.edu.cn对于有序RGB数据的真实匹配，场景流估计提出了额外的挑战，因为它涉及聚集来自LiDAR传感器的无序数据。为了处理无序数据，已经提出了几种用于场景流估计的卷积神经网络（CNN）。就卷积运算而言，这些基于CNN的方法可以分为两类，基于2D卷积的方法[1，11，32]和基于3D卷积的方法[1，11，32]。方法[16，19，26，35，36]。通常，基于2D卷积的方法将3D点云转换成2D表示，例如深度图和鸟瞰随着点云卷积的最新进展[27]，提出了利用3D卷积运算直接操作无序点云数据并实现快速的方法[16，19，34HPLFlowNet [10]和FlowNet3D [19]引入了不同的3D卷积来直接操作无序点云。他们都采用了端到端网络来学习点云的深层层次特征和场景流估计的相关嵌入。对于两个连续点云之间的小位移，这些工作是有效的，但不令人满意的大位移。然后，PointPWC-Net，利用由粗到细的策略，被提出来处理大位移[36]。首先在低分辨率下计算场景流以估计大位移，然后在高分辨率下逐渐细化PointPWC-Net的一个缺点在于误差累积，12777目标预先训练的分割网络杂交源BG公司简介背景分割点度量误差公司简介公司简介混合流水刚性流动目标错误授予GRU源刚性流转换场景流多刚体刚度约束的误差补偿优化图2.我们的场景流估计管道的概述背景掩模SBG和TBG从预先训练的分割网络中获得[8]。为了实现直接的多体刚性约束，预测场景流被转换为刚性流，并与刚性流混合作为混合流，这是下一次迭代的输入。在误差奖励优化中，基于GRU的递归神经网络采用点度量误差来指导预测场景流的迭代更新。在早期阶段。为了解决这个问题，最近的方法采用基于门控递归单元（GRU）的优化架构来迭代地更新预测的场景流[19，35]。然而，这种迭代机制存在结构失真和高时间消耗的问题。为了防止结构失真，以前的工作将间接约束引入迭代优化，其形式是在递归神经网络的目标函数中添加正则化项，例如拉普拉斯正则化[16]。然而，具有间接约束的递归网络仍然在某些情况下产生打破几何结构的场景流。图1（b）显示了FlowStep3D [16]产生的结构变形。与加入正则化项的间接约束不同，我们通过可微转换器将场景流转换为刚性流，将直接的多体刚性约束引入到递归神经网络多刚体刚度约束的显式引入消除了结构变形。虽然直接刚性约束的使用保持了对象的结构，但对象对齐的性能并不令人满意。先前的基于优化的方法通过对变形的源帧进行重新编码以重构成本体积来解决未对准，这是耗时的。受迭代最近点（ICP）算法[4]的启发，我们提出了一种误差奖励优化策略，该策略最小化点度量误差以迭代更新预测的场景流，直到获得完美的对齐结果。具体而言，我们采用基于GRU的递归网络，以采用扭曲的源帧和目标帧之间的最近邻误差[25]作为推理中的优化目标。图1（c，d）显示了我们提出的具有直接刚度约束和误差奖励优化的框架的推理示例在图2中，我们展示了我们的场景流估计流水线的概述，它提供了错误奖励优化、直接多体刚性约束和预训练分割网络的抽象。与[8]类似，为了训练我们提出的网络，我们必要的监督是二元背景掩模和自我运动。换句话说，我们的网络是以弱监督的方式训练的。为了验证所提出的网络的有效性，我们在两个数据集SemanticKITTI和Waymo Open上训练网络，并在有和没有地面点的lidarKITTI主要贡献概述如下：• 我们引入直接多体刚度约束的GRU为基础的递归神经网络的激光雷达场景流量估计。• 我们提出了一个有效的错误奖励优化策略，更新场景流通过最小化点度量误差，而不是重建成本体积多次。• 所提出的网络以弱监督的方式进行训练。实验结果表明，我们的方法优于国家的最先进的场景流估计方法的大幅度。2. 相关工作基于点云的场景流估计。最近，基于学习的方法在点云领域取得了很大进展[18，27，37]，这启发了基于点云的场景流估计的应用FlowNet3D [19]通过直接使用PointNet++ [27] 操 作 点 云 成 功 扩 展 了 FlowNet [6] 。HPLFlowNet [10]将点重新排列为SplatNet [28]中引入的permutohedral lattice [15]，以应用双边卷积层[12]，这导致了高效和鲁棒的非刚性3D流计算。Mittal等人提出了两种自监督损失，以允许在大规模，未标记的自动驾驶数据集上进行深度神经网络的端到端训练[25]。受经典金字塔网络[29]的启发，PointPWC-Net[36]以粗到细的方式在无序点云层上设计了基于点的成本体积，并以监督和自监督方式在合成数据集上显示了令人印象深刻的结果。与上述方法不同，FLOT[26]提出了一种简单的基于对应的端到端场景流网络，并采用最优传输来寻找对应。流量估算的约束条件。有人试图通过提取物理先验来估计流量，例如，多体刚度和局部平滑度。在早期阶段，这些作品利用运动特征来分离运动物体[5，14]。Golyanik等人在RGBD帧的分割上使用刚性约束[9]，而Vogel等人使用分段刚性移动平面来建模场景流12778k=0∈T∈Ti=1∈∈我j=1i=1--NyT{∈}nar patches，即局部平滑[33]。然后，为了进一步利用运动的多体刚性[20]，Ma等人利用优化框架中的立体RGBD设置的深度和流量预测来获得每个实例的3D运动[21]。然而，这种方法需要实例分割作为输入，这是很难实现的，即使是国家的最先进的分割方法。因此，Gojcic et al. 提出了一种用于刚性场景流估计的弱监督训练策略，该策略通过简单的二进制背景分割掩模和自我运动注释放松了对密集场景流监督的要求[8]。我们提出的方法通过循环更新场景流预测扩展了[8]的框架，并通过轻量级循环网络实现了出色的对齐相比之下，RAFT-3D [32]在推理过程中迭代更新刚性运动嵌入，但仅将RAFT [31]从光流估计扩展到场景流估计，并将有序RGBD作为输入。使用与RAFT-3D相同的策略，Baur等人。 [1]重建RAFT [31]以在点云的基于PointPillar [17]的流估计的循环更新。最近的作品利用基于点云卷积的递归网络来通过迭代更新预测的场景流[16，35]。受RAFT [31]的启发，PV-RAFT [35]估计点-体素相关场以整合两种类型的映射并捕获所有对关系，这使得场景流的迭代优化在迭代过程中更加准确和有效。与PV-RAFT不同，Flow-Step 3D [16]以单个低分辨率构建了全对全相关字段，并通过对扭曲的源帧进行重新编码来在每次迭代时更新该字段然而，基于点云卷积的递归网络遭受对象结构失真，即使在损失函数中强制执行强这一观察激励我们利用直接刚性约束进行场景流估计的鲁棒迭代优化。3. 问题定义给定两个连续的点云，源点云X={xi∈R3}Nx和目标点云Y={yj∈R3}定义两个点云之间的场景流为F=f iNx，其中N x和N y为整数。点云中的点的数目，f iR3表示将点x iX与其在另一个点云中的相应位置x′对齐的运动矢量。 应当注意，源中的点的数量可以不同于目标中的点的数量，即， N x和N y不一定相等。通常，场景流提供两个连续Li-DAR点云之间的软对应。然而，由于稀疏反射以及LiDAR数据中存在的运动遮挡等问题，很难得到精确的稠密场景流。为了解决这个问题，我们假设两个连续点云的运动，即。场景流F由自我运动和多对象运动组成，遵循[8]。具体地，源点云中的点可以被聚类为K+ 1个抽象，每个抽象具有点掩码Mk。属于同一抽象的点共享一个通用的SE（3）变换。我们定义一组K+ 1抽象变换为=Tk SE（3）K.在这些变换中，背景决定了自我运动T0前景物体决定了挖掘对象级运动T1，T2，. T K.应当并不是源中的所有点都可以被聚类在一个拥有严格变换的抽象中。对于那些没有刚性变换的点，需要计算常规最终预测的场景流是一个混合流，它是刚性流和场景流的混合4. 方法首先对源点云和目标点云进行处理，生成抽象模板，然后利用递归神经网络对场景流进行估计。我们的再当前工作的输入是源点云、目标点云和源点云的抽象掩模。输出是混合流，它是场景流和刚性流的混合。如图3、我们的迭代框架包括两个阶段：初始化阶段和循环更新阶段。在初始化阶段，我们计算初始代价体积CV0、隐藏状态h0、混合流HF0和权重，并将其用于循环更新阶段的计算。此外，初始混合流被生成以用于进一步细化。在循环更新阶段，我们采用一个错误授予GRU更新所有的变量和改进的混合流。该阶段将进行多次，以实现更好的流量估计。这两个阶段的结构如图3所示。为了避免混淆，我们将迭代下标l= 0用于初始化阶段，l= 1，2，...，L表示经常性更新阶段。在下文中，我们将描述这两个阶段中抽象掩码的生成和重要组件的细节。4.1. 抽象掩码生成我们首先从在SemanticKITTI上训练的预训练分割网络[8]生成二进制背景掩码。有关LiDAR点云数据集的二进制背景掩模的详细信息，请参阅我们的补充资料。然后，我们将DBSCAN聚类算法[7]应用于前景点，并获得一组二进制抽象掩码，每个掩码都指向一个前景对象。假设包括背景在内总共有K+ 1个抽象，抽象掩码的集合可以是12779MM→·初始化定期更新图3.我们的循环神经网络的结构 我们将该方法的前向推理分为两个阶段，即：初始化和经常更新。在初始化阶段，我们得到初始混合流HF0.而转向经常性的更新，我们引入了一个点度量误差来更新初始的混合流，而无需多次重新计算成本量。是内点还是外点与流头不同，权重头另外引入流及其对应的特征嵌入作为输入以生成初始权重W0。刚性流量转换器。 为了引入直接刚性约束，我们采用非参数转换器来在迭代期间保留变形源场景中的对象结构。我们的刚性流量转换器的架构是图4.刚性流量转换器。“组”操作在抽象掩码的指导下将变量拆分为多个抽象。‘Compose’ means recombine the obtainedabstraction transformations into a complete rigid示于图4.第一章具体来说，我们首先利用抽象掩码将场景分割成多个抽象，然后采用可微加权Kabsch算法[13]来计算每个抽象的变换，表示为M={M}K，其中包含背景导出一组抽象变换T={Tk}K。kk=0最后，通过合成Tk=0蒙版和前景对象蒙版。4.2. 初始化特征提取器。利用具有共享权重的特征提取器从源点云和目标点云提取特征。特征提取器由两个部分组成设置由FlowNet3D [19]提出的conv层，并利用最远点采样算法对点云进行下采样。初始成本层。初始成本层以低分辨率计算全对全相关字段，然后聚合相关字段以构建初始成本体积CV0。初始成本体积构建源点云和目标点云之间的全局相关性特征提取器和初始成本层的详细信息可在补充中获得头朝上。在初始代价体积的基础上，引入两个初始头，即流头和权头，分别计算初始场景流和权。流头包括两个一维卷积层，并且将初始成本体积CV0作为输入以生成初始场景流F0。实际上，由于稀疏反射和运动遮挡，并非每个点都有其对应。因此，我们采用权头来指示软对应，表示为F0，，引导。此外，初始混合场景流HF0是场景流F0和刚性流RF0的混合。4.3. 定期更新与初始化阶段不同，为了生成准确的场景流预测，我们实现了一个优化器，该优化器具有一个错误奖励门控递归单元（EGRU）和两个残差头。优化器通过迭代更新混合流。在每次迭代中，优化器将变量更新为HF 1+HF 1+1→F 1+1，W1+HW1+1，W1 +HW1+ 1，（一）RFC（F l+1，σ（W l+1），M）→RF l+1，RM·RF l+1+（1−RM）·F l+1→HF l+1，式中，ΔFl和ΔWl是由残差水头计算的中间残差。在初始化阶段，剩余水头（包括流量水头和重量水头）与初始水头不共享参数。 它们使用新的隐藏状态h1+1作为输入，而不是初始成本volcentV0。σ（）是将权重Wl归一化到范围[0，1]的S形函数。RFC是指刚性流动转换。布里尔100+1WLWl+1简体中文布残余1+1配重头杂交简体中文布里残余10 0 ���+1流头拉克里尔���100 +1ℳ：：错误授予GRU100+1100+10刚性流量转换器点度量误差00杂交00W图标签���0产品名称������：HybridFlow特征提取器初始流量水头初始成本图层W0初始重量头0刚性流量转换器特征提取器布里={���������布里0.K加权Kabsch算法布里布里尔0.K���l={���������01 K布里组布里尔0.K拉克里尔组成12780→Lj=1···LLKKLxxX∥ − ∥经纱L·在序列中的每次迭代，即，，L=⊙··Ll=1 我...在这里，我i=1自我自我我我自我N自我J自我埃托戈JΣ1L−||−|||| ·||布里尔���E（·）错误嵌入布里尔重量嵌入���F（·）流动嵌入拉克里尔布里concatGRU���W（·）100+1联系我0图5.错误授予门控递归单元的结构。错误授予门控经常性单位。受ICP算法[3]的启发，我们的EGRU通过最小化推断中的点度量误差来更新先前的隐藏状态。点度量误差El测量两个连续点云之间的最近邻距离[25]，{l+ 1}次迭代。 给定一个扭曲的源点云最终达到最终的效果，即。，HFl HFl. 最终混合流是最终场景流和刚性流的组合，其中刚性掩模RM的监督，即，，HF=RM·RF+（1−RM）·F。4.4. 训练损失为了训练我们的递归神经网络，我们展开L次迭代，并为每次迭代预测应用损失函数我们将总损失函数L定义为l表示在第l次迭代时约束预测场景流Fl和刚性流RFl每次迭代的损失包括自运动损失、刚度损失和倒角距离损失。自我运动丧失（自我）。 我们利用自我运动误差Lego测量了L1的差异-Xl={xl∈R3}Nx，它是从先前的it计算出来的用估计的（R，t）转换的地面点计算得到点云Y={yj∈R3}Ny，和地面实况参数（R自我，tego）的情况。数学-计算扭曲的源点xl及其最近对应yj∈Y，最后，自我运动损失被公式化为：NBGI. e. El（xl）=XLyj1，其中1是L1范数。另外，翘曲的源点云被计算为Xl= X + HFl。我们将点度量误差作为操作-=1（R xb+t）（RBGj=1xb+t），（三）优化目标是监督初始混合流的更新，这使得我们的递归神经网络定位未对齐的区域，并通过迭代逐步改进我们在图中展示了EGRU的架构五、 三个特征嵌入模块，即. ，gW（），gF（），和gE（），首先用于投影重量W1，混合流HF1，和其中，NBG表示源点云X中的背景点的数量。刚性损失（刚性）。 损失刚性计算K个抽象中所有前景点的场景流和刚性流的扭曲源点之间的平均距离，其公式为lK Nk点度量误差E进入高维空间然后，L=11 Rxk+t-（x+f）x，（4）我们将cl+1定义为初始成本vol-cCV0、低维变量及其相关性的级联刚性KNkk=1kjkj=1jj1响应高维特征表示。低维变量包括当前点度量误差E1、混合流HF1和权重W1。最后，给定前一次迭代的隐藏状态hl，连同当前迭代信息cl+1，我们的EGR U产生一个新的其中，Nk表示第k个聚类中的点数源点云X。倒角距离损失（CD）。根据先前的工作[16，36]，我们在所有前景点Xf上引入双向倒角距离（CD），其公式为隐藏状态hl+1。EGR U内部的计算如下-低点zl+1=σ（setconvz（[hl，cl+1]）），LCD=∈warp最小xy2+y∈Yy∈Yminf经x-yrl+1 =σ（set convr（[hl，cl+1]）），其中Xf=X f+ HF f。hl+1=tanh（setconvh（[rl+1hl，cl+1]）），（二）每次迭代的总损失是以下各项的加权和：上述目标hl+1=（1−zl+1）<$hl+zl+1<$h<$l+1，L=L自我+λ1L 刚性+λ2LCD 、（6）其中是Hadamard乘积，[，]是级联运算，σ（）是sigmoid函数。我们通过将源点云X的特征通过两个集合卷积层来获得初始隐藏状态h0我们的优化架构的经常性更新阶段从初始混合流HF0开始，通过最小化点度量误差，甚至我x∈X自我12781其中λ1= 1。0且λ2= 0。5在所有的实验中5. 实验5.1. 实验设置数据集和评估指标。我们实验中使用的数据集是SemanticKITTI [2]，Waymo Open12782···×数据集方法辅助 lidarKITTI（with ground）lidarKITTI（w/o ground）EPE3D [m]↓ Acc3DS↑ Acc3DR↑Outliers3D↓ EPE3D [m]↓ Acc3DS↑ Acc3DR↑Outliers3D↓[36]第三十六话充分0.7100.1140.2190.9320.3900.3870.5500.653[26]第二十六话充分0.6600.0460.1530.9570.3230.2480.5120.684[16]第十六话充分0.7970.0870.1840.9290.4330.3430.5300.686PV-RAFT [35]充分0.6580.1390.2670.8950.4340.2920.5160.673Gojcic等人 [八]《中国日报》弱0.1330.4600.7460.5270.1500.5210.7440.450SemanticKITTI Gojcic等人++ [8]弱0.1020.6860.8190.4100.0940.7840.8850.314我们弱0.0650.8570.9400.2900.0710.8240.9130.295Gojcic等人 [八]《中国日报》弱0.1060.6700.7990.4200.1580.4550.7020.482Waymo OpenGojcic等人++[8]弱0.1110.6250.7960.4330.1470.4370.6910.573我们弱0.0770.8120.9060.3330.0750.8190.9110.307表1.LidarKITTI的定量比较。 Gojcic等人++使用非参数测试时间优化作为后处理[8]。[30]，FlyingThings3D（FT3D）[22]，lidarKITTI[23，24] 和 stereoKITTI[23 ， 24] 。 在 这 些 数 据 集 中 ， se-manticKITTI和Waymo Open是具有自我运动和二进制背景掩码标签的大规模自动驾驶数据集在我们的实验中，我们在LiDAR数据集SemanticKITTI[2]和WaymoOpen[30]上训练我们的递归神经网络。对于推理，我们分别在有和没有地面点的lidarKITTI上测试我们的训练模型。此外，我们利用背景掩模的地面真值作为训练递归网络时的输入，并采用预先训练的分割网络进行推理。数据集的详细信息见补编。评估指标。我们使用与[10，19，26，36]相同的评估指标。• EPE3D（m）每个点的平均终点误差。Acc3DS（0.05）EPE3D<0的情况。05m或相对误差5%。的点的百分比0的情况。3m或相对误差>10%。实作详细数据。我们的训练遵循小批量策略，所有训练数据的批量大小为6。Adam优化器使用参数β1= 0。9和β2= 0。999 学习率初始设置为110- 3和之后在每个时期之后被缩小0.98倍，直到40个纪元。对于最重要的超参数L，即迭代次数，我们设置L= 4用于训练，L= 5用于推理。此外，有关为LiDAR点云数据集生成二进制背景标签的详细信息也可在我们的实验中的所有模型都使用PyTorch 1.4实现，并使用NVIDIA GeForce GTX 1080 Ti GPU进行训练。5.2. 评价我们定量地比较了我们的递归神经网络与最近的最先进的方法，如Ta所示，表1.在以弱监督方式对SemanticKITTI进行训练后，我们的方法在lidarKITTI上预测最准确的场景流。具体来说，在有和没有接地点的情况下，LidarKITTI上的EPE3D值分别下降到0.065 m和0.071 m。与Gojcic等人提出的刚性流估计方法 [8]相比，我们的递归神经网络将EPE 3D从0.102 m减少到0.065 m，下降了36.3%。相反，现有技术的方法，例如，，PointPWC-Net [36]，FlowStep 3D [16]和PV-RAFT [35]，以完全监督的方式在FT 3D上训练，由于原始LiDAR数据中的运动遮挡和稀疏反射，场景流估计特别是，与基于优化的方法相比 ， 例 如 ， ， FlowStep3D [16] ， 在 没 有 地 面 点 的lidarKITTI上，我们在SemanticKITTI上训练的方法将EPE3D 从 0.433m 减 少 到 0.071m 。 lidarKITTI 和SemanticKITTI来自相同的数据源。为了研究我们方法的泛化能力，我们还在Waymo Open上训练了所提出的网络，并在lidarKITTI上进行了测试。定量结果也示于表1中。我们观察到，不同传感器引起的域间隙导致我们的方法的场景流估计的准确性略有下降，即。e.EPE3D从0.065m增加到0.077m。在图6中，我们可视化了由最先进的方法和我们提出的方法产生可以观察到，我们的方法输出最佳比对并保留结构。与利用间接约束的方法相比，例如、PointPWC-Net和FlowStep 3D三种方法，我们的方法保留了变形后源场景的几何具体来说，在地面区域周围的缩放圆圈中，PointPWC-Net和Flow-Step 3D的红色和蓝色点完全混合与我们类似，Gojcic等人提出的方法引入了直接约束，并在不产生结构失真的情况下扭曲源场景。然而，由刚性约束引起的未对准仍然具有挑战性，这也可以观察到12783FlowStep3D（X=1）FlowStep3D（X=2）FlowStep3D（X=3）FlowStep3D（X=4）输入我们的（ = 1）我们的（ = 2）我们的（ = 3）我们的（ = 4）地面实况输入FlowStep3DPointPWC-Net戈伊契奇我们地面实况图6.与最新方法的定性比较与其他方法相比，我们的对齐结果更接近地面真相。图7.在迭代过程中，我们的方法和FlowStep3D [16]的对齐结果之间的定性比较。l表示迭代索引。在两辆车的旋转圈里 相比之下，我们的方法保留了扭曲的源场景的结构，并实现了出色的对齐。为了与其他基于GRU的优化方法进行比较，我们从lidarKITTI中选 择 一 个 场 景 ， 并 在 每 次 迭 代 时 可 视 化 我 们 和FlowStep3D的对齐结果。可以观察到，在迭代优化过程中，FlowStep3D生成的结果中存在严重的结构失真，特别是在地面点周围。作为比较，我们的方法有效地保留了结构，并在迭代过程中逐渐对齐源和目标点云，如图所示7 .第一次会议。5.3. 消融研究迭代次数。为了研究适当的迭代次数，我们进行了消融实验，以查找精确度和迭代次数之间的平衡。我们在有和没有地面点的lidarKITTI上用不同的迭代次数测试了我们的递归网络，结果如表2所示。从表中可以看出，随着迭代次数的增加，性能在所有指标方面都得到了提高。应该注意的是，在实验中，在SEC。5，我们使用5次迭代进行比较。表3给出了最新方法的时间消耗和参数量，以及我们的3次迭代和5次迭代的网络。所有模型都在推 理 模 式 下 运 行 ， 时 间 在 配 备 NVIDIA GeForceGTX1050Ti GPU和Intel i7-8700 CPU的机器上测量。该表表明，我们的方法实现了优异的性能，同时保持了紧凑的模型大小和相对较小的运行时间。12784数据集迭代。 EPE 3D [m] ↓ Acc3DS ↑Acc3DR ↑Outliers3D↓ 30.086 0.670 0.895 0.376激光雷达KITTI 5 0.065 0.857 0.940 0.290成本体积EGRU RFClidarKITTI更新EPE3D [m]↓ Acc3DS↑Acc3DR ↑Outliers3D↓电话：+86-065 - 857 - 940 - 2902019年12月31日激光雷达KITTI 5 0.071 0.824 0.913 0.295（不包括地面）2017年12月31日表2.我们提出的递归网络在推理中的迭代次数的消融结果所有的模型都是在Se-manticKITTI上训练的，迭代4次。方法复发性EPE3D [m]时间[ms]参数[M][36]第三十六话没有0.7106477.72Gojcic等人[八]《中国日报》没有0.1334238.08Gojcic等人++[8]没有0.10212458.08[16]第十六话是的0.79726580.69PV-RAFT [35]是的0.65852960.19Ours-Iter。3是的0.0865381.37Ours-Iter。5是的0.0657501.37表3.不同方法对lidarKITTI的时间消耗与地面点的推理。该算法的运行时间包含了背景分割的时间，约为170 ms。直接约束和误差优化。我们进行了实验，以证明直接的多体刚度约束和基于学习的误差奖励优化的有效性，我们构建了许多网络，这些网络在不同的场景下使用不同的模块，作为我们的递归网络的变体。我们的递归网络的这些变体在SemanticKITTI上训练，并在具有地面点的lidarKITTI上测试。定量结果示于表4中。我们观察到，刚性流量转换器提高了很大的利润率的性能。将这两个模块结合在一起可以在所有指标方面此外，初始成本量的更新带来了额外的计算负担，并且损害了优化方法的时间效率而没有性能改进。直接刚性约束与间接刚性约束。我们比较了具有两种刚性约束（直接和间接）的网络的性能，结果见表5（第2行和第3行）。间接刚性约束是指在损失函数中引入刚性约束作为正则化项。我们的结论是，我们提出的直接刚性约束是更好地提高性能的场景流估计。错误奖励优化与非参数优化。与前面的比较类似，我们比较了两种优化策略，并在表5（第1行和第3行）中显示了结果。在这个实验中，来自[8]的非参数优化作为后处理添加到我们的递归网络中，以代替错误奖励优化。✓ ✓0.0690.8430.9250.301是的✓0.6520.0080.0360.975✓0.1320.2520.6600.573表4.在不同的更新策略下，对两个模块的成本进行了削减.DC IC EAO NPOlidarKITTIEPE3D [m]↓ Acc3DS↑Acc3DR↑Outliers3D↓2019年12月31日✓2019- 06 - 240.6030.6522017年12月31日表5.直接约束（DC）与间接约束（IC）以及误差奖励优化（EAO）与非参数优化（NPO）。结果是在没有地面点的lidarKITTI第定量比较表明了基于学习的误差优化方法的优越性。6. 结论和限制提出了一种基于弱监督优化的LiDAR场景流估计方法。具体地说，我们利用刚性约束，直接转换场景流的混合流基于GRU的递归神经网络，它保留了对象的结构在迭代过程中。我们还提出了一个错误奖励优化策略，以改善预测的场景流，并获得出色的对齐。在lidarKITTI上进行的大量实验证明了我们方法的优越性。本文工作的局限性包括：（1）场景流估计的性能对背景掩模的精度敏感。(2)我们工作的前提是刚性假设。对于具有许多非刚性运动的场景，我们的方法可能会失败。此外，由于篇幅的限制，我们还介绍了以下实验的结果，在我们的供应，即。e. 、不同损失项和预分割方法的影响、在stereoKITTI数据集上的定量比较和无误差的时间消耗奖励优化。确认我们感谢国家重点研发项目2020AAA0108600和国家自然科学基金61901435、62131003和62021001的资助(with地面）70.0630.8660.9430.280没有✓0.6860.1050.2130.93890.0620.8690.9450.279✓0.1520.1560.5360.67612785引用[1] Stefan Andreas Baur ， David Josef Emmerichs ， FrankMoos-mann ， Peter Pinggera ， Bjorn Ommer ， andAndreas Geiger.Slim：自监督激光雷达场景流和运动分割 。 在 IEEE/CVF计 算 机 视 觉 国 际 会 议 论 文 集 ， 第13126-13136页，2021年。第1、3条[2] Jens Behley ， Martin Garbade ， Andres Milioto ， JanQuenzel ， Sven Behnke ， Cyrill Stachniss ， and JurgenGall. Se- mantickitti：用于激光雷达序列语义场景理解的数据集。在IEEE/CVF国际计算机视觉会议论文集，第9297-9307页，2019年。五、六[3] Rodrigo L Carceroni和Kiriakos N Kutulakos。通过surfel采样的多视图场景捕获：从视频流到非刚性3d运动，形状和反射。International Journal of Computer Vision，49（2）：175-214，2002。5[4] Dmitry Chetverikov，Dmitry Svirko，Dmitry Stepanov，and Pavel Krsek.裁剪迭代最近点算法。在服务机器人的用户交互支持的对象识别中，第3卷，第545-548页。IEEE，2002年。2[5] Joao Paulo Costeira和Takeo Kanade。独立运动物体的多体分解方法。国际计算机视觉杂志，29（3）：159-179，1998. 2[6] Alexey Dosovitskiy、Philipp Fischer、Eddy Ilg、PhilipHausser、Caner Hazirbas、Vladimir Golkov、Patrick VanDer Smagt、Daniel Cremers和Thomas Brox。Flownet：使用卷积网络学习光流。IEEE/CVF计算机视觉国际会议论文集，第2758-2766页，2015年。2[7] 张文，张文，等.一种基于密度的聚类算法.北京：科学出版社，2000.在KDD，第96卷，第226-231页3[8] Zan Gojcic ， Or Litany ， Andreas Wieser ， Leonidas JGuibas，and Tolga Birdal.刚性三维场景流的弱监督学习。在IEEE/CVF计算机视觉和模式识别会议论文集，第5692- 5703页，2021年。二三六八[9] Vladislav Golyanik ， Kihwan Kim ， Robert Maier ，Matthias Nießner，Didier Stricker，and Jan Kautz.具有分段刚性运动的多帧场景流在2017年3D视觉国际上，第273-281页IEEE，2017年。2[10] Xiuye Gu，Yijie Wang，Chongruo Wu，Yong Jae Lee，and Panqu Wang.Hplflownet：用于大规模点云场景流估计的分层全面点阵流网在IEEE/CVF计算机视觉和模式识别会议论文集，第3254-3263页，2019年。一、二、六[11] Junhwa Hur和Stefan Roth。自监督单目场景流量估计。在IEEE/CVF计算机视觉和模式识别会议论文集，第7396-7405页1[12] Varun Jampani，Martin Kiefel，and Peter V Gehler.学习稀疏高维滤波器：图像滤波，密集crfs和双边神经网络。InProceedings of theIEEE/CVF计算机视觉和模式识别会议，第4452-4461页，2016年。2[13] Wolfgang Kabsch求两组向量的最佳旋转关系的一种方法。晶体学报A辑：晶体物理、衍射、理论和普通晶体学，32（5）：922-923，1976. 4[14] 金谷健一通过子空间分离和模型选择的运动分割。IEEE/CVF计算机视觉国际会议论文集，第2卷，第586-591页。IEEE，2001年。2[15] Martin Kiefel，Varun Jampani，and Peter V Gehler.过面体晶格cnns。arXiv预印本arXiv：1412.6618，2014年。2[16] Yair Kittenplon，Yonina C Eldar，and Dan Raviv. Flow-step 3d ： 用 于 自 监 督 场 景 流 估 计 的 模 型 展 开 。 在IEEE/CVF计算机视觉和模式识别会议论文集，第4114-4123页，2021年。一二三五六七八[17] Alex H Lang ， Sourabh Vora ， Holger Caesar ， LubingZhou，Jiong Yang，and Oscar Beijbom. Pointpillars：用于从点云检测对象的快速编码器。在IEEE/CVF计算机视觉和模式识别会议论文集，第12697-12705页，2019年。3[18] Yangyan Li，Rui Bu，Mingchao Sun，Wei Wu，XinhanDi，and Baoquan Chen.Pointcnn：x变换点上的卷积神经信息处理系统的进展，31：820-830，2018。2[19] Xingyu Liu ， Charles R Qi ， and Leonidas J Guibas.Flownet3d：学习3D点云中的场景流。在IEEE/CVF计算机视觉和模式识别会议上，第529-537页，2019年。一、二、四、六[20] Zhaoyang Lv ， Kihwan Kim ， Alejandro Troccoli ，Deqing Sun，James M Rehg，and Jan Kautz.在动态场景中利用移动摄影机学习刚性以进行3d运动场估测。在欧洲计算机视觉会议论文集，第468-484页，2018年。3[21] Wei-Chiu