雷达-相机融合对汽车感知系统的影响及在速度估计方面的改进

16198基于雷达-相机融合龙云飞1，丹尼尔莫里斯1，刘晓明1，Marcos Castro2、Punarjay Chakravarty2、Praveen Narayanan2密歇根州立大学1、福特汽车公司2{longyunf，dmorris，liuxm}@ msu.edu，{mgerard8，pchakra5，pnaray11}@ford.com摘要多普勒雷达的一个显著特点是测量雷达点的径向速度。然而，丢失的切向速度分量妨碍目标速度估计以及动态场景中雷达扫描的时间积分。考虑到摄像机与雷达的融合为雷达提供了补充此外，我们解决了雷达回波和相机图像之间的关联问题，训练的神经网络估计雷达相机correspondences。nuScenes数据集上的实验结果验证了该方法的有效性，并显示出在速度估计和速度估计方面的显着改进。相机（b）第（1）款雷达流（一）径向运动雷达点可能运动（c）第（1）款雷达点的积累。1. 介绍雷达是一种主流的汽车3D传感器，与LiDAR和摄像头一起用于驾驶辅助和自动驾驶的感知系统[34，18，2]。与LiDAR不同，雷达由于其相对较低的成本和较小的传感器尺寸而被广泛安装在现有因此，雷达视觉系统的进步有可能对车辆安全产生直接影响。最近，随着几个包含雷达数据的自动驾驶数据集的发布，例如，，Oxford Radar RobotCar [1]和nuScenes [5]，社区对探索如何在各种视觉任务（如物体检测）中利用雷达数据非常感兴趣[24，37]。除了测量3D位置之外，雷达还具有基于多普勒效应获得返回点的径向速度的特殊能力这种额外的能力是比其他3D传感器（如LiDAR）的显著优势，例如，能够实现瞬时移动物体检测。然而，由于从图1：（a）不能用单个传感器确定全运动：在蓝色虚线上结束的所有运动（即，蓝色虚线箭头）映射到相同的光流，并且所有运动终止于红色虚线（即，红色虚线箭头）适合相同的径向运动。然而，使用雷达相机对，可以唯一地确定完整的运动：只有用黑色绘制的运动满足光流和径向运动。(b)相机图像中的光流和（c）所观察的车辆的鸟瞰图。这显示了测量的雷达点与径向速度（红色），我们预测的逐点，全速（黑色）和地面真实的车辆全速（绿色）。径向速度到全速，直接使用径向速度这里，全速度表示雷达点在2D或3D空间中的实际速度。虽然当点远离或朝向雷达移动时，径向速度可以很好地近似全速度，但是当点在非径向方向上移动时，这两者可以非常不同。对于切向移动的物体，出现极端情况，因为无论目标速度如何，这些物体都将具有因此，获取逐点全速度而不是径向速度对于可靠地感测周围物体的运动是至关重要的。16199×除了测量物体的速度之外，逐点速度的另一个重要应用是雷达点的累积。来自单个帧的雷达回波在方位角和仰角上都比LiDAR稀疏得多，例如，，通常LiDAR具有比雷达高10的方位分辨率[37]。因此，通常有必要累积多个先前雷达帧以获取足够密集的点云用于下游任务，例如：，对象检测[26，6，7]。为了对齐雷达帧，除了补偿自运动之外，我们将考虑连续帧中移动点的运动，其可以通过逐点速度和移动时间由于径向速度并不反映真实运动，因此希望具有逐点全速度以用于点累积。为了解决径向速度的上述困境具体而言，我们推导出一个封闭形式的解决方案，以推断逐点全速度，从径向速度以及相关的投影图像，从光流获得的运动如图1，由光流施加的约束解决了径向全速度映射的模糊性，并导致全速度的唯一和封闭形式的解决方案。我们的方法可以被认为是一种通过将逐点径向速度升级到全速来增强原始雷达测量的方法，为改进雷达相关任务奠定了基础，例如。、速度估计、点累积和目标检测。此外，我们的封闭形式的解决方案的先决条件是移动雷达点和图像像素之间的关联。为了实现可靠的关联，我们训练了一个神经网络来预测雷达-摄像机的对应关系，并识别被遮挡的雷达点。实验结果表明，该方法改进了逐点速度估计及其用于目标速度估计和雷达点积累。总之，这项工作的主要贡献是：• 我们定义了一个新的研究任务，雷达相机感知系统，即。融合雷达和摄像机估计雷达回波的逐点全速度。• 我们提出了一种新的封闭形式的解决方案来推断全雷达回波速度，利用雷达点的径向速度，图像的光流，以及雷达点和图像像素之间的• 我们展示了国家的最先进的（SoTA）在目标速度估计，雷达点积累，和三维目标定位的性能。2. 相关作品雷达在视觉中的应用雷达数据在各个方面与LiDAR数据不同[4]。除了流行的点表示（也称为雷达目标[27]），一个类似于LiDAR点，存在包含更多原始测量的其他雷达数据表示，例如、距离-方位图像和频谱图，其已经应用于诸如活动分类[33]、检测[20]和姿态估计[30]的任务中。我们的方法基于雷达点，格式可在nuScenes数据集[5]中找到对雷达的特性进行了探索，以补充其它传感器的不足。利用雷达点的多普勒速度例如，RSS-Net[15]使用径向速度作为图像序列分割的运动提示。Chadwick等人 [6]使用径向速度来检测远处移动的车辆-仅用图像难以检测。 Fritsche等人 [10]将雷达与激光雷达相结合，用于能见度差情况下的测量。由于雷达的探测范围比LiDAR更远，因此也部署了LiDAR以更好地检测远距离物体[37]。雷达的稀疏性使得难以在雷达上直接应用成熟的LiDAR技术[20，24]。例如，Danzer et al. [8]在雷达点上采用PointNets [28]进行2D汽车检测，而稀疏性将其限制在汽车等大型物体上。类似于LiDAR-相机深度补全[12，13]，Long等人。 [22]通过学习从雷达回波到图像的概率映射来开发雷达-相机深度补全。为了获得更密集的雷达点，Lom- bacher等人 [21]使用占用网格[9]来累积雷达帧。然而，该方法假设一个静态的场景，不能处理移动的对象。雷达点投影在图像上，并表示为投影点附近的区域，例如垂直条[26]和圆圈[6，7]，以考虑由于测量误差引起的投影不确定性。虽然积累雷达帧是可取的，但在不可靠地补偿物体运动的情况下，这些方法需要仔细决定帧的数量，以在积累的增益和由于延迟而导致的准确性损失之间进行权衡[26]。我们估计的逐点速度可以补偿对象的运动，实现更准确的积累。感知系统中的速度估计研究人员使用单目视频[3]或雷达点的径向速度来估计物体的速度。只有雷达数据的一个单一的帧，Kellner等人。 [16，17]根据至少两次雷达命中的径向速度和方位角计算移动车辆的全速。然而，对于稳健的解决方案，该方法要求1）雷达捕获每个对象上的更多雷达命中，2）雷达点具有显著不同的方位角，以及3）在速度估计之前对对象点进行聚类[16，32，31]。显然，由于单个帧中雷达的稀疏性，很难获得对远处车辆的至少此外，雷达通常指向同一物体，例如。远的或小的物体具有相似的方位角。认识到雷达的密度和精度限制，研究人员将雷达与其他传感器融合，例如。、LiDAR和相机，用于逐对象速度估计。具体地说，16200R一×一一一标签生成(a)（b）第（1）款图2：全速度估计和学习将雷达点与相机像素相关联。(a)3D点p由相机在B处观察。一个短的间隔Δt，后r，点移动了mΔt到q，而相机移动了cΔt到A。 同时，雷达测量q的位置和径向速度rstec，r stec是m stec的径向分量。 利用径向速度rstec和q在图像中的相应光流，我们得到了一个封闭形式的方程（记为f（））来估计q的全速度m stec。（b）由于封闭形式的解决方案需要两个传感器的逐点关联，我们训练雷达-2-像素（R2 P）网络以获取多通道输入并预测经由已知姿态AT获得的原始投影（白点）的邻域内的像素的关联概率。具有最高概率的像素（黄色箭头）被视为雷达点的关联像素。为了获得用于训练R2P的标签，我们的标签生成模块使用f（）来计算所有相邻像素的速度，然后通过使用地面真实速度mGT来计算速度误差E m，最后基于Em获得这些邻居的关联概率。用于图像或LiDAR的现有技术[38，36，19]被用于获得初步检测。雷达数据，包括径向速度，一旦与初始检测相关联，就被用作预测物体全速度的额外线索例如，在RadarNet [37]中，建模为体素的雷达和LiDAR的时间点云用于获取初始检测及其运动。目标运动方向通过将目标径向速度反投影到运动方向上来解决雷达点关联中的模糊性。然而，需要LiDAR帧序列来获得初始检测和运动估计。CenterFusion [24]将雷达与相机集成，用于物体速度估计。利用成熟的图像检测器提取初步的盒子。在将雷达点与检测相关联之后，该方法将雷达数据、径向速度和深度与检测区域内的图像特征相结合，以回归每次检测的全速度。然而，在没有封闭形式的解决方案的情况下，从径向到全速的映射需要从大量的标记数据中学习。相比之下，我们提出了一个逐点封闭形式的解决方案，用于雷达点的全速估计，而不进行物体检测。据我们所知，目前还没有一种方法能够对雷达回波进行逐点全速度估计。雷达进行的位置和速度测量3.1. 物理配置和符号我们的照相机和雷达测量的物理配置如图所示。第2段（a）分段。显示了三个坐标系：A和B指定相机姿态，R指定雷达姿态。B处的相机观察3D点p。在一个很短的时间间隔Δt之后，点移动到q，摄像机移动到A，雷达移动到R，摄像机和雷达都观察到目标点q。这些3D点由4维齐次向量来指定，并且当需要时，左上标指定其被指定的坐标系，例如，Aq表示相对于坐标系A的点。目标速度y、m和相机速度c由三维矢量指定，再次可选地具有左上标以指定坐标系。包含旋转和平移的坐标变换由4× 4矩阵指定，例如BT，它将点从左下标坐标系变换到左上标坐标系。在这种情况下，我们将一个点从A变换为B：Bq= BT Aq。（一）只有这些变换的旋转分量是需要改变情感。例如，Amb是反式-3. 该方法我们考虑的情况下，摄像机和雷达刚性地附着到一个移动的平台，例如。车辆，观察环境中的移动物体。在本节中，我们开发了与相机中的光流测量相关的由3×3旋转矩阵BR形成为Bm：Bm=BRAm。（二）带有右下标的向量，例如。，pi，表示p的第i个关联标签���ሶ ������F���–多通道输入预测关联R2p16201一×R阿vqdqBvpdp一ΣΣ˙u( q−Rm∆t）p33一ΣΣq−Rm∆t11一一一随着时间的推移，BR2−vpBR 3Bq2−vpBq 3/∆t一一3维向量中的元素对于矩阵，右下标表示行。因此，BRi是一个包含其第i行。右上标TA_R_GET和传感器_R_M_STECTH约束之间相对速度由下式给出：-cstec，以及点p和q的投影在未失真的原始像素坐标中指定，例如，（xq，yq）或它们的归一化图像坐标（uq，vq），由下式给出u q=（x q− c x）/f x，vq=（y q− c y）/f y。（三）这里，cx、cy、fx、fy是固有相机参数，而像素的右下标是指被投影的点3D点的矢量可以用归一化的图像坐标表示：rstecraw=rT（mstec-cstec），（8）其中c是已知的自速度。Eq.在我们的公式中可以使用（7）或（8），这取决于是否可以从雷达获得r或rraw3.2.2 全速度与光流的关系在求解速度约束时，我们首先确定已知变量。雷达测量Rq，并将其转换，我们得到Aq=ATRq，其中包含dq作为uqdqq=1updpp=（四）1第三部分。图像坐标（uq，vq）通过投影获得，并且使用等式（1）中的光流（5），我们还可以得到Bp的（u，v）分量。关键参数dqp这里dq和dp分别是点Aq和Bp的深度我们假设稠密光流是可用的映射焦油-束缚当量（6）可以重新排列，并且每个分量在框架B中表示：获得在A到B中观察到的像素坐标，如下所示：B一比三=Bq 一比三-BRAm∆t，（9）流量（（u q，v q））→（u p，v p）。（五）此外，我们假设以下是已知的：摄像机运动、BT、相对雷达姿态、AT和内参数。其中右边的第二项是目标运动到B坐标的变换。该等式的第三行是dp的表达式：A Rdp=Bq3−BR3Am∆t。（十）3.2. 全速雷达回波雷达测得的多普勒速度只是物点全速度矢量三分量中的一个分量。这里我们的目标是利用光流一将其替换为dp，并且Bp的分量来自等式（4），进入方程的前两行。（9）我们得到从同步摄像机来增强雷达并估计每个雷达回波的全速度矢量。BBA一vp（Bq3−BR3Am∆t）BBA=ABq2−BR2Am∆t、（11）3.2.1全速度与径向速度的关系重新排列，给出全速的两个约束ΣBR1−u pBR3ΣAΣ。Bq1−upBq3Σ/∆tΣ从p到q的目标运动被建模为恒定速度-AAm=.Σ。（十二）m=q1：3−p1：3。∆t我们的目标是估计全塔速度，m。雷达提供目标位置q的估计，但不提供先前目标位置p。雷达还提供了签署的径向速度r，它是m的一个分量。 在3.2.3全速解决方案我们从方程中获得了全速度Am的三个约束条件（12）通过转换Eq.（7）A坐标。结合这些，我们获得：BR1−u pBR3。Bq1−upBq3Σ/∆t一一BR2−vpBR3Bq2−vpBq3Σ/∆t。（十三）这里r是沿着目标Rq方向的单位范数向量。注意，该等式我们不知道B的深度dp。接下来我们从我们的骗局中排除这个未知的深度nuScenes数据集r由下式给出rstec=rtTmstec.（七）ArTrp16202×是坐标不变的，然后，通过改变Am g的系数，得到全速度的封闭并且同样可以用Ar和Amstec来写A。现在BR−uBRBQ一一-uBqΣ/∆tp3当量（7）实际上是自运动校正的多普勒速度。Am=BR2−vpBR3ArT。Bq2− v pBq3Σ/∆t。（十四）一1pA31原始多普勒速度rraw是r16203×R一R(a)（b）第（1）款(c)（d）其他事项图3：（a）光流;（b）GT边界框的鸟瞰图，径向速度（红色）和GT速度（绿色）;（c）和（d）示出了通过使用等式（1）计算的E m。（16），分别用于41 - 41像素区域上的两个雷达投影（白色正方形）。对于从车辆反射的雷达命中，对于汽车上的相邻像素，E m较小，而对于背景，E m较大。在图中回忆图1（a）红色/蓝色虚线示出了来自雷达/流的速度约束。方程的解。（14）是与两个约束一致的全速。我们注意到，这可以处理移动的传感器，尽管图1B示出。为了简单起见，图1（a）示出了固定相机 的 情 况 。 此 外 ， 如 果 我 们 设 置 Eqt<0 ， Eq.公 式（14）也适用于当相机从A移动到B时点从q移动到p的情况。一个限制是Eq.公式（14）不能估计相机视图中被遮挡的雷达点的全速度，尽管我们通常可以识别那些遮挡。3.3. 图像像素与雷达点关联我们的解决方案点的速度方程。（14）假设我们知道雷达检测到的点Rq的像素坐标（uq，vq）。通过使用已知的雷达-图像坐标变换AT将雷达点投影到图像上来获得该像素对应性似乎是直接的。我们将该对应像素称为“原始投影”。然而，存在雷达点到图像中的原始投影不准确的许多原因。雷达波束宽度通常对向几度并且相对于像素是大的，导致在方位角和仰角上的低分辨率目标定位。而且，从相机移位的雷达通常可以看到物体的后面，如由相机所看到的，并且当这些回波被投影到图像上时，它们不正确地看起来对应于前方遮挡物体。使用来自遮挡物或不正确关联的对象像素的流可能导致不正确的全速度估计。为了解决这些问题与原始投影，我们训练的神经网络模型，称为雷达-2-像素（R2 P）网络，以估计相关的雷达像素的原始投影的邻域中，并识别被遮挡的雷达点。类似的模型已应用于图像分割[14]和雷达深度增强[22]。3.3.1模型结构我们的方法估计关联概率（范围从0到1）之间的一个移动的雷达点和一组像素，在其原始投影附近。R2 P网络是一种编码器-解码器结构，具有图像分辨率的输入和输出。存储在8个通道中，输入数据包括图像、雷达深度图（在原始投影上具有深度）和光流。输出具有N个通道，表示针对N个像素邻居的预测关联概率。雷达点Aq与原始投影（x，y）的第k个邻居之间的关联被存储在A（x，y，k）中，其中k = 1，2，… N.3.3.2运动雷达点的地面真速度nuScenes [5]提供对象边界框的GT（地面实况）速度。我们将雷达命中的物体与其标记的边界框相关联，并将框的速度分配给其相关的雷达点。基于两个标准确定关联：1）在雷达坐标中，雷达点与关联框之间的距离小于阈值Td;以及2）雷达点的径向速度与关联框的速度的径向分量之间的百分比误差小于阈值Tp。3.3.3正在生成关联标签我们可以将以对应的相机坐标Aq表示的雷达点投影到像素坐标（uq，vq），但是如前所述，通常该图像像素不对应于雷达回波。我们提出的解决方案是搜索周围的相邻区域（uq，vq）的运动是一致的雷达回波的像素。该邻域搜索在图1B中示出。二、如果找到像素，则我们校正3D雷达位置Aq以与该像素一致，否则我们将该雷达回波标记为被遮挡。我们通过训练R2P网络来学习这种雷达到像素的关联和校正。我们根据真实速度和该像素处的光流之间的兼容性生成雷达点和像素之间的真实关联分数：高相容性表示高关联性。为了量化兼容性，假设像素与雷达点相（14）。如果假设速度接近GT速度，则认为流动是相容的具体地，假设速度可以计算为Am= t（x，y，k）=f.uq，vq，up，vp，dq，r，BT，ATΣ，（15）16204····M其中k= l，N，f（）是通过等式（1）求解全速度的函数 。 （x ， y ）是 雷达点的原 始投影。 注 意uq=uq[x+∆x（k），y+∆y（k）]，vq的定义类似，[∆x（k），∆y（k）]是原始投影到第k个相邻点的坐标偏移。 使用流量，等式 （5），我们从（uq，vq）得到（u p，vp）。其次，我们计算了误差的L2Amest（x，y，k）和地面真值速度AmGT（x，y）平均误差（STD）（m/s）我们(R2P网络）我们(Raw投影）基线全速度0的情况。433（0. 608）0的情况。577（1. 010）1 .一、599（2. （054）切向补偿0的情况。322（0. 610）0的情况。472（1. 024）1 .一、536（2. （083）径向压缩0的情况。205（0. 196）0的情况。205（0. 196）0的情况。205（0.196）表1：我们的方法和基线（原始径向速度）的逐点速度误差的比较。Em（x，y，k）=Amest（x，y，k）−AmGT（x，y）2。（十六）图3示出了针对汽车上的两次雷达命中的Em的示例。最后，我们将Em转换为关联得分，表2：逐对象速度误差的比较。为了公平比较，我们从[24]继承相同的检测到的对象集合。L（x，y，k）=e−E2（x，y，k）c，（17）右：4，顶部：10，底部：4）和neigh的示例-其中L用作雷达与其第k个邻居之间的关联概率的标记。请注意，L随Ev的降低而增加，c是一个参数，调整速度误差的公差时，转换错误的关联。我们使用交叉熵损失来训练模型。3.3.4估计关联并识别遮挡利用训练的模型，我们可以估计雷达点与其原始投影（x，y）周围的N个像素之间的关联概率，即，A（x，y，k）.在N个邻居中，雷达回波速度可以与多个像素兼容，并且我们选择具有最大关联A_max的像素作为邻居IDk_max：k max= arg max[A（x，y，k）]。（十八）K如果A_max等于或大于阈值T_a，则我们将相关联的像素估计为[x+ Δx（k_max），y+ Δy（k_max）]。否则，在邻域中不存在相关联的像素，并且识别遮挡。4. 实验结果4.1. 逐点全速比较据我们所知，没有现有的方法估计逐点全速度的雷达回波。因此，我们使用逐点径向速度从原始雷达回波作为基线，以比较与我们的估计。我们从nuScenes对象检测数据集[5]中提取数据，分别在训练，验证和测试集中有6432，632和2041个样本每个样本由雷达扫描和两个用于光流计算的图像组成，即一幅图像与雷达同步，另一幅图像为相邻图像帧。光流由在KITTI[11]上预训练的RAFT模型[35]计算。R2 P网络是具有五个级别的分辨率和用于中间滤波器的64个通道的U-Net [29，23邻域每隔一个像素跳过一次，其大小（以像素为单位）为（左：4图中说明了社区的情况。第2段（b）分段。关联得分Ta的阈值为0。3 .第三章。将雷达点与GT边界框相关联的参数设置为Td= 0。5m和Tp= 20%。方程中的参数c（17）是0。三十六为了获得GT逐点速度，根据第2节中的标准。3.3.2中，我们首先将移动雷达点关联到GT检测框，其GT速度被分配给关联点作为其GT速度。边界框的GT速度从具有时间戳的相邻帧中的GT中心位置估计。选项卡. 1示出了移动点的平均速度误差。所提出的方法实现了更准确的速度估计比基线。例如，我们的切向分量的误差仅为基线的21%。我们也有更小的标准偏差，表明更稳定的估计。此外，我们在Tab中列出。1我们的方法使用原始雷达投影雷达相机关联的速度误差。结果表明，与使用原始投影相比，使用R2P网络可以获得更高的估计精度。图图4示出了我们的逐点速度估计的定性结果。4.2. 逐对象速度虽然目前还没有用于雷达逐点速度估计的方法，但相关工作CenterFusion [24]通过图像和雷达输入的物体检测来估计物体为了与CenterFusion进行公平比较，我们将点速度转换为对象速度。具体来说，我们使用与同一检测框相关联的雷达点的平均速度作为我们对物体速度的估计。根据距离将点与检测到的框相关联。注意，逐点速度到逐对象速度的转换是直接用于比较目的，并且将存在更高级的方法来在检测网络中积分逐点全速度，这超出了本工作的范围。选项卡. 图2示出了利用我们估计的全速度，对象的速度估计显著提高。方法误差（m/s）我们0的情况。45116205±×（a）（b）（c）（d）图4：逐点速度估计的可视化：（a）所有测量的雷达回波以及流的深度，（b）白盒区域中的光流，（c）所选雷达投影周围的关联分数以及从原始雷达投影到图像像素的预测映射（黄色箭头）和（d）鸟瞰图中的径向速度（红色）、估计的全速（黑色）和GT速度（绿色）。4.3. 雷达点积累随着时间的推移累积雷达点可以克服在单次扫描中获得的雷达命中的稀疏性，实现对象的密集点云，从而允许设计用于处理LiDAR点的技术适用于雷达。逐点速度估计使得可以补偿在用于累积的测量的时间序列中出现的动态对象的运动。具体地，对于在时间ti处捕获的先前帧i中的移动雷达点（具有估计速度m），其从ti到当前帧处的时间t0的运动可以通过以下来补偿：p0=pi+mstec（t0−ti），（19）其中pi和p0是ti的雷达坐标中ti和t0处的雷达点坐标。然后利用已知的从ti到t0的自运动将p0转换为当前雷达坐标。定性结果图6示出了雷达坐标中的移动车辆的累积点。为了进行比较，我们显示了累积的雷达点，由我们的估计全速补偿，用径向速度（基线）补偿与基线和无运动补偿相比，我们的累积点与GT边界框更一致。定量结果为了定量评价雷达点积累的精度，我们采用平均距离图5：从增加的帧数中累积雷达点时的误差比较。线表示平均误差和阴影区域0。1STD。我们的基于全速度的累积优于具有径向速度或没有补偿的累积。从累积的点（最多25帧）到它们相应的GT盒作为累积误差。框内的点的该距离为零，并且框外的点是从雷达点到框的边界上的最近点的图5、比较了基线和无运动补偿的积累量对本方法的影响虽然所有方法的错误随着帧数的增加而增加，但我们的方法具有最低的错误升级率。为了证明累积雷达点对于下游应用的效用，我们应用姿态估计方法，即，BoxNet [25]，通过我们的全速和16206（a）（b）（c）（d）（e）图6：以逐点径向（红色）和全（黑色）速度绘制移动雷达点，包括具有边界框的图像（a）、鸟瞰图中的单帧雷达点我们积累的点紧紧围绕边界框，这将有利于下游任务，如姿态估计和对象检测。度量我们基线中心误差（m）↓定向误差（度）↓IoU↑0的情况。834六、8730的情况。5460的情况。9977 .第一次会议。5170的情况。462表3：姿态估计性能的比较：通过使用BoxNet [25]对使用我们的速度和径向速度作为基线累积的雷达点进行测量，计算中心和方向以及联合交叉点（IoU）的平均误差。径向速度（基线）。BoxNet将对象的预分割2D点云作为输入，并使用中心位置、长度、宽度和方向等参数预测2D边界框我们使用5702，559和2001移动车辆的累积雷达点与相应的GT包围盒作为训练，验证和测试数据，分别。选项卡. 3表明我们的累积雷达比基线实现了更高的精度。5. 结论多普勒雷达的缺点是它仅提供速度的径向分量，这限制了其在目标速度估计、运动预测和雷达回波累积中的效用。本文针对这一缺陷，提出了一个封闭形式的解决方案，雷达回波的全速度。它利用光流约束将径向速度升级为全速。作为这项工作的一部分，我们使用GT边界盒速度来监督网络，该网络预测原始雷达投影的关联校正。我们的实验验证了我们的方法的有效性，并展示了它的应用程序的运动补偿积分雷达扫描随时间的推移。这里开发的该方法可以应用于附加模态，诸如来自多普勒Li-DAR和相机的全速估计致谢这项工作得到了福特-密歇根州立大学联盟的支持。16207引用[1] Dan Barnes ， Matthew Gadd ， Paul Murcutt ， PaulNewman，and Ingmar Posner. Oxford Radar RobotCar数据集：牛津RobotCar数据集的雷达扩展。在IEEE机器人和自动化国际会议上，第6433-6438页1[2] 加里克巴西和刘晓明。M3 D-RPN：用于对象检测的单目3D区域建议网络。在IEEE计算机视觉国际会议上，第9287- 9296页，2019年。1[3] Garrick Brazil，Gerard Pons-Moll，Xiaoming Liu，andBernt Schiele.单目视频中的运动学3D对象检测。欧洲计算机视觉会议，第135- 152页，2020年。2[4] Daniel Brodeski，Igal Bilik，and Raja Giryes.深层雷达探测器。在IEEE雷达会议上，第1-6页，2019年。2[5] Holger Caesar、Varun Bankiti、Alex H Lang、SourabhVora、Venice Erin Liong、Qiang Xu、Anush Krishnan、Yu Pan、Giancarlo Baldan和Oscar Beijbom。nuScenes：用于自动驾驶的多模态数据集。在IEEE计算机视觉和模式识别上，第11621一、二、五、六[6] 西蒙·查德威克威尔·马登保罗·纽曼使用雷达和视觉的远距离车辆检测。在IEEE机器人和自动化国际会议上，第8311-8317页，2019年。2[7] Shuo Chang ， Yifan Zhang ， Fan Zhang ， XiaotongZhao，Sai Huang，Zhiyong Feng，and Zhiqing Wei.基于毫米波雷达和视觉传感器的空间注意力融合障碍物检测传感器，20（4）：956，2020. 2[8] 安德烈亚斯·丹泽、托马斯·格里贝尔、马丁·巴赫和克劳斯·迪特迈尔。使用PointNets在雷达数据中进行2D汽车检测。在IEEE智能交通系统会议上，第61-66页，2019年。2[9] 阿尔贝托·埃尔夫斯使用占用网格的移动机器人感知和导航。计算机，22（6）：46-57，1989. 2[10] 保罗·弗里切、比约恩·蔡斯、帕特里克·海姆和贝尔纳多·瓦格纳。融合雷达、激光雷达和热信息，用于低能见度环境中的危险检测。IEEEInternational Symposiumon Safety，Security and Rescue Robotics，第96-101页，2017年。2[11] Andreas Geiger ， Philip Lenz ， Christoph Stiller ， andRaquel Urtasun.视觉与机器人技术的结合：KITTI数据集。国际机器人研究杂志，32（11）：1231- 1237，2013。6[12] Saif Imran，Xiaoming Liu，and Daniel Morris.在遮挡边界用双曲面外推法求深度。在IEEE计算机视觉和模式识别会议上，第2583-2592页，2021年。2[13] Saif Imran ， Yunfei Long ， Xiaoming Liu ， and DanielMorris.深度完井的深度系数在IEEE计算机视觉和模式识别会议上，第124382[14] Michael Kampffmeyer，Nanqing Dong，Xiaodan Liang，Yu- jia Zhang，and Eric P Xing.ConnNet：用于显著分割的长距离IEEE Transactions on Image Processing ， 28 （ 5 ） ：2518-2529，2018。5[15] Prannay Kaul，Daniele De Martini，Matthew Gadd，andPaul Newman.RSS-Net：使用FMCW雷达的弱监督多类语义分割。在IEEE智能车辆研讨会上，第431-436页，2020年。2[16] DominikKellner ， MichaelBarjenbruch ， KlausDietmayer，JensKlappstein，andJürgenDickmann. 使用多普勒雷达的车辆的瞬时横向信息融合国际会议，第877-884页，2013年2[17] DominikKellner，MichaelBarjenbruch，JensKlappstein，J ür genDickmann，andKlausDietmaye r. 利用双多普勒雷达实现任意目标的瞬时全在IEEE智能车辆研讨会上，第324- 329页，2014年。2[18] You Li和Javier Ibanez-Guzman。用于自动驾驶的激光雷达：汽车激光雷达和感知系统的原理、挑战和趋势。IEEE Signal Processing Magazine，37（4）：50-61，2020。1[19] Ying Li，Lingfei Ma，Zilong Zhong，Fei Liu，MichaelA Chapman，Dongpu Cao，and Jonathan Li.自动驾驶中LiDAR点云的深度学习：审查. IEEE Transactions onNeural Networks and Learning Systems，2020。3[20] Teck-Yian Lim ， Amin Ansari ， Bence Major ， DanielFontijne ， Michael Hamilton ， Radhika Gowaikar ， andSundar Subramanian.用于高级驾驶员辅助系统中车辆检测的雷达和摄像头早期融合。在2019年神经信息处理系统研讨会上2[21] Ja k obLombache r，MarkusHahn，JuürgenDickmann，andChristianWoühler. 雷达使用深度学习方法进行静态对象分类的潜力在IEEE MTT-S关于用于智能移动性的微波的国际会议上，第1-4页，2016年。2[22] Yunfei Long ， Daniel Morris ， Xiaoming Liu ， MarcosCastro，Punarjay Chakravarty，and Praveen Narayanan.雷达-相机像素深度关联用于深度完成。在IEEE计算机视觉和模式识别会议上，第12507-12516页，2021年。二、五[23] 丹尼尔·莫里斯。用于密集叶分割的金字塔CNN。计算机和机器人视觉会议，第238-245页。IEEE，2018年。6[24] 拉明·那巴提、齐海荣。CenterFusion：基于中心的雷达和摄像机融合三维目标检测。在IEEE Winter Conferenceon Applications of Computer Vision，第1527-1536页，2021年。一、二、三、六[25] EhsanNezhadarya ， YangLiu ， andBingbingLiu.BoxNet：一种深度学习方法，用于从鸟瞰图点云进行2D边界框估计。在IEEE智能车辆研讨会上，第1557-1564页，2019年。七、八[26] Felix Nobis、Maximilian Geisslinger、Markus Weber、Jo- hannes Betz和Markus Lienkamp。基于深度学习的雷达和相机传感器融合架构，用于目标检测。在传感器数据融合中：趋势、解决方案、应用，第1-7页。IEEE，2019。2[27] Andras Palffy，Jiaao Dong，Julian FP Kooij，and DariuM Gavrila.基于CNN的3D雷达16208方块IEEE Robotics and Automation Letters，5（2）：1263- 1270，2020。2[28] Charles R Qi， Hao Su ，Kaichun Mo ， and Leonidas JGuibas.PointNet：用于3D分类和分割的点集深度学习。在IEEE计算机视觉和模式识别会议上，第652-660页，2017年。2[29] Olaf Ronneberger，Philipp Fischer，and Thomas Brox. U-Net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议，第234-241页，2015年。6[30] FabianRoos ， Domini kKellner ， Jür genDickmann ，andChris-tian Waldschmidt.高分辨率雷达图像中车辆的可靠方位估计IEEE Transactions on Microwave Theoryand Techniques，64（9）：2986-2993，2016. 2[31] NicolasScheiner ， NilsSchrodt ， Jür genDickmann ，andBernhard Sick.一个多阶段聚类框架自动雷达数据。在IEEE智能交通系统会议上，第2060-2067页，2019年。2[32] JohannesSchlichenma ier， FabianRoos ，PhilippHügler，andChristian Waldschmidt.利用速度剖面分析对雷达图像中紧密相邻的延伸目标进行聚类。在IEEE MTT-S智能移动微波国际会议上，第1-4页2[33] MehmetSaygınS eyfioglu，AhmetMuratOüzbayog lu，andS e vgiZub e ydeGuürbuüz. 深度卷积自动编码器，用于基于雷 达 的 相 似 辅 助 和 非 辅 助 人 类 活 动 分 类 。 IEEETransactions on Aerospace and Electronic Systems ， 54（4）：1709-1723，2018。2[34] 利奥·斯坦尼斯拉斯和蒂埃里·佩诺。机器人应用的Delphi电子扫描雷达的特性。在Australasian Conferenceon Robotics and Automation，第1-10页，2015年。1[35] Zachary Teed和Jia Deng。RAFT：光流的循环全对场变换。欧洲计算机视觉会议，第402-419页，2020年。6[36] Yutian Wu ， Yueyu Wang ， Shuwei Zhang ， andHarutoshi Ogai. 使用LiDAR数据的深度3D对象检测网络审查. IEEE Sensors Journa