多普勒雷达的NLOS物体目标跟踪

2068可见中继表面FMCW虚拟孔径雷达单点源移动遮挡场景封堵器看看周围的街道角落：基于多普勒雷达的Nicolas Scheiner*1Florian Kraus*1魏方银*2Buu Phan3Fahim Mannan3尼尔斯·斯佩罗特1维尔纳·里特1Jürgen Dickmann1Klaus Dietmayer4 Bernhard Sick5 Felix Heide2，31Mercedes-Benz AG2 Princeton University3 Algolux4 Ulm University5 University of Kassel摘要传统的传感器系统记录关于直接可见的物体的信息，而被遮挡的场景成分被认为在测量过程中丢失非视线（NLOS）方法试图从间接反射中恢复这些隐藏的物体-微弱的信号成分，传统上被视为测量噪声。现有的NLOS方法难以在实验室外记录这些低信号分量，并且不能扩展到大规模户外场景和高速运动，这在汽车场景中是典型的。特别地，光学NLOS捕获基本上受到漫间接反射的四次强度衰减的限制。在这项工作中，我们离开可见光波长的方法，并证明检测，分类，并在大规模的动态环境中使用多普勒雷达，可以在低成本的批量生产制造的隐藏对象的跟踪。为了解开嘈杂的间接和直接反射，我们从多普勒速度和位置测量的时间序列中学习我们在野外汽车场景中验证了该方法，包括停放的汽车或房屋立面作为中继表面的序列，并在动态汽车环境中展示了1. 介绍传统的传感器系统在它们的直接视线中捕获物体，因此，现有的计算机视觉方法仅能够检测和跟踪可见的场景部分[13，15，38，37，12，23，53，30]，而包含的场景成分被认为在测量过程中丢失。非视线（NLOS）方法旨在从这些被遮挡物体在可见场景表面上的间接反射或阴影中恢复关于这些被遮挡物体的信息，这些被遮挡物体再次处于检测器的视线中。虽然执行被遮挡对象的场景理解可以实现跨域的应用，包括遥感或医学成像，但是特别是自主驾驶应用可以受益于检测接近的交通*同等贡献。图1：我们证明了在大型汽车环境中，从多普勒雷达测量中恢复直接视线之外的移动物体是可能的使用- ING静态建筑物立面或停放的车辆作为中继墙，我们共同分类，重建和跟踪被遮挡的对象。被封闭的参与者。现有的NLOS成像方法在受控实验室环境之外挣扎，并且它们在大规模户外场景和高速运动中挣扎最成功的NLOS成像方法发出超短光脉冲并测量其时间分辨的返回[46，34，14，8，45，5，33，29]。与传统相机相比，这种测量允许现有方法基于其传播时间来解混光路[1，21，32，34]，有效地权衡角度与时间分辨率。因此，对于房间大小的场景，需要在10 ps的时间尺度下的脉冲宽度和检测，<由于强度随着到可见中继墙的距离呈四分之一下降，因此当前的NLOS方法仅限于米大小的场景，即使超过1类激光器的人眼安全限制（例如，Velodyne HDL-64 E）的1000倍[28]。此外，这些方法对于动态场景是不实用的，因为扫描和再现需要几分钟[29，5]。不幸的是，替代AP-2069基于调幅飞行时间传感器的方法[16，18，17]受到调制带宽限制和环境照明[25]的影响，而仅强度方法[11，42，6]需要高反射物体。大型户外场景和高度动态的环境仍然是一个开放的挑战。在这项工作中，我们证明了使用汽车多普勒雷达传感器在直接视线之外的大规模动态场景中检测和跟踪物体是可能的，见图。1.一、从依赖于中继壁上的漫间接反射的可见波长NLOS方法出发，我们利用镜面反射在中继壁上支配毫米波雷达信号的事实，即，当结构尺寸比波长大一个数量级时。因此，与光学NLOS技术相比，相控阵天线雷达测量在间接反射中保留了角分辨率和发射的射频（RF）功率，这使我们能够实现更长的范围。相反，分离直接和间接反射成为一个挑战。为此，我们恢复间接可见对象依赖于他们的多普勒信号，有效地抑制静态对象，我们提出了一个联合NLOS检测和跟踪网络，融合估计和测量NLOS速度随时间的推移。我们以自动化的方式训练网络，使用单独的定位系统捕获训练标签和数据，并在大量的汽车场景中验证所提出的方法。通过使用立面和停放的汽车作为反射器，我们展示了NLOS碰撞预警在城市交叉口的第一个应用。具体而言，我们做出以下贡献：• 我们制定了一个图像形成模型的多普勒雷达NLOS测量。在此基础上，我们推导出被遮挡物体的位置和速度。• 我们提出了一个联合NLOS检测和跟踪网络，融合估计和测量NLOS速度随时间的变化。对于被遮挡的对象标记，我们用自动定位系统获取数据。• 我们验证了我们的系统在野外汽车sce- narios，并作为这种新的成像模式的第一个应用程序，演示碰撞警告脆弱的道路使用者看到他们在直接视线。• 将发布实验训练和验证数据集和模型1。2. 相关工作光学非视线成像越来越多的工作探索光学非视线成像技术[34，46，14，18，33，45，5，35，50，29]。根据Kirmani et al.[21]，他首先提出了从时间分辨光传输中恢复被遮挡物体的概念，这些方法包括：通过发出光脉冲并使用具有10 ps的高时间精度的检测器捕获它们的响应，对场景的时间脉冲响应进行直接采样<，在此期间脉冲行进3 mm的距离。虽然早期的工作依赖于昂贵且复杂的条纹相机设置[46，47]，但最近的工作线使用单光子雪崩二极管（SPAD）[8，33，29]。Katz等人[20，19]证明载波本身的相关性可用于实现快速单次拍摄NLOS成像，但仅限于微观尺度的场景[19]。非视线跟踪和分类最近的几项工作使用传统的强度图像进行NLOS跟踪和定位[22，9，10，6，11]。潜在的逆问题的不适定性将这些方法限制于具有高反射目标[6，11]、稀疏暗背景或仅具有存在额外遮挡物的场景的定位[42，6]。不幸的是，最近的声学方法[27]目前仅限于米大小的实验室场景和几分钟的采集时间。所有这些现有方法的共同点是它们对于大的和动态的室外环境是不切实际的。射频非视线成像另一系列工作已经探索了使用RF信号穿过墙壁的成像、跟踪和姿态估计[2，3，4，39，49，52]。然而，RF信号在穿过典型的内墙材料（如干墙）时不会被反射，从而大大简化了穿墙视觉任务。因此，只有少数工作探讨了非视距雷达成像和跟踪[44，36，51]。这些方法反向传播光线跟踪的高阶反弹信号，这需要具有多个已知（尽管它们被遮挡）隐藏中继墙的场景。对于在没有先前场景知识的情况下在这项工作中处理的野外场景，只有第三次反弹测量，并且具有不完美的中继墙，例如，这些方法是不实际的。此外，传统的滤波和反投影估计在存在实际测量噪声的情况下在超过10 m处遭受大的模糊性[36]。在这项工作中，我们解决了这一挑战与数据驱动的联合检测和跟踪方法，使我们能够证明实际的NLOS检测在野外使用雷达系统，有可能在不久的将来低成本大规模生产。3. 观测模型当雷达信号从可见的墙壁反射到隐藏的物体上时，一些信号被散射并反射回可以观察到的墙壁，见图。二、接下来，我们推导出一个包含这些观测值的正演模型。1https://github.com/princeton-computational-imaging/doppler nlos 代码和模型。20703.1. 非视距FMCW雷达雷达传感器发射以光速c行进的电磁（EM）波，其被场景反射并被雷达传感器接收。在这项工作中，我们使用调频连续波（FMCW）���′虚拟对象多输入多输出（MIMO）阵列结构的多普勒雷达，它可以分辨距离r，方位角φ和径向多普勒速度vr的目标。而不是一个单一的正弦电磁波，我们的FMCW雷达发出单个w可视墙程度从载波频率fc开始，在频带B上进行线性频率扫描[7]，即发送器ηL对象g（t）=cos.B2πfct+πMΣ第二章（1）塞普茨D接收器阵列封堵器表面其中Tm是扫描上升时间。e. 瞬间的痛苦图2：雷达NLOS观测。 对于mm波长，该信号的频率为1/2πd/dt 2 πfct+πB/Tmt2 为fc+B/Tmt，即从fc到fc+B变化的线性扫描斜率B/Tm，如图所示3 .第三章。发射的信号g传播通过场景的可见部分和被遮挡部分，即，该信号与场景的脉冲响应卷积对于给定的发射器位置l和接收器位置c，接收信号变为∫典型的墙壁看起来是平的，并且镜面反射雷达波。我们测量距离，角度和多普勒速度的间接漫后向散射的闭塞对象，以恢复其速度，类，形状和位置。雷达表面在自然界中极为罕见[39]，漫射部分ρd占主导地位。注意，α（x）ρ（x-w，w-x）在s（t，c，l，w）=α（x）ρ（x-w，w-x）·（2）当量（2）被称为固有雷达回波，描述Λ11g的∫，t−rlw+2rxw +rwcdσ（x），反向散射特性，即，雷达散射截面[41]。（rlw+rxw）2（rxw+rwc）2c参见图2，其中w和x是中继墙和物体表面Λ上的位置，表面测量Λ上的σ，α作为反射率，ρ表示双向反射分布函数（BRDF），其取决于入射方向ωi=x-w和出射方向ωo= w−x。 距离r在这里描述了在下标位置之间，当量（2）对由于球面行进而导致的强度衰减进行建模，我们将其近似为不被镜面壁阻尼，假设有发射器和探测器位置c=l=w和距离r=xc-xd处的静态单个目标，其具有往返反射τd=2r/c，方程：（2）成为单一正弦曲线s （ t ） =αg （ t−τ ） ，（4）其中，αβ在此描述沿反射路径的累积衰减。FMCW雷达将接收到的信号s与发射的信号g混合，从而产生由频率的和与差组成的信号p。由于混频电路中的低通滤波，该和被省略，即：并且将来自对象的反向散射漫射回到接收器C。p（t）=s（t）·g（t）<$α<$cos.2πfΣt+4πfcr.（ 五）反射模型散射行为ρ取决于反射率表面性质。 平面，相对于2拍c对于典型的76 GHz-81 GHz汽车雷达，波长λ为1.5 mm将导致镜面响应。因此，在本发明中，在Eq.（2）将中继墙视为一面镜子，见图2。二、我们模拟隐藏的反射率，由于时差而产生的剩余差异是-在发射和接收的啁啾之间，见补充材料，导致具有拍频的频移f= B2r，r = cfbeatTm.（六）可见目标遵循[11]与漫反射和镜面反射击败Tmc2Bterm作为ρ（ωi，ωo）= αdρd（ωi，ωo）+ αsρs（ωi，ωo）。（三）联系我们≈0与最近的工作[11，27]相反，我们不能依赖于镜面分量ρs，因为对于大的间隔距离，中继墙太小而不能捕获镜面反射。事实上，完全镜面反射的小平面表面被用作作为回射不2071音域可以根据这个节拍音符来估计，等式（六）、为此，FMCW雷达系统执行傅立叶分析，其中具有不同路径长度的多个目标（等式2）。（2））出现在不同的拍频仓中。多普勒速度估计对于物体移动的情况，沿反射路径的径向移动vr导致接收信号中的附加多普勒频移2072频率TtotToTm发射啁啾接收啁啾f拍对于低反射率场景、典型噪声和杂波，可以测量数千为了实时处理这样的测量率，我们实现了一个恒定的故障报警率滤波器来检测高RCS值σ[40]第40话我们检索了一个雷达点云U盘，月1第二次啁啾104点，允许有效的推理：FC时间U= .Σ（φ，r，vr，σ）i|1≤i≤RR <10 4（十）有关后处理的详细信息，请参见补充材料。复时信号多普勒频率4. 非视距联合检测与跟踪图3：单个接收机-发射机天线的线性调频序列调制原理：N个连续的频率斜坡以对应于反射器的距离的频移f拍被发送和接收。对每个频率斜坡进行采样，并在每个线性调频脉冲和距离单元处估计接收信号的相位连续啁啾之间的相移对应于多普勒频率。vr在本节中，我们提出了一个神经网络，用于从雷达数据中检测和跟踪隐藏对象。4.1.非视线检测检测任务是估计行人和骑自行车者的定向2D框，给定鸟瞰图（BEV）点云U作为输入。全面检测管道控制-包括三个主要阶段：（1）输入参数化，f多普勒=2·.（七）λ将BEV点云转换为稀疏伪图像;（2）为了避免由于往返行程引起的频移与相对移动之间的模糊性，斜坡斜率B/Tm被选择为高，使得多普勒频移在等式（10）中可以忽略。（六）、相反，该信息通过在具有间隔Ttot的两个连续线性调频脉冲之间的信号中消除相移θ来恢复，参见图3，即来自伪图像的使用2D卷积骨干;（3）二维边界盒回归和检测头检测。输 入参 数 化我 们将 u 表 示为 雷 达 点 云U中 的 d 维（d=4）点，其具有坐标x，y（从极坐标φ1，r2导出），速度vr，λ·θvr=4π·Tx′−c= v·x′− cv。（八）和振幅στ。 我们利用振幅的对数运算得到强度测度s=logσ_n。作为第一步，这个速度估计是径向速度，见图。二、与距离估计类似，相移θ（和速度）也通过傅立叶分析来估计，但是对于每个距离单元单独地应用于N个顺序啁啾的相位为了解决入射辐射方向，雷达依赖于天线阵列。在远场假设下，即，对于单个发射器和目标，入射信号是平面波。该波形的入射角φ导致距离为d的两个连续天线之间的到达延迟dsin（φ）/c，见图2，导致相移Δ=2π dsin（φ）/λ。因此，我们认为，将云离散为x-y方向上的均匀网格平面，产生大小为（d−2，H，W）的伪图像其中H和W表示网格的高度和宽度。为了有效地对隐藏检测的高级表示进行编码，骨干网络包含两个模块：金字塔网络和放大网络。金字塔网络包含两个连续的阶段，以产生越来越小的空间分辨率的功能。每个阶段使用三个2D卷积层将其输入特征图降采样2倍。接下来，放大网络上采样，我们可以估计φ=反正弦λ2πd .（九）将金字塔网络中的两个特征图连接起来工作该放大网络以不同的步幅执行转置的2D卷积。结果，两人都-对于该角度估计，单个发射机天线示出了所有的接收机天线都在监听。对2D距离-速度谱中的峰值对应的相量序列的频率分析指定角度，从而产生3D距离-速度-角度数据立方体。3.2.传感器后处理生成的原始3D测量立方体分别包含1024× 512× 64个距离、角度和速度的binPled特征具有相同的大小，然后被连接以形成最终输出。所有（转置的）卷积层都使用大小为3的内核，并与BatchNorm和ReLU交错，请参阅补充材料以了解详细信息。探测头探测头遵循单次激发探测器（SSD）[26]的设置，用于2D物体探测。具体地，每个锚点预测用于分类的3维向量（背景/骑自行车者/行人）和用于分类的3带宽Btot2073维向量。20742图4：NLOS检测和跟踪架构。该网络接受当前帧T和过去n个雷达点云数据作为输入，并输出帧T和随后n个帧的预测。特征在金字塔网络中被下采样两次，然后通过放大网络被上采样和连接。我们合并的功能，从不同的帧在这两个级别的编码高层次的表示和融合的时间信息。w，中继墙p=p2−p1，即w=c+（p1−c）×p（x′−c），（11）（x′−c）×p其中×是二维叉积a×b=a1b2−a2b1。对于检测x′是第三次反弹检测，我们有两个标准。首先，x′和接收器c必须在中继墙的相对两侧。 我们定义中继墙nw的法线指向远离接收器c的方向。第二，交集w必须在p1和p2之间，两者都表示为当nw·（x′−p1）≥0<$$> w−p1<$$> ≤ <$p<$图5：非视距几何和速度估计，w− p2（十二）直接镜面壁反射。通过假设道路使用者平行于墙壁移动，即，在路上6-用于边界框回归的维向量（中心，第一项是有符号距离，表示x′和c是否在墙的相对侧，其他项确定w是否位于 p1和 p2 之 间。如果等式（12）为真，即， x′是第三次反弹检测，我们将原始点x重建为盒子的尺寸、方向和速度.Σw−c−2（nw·（w−c））nww −x′X=我们使用第一响应脉冲激光雷达好的 （十三）测量一个单独的前置激光雷达传感器，以重新覆盖可见墙的几何形状。具体来说，我们发现使用[ 48 ]检测二值化分箱BEV中的线段是鲁棒的，其中每个箱的大小为0。01 m是在恢复x之后，我们在假设实际速度平行于中继墙的情况下，估计实际速度矢量v，见图2。五、具体来说就是以每箱1次检测的阈值进行二进制化。我们过滤掉长度小于1 m的线段，v=<$v<$sgn（vr）· sgn（γx′−γwp）的情况 。（十四）ǁpǁ将检测到的墙平滑到我们的NLOS模型适用的表面，请参见补充材料。每个段由其端点p1和p2表示，参见。图五、接下来，我们推导出第三次反弹的真实位置x或虚拟检测x'，以供参考，参见图2。2和图五、为了判断一个点是否为虚检测，我们首先求出它的交点这里，γx′和γw是x′−c和nw相对于传感器由方程式在等式（14）中，vr的符号区分接近和离开隐藏对象ta r gets，而sgn（γx′-γw）确定对象相对于法线n w在左半平面或右半平面的分配。按照惯例，我们定义p相对于nw逆时针旋转π。 使用测量的径向速度vr= v·|cos|，我们得到帧T帧T-1L锁8 8 8 163232帧T+n帧T+（n-1）2帧T-i帧T-i32649帧T-（n-1）帧T-nLcls8 8 8 1632322帧T+1帧T金字塔网络放大网络输入参数化高级表示编码检测和回归向下转换平面转换上转换器BN + ReLU Concat.L损失函数真实对象虚拟对象φφφ封堵器nwC雷达传感可视墙6006003003003003003003001501501501501501503003003002075原型车相机GNSSWi-FiIMULiDAR封堵器雷达传感器地面实况定位v=sgn（vr）· sgn（γx′−γw）·|·|·|cosϕ|pǁpǁ，（15）其中θ是x′−c和v之间的夹角，参见图五.有关详细推导，请参见补充材料4.2. 非视线多普勒跟踪我们的模型联合学习跟踪与未来帧预测，启发罗等人。[30 ]第30段。在每个时间戳处，当前帧及其n个先前帧形成输入，并且预测是针对当前帧加上接下来的n个未来帧。主要挑战之一是融合时间信息。一个简单的解决方案是添加另一个维度并在空间和时间上执行3D卷积。然而，这种方法不是内存效率和计算昂贵的稀疏数据。如[30]中所讨论的，替代方法可以是早期或晚期融合。两种融合方案首先单独处理每个帧，然后开始将所有帧融合在一起。而不是这样的一次性融合，我们的方法利用多尺度的骨干，并在不同的水平进行融合。具体来说，我们首先执行单独的输入参数化和高级表示编码为每个帧中所述的节。4.1.在金字塔网络的两个阶段之后，我们将n+1个特征连接起来沿通道维映射。对于每个阶段。这是真的-得到了两个大小为（n+1）C1，H，W和图6：具有测量设置（左上）和自动地面实况定位系统（右）的原型车。为了以自动化的方式获取训练数据，我们使用GNSS和IMU来进行自我车辆和隐藏的易受伤害的道路使用者的完整姿态估计。5. 数据采集和培训原型车设置观察车原型如图所示.六、我们使用实验FMCW雷达原型，安装在前保险杠上，频带为76 GHz至77 GHz，采用线性调频序列调制，.H W2 2 见第3 .第三章。我们使用153 m的中档配置（n+1）C2，4，4 ，然后将其连接为输入到放大网络的两个上采样模块，重新-分别为。模型的其余部分与以前相同。通过在不同尺度上聚合n+1帧的时间信息，该模型可以捕获低级别的每帧细节和高级别的运动特征。我们参考图4为我们的架构的说明。4.3. 损失函数我们的总体目标函数包含一个定位项和一个分类项L = αLloc+ βLcls。（十六）定位损失是当前帧T和未来n帧的定位损失之和最大范围和140°的FoV，即，用于城市场景或十字路口。一次测量需要22。6 ms，分辨率为0. 15米，1. 8度，0。087 m s−1。类似的传感器可以作为开发工具包提 供 ， 价 格 为 几 百 美 元 ， 例 如 . 德 州 仪 器AWR1642BOOST大规模生产的版本成本很低。雷达传感器的补充实验4层扫描宁激光雷达0。25度，0。方位角和仰角分辨率为8°。在145°的宽FoV下，安装在散热器格栅中的单个传感器足以满足我们的实验。 我们使用由组合式全球导航卫星系统（GNSS）接收器和惯性测量单元（IMU）组成的GeneSys ADMA-G PRO定位系统，使用内部卡尔曼滤波器跟踪自我姿态。该系统具有Lloc=T+nLloct其中Lloct=Σαu|阿鲁|、（十七）精度高达0。8厘米，0。01m s −1代表位置和速度。 出于文档目的，我们使用单个t=Tu∈{x，y，w，l，θ，v}AXIS F1015摄像机，97° FoV，位于测试车辆后方其中，RXu是由（x，y，w，l，θ，v）定义的地面实况（gt）和锚点（a）之间的定位回归残差：x=xgt−xa，挡风玻璃有关所有传感器以及所需坐标系变换的详细信息，请参见补充材料。自动地面实况估计不幸的是，人类不习惯于注释雷达测量，wgtlgtgta而NLOS注释则更具挑战性。我们ωw = logωa，ωl = logla，ωθ = sin（θ-θ）。（ 十八）通过采用跟踪的变体来解决这个问题，我们不区分物体的正面和背面所以所有的θ对于classi-[43]的装置。我们为弱势的道路使用者提供装备，包括行人或骑自行车的人，手持GeneSys2 2我们采用[26]中的焦点损失LclsADMA-Slim跟踪模块与捕获设备同步207635251551 5 10 1521场景ID(a) 不同场景下的NLOS检测1510500 10 20 30距离[m](b) 隐藏物体和观察者到墙的距离。类自行车行人对象AP@0.5@0.25@0.1@0.5@0.25@0.1我们的29.35 56.43 62.40 44.74 62.19 68.1541.36 66.34 75.41澳门金沙城中心[26]210.07 37.87 51.50 27.19 49.24 56.24 19.87 46.2960.98[24]第二十四话2.0215.02 28.007.8326.769.6145.69 58.68表1：检测分类（AP）比较。我们将我们的模型与SSD探测器和PointPillars [24]进行了比较，详细信息见补充材料。单厢三厢三厢护栏定位(Box中心距离）型号MAE MSE跟踪（带v）0.12 0.03跟踪（w/o. v）3 0.13 0.04模型可见性MOTA MOTP跟踪 非军事区（w. ㈤服务水平跟踪 服务费（w/o。㈤3 LOS 0.81 0.90移动办公室公用设施访问车库门侧石大理石墙面房屋一角 花园墙屋门面屋门面楼出口图7：大型户外场景的NLOS训练和评估数据集。上图：数据集统计（a），以及隐藏对象和观察者到中继墙的距离（b）。底部：相机图像，包括（稍后）隐藏的对象。通过Wi-Fi进行导航，见图。六、与[43]相反，我们不纯粹依赖GNSS，还使用IMU进行隐藏对象的姿态估计，参见补充材料。训练和验证数据集我们在野外汽车场景中捕获了总共100个序列，其中有21个不同的场景，即，我们多次重复具有不同NLOS轨迹的场景在这个数据集中出现的各种各样的中继墙如图所示。7，包括住宅和工业建筑的灰泥墙，大理石花园墙，护栏，几辆停放的汽车，车库，仓库墙和混凝土路缘石。该数据集平均分布在隐藏的行人和骑自行车的人中，总计超过3200万个雷达点，请参见补充材料。我们选择这两种具有挑战性的道路使用者，因为汽车等更大、更快、更导电的我们将数据集分成不重叠的训练集和验证集，其中验证集由四个场景组成，具有20个序列和3063帧。6. 评估评估设置和验证对于培训和验证而言，感兴趣区域是60 m× 80 m的大面积我们使用0分辨率。1 m将x、z轴离散为600×800网格。我们将每个地面真值框分配给其最高重叠预测框进行训练。隐藏类-分别使用平均精度（AP）和预测与地面实况框中心之间的平均距离来评估分类和定位性能表2：NLOS和LOS数据的定位和跟踪性能，MAE和MSE以米为单位。速度预测（和监督）由v表示。定性验证图8显示了具有不同墙壁类型的真实自动驾驶场景的结果。请注意，地面实况边界框的大小因雷达数据的特性而异。第三行显示了一个场景，其中不超过三个检测到的点被测量用于隐藏对象，并且模型必须依赖于这些稀疏点的速度和方向来对框和类预测做出决定尽管有这样的噪音，我们确实观察到模型输出稳定的预测。如第四行所示，预测框在大小和方向上跨帧非常一致，尽管极端的雷达检测稀疏。 第四行中的第一帧显示通过激光雷达而不是雷达发现隐藏的物体。请注意，所有其他场景都具有在激光雷达测量中可见的遮挡几何。对于由于地面实况采集系统的抖动而导致地面实况信息不完美的罕见情况，我们可以推断帧序列而不是单个帧。虽然预测框在该特定帧中看起来不与地面实况很好地匹配，但实际上它被正确地检测到，从而验证了所提出的联合检测和跟踪方法。图图9示出了两个不同场景的定性跟踪轨迹该模型能够跟踪一个对象，只有偶尔不正确的ID开关。定量检测结果我们报告AP在IoU阈值0。1，0。25和0。5用于Tab中的骑车人/行人检测。1.一、我们还列出了通过合并骑自行车者/行人标签来预测物体/非物体的平 均 AP 我 们 将 我 们 的 模 型 与 简 化 的 SSD [26] 和PointPillars [24]进行比较，用于BEV点云检测，请参见补充材料。由于我们收集的数据中的大多数边界框都是chal-包装尺寸小于0的小盒子。5m × 0. 5m，非常小的偏移可能会显著影响检测在高IoU阈值下的性能然而，在实践中--2接受了建议的第三次反弹几何和速度估计的培训。3输入是基于速度的预处理数据，参见补充材料。步行自行车对象观察器样品/102频率/ %2077前置车辆摄像头网络对单个帧的预测GT Box带速度的预测框/ 雷达点（注释/噪声）检测墙激光雷达点z观察车- -图8：每行中具有不同中继墙类型和对象类的汽车场景的联合检测和跟踪结果。第一列显示观察者车辆前置摄像头视图。接下来的三列绘制了BEV雷达和激光雷达点云以及边界框地面实况和预测。NLOS速度被绘制为从预测框中心开始的线段：红色和绿色对应于朝向和远离车辆的移动。NLOS和可视视距（LOS）帧分别在Tab. 二、对于具有挑战性的NLOS数据，虽然不匹配对象的数量（多对象跟踪精度-这些结果验证了所提出的联合NLOS检测器和跟踪器的避碰应用。选项卡. 2还比较了有和没有veloc的模型(a) 骑车人(b) 行人城市监管，显示速度监管改善图9：两个NLOS场景的跟踪轨迹。预测由段组成，每个段对应于以不同颜色可视化的不同跟踪ID。因此，具有小至0.1的IoU的正检测仍然是碰撞警告应用的有效检测。结合高定位精度，见表1。2（左），所提出的方法允许在汽车场景中对隐藏对象进行远程检测和跟踪，即使对于行人和自行车等小型道路使用者也是如此。定量跟踪结果选项卡。2列出了所提出的方法的定位和跟踪性能。该方法基于多帧图像和实测多普勒速度估计，定位精度可达0。尽管测量混乱，隐藏的行人和自行车物体的散射截面很小，但我们评估跟踪性能定位和跟踪精度。7. 结论在这项工作中，我们介绍了一种新的方法，联合非视线检测和跟踪的遮挡物体使用汽车多普勒雷达。从现实的NLOS汽车雷达数据集学习检测和端到端跟踪在未来，从高阶反弹的检测，以及联合光学和雷达NLOS可能是令人兴奋的下一步。确认这项研究得到了欧盟在H2020 ECSEL计划下的资助，作为DENSE项目的一部分，合同号为692449。zzz- -- -- -zzz- -- -- -zzz- -- -- -停放的汽车骑自[m]12[m]8107866452地面实况预测zz地面实况预测- -- -00-14-12-10-8-6-4-20[m]-2024681012 [m]仓库墙自行车建筑墙自行车手大理石墙人行道2078引用[1] N.艾布拉姆森光在飞行中的全息记录。Optics Letters，3（4）：121-123，1978. 1[2] F. 阿迪布角Y. 许氏H.毛氏D.Katabi和F.杜兰德穿过一堵墙 来 捕 捉 这 个 人 形 。 ACM Transactions on Graphics（TOG），34（6）：219，2015。2[3] F. Adib，Z.卡贝拉克，D。Katabi和R.C. 米勒通过身体无线电反射进行3D第11届{USENIX}研讨会网络化系统设计与实现（NSDI）14），第317-329页，2014年。2[4] F. Adib和D.卡塔比透过WiFi看墙！ACM SIGCOMMComputer Communication Review，43（4），2013.2[5] V. Arellano，D. Gutierrez和A. Jarabo非视线重建的快速反投影。Optics Ex- press，25（10）：11574-11583，2017. 一、二[6] K. L. Bouman，V.Ye、叶绿条叶蝉A.B. Yedidia，F.杜兰德G.W. Wor-nell，A. Torralba和W. T.弗里曼。将拐角转换为摄像机：原则和方法。在IEEE国际计算机视觉会议（ICCV），第2289-2297页，2017年。2[7] G. M. 布鲁克了解毫米波调频连续波雷达。第一届国际传感技术会议，第152-157页，2005年。3[8] M.布塔瓦J. Zeman，A. Tosi，K. Eliceiri和A.维尔滕使用时间选通单光子雪崩二极管的非视线成像。Opticsexpress，23（16）：20997-21011，2015. 一、二[9] P. Caramazza，A. Boccolini，D. Buschek，M.胡林角F.希厄姆河亨德森河Murray-Smith和D.法乔用单像素单光子探测器对隐藏在视野中的人进行神经网络识别科学报告，8（1）：11945，2018。2[10] S. 昌河，巴西-地E. 沃伯顿湾加里福尼亚，J.Leach和D.Fac- cio.远距离非视线跟踪人。Op-tics Express，25（9）：10109-10117，2017. 2[11] W. Chen，S. Daneau，F. Mannan和F.海德稳态非视线成像。在IEEE计算机视觉和模式识别会议集，第6790-6799页二、三[12] X. Chen，H. Ma，J. Wan，B. Li和T.夏用于自动驾驶的多视角三维物体检测网络。在IEEE计算机视觉和模式识别会议上，第1907-1915页，2017年。1[13] R.格希克，J。多纳休，T. Darrell和J.马利克丰富的特征层次结构，用于准确的对象检测和语义分割。在IEEE计算机视觉和模式识别会议论文集，第580-587页，2014年。1[14] O. 古 普 塔 ， T.Willwacher ， A.Velten 、 A.Veeraraghavan，以及R. 拉斯卡使用漫反射重建隐藏的3d形状Opt. Express，20（17）：19096-19108，2012年8月。一、二[15] K. 他，X。Zhang，S.Ren和J.太阳用于视觉识别的深度卷积网络中的空间金字塔IEEE Transactions on PatternAnalysis and Machine Intelligence ， 37 （ 9 ） ： 1904-1916，2015。1[16] F.海德湖肖，W. Heidrich和M. B.胡林漫反射镜：使用廉价的飞行时间传感器从漫射间接照明进行3D重建。在Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition中，第3222-3229页，2014年。2[17] A. 卡丹比河Whyte，A.班达里湖斯特里特角巴西，A. Dorrington和R.拉斯卡编码飞行时间相机：稀疏解卷积解决多径干扰和恢复时间剖面。ACM Transactions onGraphics（ToG），32（6）：167，2013。2[18] A. Kadambi，H. Zhao，B. Shi和R.拉斯卡使用飞行时间传感器进行遮挡成像。ACM Transactions on Graphics（ToG），35（2）：15，2016. 2[19] O. Katz，P. Heidmann，M. Fink和S.吉根通过散斑相关性通过散射层和拐角周围进行非侵入性单次拍摄成像。Nature Photonics，8（10）：784，2014. 2[20] O.卡茨，E.小，Y。希尔伯伯格用散射的非相干光实时观察周围的角落和透过薄的混浊层Nature Photonics，6（8）：549-553，2012. 2[21] A. Kirmani，T. Hutchison，J. Davis和R.拉斯卡利用瞬态成像技术观察拐角处。在IEEE计算机视觉国际会议（ICCV），第159-166页，2009年。一、二[22] J. 克莱因角彼得斯，J。马尔坦岛Laurenzis和M.B. 胡林使用2d强度图像跟踪视线外的物体。科学报告，6：32491，2016。2[23] J. Ku，M. Mozifian，J. Lee，A. Harakeh和S. L.瓦斯兰德。从视图聚合联合生成3d建议和对象检测。在2018年IEEE/RSJ智能机器人和系统国际会议（IROS）上，第1IEEE，2018年。1[24] A. H. Lang，S.Vora，H.凯撒湖Zhou，J.Yang和O.北京点柱：用于从点云中检测物体的快速编码器。在IEEE计算机视觉和模式识别会议论文集，第126977[25] R.兰格采用CMOS/CCD技术的定制固态图像传感器进行。博士论文，锡根大学，2000年。2[26] T.- Y. Lin，P. 戈亚尔河格希克角He和P. 娃娃。密集目标检测的焦面损失。在IEEE计算机视觉国际会议论文集，第2980- 2988页，2017年。四、六、七[27] D. B. Lindell，G. Wetzstein和V.科尔顿。声学非视线成像。在IEEE计算机视觉和模式识别会议论文集，第6780-6789页，2019年。二、三[28] D. B. Lindell，G. Wetzstein和M.奥图尔基于快速f-k偏移的 波 基 非 视 线 成 像 。 ACM 事 务 处 理 图 表（SIGGRAPH），38（4）：116，2019。1[29] X. 柳岛吉尔·莱恩，M. LaManna ，J. H. Nam，S. A.Reza，T. H. Le，A. Jarabo，D. Gutierrez和A.维尔滕利用相量场虚拟波动光学的非视线成像Nature，第1-4页，2019年。一、二[30] W.洛湾，巴西-地Yang和R.乌塔松又快又怒：实时端到端的三维检测，跟踪和运动预测与一个单一的卷积网络。InProceedings of the2079IEEE计算机视觉和模式识别会议，第3569-3577页，2018年。1、6[31] D. 林 奇 射 频 隐 身 介 绍 。 科 技 雷 达 与 防 御 系 列 。SciTech，2004. 3[32] N. Naik，S. Zhao，中国粘蝇A.韦尔滕河Raskar和K.巴拉使用多路散射和飞行时间成像的单视图反射捕获。ACM事务处理图表，30（6）：171，2011. 1[33] M. OToole，D. B. Lindell和G.韦茨斯坦基于光锥变换的非视线共焦成像自然，555（7696）：338-341，2018。一、二[34] R. 潘达卡， A. 维尔滕， A. Bardagjy， E. 劳森M. Bawendi和R.拉斯卡在杂乱环境中估计移动非视线目标的运动和尺寸。在Proc. CVPR，第265-272页，2011中。一、二[35] A. K. Pediredla，M. Buttafava，A.托西岛O. Cossairt和A.维拉加万使用光子回波重建房间：一个基于平面的模型和重建算法，寻找周围的角落。IEEEInternationalConference on Computational Photography （ ICCP ）IEEE，2017年。2[36] O. Ra