毫米波雷达在浓雾中恢复高分辨率图像

111464毫米波雷达Junfeng Guan Sohrab Madani Suraj Jog Saurabh Gupta Haitham Hassanieh伊利诺伊大学香槟分校34(a) 原始场景(b) 地面实况(c) 雾中的相机(d) 雾中雷达点云（e）雾中雷达热图(f)恢复图像567810121416（m）图1：毫米波雷达可以通过雾和恶劣天气成像。然而，镜面反射、伪像和低分辨率导致差的感知质量，如以上图（d）和（e）所示。为了克服这一限制，本文利用cGAN架构从低分辨率毫米波雷达热图中恢复高分辨率图像。上图显示了（a）原始场景，（b）用立体相机捕获并使用MaskRCNN裁剪的地面实况深度图（在生成雾之前），（c）雾中的场景，（d）在雾存在时生成的毫米波雷达点云，（e）相应的雷达热图，以及（f）我们系统的恢复输出摘要本文演示了使用毫米波（mmWave）雷达的高分辨率成像，即使在浓雾中也可以工作。我们利用了毫米波信号在低可见度条件下具有良好传播特性的事实，这与无法穿透浓雾的光学传感器（如相机和Li-DAR）不同。毫米波雷达，然而，遭受非常低的分辨率，镜面反射，和噪声伪影。 我们介绍HawkEye，一个利用cGAN架构从原始低分辨率毫米波热图恢复高频形状的系统。我们提出了一种新颖的设计，解决了具体的雷达信号的结构和性质的挑战。我们还开发了一个数据合成器，以帮助大规模数据集生成训练。我们在定制的毫米波雷达平台上实现了我们的系统，并展示了与标准毫米波雷达和其他竞争基准相比的性能改进。1. 介绍实现完全自动驾驶汽车，在驾驶自动化标准中被称为5级，已经获得了特斯拉，福特，本田，Waymo，丰田，优步和NVIDIA等大公司的极大兴趣[6，7，22，37，48，60]5级自动驾驶要求能够在浓雾，烟雾，雪等恶劣天气条件下运行-在低能见度条件和恶劣天气下，对环境进行精确可靠的观察[39，51，52，8，59，21]。相机在夜间低光条件下也会受到影响。这是一个问题，因为包括特斯拉在内的许多制造商都避免使用激光雷达，使相机成为主要的传感模块[58]。1毫米波（mmWave）雷达提供了更有利的特性，因为它们能够在夜间工作，并穿透雾、雪和灰尘[25，11]。然而，今天的汽车制造商仍然将毫米波雷达用于单向测距的唯一目的，即，以确定与其他车辆的距离[24，9]。使用毫米波雷达的成像由于若干原因而具有挑战性。首先，与LiDAR或相机相比，毫米波的分辨率极低。图1（d，e）示出了毫米波图像表现为雷达反射的斑点并且与图1中所示的对应相机相比携带很少或没有上下文和感知信息的示例。第1（a）段。其次，与光信号不同，无线毫米波信号是高度镜面的，即，信号表现出来自汽车的镜面反射[43]。因此，并非所有来自汽车的反射都传播回毫米波接收器，并且汽车的主要部分不会出现在图像中，使得无法检测其形状，如图10所示。1（d，e）.最后，来自汽车的无线反射也可以从道路和其他汽车反弹，并沿着多条路径传播到毫米波接收器，从而在各种环境中产生阴影反射和伪影。风暴和沙尘暴[22，23]。 自动驾驶汽车，然而，主要使用相机或激光雷达，以获得ac-1其他方式，如热成像也无法在浓雾中[5]。111465场景中的位置如图所示。1（d，e）.今天它们还隔离近场成像的物体，以消除多径反射，并围绕物体旋转阵列以解决镜面反射问题[45，47]。然而，这样的设计对于自动驾驶汽车来说将是非常庞大的，并且不实用，因为我们无法控制正在成像的汽车。在 本 文 中 ， 我 们 提 出 了 鹰 眼 ， 一 个 系 统 ，consolitates的进步，使实际使用的毫米波成像在现实的应用。使用毫米波雷达，我们可以在浓雾中感知和预测汽车的形状。图1列（e）示出了我们的系统的预测深度（如从列（d）中可视化的感测雷达信号预测的）。列（b）示出地面实况深度图（在没有雾的情况下使用立体相机虽然很明显，我们还远远没有一个可以在自动驾驶汽车上使用毫米波成像的实用系统本文介绍了使这一进步的不同方面。我们的主要贡献是将从原始毫米波热图预测高频形状学习的使用提供了对难以建模的雷达反射和噪声源（如镜面反射和多径反射）的鲁棒同时，学习可以有效地利用汽车形状的先验知识，从粗略的毫米波热图中做出合理的预测。然而，在这项任务中使用学习是不平凡的.我们必须在神经网络的设计、训练的损失函数以及开发用于训练的大规模现实数据集方面进行创新。我们采用了基于生成对抗网络[31]的架构，该架构可以构建毫米波热图并预测高分辨率深度图。信号的特定性质需要设计自定义神经网络架构（将3D输入热图映射到2D深度图，并跳过将3D信息投影到2D的连接）和自定义损失函数（感知，L1和对抗损失的组合）。我们建立了一个现实的雷达数据合成器，捕捉雷达的独特特性。我们使用这个模块创建了一个合成数据集，用于训练我们的表达神经网络。最后，我们建立了一个真实世界的数据收集平台，以收集用于微调和基准测试的真实数据。所有这些共同使HawkEye的端到端系统成为可能，据我们所知，HawkEye是第一个可以提供图1所示结果的系统1（f）.HawkEye 有 四 个 模 块 ， 如 图 所 示 。 第 二 章 ：（一）定制的毫米波成像模块，用于捕获3D毫米波热图，（ii）宽基线立体相机系统，用于捕获高分辨率2D深度图以获得地面实况，（iii）合成器，用于使用来自汽车和毫米波的3D CAD模型的合成数据来增强训练数据集立体声模块地面实况GAN毫米波模块输入合成器输出培训数据图2：HawkEye射线跟踪算法，以及（iv）自动驾驶汽车背景下针对毫米波成像我们的研究结果表明，HawkEye能够从原始3D毫米波热图中生成高分辨率的深度图，并在真实场景中准确重建汽车，即使在雾等低能见度条件下也是如此我们的数据合成器代码和数据集可以在我们的项目网页上找到。2. 相关工作超分辨率：神经网络已被用于提高相机图像和近红外图像的分辨率[28，32，38，40]。这种技术依赖于低分辨率和高分辨率图像之间图像块的对应性，可以实现4倍的放大因子。与我们的工作最接近的是用于对稀疏3D LiDAR数据进行上采样以创建密集2D深度图的技术[18，12，34，61，17、49]。然而，这些作品要么需要一个RGB相机，除了激光雷达[18，12，34，61]，因此，不工作在低能见度条件下，或依赖于高频视觉特征，如边缘聚类和上采样对象[17，49]。然而，毫米波图像具有显著较低的空间分辨率，其中诸如边界和边缘的高频视觉特征不明显。毫米波还遭受传统超分辨率和上采样技术无法解决的伪影和雾中的激光雷达：最近的工作旨在提高LiDAR在雾中的性能[39，51，52]。然而，即使是最先进的研究系统也需要先验地知道场景的深度图[39]，或者仅当对象是静态的时通过估计从对象反射的光子的统计分布来工作[51，52]。这些系统也只能在54 cm范围内工作，分辨率有限（32×32像素）和视场。毫米波雷达，另一方面，可以穿透浓雾，并不要求对象是静态的[29，14]。雷达成像系统：存在可以实现高分辨率的毫米波雷达成像系统[47，55，53，27，45]。然而，这些系统只能在非常近的距离（50厘米）工作，并使用非常庞大的人类大小的阵列，类似于机场安全扫描仪[47]。<其他可以在更长距离上实现高分辨率的雷达系统与光学组件集成，如大型聚焦透镜和机械扫描光栅[46，27，2]。111466毫米波无线电镜面反射(a)镜面反射和多径（b）2D sinc函数图3：毫米波成像雷达的输出。因此，它们体积庞大，在自动驾驶汽车等移动平台上表现不佳[55]。过去的工作还在毫米波雷达数据的背景下利用了深度学习。[15]扩展了[10]中的PointNet架构，以根据雷达数据执行2D对象检测，但无法执行高分辨率深度成像。[19]和[3]将神经网络应用于雷达采集以提高分辨率。然而，两者[19，3另一方面，HawkEye通过使用高分辨率深度图进行训练来重新覆盖汽车的视觉表示并学习应对镜面反射和多路径，从而获得了更好的效果。最近的工作表明，在使用低频无线雷达（低于6GHz）来估计人类的3D姿态并通过墙壁和遮挡物跟踪他们方面取得了重大进展[1，64，62，63]。该作品利用人体运动来对抗镜面反射，方法是将不同身体部位的反射随时间推移进行组合，并将它们拼接成完整的人体。这项工作还使用深度卷积神经网络来标记肢体和关节，并将其映射到人体骨骼的3D模型。然而，与室内环境中的人类不同，汽车作为一个单一的刚体移动，并且在实践中通常仅观察到汽车的单个视点。因此，即使在运动过程中，由于镜面反射，汽车的大部分部分都将保持不可见。我们的系统采用了条件GAN[44]架构，该架构能够在不依赖对象移动性的情况下解决镜面反射问题3. 毫米波成像背景图4：毫米波成像的挑战。天线阵列来分离接收到的反射。2天线阵列被电子控制以基于其空间方向（φ，θ）捕获和分离来自场景的反射，而FMCW用于基于距离（ρ）分离反射物体的反射。这允许我们计算3D热图x（φ，θ，ρ），其中每个点表示从空间中的体素反射的能量图3显示了我们的雷达的输出示例。对应于（a）中的汽车的3D热图在（b）中被示出为点云点云是通过对反射信号能量非常弱的体素进行阈值处理而生成的我们还在（c）中的2D顶视图和（d）中的2D前视图该图还将汽车的轮廓覆盖在2D热图上，以更好地从图中可以看出，与相机和LiDAR数据相比，毫米波雷达成像具有根本不同的挑战首先，成像分辨率非常重要，比视力低得多例如，在我们的系统中，距离分辨率为10厘米，这是3。比商用LiDAR差3倍[42]。方位角和仰角分辨率为5，比LiDAR [42]差50倍距离分辨率取决于FMCW信号带宽并且可以使用更昂贵的硬件来潜在地改进然而，角分辨率取决于天线阵列的孔径。为了实现亚度角分辨率，类似于LiDAR，我们将需要9米长的天线阵列，这在成本和形状因子方面都是不切实际的。3对于实际孔径尺寸（几厘米），输出毫米波雷达图像与沿方位角和仰角方向的非常宽的2D sinc函数进行卷积，类似于图1所示。第4（b）段。2Dsinc功能消除了几乎所有的高频虚拟内容，如对象边界。这就是为什么图中的毫米波图像。3看起来像斑点。sinc旁瓣也在图像中产生伪影和噪声，如图11中的2D投影所示。3然而，决心并不是唯一的挑战。与光不同，毫米波信号不会散射太多，主要是从表面反射。因此，汽车是高度镜面反射的，并充当雷达信号的镜面反射器。结果大部分毫米波雷达的工作原理是通过发射一个无线信号，信号并接收来自场景中各种物体的反射。它在诸如24GHz、60 GHz和77 GHz的高频带中操作，并且使用诸如FMCW（调频连续波）和2在如此高的频率下，存在可用于FMCW信号的丰富带宽。信号波长也很小（毫米），这使得大型紧凑型天线阵列的设计成为可能[54，65]。3注意，对于像机场安全扫描仪这样的系统，被成像的目标是在短距离内，因此，人类大小的阵列就足够了。(b)3D雷达热图(c)雷达热图的2D俯视图（d）雷达热图的2D前视图(a)场景111467图5：发生器G和鉴别器D的网络架构。反射永远不会追溯到毫米波接收器。这导致了如图所示的镜面反射。4（a），使汽车的某些部分不可能的图像可以在图中看到。3，汽车表面的大部分都不见了此外，由于多径传播，一些反射从街道和其他障碍物反弹，并追溯到接收器，如图所示 4（a）在图像中创建许多伪影，如图所示。3（c，d）。最后，与相机相比，雷达数据具有不同的表示和视角。我们必须适应上述挑战，设计一个神经网络框架，能够重新覆盖形状，大小，位置，…被拍摄的汽车。4. HawkEye概述：我们提出了一个基于条件GAN [44]的体系结构。给定输入毫米波RF热图x，我们学习条件生成器G。这种有条件的gener- ator采用编码器解码器架构。尽管毫米波热图的空间分辨率较低，但由于其较大的感测带宽，它们可以在深度维度上实现高分辨率。为了深入保留这些高频细节，我们在设计中使用了跳跃连 接 [50]。 我 们 的 CNOD 接 受 （ x ， y ） 或 （ x ， G（x））对，并学习区分它们。生成器和鉴别器是联合训练的，鉴别器试图将生成的输出与地面实况区分开，生成器试图欺骗鉴别器。我们还使用L1和感知损失来使生成器的输出与输入到它的实例一致。图5显示了我们的架构。原始毫米波信号的特殊性要求我们仔细考虑所涉及的设计选择。接下来，我们提供必要的技术细节，并强调重要的设计选择。HawkEye神经网络架构的更多细节输入和输出表示：我们使用感知的毫米波热图中的每体素能量作为3D球坐标系（φ，θ，ρ）中的输入表示。GAN的输出是物体的高频形状。我们以立体相机帧中的2D深度图的形式表示预测的形状，其中GAN预测图像中每个像素的深度发电机学习从R64×32×96到R256×128的映射。过去大多数使用条件GAN的作品都是研究2D到2D或3D到3D的转换。然而，我们的问题需要设计一个混合的3D到2D transformation- tion。感知的毫米波信号分辨率非常低，我们不希望通过将感知的3D热图投影到2D来引入进一步的混叠。同时，我们希望输出高频波形。由于计算和优化原因，预测高分辨率3D热图具有挑战性[57，41]。因此，我们选择将输出表示为2D深度图。此外，请注意，毫米波信号仅提供来自视线中的金属表面的反射，因为毫米波被金属表面屏蔽。因此，汽车的2D深度图表示用作有意义的中间表示，其可以被后处理以构造完整的3D预测。发生器架构：我们遵循标准的编码器-解码器架构[4]来表示生成器。生成器使用深度神经网络来实现，该深度神经网络使用编码器将输入3D热图映射到低维表示z解码器使用该低维表示来产生2D深度预测。我们使用2048维z向量。编码器由6个3D卷积层以及Leaky-ReLU激活函数和BatchNorm层组成。解码器从2048维z向量开始，并使用8个去卷积层来产生2D深度图。我们使用批量- Norm和ReLU激活反卷积层。最后，我们应用双曲正切函数以及线性变换，将生成器的输出映射到场景中的绝对深度。跳过连接：我们还在生成器中使用跳过连接[50]。跳过连接为解码器中的较高层提供来自编码器的输入/早期层的虽然这在将2D映射到2D或3D映射到3D的网络中很简单，但我们的网络学习了3D到2D的投影。因此，我们的跳过连接设计将输入3D热图投影到2D图像中，该2D图像与解码器的更高层相关联。该投影如下所示我们通过记录对应于最高值的位置来计算以下2D图像1x64x32x9616x32x16x482048x1x1x1 发生器1024x1x2512x2x42048x1x11x256x128G（G. -是z. -是. -是. -是编码器解码器&e（）2+ep）跳过连接3D毫米波输入2D输出鉴别器1x64x32x9616x32x16x482048x1x1x1256x1x2128x2x41x256x128G（）或512x1x1. -是z3D编码器z2D编码器3D毫米波输入输出或2D地面实况256x1x1. - 是的- 是的1x1x1+（，G）或+ ，. -是. -是. -是. -是. -是. -是. -是. -是. - 是的- 是的. - 是的-11146834567810121416（m）图6：HawkEye在晴朗天气条件下对真实测试数据的定性性能。列（a）和（b）示出了具有汽车的原始清晰场景和对应的立体深度图。列（c）和（d）示出了作为3D点云和2D前视图投影的雷达热图。列（e）显示HawkEye的输出，而列（f）和（g）显示L1和最近邻基线的输出。比例尺显示深度图中的绝对深度度量。沿着投射在该位置的射线：x2D（φ，θ）=arg maxx3D（φ，θ，r）.（一）R简单地选择对应于最大值的深度是不稳定的。因此，我们选择m个最大值并创建m=8个通道的2D特征图，从最高到最低功率排序。这些2D特征图在解码器中与第6层处的特征图级联，使得来自第6层的高分辨率深度信息可以在第6层处被解码。损失函数：使用CXD和generator G的输出来计算vanillaGAN损失函数L（G）[31]。 与过去的工作[36，38]一样，我们还包括L1损失（在地面真实和预测之间）和感知损失项Lp[38，26]（在我们的情况下，在预训练神经网络VGG [56]的激活上，在y和G（x））。在训练期间，D和G被优化以最小化LH（G）损失，如下所示L1（G）=Ekary-G（x）<$1（2）雷达热图被直接提取并传递给L（G）=EV GG（y）−V GG（G（x））（三）输出，以保留高频细节的深度。p1请注意，这个投影是在球面坐标系中完成的，而我们的输出是在相机坐标系中。由于相机的视场不是很大，两个图像仍然相当好地对齐。这是一个不可微的操作，并且只对输入进行.鉴别器架构：鉴别器接受两个输入：3D热图x和2D深度图，该2D深度图是地面实况y或由G（x）生成。它输出输入为真的概率。通常，发生器的输入和输出为相同类型（均为2D或均为3D）。然而，在我们的例子中，输入是3D，输出是2D。因此，我们采用了双流架构，使用两个独立的网络将x和y映射到1D特征向量，然后将它们融合以分类真实样本和生成样本，如图所五、热图x通过3D CNN处理，该CNN具有与生成器中使用的相同的架构，但具有不同的权重，而深度图y或G（x）通过8层CNN。两个网络都产生512维表示，这些表示被连接并传递到2个完全连接的层以输出最终分类。LH（G）=L（G）+λ1L1+λpLp（4）虽然L1损失 我们使用VGG网络的特征空间[56]来计算知觉的丧失。我们将深度图像复制到3通道图像中，并将其馈送到预先训练的VGG网络中。鹰眼采用了三种损失的组合（方程。λ1和λp是损失函数的手工调整的相对权重。使用此损失函数使HawkEye能够准确捕获图像中的低频和高频这导致在感知上可解释的高分辨率图像，忠实地代表现场.5. 霍克使用我们定制的毫米波模块收集真实世界的毫米波数据非常耗时。因此，使用真实数据进行训练将花费相当长的时间。为了解决这个问题，我们构建了一个合成器来生成成对的3D毫米波热图和2D深度图，（一）（b）第（1）款（c）第（1）款（d）其他事项(e)鹰眼(f)L1（g）最近邻11146934567810121416（m）图7：HawkEye在场景中有雾时的性能。列（a）和（b）示出了原始场景和对应的立体深度图。列（c）示出了充满雾的场景。列（d）和（e）将雾场景中的雷达热图示为3D点云和2D前视图投影。列（f）显示HawkEye的输出，而列（g）和（h）显示L1和最近邻基线的输出。比例尺显示深度图中的绝对深度度量。3D CAD模型。我们的合成器旨在创建汽车的3D点反射器模型，然后使用射线跟踪模拟毫米波雷达信号。它考虑了多路径反射以及基于反射角度的镜面反射，以生成逼真的毫米波3D热图。模拟分为3个阶段：(1) 场景生成：我们首先基于两种类型的数据集生成汽车场景：用于自动驾驶的3D CAD模型[20]和Cityscapes[13]，街景视频记录数据集。3D CAD模型为我们提供了各种车辆的精确3D网格，而街景照片为汽车在摄像机框架中的放置提供了参考。我们在街景上应用MaskR-CNN [33]来检测感兴趣的对象。(2) 光线跟踪：在这里，我们对场景中的毫米波反射器进行建模。首先，我们通过球面投影去除遮挡体。然后，我们将其余部分建模为点反射器的集群，其中点的数量表示雷达截面的大小。我们通过参考已知的汽车轮廓将每个聚类的镜面反射度分类为散射角或主要是镜面反射表面。最后，我们对点反射器进行标准光线跟踪[16]，并考虑其镜面反射。(3) 毫米波热图和地面实况生成：我们基于引入背景噪声的点反射器模型模拟接收信号。我们将热噪声和相位噪声添加到毫米波信号中。此外，为了避免在我们的实验设置中对mmWave和立体相机模块之间的场点和视点进行非平凡的外部校准，我们将相同的位移导入到我们的合成器中，以在立体相机视点处进行预测，并准确地训练和测试HawkEye同样，我们的模型可以重新训练以从任何其他观点进行预测（使用适当修改的跳过连接）。通过应用第3节所述的毫米波处理，我们得到了3D毫米波热图。生成地面实况2D深度图以匹配立体相机帧。6. 实验6.1. 数据集和实现数据集：由于没有公开的毫米波雷达数据集，我们使用定制的毫米波成像平台收集自己的数据集。我们使用60 GHz无线电模拟2D天线阵列，并传输标准雷达波形以捕获3D毫米波热图。为了捕获相应的高分辨率2D深度图以用于地面实况，我们构建了自定义宽基线立体相机系统。我们将iPhone相机安装在精度为亚毫米的线性滑块上，以捕获场景的多个图像，并应用标准的立体图像处理算法[35]来提取2D深度图。线性滑块设置是稳定的，这允许我们校准一次并将相同的校正应用于所有实验。在地面真值中，我们使用Mask R-CNN生成的标记对象掩码过滤掉不属于感兴趣车辆的像素[33]。补充材料包括对我们的数据收集平台的更详细描述。我们在3种背景中拍摄了327个汽车场景：室内停车场、室外停车场和室外房屋免下车通道。该数据集包括9个类别的汽车，涵盖60种不同的车型：2个超紧凑型，12个紧凑型，16中型，7全尺寸，5运动，11越野车，1吉普车，2面包车，和4卡车。我们测试了汽车相对于雷达的所有360°与雷达的距离（一）（b）第（1）款（c）第（1）款（d）其他事项（e）(f)鹰眼(g)L1(h)最近邻111470到汽车的距离在3.3到11.9米之间，平均值为6.2米，标准差为1.66米。然后，我们创建了配对的3D毫米波热图、RGB相机图像和立体相机深度图的数据集。除了真实的数据，我们还有4000个由HawkEye雾/雨中的受控实验：在我们拍摄的327个真实场景中，有101个在雾和雨中的实验，以测试HawkEye在能见度差的条件下的性能，而今天的光学传感器无法做到这一点。由于实际的限制，如水损害我们的设置的风险，我们进行控制实验，我们模仿真正的雾和雨。我们使用雾机以及高密度水基雾液来模拟严重和现实的雾条件，类似于以前的研究[29，30]。我们在感兴趣的物体（汽车）周围的有限区域内使用水管模拟降雨。训练：HawkEye的GAN分为两个阶段进行训练。 在第一阶段，我们使用3000张图像的合成数据集进行了170个epoch的训练，批量大小为4。在第二阶段，我们对模型进行了60个额外时期的微调，其中包含在晴朗天气下捕获的100张真实毫米波图像。 值得注意的是，HawkEye的GAN模型从未在雾或雨中收集的样本上进行过 训练。 训练 需要12 个小 时的Nvidia Titan RTXGPU。我们在1000幅合成图像上测试了HawkEye的性能，剩下的227幅真实图像包括雾和雨的实验。为了进行测试，我们遵循标准的k折交叉验证（k=5）来测试所有327个场景，同时确保在训练过程中不使用测试数据集中的示例。基线：我们将HawkEye与：(i) 毫米波雷达：我们与原始毫米波雷达热图进行比较，以评估HawkEye在低分辨率和伪影充斥的雷达图像上的改进。(ii) 基于L1的损失：为了确定HawkEye中的GAN和RNN的效用，我们将其与仅使用基于L1的损失函数L=L1+ λpLp训练的相同神经网络进行比较，如等式中所定义。(1)（2）.(iii) 最近的邻居：有人可能会说，我们的方法过度拟合，只是简单地记住了训练数据集中的样本点。为了理解这一点，我们与最近邻方案进行了比较，该方案在具有最小Eu-clidean距离的3D雷达热图的输入特征空间中检索样本。6.2. 定性结果我们在图中展示了鹰眼6和图分别为7。4在两种能见度条件下，HawkEye都能准确地重建物体的形状和大小。34567810121416（m）图8：HawkEye失败的示例。第一行和第二行示出了原始场景和对应的立体深度图。第三和第四行显示雷达热图作为点云和前视图投影。第五行显示HawkEye它可以捕捉场景中汽车的轮廓，并捕捉关键的定义特征，如车轮和方向，比其他基线更好。HawkEye还可以在3D空间中准确地确定到汽车的距离，这可以从深度图中HawkEye此外，请注意，尽管HawkEye主要是在合成数据上训练的因此，模拟器忠实地模拟真实的毫米波热图。故障示例：图8显示了HawkEye的一些典型故障案例。(i)和（ii）来自雾实验。在（i）中，虽然HawkEye估计了正确的边界框，但它错误地判断了汽车的前部和后部。在（ii）中，尽管HawkEye成功地检测到汽车的角落，但由于热图中的强虚拟反射和镜面反射，它错误地估计了汽车的取向最后，我们的系统目前的局限性是，当场景中有多辆车时，它的性能会下降（图1）。8（iii））。为了解决这个问题，一个潜在的未来 方 向 是 采 用 一 个 区 域 建 议 网 络 ， 类 似 于 [64]，HawkEye可以首先从场景中的汽车中分离出反射，然后单独重建每辆汽车。6.3. 定量结果我们评估汽车的范围，大小（长度，宽度，高度）和方向，因为它们代表了场景中汽车我们定义距离，4我们展示了合成测试数据集的其他定性结果以及补充材料中的雨水实验。5见补充资料，了解下雨时的结果。（一）（二）（三）111471实验系统误差测距误差长度误差宽度误差高度误差取向%维生素C思考%汽车表面错过鹰眼30厘米47厘米29厘米9厘米27◦百分之一点五百分之十二点九清洁空气mmWaveL1损失53厘米40厘米179厘米97厘米89厘米76厘米45厘米13厘米64◦37◦15.6%百分之二点五百分之三十点五13.1%最近邻90厘米114厘米70厘米17厘米68◦百分之三点五16.0%鹰眼50厘米83厘米44厘米11厘米29◦百分之二点五15.4%雾mmWaveL1损失67厘米60厘米222厘米108厘米99厘米80厘米53厘米12厘米72◦38◦百分之二十点九百分之三点五百分之三十一点九百分之十三点八最近邻121厘米117厘米76厘米18厘米45◦百分之三点六22.3%鹰眼23厘米64厘米37厘米8厘米30◦百分之一点三百分之十点二合成mmWave29厘米182厘米77厘米31厘米62◦百分之十点八百分之十九点二数据L1损失20厘米113厘米73厘米14厘米47◦百分之三点四百分之九点三最近邻81厘米81厘米57厘米13厘米64◦百分之五点二百分之十七点五表1：定量结果。更多详细信息请参见文本。汽车的最近角作为范围，并且方向作为汽车的较长边缘与毫米波热图的0°角我们还通过比较HawkEye输出中沿场景前视图的（a）汽车表面未命中（假阴性）%和（b）虚拟反射（假阳性）%来评估注意，（a）指示镜面反射效应，而（b）指示诸如图像中的多路径和环境反射的伪影补充材料包括对我们如何提取定量指标的更详细描述。结果：表1显示了Hawk-Eye与基线方案比较的中位误差.这些结果是从168个洁净空气场景、59个雾场景和510个合成场景中提取的。我们总结了HawkEye(i) 毫米波雷达：HawkEye在测距精度上实现了1. 35×在雾和2×在晴朗的天气。虽然毫米波雷达可以实现高测距分辨率，但雷达热图中的伪影会导致高测距错误. HawkEye设计中的跳过连接 但是，请注意HawkEye这是因为其他指标对镜面反射和多路径伪影更敏感，而HawkEye可以显着改善这些通过校正这些噪声源来度量。(ii) 基于L1的损失：与鹰眼相比，L1这是预期的，因为针对2D深度图上的L1损失进行优化然而，L1损失不能捕获输出形状的高频分量，导致边界模糊。 因此，在估计的大小，方向和虚拟的误差，常规反射器的L1损耗很高，HawkEye在这些指标上实现了约2倍的这些结果证明了GAN鹰眼的建筑(iii) 最近的邻居：HawkEye优于最近邻基线，实现了1.在晴朗的天气下，3×至3×，以及1。4× 2。在雾中，各种指标均为4倍这表明我们的模型不是过拟合的并且可以很好地推广到测试集中的新数据点。对于合成数据集，性能趋势是相似的。实验结果表明，无论是在天气晴朗的情况下还是在能见度较低的情况下，HawkEye都能可靠地重建出场景中汽车的准确、高分辨率图像。值得注意的是，鹰眼在雾中的表现与晴朗的天气相比略有下降。这可能是由于60 GHz射频信号在雾中存在水值得注意的是，由于FCC规定，我们被限制在60 GHz未授权频谱上构建我们的实验设置，与毫米波频段中的其他频率相比，该频谱受到水颗粒的更高我们认为，使用77 GHz频段（专门分配给自动驾驶雷达应用）的商用级毫米波雷达实现鹰眼，将解决此处观察到的7. 结论在本文中，我们表明HawkEye是一种很有前途的方法，通过新颖的神经网络架构设计来处理毫米波数据，从而实现毫米波无线系统的高分辨率成像我们评估了鹰眼在低能见度条件下，如大雾，它可以显着提高性能的毫米波雷达今天。虽然在HawkEye成为可用于自动驾驶汽车的实用系统之前，还需要进行大量的未来工作，但我们已经朝着这一目标取得了巨大的进步。111472引用[1] F.阿迪布角许氏H.毛氏D. Katabi和F.杜兰德穿过一堵墙来捕捉这个人形 ACM Trans. Graph. ，34（6），Oct.2015年。[2] R. Appleby和R. N.安德顿用于安全和监控的毫米波和亚毫米波成像。Proceedings of the IEEE，95（8）：1683-1690，Aug. 2007年[3] K. Armanious ， S. Abdulatif ， F. 阿 齐 兹 ， 美 国 。Schneider和B.杨雷达设计权衡的对抗性超分辨率补救。2019第27届欧洲信号处理大会（EUSIPCO），9月2019年。[4] V.巴德里纳拉亚南，A. Kendall和R.西波拉Segnet：用于图 像 分 割 的 深 度 卷 积 编 码 器 - 解 码 器 架 构 。 IEEETransactionsonPatternAnalysisandMachineIntelligence，39（12）：2481-2495，Dec. 2017年。[5] K. Beier和H. Gemperlein。民用航空增强视觉系统雾天红外探测距离的模拟。航天科技，8（1）：63[6] Bloomberg.自动驾驶汽车技术投资在软银交易中飙升，新闻稿，2018年。[7] Bloomberg. Uber已经在无人驾驶汽车上花费了超过10亿美元，新闻稿，2019年。[8] 彭博商业周刊.自动驾驶汽车可以处理雨，雨夹雪或雪，新闻稿，2018年。[9] 博 世 自 适 应 巡 航 控 制 。 网 址 ： //www.bosch-mobility-solutions.com/en/，2020年。[10] R. Q. Charles ， H. 苏 ， M 。 Kachun 和 L.J. GuibasPointnet：用于3D分类和分割的点集深度学习2017年IEEE计算机视觉和模式识别会议（CVPR），第77-85页[11] C. C.尘电磁辐射因薄雾、雾、云和雨而衰减。技术报告，兰德公司，1975.[12] L. Chen，Y. He，J. Chen，Q. Li和Q.邹。通过参数自适应框架将三维激光雷达点云转换为二维密集深度图IEEE Transactions on Intelligent Transportation Systems，18（1）：165-176，Jan. 2017年。[13] M.科德茨，M。奥姆兰，S。拉莫斯，T.雷费尔德，M。恩茨韦勒R.贝南森，美国弗兰克，S。罗斯和B。席勒用于语义城市场景理解的cityscapes数据集。2016年IEEE计算机视觉和模式识别会议（CVPR），第3213-3223页[14] L. Csurgai-Horvth和J.点v波段地面无线电雾衰减和低成本测量装置。2010年未来网络移动峰会，第1-9页[15] A. Danzer，T.格里贝尔M. Bach和K.迪特迈尔雷达数据中的二维汽车检测。第61-66页，Oct. 2019.[16] 诉Degli-Esposti，F.Fuschini，E.M. Vitucci，M.巴尔比罗利湾佐利湖Tian、X.Yin，杨氏D.A. 迪普利希河米勒角Schneider和R. S.托姆基于射线跟踪的毫米波波束形成评估。IEEE Access，2：1314[17] M. Dimitrievski，P. Veelaert和W.飞利浦用于汽车激光雷达点云深度上采样的语义感知多边滤波器。2017年IEEE智能车辆专题（IV），第1058-1063页[18] L. Ding和G.夏尔马融合运动和激光雷达的结构，用于密集精确的深度图估计。在2017年IEEE声学，语音和信号处理国际会议（ICASSP），第1283-1287页2017年。[19] S. Fang和S.尼尔戎使用低成本毫米波雷达的人工智能增强三维射频表示。第16届ACM嵌入式网络传感器系统会议论文集，第414415页，2018年。[20] S. Fidler，S. Dickinson和R.乌塔松利用可变形的3D长方体模型的3D目标检测和视点估计。在Proceedings of the25 th International Conference on Neural InformationProcessing Systems - Volume 1，NIPS 12，第611619页，2012中。[21] 福布斯自动驾驶汽车将如何应对恶劣天气仍然是迷雾重重，新闻稿，2016年。[22] 福布斯5级自动驾驶汽车的未来，Press Re-lease，2019年。[23] 福布斯天气为下一代汽车带来挑战，新闻稿，2019年。[24] 福特自适应巡航控制。https://www.ford的网站。com/technology/driver-assist-technology/adaptive-cruise-control/，2020年。[25] K. 加西亚，M。Yan，和A.普尔科维奇使用毫米波传感器进行强大的交通和交叉路口监控技术报告，德州仪器，2018年。[26] L. A. Gatys，A.S. Ecker和M.贝丝使用卷积神经网络的图 像 风 格2016 年 IEEE计 算 机 视 觉 和 模 式 识 别 会 议（CVPR），第2414-2423页[27] M. T. Ghasr，M. J. Horst，M. R. Dvorsky和R. 祖吉用于实时三维成像的宽带微波相机。IEEE Transactions onFunctions and Propagation，65（1 ）：258-268，Jan.2017年。[28] D. Reinner，S. Bagon和M.伊拉尼从单一图像中获得超分 辨 率 。 在 2009 年 IEEE 计 算 机 视 觉 国 际 会 议（ICCV），第349-356页，9月。2009年[29] Y. Golovachev，A. Etinger，G. Pinhasi和Y. Pinhasi毫米波高分辨雷达在雾中的精度理论与实验验证。传感器，18（7）：2148，2018。[30] Y. Golovachev，A. Etinger，G. A. Pinhasi和Y. Pinhasi亚毫米波在雾中的传播特性。Journal of Applied Physics，125（15）：151612，2019.[31] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。在Z. Ghahra-mani ， M. 威 灵 角 Cortes ， N. D. Lawrence 和 K. Q.Weinberger ， 编 辑 ， Advances in Neural InformationProcessing Systems 27，第2672-2680页。2014年[32] A. Guei和M.阿克洛菲使用生成对抗网络对红外人脸图像进行深度学习增强。应用光学，57（18）：D98[33] K.他，G.吉基奥萨里山口Do