对抗性轨迹摄动：激光雷达误导自动驾驶感知

7898对抗性轨迹摄动欺骗激光雷达感知Yiming Li†，∠Congcong Wen†，§，∠ Felix Juefei-Xu‡Chen Feng††纽约大学§中国科学院大学‡阿里巴巴集团网址：yimingli@nyu.edu，cfeng@nyu.edu摘要从移动车辆收集的LiDAR点云是其轨迹的函数，因为传感器运动需要补偿以避免失真。当自动驾驶车辆将LiDAR点云发送到深度网络进行感知和规划时，由于深度学习和基于GPS的车辆轨迹估计容易受到无线欺骗的对抗性漏洞，运动补偿是否会因此成为这些网络中的一个敞开的后门？我们首次展示了这种可能性：而不是直接攻击点云坐标，这需要篡改原始LiDAR读数，只有对自动驾驶汽车的轨迹进行小扰动的对抗性欺骗才足以使安全关键对象无法检测或检测到错误的此外，多项式轨迹扰动的开发，以实现时间平滑和高度不可感知的攻击。3D物体检测的大量实验表明，这种攻击不仅有效地降低了最先进的检测器的性能，而且还转移到其他检测器，为社区带来了危险 。 代 码 可 在 https ： //ai4ce 上 获 得 。 GitHub.io/FLAT/.1. 介绍自动驾驶系统通常配备各种传感器来感知复杂的环境[7]。在传感器中，LiDAR由于其通过不断旋转的激光发射器和接收器采集到的丰富的几何信息而发挥了至关重要的作用。然而，LiDAR扫描容易被车辆的运动扭曲当车辆处于不同的位置和方向时，全扫描中的点在不同的时间戳处被采样，如图2所示。1.一、想象一下，一辆自动驾驶汽车以30 m/s的速度行驶在高速公路上，其扫描频率为20 Hz的激光雷达将在一段时间内移动1.5米。*表示同等贡献。这是聪聪访问纽约大学期间完成的。陈峰为通讯作者。图1：基于轨迹的攻击和运动校正过程的图示。右上和右下图分别是原始和失真的LiDAR扫描以及检测结果。 绿色/红色框表示地面实况/预测。在这个例子中，我们的方法（命名为FLAT）使检测器错过了11辆车中的8全扫描，严重扭曲捕获的点云。这种失真通常通过在任何时间从连续车辆自我运动跟踪模块查询车辆/LiDAR的姿态来补偿，该连续GPS、GLONASS和北斗）、惯性导航系统（INS）和使用LiDAR或相机的基于SLAM的定位。众所周知的LiDAR数据集，如KITTI [7]和nuScenes [2]，在数据集发布之前已经纠正了这种运动失真。然后，研究人员通过使用深度神经网络（DNN）处理这些无失真的点云来完成许多任务，取得了令人印象深刻的进展，例如3D目标检测、语义/实例分割、运动预测、多目标跟踪。然而，在LiDAR点云上使用DNN在自动驾驶系统中产生了潜在的危险和较少认识的漏洞。首先，上述感知任务是经由DNN实现的LiDAR点云的功能。第二，运动补偿使Li-DAR点云成为车辆轨迹的函数。这种功能组合导致了一个简单但令人惊讶的事实，即这些感知任务现在也是轨迹的功能。因此，这样的连接将DNN的众所周知的对抗鲁棒性问题暴露给用户。欺骗器GNSS信号t=10mst=20mst=30mst=100ms感知原始结果...欺骗结果运动校正未检测真实轨迹欺骗轨迹未检测7899黑客现在可以通过计算欺骗该地区的无线GNSS信号来欺骗自动驾驶汽车幸运的是，鉴于上述非GNSS姿态源（诸如INS和视觉SLAM）被融合在一起用于车辆自我运动估计，可以检测和过滤GNSS轨迹欺骗的大变化（米级），从而确保自动驾驶汽车的安全定位和映射。但是，如果一个伪造的弹道只有几十厘米的偏移呢？当前的点云DNN在如此小的变化下是否足够强大？在本文中，我们启动了第一项工作，以揭示和调查这样的漏洞。与现有的直接攻击具有3D点扰动或对抗性对象生成的点云坐标的工作不同[9，36，41，44]，我们提出通过攻击车辆轨迹来欺骗基于LiDAR的感知模块，这可能是有害的并且易于在物理世界中部署。我们的研究包括如何从真实世界的数据集获得具有模拟运动失真的LiDAR扫描，将LiDAR点云转换为车辆轨迹的可微函数，并最终计算对抗性轨迹扰动并使其不易察觉。我们的主要贡献如下：• 我们提出了一种有效的方法来模拟运动失真使用一系列的现实世界的激光雷达扫描从现有的数据集。• 我们提出了一种新的观点，激光雷达点云作为车辆轨迹的可微函数，基于现实世界的运动补偿过程。• 我们提出用对抗性T轨迹（FLAT）来实现LiDAR感知，该方法具有较好的可行性和可移植性。• 我们进行了广泛的实验，三维物体检测作为下游任务的例子，并表明，先进的探测器可以有效地致盲。2. 相关工作GNSS/INS和LiDAR运动补偿。运动失真也被称为自运 动车 辆上 的 LiDAR 的 运动 模糊 或滚 动快 门 效应[20]。为了补偿这种失真，GNSS/INS通常用于在扫描点时的任何时刻提供LiDAR的姿态这为自动驾驶系统打开了后门首先，空间天气是GNSS的一个重要误差源，也会严重影响差分GPS等系统。在不同纬度，电离层扰动对GPS动态精密单点定位（PPP）的影响可能大于2至10米[49]，而太阳射电爆发可能导致GPS定位误差高达垂直300米和水平50米[22]。除了那些自然-在发生事件时，恶意攻击（如GPS干扰或欺骗）也可用于任意修改GPS轨迹[23，30，52]。此外，当GNSS和INS融合时，这种攻击不仅会影响位置，还会影响车辆轨迹的旋转分量（陀螺仪偏差补偿）[ 46 ]。当然，现在对于运动补偿，通常在GNSS/INS和基于LiDAR/相机的定位之间融合LiDAR姿态，因此可以过滤来自极端空间天气或“城市峡谷”效应的大的姿态变化但是，只要GNSS是等式的一部分，后门就可以保持打开，特别是当欺骗的轨迹与地面事实只有很小时，正如我们稍后所示。基于图像的对抗性攻击。尽管深度学习在学术界和工业界都取得了巨大的成功，但研究人员发现，深度网络容易受到精心设计的对抗性扰动的影响，这种扰动由于这种脆弱性首先在图像分类任务中被指出[35]，因此广泛关注各种下游任务中的对抗鲁棒性，例如，语义分割[45]、对象检测[24]、视觉跟踪[8]等。对抗性攻击根据模型参数是否已知分为白盒[21]和黑盒[1]。此外，根据对手是否有特定目标，攻击可以分为有针对性的[47]和无针对性的[42]与此同时，在防御机制方面进行了许多尝试，例如对抗训练[19]，认证防御[28，51]，对抗示例检测器[51]和集成多样性[25]。基于图像的对抗性攻击和防御的广泛研究在很大程度上促进了2D计算机视觉中可信机器学习的发展，并激发了3D视觉中类似的研究点云攻击和防御。最近，研究人员已经探索了DNN将3D对象的点云作为输入的脆弱性。对于对象级的点云攻击，Xiang et al.[44]提出了点扰动以及集群生成来攻击广泛使用的点网络[26]。此外，临界点移除[41，48]，对抗变形[54]，几何级攻击[15]被提出用于欺骗基于点云的深度模型。然而，它们中没有一个直接针对自驾驶场景的LiDAR点云，其具有比对象级点云更大的域间隙。此外，为了对自动驾驶汽车实施上述不同的是，我们的论文揭示了一种简单但危险的可能性，即通过LiDAR运动校正过程来欺骗轨迹以攻击深层模块，而无需任何软件黑客攻击。关于场景级点云攻击的研究，Tu et al.[36]提出生成放置在目标车辆的屋顶上的3D对抗形状，使目标对检测器不可见。 一些7900框架1z1z2 框架22帧N −1zN-1y11X1T2y2yN-1个zlbÆX2N一 个zÆT1③将包n中的点变换到帧nxN-1XB帧B2三黄蓝Y？14将帧A处的点云分离成N个分组x？0帧AN −1TWTWzWBÆyW在帧A和B之间插入N一∈∈联系我们×个·ABnWNXyzWXyzn01× 31ΣΣ--WXyz作品[3，4，32，34]在汽车前方创建了假障碍物/假不同的是，我们的方法不需要物理地改变场景中的任何形状，并且可以容易地将攻击扩展到整个场景。总之，现有的作品直接操纵点坐标物理或虚拟，而我们的攻击是通过欺骗车辆轨迹来实现的。受影响的下游任务。从理论上讲，每一个需要LiDAR点云作为输入的下游任务都可能受到本文提出的攻击的影响这可能包括几何视觉任务，如配准，姿态估计和映射，以及模式识别任务，如3D对象检测[14，16，31，38，50，55]，语义分割[12，13]，运动预测[17，43，53]和多个对象跟踪[39，40]。虽然如上所述，第一组任务可能不太严重地受到经由数据融合的GNSS欺骗的影响，但第二组具有更高的脆弱性，因为点坐标中的小但计算的在本文中，不失一般性，我们选择专注于3D对象检测任务，以说明这种后门的严重性，因为自动驾驶汽车周围的安全关键对象的漏检可能是生死攸关的问题。世界帧x宽图2：运动失真模拟图。首先，我们在两个相邻帧A和B之间的6DoF姿态中插入N个步骤。其次，我们将帧A处的扫描划分为N个分组，并且第n个扇区对应于第n个内插帧。第三，利用齐次变换Tn将第n个数据包中的点云在A帧上变换到第n帧上。最后，可以通过聚合从帧0到帧N-1的点云来生成运动失真的点云。云：云。nuScene的每个样本提供扫描及其对应的自我姿势。我们假设车辆平稳移动，并在两个相邻帧A和B之间进行线性姿态插值，如图所示。二、xA，yA，zA和xB，yB，zB是它们的正交基。使用tAR3和tBR3表示帧A和B的全局平移，全局平移第n个（n = 0，1，2，… N-1）内插帧为：3. 激光雷达中的运动失真t（n）=tA+tB−tAn，（1）NLiDAR测量值是随着光束的旋转而获得的，因此全扫描中的测量值是在不同的时间戳捕获的，从而引入了运动这会损害车辆的感知。Au-哪里 N是 的 总插值步骤。对于定向，我们实现了球面线性插值（slerp）[33]. 使用qA=ΣqA，qA，qA，qAΣT和qB=北斗系统通常利用LiDAR从定位系统获得的方位来校正失真[6，10，29]。大多数基于LiDAR的数据集[2，7]qB，qB，qB，qBT表示帧A处的四元数，以及B，则第n个插值帧处的四元数为：在发布前完成同步。因此，当前的3D感知算法在显示器中的性能不佳。q（n）=sin（（1−n）θ）qsinθsin（nθ）+qBsinθ、（二）扭曲的点云仍然未被探索。我们简单介绍一下在详细说明之前，请参阅本工作中的术语。世界框架。 我们使用一个坐标系W固定在其中，θ= cos−1（q q）是A与B之间的旋转角和B. 将四元数q（n）=Σqn，qn，qn，qnΣT转化为旋转矩阵∈标准正交基的世界 xW，yW，zWto de-记下自动驾驶汽车的全球位移对象框架。汽车可以与右手的正交坐标系相关联，该坐标系可以描述刚体运动。这样一个附在汽车上的车架是称为对象帧[18]。在下文中，我们使用帧来表示汽车在不同时间戳处的对象帧。扫描数据包。完整的360Ω中的LiDAR点称为扫描，这些点作为数据包流发射，每个数据包覆盖360Ω覆盖的一个扇区[10]。3.1. 线性位姿插值在本节中，我们将在与真实世界LiDAR点序列R（n） SO（3），则齐次从世界坐标系W到第n个坐标系的表示为TW∈SE（3）的内插帧是：TW=ΣR（n）t（n）Σ。（三）3.2. 运动失真模拟在线性姿态插值之后，我们可以得到N个额外的帧。为了模拟运动失真，我们假设帧A处的扫描是从N个帧聚合的，并且在每个帧中，波束扫描360度。因此，我们首先将帧A处的扫描划分为N个分组，如图1B所示。二、然后，我们将LiDAR数据包η变换到帧η的坐标，在帧η处点云被假设为一7901{|}∈∈∈∈一∈~ΣN−1row. 注意，m=m。n一~..~ΣΣ∈L−LLP= f（T，L（nP）），n = 0，1，… N − 1， （8）01× 31的WAnA~∈被抓帧A处的分组n中的点（表示为APnR4×mn）表示为一组三维点P m m=1，2，…，其中每个点Pm是其齐次坐标（x，y，z，1）的向量，并且m_n表示分组n中的点的数量。我们将APn变换为其对应的捕获帧n：其中PR4×m是具有m个点的全扫描，并且表示为关于车辆轨迹TRN×4×4和LiDAR包列表L（nP）=[0P，1P，...，N−1P]（nPR4×mn）。指出两个相邻帧之间的轨迹表示为表示为一组齐次变换矩阵。nP=TnAPn、（四）不同于以前的作品篡改点坐标[44]†，我们建议将点云表示为一个函数。其中，nPR4×mn是帧n坐标中的包n的点云（可以被视为在帧n处捕获的点云），Tn是齐次变换。的轨迹，并攻击的轨迹，而不是3D点。我们的方法具有以下优点。物理可行性。由于运动 补偿从帧n中一陷害A和如下：在自动驾驶中自然发生，它是物理上的-可实现且直接地攻击轨迹，例如，Tn=TnTW=（TW）−1TW，（5）通过无线GNSS spoof。相比之下，协调攻击需要软件黑客，这在实践中是不可行的。其中，Tw来自等式（3）和TW也可以计算n更好的可转移性。 我们学习的轨迹扰动-给定tA和qA。 最后是一组运动畸变点同样大小的（N×4×4）可以方便地转换。云APR4×m通过聚合在不同帧捕获的多个LiDAR数据包生成：AP =[0P;1P;…;N−1P]，（6）其中[·;·;…;·]是沿着n=03.3. 具有自位姿的到目前为止，我们已经生成了运动失真的点云，如等式（1）所示。6，然后我们可以使用数学公式来表示运动补偿，即，LiDAR扫描可以写成车辆轨迹*的可微函数。未变形的点云AP∈R4×m通过将点云从帧0N−1变换回帧A的坐标来获得：AP =[TA0P; TA1P;…;TAN−1P]，（7）不同的扫描。然而，坐标攻击不能跨扫描转移，因为不同的扫描可以具有不同数量的点，并且点空间中的扰动可以具有不同的维度。新颖的参数化。我们攻击每个数据包的6-DoF姿态，但坐标攻击修改了单个点的xyz位置，而没有方向。因此，我们的方法具有更好的性能，由于新的攻击参数。4.2.目标函数由于点云被表示为轨迹的可微分函数，因此梯度可以平滑地反向传播到轨迹以用于对抗学习。对抗性目标是最小化具有参数θ的深度模型的负损失函数：minL~（θ，f（T，L（nP）），y），（9）第0页，共1页其中N−1其中y是网络的期望输出f（T，L（nP））Tn是从帧A到帧η的变换，其是等式（1）中的Tn的逆矩阵。 （五）、4. 对抗弹道摄动4.1. 点云表示w.r.t.轨迹对象级点云的研究通常将点云视为从网格模型瞬时采样的一组3D点[9，44]。然而，在自动驾驶中，通过光线投射在动态设置中捕获3D点，因此LiDAR不仅记录点为此，我们提出了一种新的表示点云作为车辆轨迹的函数，通过方程。（7）可以写成一般形式的：是作为轨迹的函数的输入点云 假设我们被分配攻击具有损失函数下 游 任 务 ，例如，分类中的交叉熵损失=. 然后，对抗扰动δRN ×4×4可以通过投影梯度下降（PGD）多次迭代获得[19]：δt+1=Pδt−αsgnδL（θ，f（T+δ，L（nP）），y），（十）其中t表示迭代次数，α表示学习率，P表示到感兴趣的凸集上的投影，并且这项工作使用裁剪，这是l∞范数的情况，以确保可接受的扰动幅度。矩阵形式的δ中的第η个元素为：δ（n）=ΣR~（n） ~t（n）Σ。（十一）*在本工作中，平移和取向统称为†在下文中，我们将使用坐标攻击来表示点坐标的修改。7902..~ΣΣS∈~DDD dd~t（n） =βn，（12）~多项式轨迹摄动。为了使攻击高度不可察觉，提出了多项式轨迹扰动：我们将平移中的扰动定义为时间的三阶多项式，如下所示：不其中n=[1，n，n2，n3]T和β=[βx，βy，βz]是多项式系数。现在δ是β的可微函数，梯度将反向传播到β，因此对抗系数计算如下：βt+1=Pβt−αsgnβL（θ，f（T+δ，L（nP）），y），（十三）因此，我们只需要操纵几个关键点就可以弯曲一个多项式参数化的轨迹，这在现实中很容易实现，实现了实时攻击。4.3.正则化攻击轨道上的正则化。为了实现一个不可察觉的攻击，我们提出了一个轨迹平滑正则化抑制车辆姿态的总变化。 给定轨迹扰动δRN ×4×4，我们分别计算平移和旋转的差值。平滑度（δ）等于以下公式：5. 实验5.1. 目标3D深度模型在这项工作中，我们选择了广泛研究的基于LiDAR的3D检测，其目的是估计点云中对象的3D边界框，作为下游任务示例来验证我们的攻击管道。目前，基于LiDAR的检测有两个主流：1）直接消耗原始点云数据的基于点的方法，2）在预处理阶段需要不可微体素化的基于体素的方法。对于白盒攻击，我们使用基于点的PointRCNN [31]。对于黑盒可转移性测试，我们采用基于体素的PointPillar++[11]。PointRCNN 。 我 们 的 白 盒 模 型 PointRCNN 使 用PointNet++ [27]作为其骨干，包括两个阶段：阶段-1用于基于每个前景点的建议生成，阶段-2用于规范坐标中的建议细化。由于PointRCNN使用原始点云作为输入，因此梯度可以平滑地到达点云，然后到达车辆轨迹。在这项工作中，我们分别攻击阶段1和阶段2中的分类和回归分支，总共有四个攻击目标。PointPillar++。PointPillar [14]提出了使用伪图像表示的快速点云编码器。它将点云划分为bin，并使用PointNet [26]提取每个支柱的特征由于不可微的预-N−11N−11处理阶段，梯度不能到达点云。λt（Σ（~t（n）-~t（n-1））p）p+λR（Σ（R~（n）-R~（n-1））p）p，（十四）培云等[11]建议用可见度图，实现更好的精度。 本工作其中λt和λR用于平衡平移和旋转的影响，p表示范数（在本工作中p=2利用轨迹平滑正则化，对抗性攻击的目标如下：minL（θ，f（T+δ，L（nP）），y）+λsS（δ），（15）其中λs用于调整平滑度。通过优化Eq.在等式（15）中，我们的目标是找到具有期望平滑度的不可感知的对抗扰动δ点云上的正则化 我们还提出了一个点云的正则化器来抑制它的变化。我们使用两个度量来度量点云在变形前后的变化，即， lp范数和倒角距离[5]。使用 L（δ）表示lp距离，C（δ）表示扰动δ之前和之后的倒角距离。正则化的对抗目标定义为：minL（θ，f（T+δ，L（nP）），y）+λdD（δ），（16）其中（δ）可以是L（δ）或C（δ）。λd用于控制失真度通过优化Eq.在公式（16）中，我们尝试搜索导致点云中的细微失真的强大对抗性扰动δ。使用PointPillar++表示具有可见性贴图[11]。我们使用从白盒PointRCNN学习的扰动来攻击黑盒PointPillar++，以检查我们的攻击管道的可转移性。5.2. 数据集和评估指标数据集。nuScenes [2]是一个大规模的多模型自动驾驶数据集，由真实的SDV在各种具有挑战性的城市驾驶场景中捕获，具有完整的360°包括在波士顿和新加坡不同天气下收集的1000个场景，nuScenes比pi- oneerKITTI有多得多的注释（7倍）和图像（100倍）[7]。此外，nuScenes在每个场景中提供了一个时间序列的样本，便于运动失真模拟的线性姿态插值，而KITTI中的3D检测数据集仅提供没有时间连接的独立考虑到上述因素，nuScenes在这项工作中被采用。我们使用[37]中发布的PointR-CNN模型和[11]中的开源 PointPilar ++模型两个模型都在nuScenes训练集上训练。我们报告了来自验证集的1，000个样本的白盒结果，以及整个验证集的黑盒结果指标. 对于白盒PointRCNN，我们报告n=1n=17903∼ ∼∼×个× ××表1：白盒攻击的定量结果：nuScenes上3D边界框的AP（IoU=0.7）[2]。我们报告了汽车类别在不同难度和深度范围下的结果[37]。在我们的方法（FLAT）的四个攻击设置中，四个攻击目标中的最佳和次佳攻击质量分别用红色和蓝色突出显示。在攻击平移/旋转时，每次迭代的步长分别为0.1和0.01，两种设置的攻击迭代次数均为20。攻击方法\情况容易中度硬0- 30米30-50m50- 70米[31]第三十一话47.4421.5620.9147.442.160.17[44]第四十四话16.426.585.9015.200.480.03基线随机攻击（点云）随机攻击（翻译）30.0917.0012.398.5810.848.9025.6520.430.791.090.060.09随机攻击（旋转）12.304.875.1313.310.010.00随机攻击（全弹道）5.662.432.787.670.020.00FLAT（翻译）分类回归阶段-1第 2 阶段 第 1阶段第2阶段12.9411.7217.4626.096.585.878.2412.787.226.068.5712.5316.8213.9119.3627.150.860.871.092.170.060.040.030.17FLAT（多项式）分类回归阶段-1第 2 阶段 第 1阶段第2阶段17.9412.5122.6026.049.366.3711.0112.769.566.5410.9612.5120.7314.5124.3627.191.901.381.672.170.190.160.150.17平面（旋转）分类回归阶段-1第 2 阶段 第 1阶段第2阶段6.322.355.5026.302.430.801.8712.892.510.611.7612.597.322.035.4527.350.020.010.022.170.000.000.000.17全轨迹分类回归阶段-1第 2 阶段 第 1阶段第2阶段1.520.191.0126.030.450.010.3512.700.510.020.3212.481.710.261.2727.130.010.000.012.160.000.000.000.173D边界框平均精度（AP），IoU阈值在汽车类别上为0.7。在[37]之后，我们根据周围汽车的难度水平在三种情况下（简单，中等和困难）评估检测器。此外，在三个深度范围内，即，0三十，三十50，5070米，也是评估。 对于黑盒PointPillar++，我们遵循原始文件[11]在nuScenes [ 2 ]中采用官方3D检测评估协议，即， 十个类别的平均mAP.四个距离阈值为了评估攻击质量，我们利用攻击后的性能下降。5.3. 实验装置实作详细数据。nuScenes从原始20Hz数据中以2Hz采样关键帧，因此我们假设扫描消耗0.5秒‡并在两个相邻关键帧之间实现线性姿势插值我们将总插值步长N设 置 为 100 。 对 于 PGD ， 我 们 将 扰 动 限 制 为 平 移10cm，旋转0.01。每次攻击迭代的步长在平移/旋转中为0.1/0.01，迭代次数为20。更多的实验设置，如步长和迭代次数，在补充文件中报告。基线。为了证明我们的攻击管道的优越性，我们采用了两种基线方法进行比较。‡事实上，LiDAR的旋转周期是0.05秒，但是，我们只能访问2Hz的关键帧上的注释，因此我们必须假设LiDAR的捕获频率也是2Hz。• 随机攻击。 我们将具有10cm标准偏差的高斯噪声添加到原始点云，将具有10cm标准偏差的高斯噪声添加到平移，并且将具有0.01标准偏差的高斯噪声添加到旋转。• 协同攻击。坐标攻击[44]是直接操纵点集来欺骗检测器。我们攻击阶段2的分类，并将点坐标的变化限制为10cm。二进制搜索步骤数为10，并且每个二进制搜索步骤的迭代次数为100。攻击设置。多项式轨迹攻击是时间平滑的，而其他攻击是时间离散的：• 仅攻击翻译。我们仅仅修改平移向量。扰动是一个100 - 3矩阵。•多项式扰动我们加一个多项式-扰动进入飞行器轨迹（平移部分）。• 仅攻击轮换。我们只干扰旋转矩阵。微扰是一个100 3 3张量。• 攻击全弹道。 我们篡改了变换矩阵。微扰是一个100×4×4张量。5.4. 白盒攻击为了探索PointRCNN中不同阶段和分支的漏洞，我们分别攻击其四个模块，即阶段1/2的分类/回归分支。定性结果显示在图1中。3和更多的例子可以在补充中找到。7904SDa) PointRCNNb) FLAT（翻译）c) 平面（旋转）d) 全轨迹图3：白盒攻击的定性评估 假阳性增加，并且通过精心制作轨迹来漂移输出。表2：对nuScenes [2]的黑盒攻击的定量结果：最差和第二差性能由红色和蓝色突出显示。类别车脚。巴里Traff卡车总线踪迹常数电机自行车地图PointPillar++[11]80.066.934.527.935.854.128.57.518.50.035.4FLAT（翻译）57.726.921.312.625.330.025.03.33.50.020.6FLAT（多项式）57.926.921.312.725.430.225.23.43.50.020.7平面（旋转）47.721.118.68.920.223.520.51.71.30.016.4全轨迹45.018.616.45.918.322.019.71.30.50.014.8仅攻击翻译。定量结果示于表1中。简单地添加具有小标准偏差的随机噪声可以大大降低性能， 简单情况下的AP减少了30。44人（约64%）。这种现象应该成为自动驾驶社区的一个警告。此外，攻击阶段2的分类分支是欺骗检测器的最有效方法：AP分别降低35。72（75. 3%）十五岁69（72. 8%）和14。85（71. 0%）的情况下，容易，中等和困难。 这是因为级2输出最后的预测，是非常安全相关的。此外，我们可以发现攻击分类分支比攻击回归更有效，这是合理的，因为在检测任务中，对对象进行分类优先于估计它们的大小。与随机攻击相比，由于我们利用了梯度指出的漏洞，所以我们的方法更具危害性。在简单、中等和困难的场景中，攻击阶段2的分类所产生的对抗性扰动可以产生额外的5滴。28秒2 71和2。84在AP中，与随机扰动相比。此外，由于参数化，我们的攻击优于坐标攻击，验证了弹道攻击的优越性。多项式轨迹摄动。当攻击多项式系数而不是单个轨迹点时，性能仍然与离散集相当，如表1所示，但攻击是高度不可感知的，特别是在点云空间中，如图所示。4.第一章表3：具有和不具有正则化的FLAT的AP λ表示正则化强度，表示平均轨迹变化，并且表示平均点云距离（lp范数和倒角距离）。正则化λS/D容易AP中等硬度轨迹00.180.190.010.020.010.170.280.040.02027.54/28.700.19/0.190.01/0.010.02/0.02Ap范数/倒角0.010.114.43/13.852.35/3.545.66/3.1121.84/14.592.45/1.339.98/6.452.65/1.389.75/6.5910.95/2.0423.65/19.1911.22/9.2111.33/9.40仅攻击轮换。坐标攻击是操纵每个点的xyz位置。相比之下，我们的方法将每个LiDAR数据包视为刚体，因此我们可以处理旋转。从表1中我们可以发现，在阶段2中攻击分类仍然是欺骗PointRCNN的最有效方法。此外，攻击旋转相对于攻击平移会造成更大的性能下降，在容易、中等和困难情况下，AP分别降低45。09（95. 0%）、20. 76（96. 3%）和20。30（97. 1%）与原始PointRCNN相比。此外，阶段1中的愚弄回归实现了第二好的攻击质量，证明了攻击基本建议生成的有效性。此外，阶段2的攻击回归具有最差的攻击质量，证明攻击框大小的细化没有显著影响。与随机攻击相比，攻击阶段2的分类实现了额外的AP下降（9。95，4。07，4。52），验证对抗学习的优点。攻击全弹道。如表1所示，骗过全弹道取得了最佳的进攻质量7905a）原始预测b）FLAT（全轨迹）c）FLAT（多项式）d）多项式轨迹扰动图4：点云可视化和黑盒攻击的定性结果。a）原始检测器PointPillar++ [11]的原始检测。b）攻击完整轨迹后检测器的输出。c）在欧几里得空间中的多项式轨迹扰动之后的检测器的输出。d）在xyz空间中可视化的多项式平移扰动，三个轴的单位都是米。绿色/红色框表示地面实况/预测。例如，当攻击阶段2的分类时，AP可以减少到几乎为零。与原始PointRCNN相比，AP分别降低了47。25（99. 6%），表明检测器完全盲。用正规化攻击。如表3所示，对于正则化轨迹平滑度，平均轨迹变化略微降低，并且性能仍然与没有正则化的攻击相当。对于正则化点云变化，当λ=0时。01时，点距离减少47。6%（lp范数）和51. 7%（倒角距离），而三种场景中的AP仍然非常低，因此可以利用正则化来实现高级的不可感知攻击补充资料中有定性的例子5.5. 黑盒攻击我们选择基于体素的PointPillar++ [11]来测试跨不同输入表示的可转移性。十个类别的定量结果如表2所示：性能仍然被我们的攻击大大降低，例如，10个类别的mAP可以减少20。6（58. 2%），车内AP降低35. 0（43. 8%）。同时，我们的方法已经证明了令人满意的跨类别的可转移性。只有对抗性学习的汽车检测器，检测其他类别也被欺骗。对于像行人/摩托车这样的小物体，AP可以下降48。3（72. 2%）/18。0（97.3%），这表明了我们的方法小物体探测器。这种优越性主要是因为具有较少点的小物体与像公共汽车（下降32. 1，59。3%）或卡车（下降了17。五，四十八。9%）。几个定性的例子显示在图。 4和更多的例子是在补充。6. 结论我们提出了一种通用的和可行的DNN攻击流水线的基础上的轨迹对激光雷达感知。我们进行了充分研究的三维物体检测任务上的实验。在白盒攻击中，即使只有10cm的平移扰动，精度也会下降约70%。当攻击整个轨迹时，精度可以降低到几乎为零，但攻击不太明显（特别是点云）。我们的攻击还显示出在各种输入表示和目标类别之间具有良好的可转移性，为联合使用LiDAR和DNN的感知系统带来了危险。谢谢。该研究得到了NSF FW-HTF计划的支持，编号 为 DUE-2026479 。 作 者 感 谢 Yong Xiao 、 WenxiaoWang 、 Chen- zhuang Du 、 Wang Zhao 、 ZiyuanHuang、Hang Zhao和Siheng Chen的有益意见和建议，也感谢Yan Wang、Shaoshuai Shi和Peiyun Wu提供的有用的开源代码。7906引用[1] W. Brendel、Jonas Rauber和M.贝丝基于决策的对抗性攻击：对黑盒机器学习模型的可靠攻击。在2018年的国际学习代表会议上。二个[2] H. 凯撒Varun 班基蒂A. 朗索拉布·沃拉Venice Erin Liong，Q. Xu，中国春萤叶甲A. Krishnan，YuPan，GiancarloBaldan，andOscarBeijbom.nuscenes：用于自动驾驶的多模式在IEEE计算机视觉和模式识别会议上，第11618-11628页，2020年。一、三、五、六、七[3] Yulong Cao ， Chaowei Xiao ， Benjamin Cyr ， YimengZhou，放大图片作者：Won Park，Sara Rampazzi，Q. Chen，K. Fu和Z.毛莫利。对抗传感器攻击自动驾驶中基于激光雷达的感知。ACM SIGSAC计算机和通信安全会议论文集，2019年。三个[4] 曹玉龙，肖朝伟，杨大伟，J.方镇杨，M.刘和波丽。对抗性物体对抗基于激光雷达的自动驾驶系统。ArXiv，abs/1907.05418，2019。三个[5] 范浩强、H. Su和L. Guibas 点集生成用于从单个图像进行3D对象重构的网络在IEEE计算机视觉和模式识别会议上，第2463-2471页，2017年。五个[6] David Frossard，Simon Suo，S.Casas，J.Tu，Rui Hu，and R.乌塔松频闪：激光雷达包的流式物体检测2020年第四届机器人学习会议三个[7] Andreas Geiger、Philip Lenz和R.乌塔松 我们准备好了用 于 自 动 驾 驶 ？ Kitti Vision 基 准 套 件 。 在 IEEEConference on Computer Vision and Pattern Recognition，第3354-3361页，2012中。一、三、五[8] Q.郭晓飞，谢晓飞，徐觉飞，L.马，李忠国，薛万里、W. Feng和Y.刘某Spark：Spatial-aware on-lineincremental attack against visual tracking. 2020年欧洲计算机视觉会议。二个[9] Abdullah Hamdi，S.Rojas，A.作者声明：John W.Advpc：三维点云上的可转移对抗扰动。2020年欧洲计算机视觉会议二、四[10] 张正东，韩伟，本杰明·凯恩，B. 小杨，C. 斯 普 伦 克 岛 Alsharif ， J. Ngiam ， V. Vasudevan ，Jonathon Shlens，and Z. 尘三维点云的流式目标检测2020年欧洲计算机视觉会议3[11] Peiyun Hu，Jason Ziglar，David Held，and D. Ramanan你看到的就是你得到的：利用可见性进行三维物体检测。在IEEE计算机视觉和模式识别会议上，第10998-11006页，2020年。五六七8[12] Q. 胡 湾 ， 加 - 地 Yang ， Linhai Xie ， S. Rosa ， YulanGuo，Zhihua Wang，A. Trigoni和Andrew Markham。Randla-net：大规模点云的高效语义分割。在IEEE计算机视觉和模式识别会议上，第11105-11114页，2020年。三个[13] L.蒋，赵恒双，史少帅，刘舒，迟-傅永和贾家Pointgroup：用于3D实例分割的双集点在IEEE计算机视觉和模式识别会议，第48662020. 三个[14] A. Lang，Sourabh Vora，H. Caesar，Lubing Zhou，J.Yang和Oscar Beijbom.点柱：用于从点云中检测物体的快速编码器。在IEEE计算机视觉和模式识别会议上，第12689-12697页，2019年。三、五[15] Itai Lang、Uriel Kotlicki和S. 阿维丹几何ad-3D点云上的对抗攻击和防御。ArXiv，abs/2012.05657，2020。二个[16] M. 梁湾，澳-地Yang，Yun Chen，R.Hu和R.乌塔松多-用于3D物体检测任务多传感器融合。在IEEE计算机视觉和模式识别会议上，第7337-7345页，2019年。三个[17] W.洛湾，巴西-地Yang和R.乌塔松 又快又怒：房利用单个卷积网络进行时间端到端3D检测、跟踪和运动预测。 在IEEE计算机视觉和模式识别会议上，第3569- 3577页，2018年。三个[18] Yi Ma，Stefano Soatto，Jana Kosecka，and S ShankarSastry.三维视觉的邀请：从图像到几何模型，第26卷。Springer Science Business Media，2012. 三个[19] A. 亚历山大？马克洛夫？马德里Schmidt，D.齐普拉斯，以及艾德里安·弗拉杜对抗攻击的深度学习模型。在2018年的国际学习代表会议上二、四[20] Sivabalan Manivasagam，Shenlong Wang，Kelvin Wong，Wenyuan Zeng，Mikita Sazanovich，Shuhan Tan，BinYang，Wei-Chiu Ma，and Raquel Urtasun.Lidarsim：利用真实世界进行逼真的激光雷达模拟在IEEE计算机视觉和模式识别会议上，第11167二个[21] Seyed-Mohsen Moosavi-Dezfooli、Alhussein