没有合适的资源?快使用搜索试试~ 我知道了~
15159自主车辆轨迹预测的对抗鲁棒性研究张清照1人,胡胜陀1人,孙嘉臣1人,陈启德2人,Z.莫雷·毛11密歇根大学2加州大学欧文分校{qzzhang,shengtuo,jiachens,zmao} @ umich.edualfchen@uci.edu摘要轨迹预测是无人机进行安全规划和导航的关键环节。然而,很少有研究分析了对抗鲁棒性的轨迹预测或调查是否最坏情况下的预测仍然可以导致安全的规划。为了弥补这一差距,我们研究了对抗鲁棒性的轨迹预测模型,提出了一种新的对抗攻击,扰动正常的车辆轨迹,最大化的预测误差。我们在三个模型和三个数据集上的实验我们的案例研究表明,如果对手驾驶车辆接近目标AV以下敌对轨迹,AV可能会作出不准确的预测,甚至作出不安全的驾驶决策。我们还通过数据增强和轨迹平滑来探索可能的缓解1. 介绍自动驾驶汽车(AV)正在改变交通系统。AV是一个复杂的系统,集成了一系列模块,如障碍物感知、驾驶行为规划和物理车辆控制[1,3]。具体地,感知模块中的轨迹预测预测附近移动对象的未来轨迹。预测是必不可少的规划-宁模块,并影响自动驾驶汽车的驾驶行为。因此,准确的轨迹预测对于安全AV驾驶至关重要许多研究提出了基于深度神经网络的轨迹预测模型[8,10,11,13,21,23,24,27,32,33,35、38、41、42]。 他们使用从真实世界收集的基准来评估模型,使用地面实况和预测轨迹之间的平均距离作为关键度量。然而,很少有研究从安全性的角度来评估轨迹预测模型或分析其鲁棒性。对抗性的例子。对于轨迹预测,如果对手可以控制接近目标AV的车辆的位置,例如,通过沿着精心设计的轨迹驾驶车辆,对手可以影响AV为了弥补这一差距,我们提出了新的白/黑盒对抗攻击的轨迹预测,它增加了正常轨迹的微小扰动,以最大限度地提高预测误差。与对抗性攻击相比,攻击轨迹预测在两个方面具有独特首先,攻击需要对抗性示例的自然性[40]如果对抗性运动遵循物理规则,那么它们是自然的,并且有可能在现实世界中发生具有自然性,轨迹可以由现实世界中的攻击者控制的车辆再现,并且不易被AV归类为异常。 为了实现自然性,我们对物理性质施加约束(例如,速度和加速度)。其次,我们需要定义优化目标,这些目标对于以轨迹预测为目标的攻击者来说在语义上是有吸引力的。为此,我们发现多个有吸引力的攻击维度甚至可以在同一场景下共存(例如,导致预测轨迹横向或纵向偏离都是AV环境中攻击者感兴趣的)。因此,在我们的攻击设计中,我们考虑预测误差的不同度量作为优化目标,例如,四个不同方向的平均横向/纵向偏差。我们对预测模型[18,20,30]和轨迹数据集[2,5,16]的10种不同组合进行了评估。 结果表明,对抗扰动可以大大增加预测误差约150%。 62.2%的攻击导致预测偏离车道宽度的一半以上,这可能会显著改变AV的导航决策。此外,我们深入分析了各种因素如何影响攻击结果,并提出了改进实施轨迹预测的建议,如利用地图信息和驾驶规则。 我们还通过数据增强和轨迹平滑来探索对抗性轨迹的miti- gation机制,这将攻击下的预测误差降低了28%。总的来说,我们的工作揭示了评估轨迹预测的最坏情况性能的必要性 涉及由攻击生成的自然但对抗性轨迹的困难情况具有关键的安全问题(例如,导致急刹车甚至15160不不t1:t2t1t2不t+1:t+LO--我们的案例研究表明我们的主要贡献总结如下:• 我们提出了第一个对抗性攻击和对抗性鲁棒性分析的轨迹预测的AV考虑现实世界的约束和影响。• 我们报告了对对抗性攻击的全面评估,未来没有攻击OV手工历史各种预测模型和轨迹数据集。• 我们探索对抗性考试的缓解方法由AV预测AV发病后OV在变道?踩刹车通过数据增强和轨迹平滑来实现2. 背景及相关工作自动驾驶汽车。自动驾驶汽车是一个信息物理系统,其中感知模块通过传感器学习周围环境,规划模块对驾驶行为做出决策,控制模块对车辆进行物理操作。在该流水线内,AV系统需要轨迹预测 Baidu Apollo [3],Autoware [1])作为感知模块的一部分。它预测附近移动物体(如车辆和行人)的未来轨迹,这是规划模块的重要输入。因此,准确的轨迹预测对于安全的AV驾驶至关重要。弹道预测模型。轨迹预测,特别是对于AV,是预测诸如车辆和行人的各种道路代理的未来空间坐标的问题。这些模型通常是深度神经网络,接受过去几秒内可观察道路代理的空间坐标作为主要输入,并且可以通过利用辅助特征(例如, 车辆的航向)[11,20],道路代理之间的交互[10,18,42],物理动力学[30]或语义地图[13,25,27,30],以提高预测的准确性。现有的评价指标包括平均位移误差(ADE)、最终位移误差(FDE)[9]、越野率[5]等。这些指标反映了测试数据集中轨迹预测的平均性能。相反,我们专注于对抗鲁棒性和轨迹预测算法的最坏情况下的性能。图1.轨迹预测攻击场景示例:欺骗换道行为。但不考虑对现实世界应用的安全影响。 我们是第一家将对抗性鲁棒性和真实世界系统(如AV)联系起来的公司。3. 问题公式化在本节中,我们首先介绍轨迹预测任务的公式(第3.1节)。然后,我们提出了攻击模型(§ 3.2),攻击影响的度量(§ 3.3)。3.1. 轨迹预测在这项工作中,我们专注于轨迹预测,其以固定的时间间隔重复执行,并根据所有可观察对象的当前/历史状态在每个时间帧进行一次预测(即,车辆/行人)。首先,我们将对象i在时间t的状态表示为si,包括空间坐标信息以及其他可选特征。对象i的轨迹是从时间帧t1到t2( 包 括 t1 和 t2 ) 的 对 象 状 态 的 序 列 , 表 示 为si=si,. . .,S i.在每个时间帧,预测算法消耗历史trajec。对象的存储以预测它们的未来轨迹,其被优化为具有与地面真实未来轨迹相同的分布。在时间帧t处,我们将观察到的对象的数量表示为N,并且将历史和未来轨迹中的时间帧的数量分别表示为L1和L0 那么历史轨迹就是Ht={Hi=si|i∈[1,N]};地面真值未来tt−LI+1:ti i对抗鲁棒性。由于深度学习模型是轨迹为Ft={Ft=st+1:t+L0|i∈[1,N]};pre-所述轨迹为Pt={P i=pi|i∈[1,N]}ies分析了神经网络的对抗鲁棒性[7,12,14,37,39]。在AV系统中,研究表明,目标检测[6,36]、目标跟踪[17]和车道检测[31]等任务可能会受到干扰传感器信号或添加物理补丁的影响。然而,现有的工作研究的对抗鲁棒性的轨迹预测。弹 道 预 测 测 试 。 AdvSim [15] 利 用 对 抗 性 机 器 学 习(AML)为端到端测试AV系统生成高风险驾驶场景。相反,我们的目标是专门了解预测算法中的漏洞。Saadatnejad等[29]分析了注意力机制在轨迹中的不准确性,(pi是对象i在时间t的预测状态)。3.2. 攻击模型在本文中,我们专注于设置对手驱动一辆车被称为AV观察OV并应用迭代轨迹预测,其在每个时间帧产生OV的预测轨迹。 对手控制无人驾驶汽车的整个轨迹,以最大化预测误差或使无人驾驶汽车采取不安全的驾驶行为。图1演示了攻击的一个示例通过沿着精心设计的轨迹行驶,OV似乎正在改变其未来由AV预测历史OVAV一般容易受到敌对的例子,各种研究-15161α+1α联系我们−−LPΣααααα+1α−车道在AV的预测,而OV实际上是直线行驶。 给定高误差预测,AV采取制动以产生OV。如果AV在高速公路上刹车,是一个严重的安全隐患,可能导致追尾。在现实攻击场景中,对手需要分别针对白盒和黑盒设置访问受害者AV配备的预测模型的所有参数或仅API。当对手驾驶OV靠近AV并准备攻击时,他/她首先选择未来时段并预测该时段中周围道路上物体的轨迹,这是用于生成对手轨迹的必要输入。然后,对手计算针对该未来时段的对抗轨迹,并且精确地在其上行驶(例如,对手可以使用软件控制OV)。虽然对抗性轨迹的生成依赖于不能保证准确的预测的未来知识,但是攻击仍然有效,因为攻击影响主要由OV的轨迹本身确定。实验证据见附录。此外,对抗性轨迹必须满足以下要求以确保自然性。首先,轨迹服从物理规律。物理性质(例如,速度、加速度)必须有界,使得真实车辆可以再现轨迹。第二,轨迹表示--发送正常的驾驶行为,而不是无情的驾驶。3.3. 评估指标我们使用六个指标来评估预测误差。此外,如果预测误差在对抗扰动之后显著提高,则攻击是有效的。我们首先包括在相关作品中常用的两个指标[9]。(1)平均位移误差(ADE)。预测轨迹和地面真实轨迹之间的均方根误差(RMSE)的平均值。(2)最终位移误差(FDE)。在最后一个预测时间范围内,预测和地面实况轨迹位置然而,上述两个指标不足以评估针对性攻击的影响例如,为了欺骗向左变道行为(图1),预测轨迹应该向左偏离类似地,为了欺骗假加速度,偏差应该朝向纵向方向的前部。 对于上述攻击,只有偏离特定方向才被视为有效攻击影响。因此,我们设计了四个额外的指标,包括向左/右侧的平均偏差,单帧攻击L_I=6;L_O=6L_P=1多帧攻击L_I=6;L_O=6L_P=6图2.单帧/多帧攻击示意图这些点是在不同时间帧中观察到的/预测的轨迹位置。生成特定方向的单位向量的函数我们把纵向近似为snsn。根据我们的案例研究,我们认为车道宽度的一半(例如,在我们使用的数据集中大约1.85米)是一个偏差阈值,以高概率引起现实世界的影响。如果平均偏差超过阈值,则最后预测轨迹位置可能在不同车道上,这可能导致AV的不同决策。4. 对抗性示例生成我们根据§3.1中的定义设计了针对轨迹预测的白盒和黑盒攻击。扰动。 我们通过在正常轨迹上添加微小的扰动来生成对抗轨迹。 扰动改变空间坐标(x-y位置)和从位置计算的特征(例如,速度)。如图1所示,在L 0长度的历史轨迹上施加扰动以控制预测。 由于只考虑当前时间帧的预测,我们将这种攻击命名为单帧攻击。然而,现实世界的安全问题通常发生在一个较长的时间序列。因此,我们将攻击推广到多帧,如图2所示。我们定义参数-terLP来表示在攻击目标中考虑的预测的数量。给定LP,一种攻击场景包括L1+L0+LP1个时间帧。 我们在第一个L I+ L P1时间帧上应用扰动,使得在时间帧LI,L I+1,. - 是的- 是的 ,L 1+ L P1(总共L P帧)由对抗轨迹控制。 我们最大化这些LP时间帧中的总预测误差以发起多帧攻击。Objective.优化有六个不同的目标函数对应的预测误差的六个度量。目标是在所有考虑的时间帧中的平均预测误差的否定:LI+LP− 1横向方向和纵向方向的前/后侧第度量标准的正式定义为:1nnL(n,f)=−f(P,F),(2)α=LI1D(t,n,R)=t+LO(pn−sn)T·R(sn,sn),(1)其中f表示计算六个度量之一的函数;n是目标车辆的ID(即,OV);P和Fα=t+1其中t表示时间帧ID,n表示目标车辆ID,p和s是分别表示预测车辆位置和地面实况车辆位置的二进制向量,并且R是时间帧ID。扰动的硬约束 如§ 3.2所述,扰动轨迹必须在物理上可行,并且不会执行危险的驾驶行为。执行这项扰动(长度=L_I)地面实况/预测历史(长度=L_I)(长度扰动(长度= L_I + L_P-1)最新历史(长度=L_I)最新的地面实况/预测(长度=L_O)L_P预测次数LO表示预测和未来的轨迹(§3.1)。15162±≤≤要求,我们设计的约束,需要满足任何扰动。第一,物理性质的界限。我们遍历测试数据集中的所有轨迹,以计算(1)标量速度、(2)纵向/横向加速度和(3)纵向/横向加速度导数的平均值(μ)和标准差(σ)。对于每个μ和σ,我们检查扰动轨迹的值不超过μ3σ。假设物理性质处于正态分布,该范围涵盖99.9%的数据集,但不包括异常值。我们还手动检查边界是物理上合理的。此外,在检查物理约束时,在扰动部分之前和之后涉及三个地面实况轨迹点,因此正常和扰动轨迹的边界是自然的。第二,每个轨迹位置的偏差范围默认情况下,我们将最大偏差设置为1米考虑到我们使用的数据集中城市车道宽度约为3.7米,而汽车的宽度约为1.7米,如果汽车通常在车道中心行驶,则1米偏差是汽车不转向另一车道界限(1)通过保留原始驾驶行为来排除无情驾驶,并且(2)是用于调整攻击的隐形水平的参数。我们通过减少扰动来执行约束,每当违反约束时给定摄动量θ1、目标飞行器的历史轨迹Hn和约束函数C,当θ1满足所有约束条件时,计算使摄动量减小到θ2的最大系数θ 1。从形式上讲,θ的计算是一个优化问题:模型推理而不是梯度。PSO是一种通过迭代地改进候选解(即,粒子)关于搜索空间中的给定质量度量在这种情况下,每个粒子是扰动的一个可能性,质量的度量由目标函数(等式2)定义,并且搜索空间由硬约束(等式3)定义。5. 缓解机制根据我们对攻击结果的观察(§6),敌对弹道经常改变加速度,这在正常弹道中是一种罕见的模式。基于这种现象,我们设计了如下的缓解方法数据扩充。由于训练数据集中的正常轨迹大多是平滑的,具有稳定的加速度,因此对抗轨迹具有不同的数据分布。因此,我们应用数据增强在训练数据中注入adversar- ial模式。在训练过程中,我们在随机选择的轨迹上添加随机扰动,同时扰动满足§4中定义的硬约束。对抗性训练因其训练成本高、攻击目标的通用性差等局限性,我们不采用列车时间轨迹平滑。由于不稳定的速度或加速度是对抗轨迹的关键模式,我们可以通过平滑轨迹来部分消除对抗效应。我们在训练和测试数据上应用轨迹平滑算法有多种选择,我们在实验中使用了一个简单的基于卷积的线性平滑器这最大θS.T. C(Hn+θn)<$0≤θ≤1(三)缓解依赖于轨迹的物理属性,而不是梯度混淆[4]。因此,这并不重要-白盒优化我们设计了基于投影梯度下降(PGD)的白盒优化方法[22]。这一进程可概述如下。扰动随机初始化。在每次迭代中,我们首先对遵循等式3的当前扰动施加硬约束,然后在AV观察到的目标车辆n的原始历史轨迹上添加扰动。然后,对扰动轨迹数据执行LP次预测,并使用等式2计算迭代的损失。接下来,al-出租m使用梯度下降来更新扰动。最后,该算法产生的最佳扰动,可以转换到最坏的情况下,与最大化的预测误差的原始场景。黑盒优化。基于梯度下降的方法并不总是可行的,因为轨迹预测模型可能具有不可微层。因此,我们设计了一种基于粒子群优化(PSO)的黑盒攻击方法[19],它只需要如果攻击者知道平滑的梯度测试时间检测和轨迹平滑。上述两种缓解方法修改了训练数据的分布,因此需要重新训练模型。 为了使缓解更容易部署,我们提出了另一种方法,如果轨迹被检测为对抗性的,则仅在推理时间内平滑轨迹。我们设计了两种检测敌对轨迹的方法。首先,SVM分类器[34]。我们提取加速度的大小和方向作为特征,以适合用于分类正常和对抗轨迹的SVM模型。第二,基于规则的检测器。我们计算加速度在时间帧上的方差,如果方差高于阈值,则将轨迹检测为对抗性的。6. 实验在本节中,我们将评估建议的攻击/缓解方法并分析结果。15163表1.数据集摘要名称场景地图LILO频段(赫兹)阿波罗景观[16]城市×662NGS [2]公路√×15255nuScenes [5]城市4122表2.模型摘要名称输入要素输出格式网络FQA [18]位置单一预测LSTMGRIP++[20]位置+标题单一预测Conv + GRU轨迹机++[30个]位置+物理动态+地图多预测Conv + LSTM +GRU + GMM6.1. 实验环境数据集。我们在表1中总结了我们使用的三个数据集的特征。我们根据数据集作者的建议选择历史轨迹长度(L I)和未来轨迹长度(L O)。我们从每个数据集中随机选择100个场景作为测试用例。模型我们在表2中总结了我们使用的三个预测模型,它们是实验时的开源最先进的模型。注意,Trajectron++模型产生具有概率的多个预测轨迹多预测),并且我们选择具有最高概率的轨迹作为最终结果。此外,Trajectron++需要语义图作为输入,这仅在nuScenes数据集中可用。因此,我们准备了两个版本的Trajectron++。在所有数据集上评估Trajectron++(w/o map),而在nuScenes上评估Trajectron++(w/map)。对于模型和数据集的每个组合,我们使用微调的超参数来训练模型实作详细数据。我们的实现在https://github上开源。com/zqzqz/AdvTrajectoryPrediction.对于基于PGD的白盒攻击,我们使用学习率为0.01的Adam优化器对于基于PSO的黑盒攻击,我们将粒子数为10,惯性权重设置为1.0,加速度系数设置为(0.5,0.3),最大迭代次数设置为100。为了缓解,我们使用基于卷积的线性平滑器进行轨迹平滑,并使用scikit-learn[26]中的SVM实现进行异常检测。更多细节见附录。6.2. 攻击结果一般结果。对于每个模型数据集组合,每个测试用例和每个扰动目标,我们首先在单帧预测(LP= 1)的设置下执行白盒攻击。我们假设攻击者承认道路上所有物体的历史轨迹,并在附录中讨论更现实的设置 我们在表3中给出了扰动前后的平均预测误差。通常,白盒对抗扰动对所有模型和数据集都有效。平均而言,ADE/FDE增加了167%/150%。横向/经度偏差达到2.03/3.84米,62.2%的攻击可能是因为它们的平均偏差大于车道宽度的一半(即,1.85米)。自然。在现实世界中,对抗性的轨迹自然会以合理的概率发生。对抗轨迹的一个特征是它们经常改变车辆速度或加速度。然而,一小部分正常轨迹共享相同的模式,并且与对抗轨迹无法区分。硬约束(§4)还确保了通过驾驶真实汽车来复制对抗轨迹在物理上是可行因此,对抗攻击可以被视为一种方法,以发现最坏但实际的预测情况接下来,我们将在§6.2.1、§6.2.2和§6.2.3中分析影响对抗鲁棒性的因素。分析使用数据集Apolloscape的实验作为支持证据。作为基线,在Apoloscape的单帧白盒攻击中,ADE/FDE分别增加了239%/206%,而经纬度偏差平均达到2.49/6.31米(53.6%的偏差大于1.85米)。如果未指定,则预测误差的百分比上升/下降是六个度量的平均值。6.2.1不同场景高加速度场景。在车辆具有高加速度的情况下,预测误差通常以度量ADE为例,在高加速度(平均加速度>1m/s2)情况下,w/o和w/摄动的预测误差分别为31%和20%分别高于低加速度场景典型高加速度的情况包括在交叉路口转弯或在停车线处停车(详见附录)。所有三个模型都不能预见驾驶员在这种场景中的行为,因此具有极高的模型需要关于交通规则的具体知识,以使模型在这些困难的情况下具有鲁棒性。交通密度。预测模型通常将对象之间的交互编码为图形表示,以提高预测精度。 为了研究交通密度的因素,我们使用Apolloscape数据集对三个模型重复白盒攻击,但丢弃50%或100%的目标车辆以外的对象。然而,在白盒攻击下的预测误差似乎与流量密度无关结果表明,在最坏情况下的预测误差主要是由目标车辆的轨迹,而不是周围的物体。6.2.2不同型号输入表示。与轨迹位置无关的特征(例如,地图)有助于提高对抗鲁棒性。Trajectron++ w/map与w/o map相比,原始轨迹和扰动轨迹上的ADE分别减少了22%和31%。通过添加地图信息作为输入特征,扰动特征的权重较低,使得预测结果对扰动不太敏感15164X黑波X白博X黑波X白博误差(米)误差(米)表3.单帧黑盒攻击前后的平均预测误差模型数据集ADE(m)FDE(m)左侧(m)右侧(m)正面(m)后部(m)正常/攻击正常/攻击正常/攻击正常/攻击正常/攻击正常/攻击抓握Apolloscape1.97/7.143.18/10.74-0.0128/2.650.0128 /2.38-0.0154/4.800.0154 /5.49抓握NGSIM7.29/9.2412.8/16.5-0.175/1.100.175 /0.311-5.30 /-3.765.30/5.85抓握nuScene场景5.46/8.3210.3/15.40.233 /1.53-0.233/1.44-1.04/1.501.04/3.76FQAApolloscape2.37/5.643.82/8.780.0479 /2.10-0.0479/1.86-0.387/3.110.387 /3.84FQANGSIM5.44/7.059.45/12.20.205 /1.19-0.205/0.787-1.11/2.121.11/2.16FQAnuScene场景5.28/7.8310.0/14.40.229 /1.18-0.229/0.736-0.814/1.790.814 /3.347轨迹机++Apolloscape1.31/7.112.28/10.80.00679 /4.140.00679/3.69-0.183/4.560.183 /5.24轨迹机++NGSIM2.31/9.644.49/16.9-0.219/4.390.219 /4.62-0.0855/4.380.0855 /4.28轨迹机++nuScene场景5.31/8.7311.2/17.1-0.331/2.100.331 /2.68-1.57/2.251.57/5.01Trajectron++(地图)nuScene场景2.69/6.815.39/11.8-0.107/2.1180.107 /2.25-0.526/3.790.526 /4.48联系我们108612.510.07.5FQA轨迹机++108645.0422.5 20AdeFDE左权前后0.0AdeFDE左权前后0AdeFDE左权前后图3.白盒与对Apolloscape数据集的块盒攻击(单帧)表4.攻击可转移性(白盒,单帧)。此外,正常轨迹上的良好预测精度不一定会导致良好的对抗鲁棒性。在没有扰动的情况下,Trajectron++在所有三个数据集上都具有更好的预测准确性,这要归功于其全 面 的 输 入 表 示 。 然 而 , 在 对 抗 扰 动 的 情 况 下 ,Trajectron++并没有最好的准确性。在Apolloscape和NGSIM数据集上,FQA具有较好的抗扰动能力. FQA的单个LSTM主要基于最后两个轨迹位置进行预测,因此对轨迹其他部分的扰动无效。 虽然Trajectron++集成了丰富的功能,如动力学,但这些功能会受到任何弹道位置扰动的影响,这是一个广泛的攻击面。6.2.3不同的攻击方法白盒与黑匣子我们对这三个模型进行黑盒攻击,并在Apolloscape数据集上评估攻击结果我们在图3中可视化了预测误差的六个度量。一般来说,黑盒攻击和白盒攻击具有非常相似的性能。由于最优扰动的搜索空间是在二维空间中(即,空间位置)并受硬约束(§4)的限制,攻击者可以在不知道模型的情况下有效地解决优化问题白盒和黑盒对抗轨迹都具有较高的加速度方差,但白盒攻击的扰动总体上较小,因为梯度的引导避免了部分不必要的扰动。对抗扰动的长度如§4所述,攻击者可以通过调整参数LP在连续时间帧上发起攻击。 除了在表3中呈现的对单帧攻击(LP= 1)的攻击之外,我们将LP增加到多达3秒的帧数作为多帧攻击。例如,对于Apolloscape数据集,目标源FQA联系我们轨迹机++FQA百分百百分之四十二点八16.5%联系我们60.8%百分百15.5%轨迹机++百分之六十四点七百分之三十九点五百分百具有2Hz的采样频率,LP= 6意味着3秒内的所有预测都由对抗轨迹控制。我们在图4中显示了Apolloscape上三种模型的不同LP的白盒攻击结果。由于多帧预测是一个独立的单帧预测序列,在无扰动的情况下,单帧预测和然而,在对抗性攻击下,平均预测误差随着对抗性扰动长度的增加而减小如果攻击者打算在一个长的连续时间段内保持攻击影响,则攻击变得更加困难。This is because of the extra constraint inmulti-frame perturbation – adversarial history trajecto-riesindifferenttimeframesdependsonthesamepertur-bation vector thereby are not optimized separately. 在3秒攻击时,ADE/FDE分别增加了142%/127%,横向/纵向偏差平均为0.95/1.55米(22%的偏差大于1.85米)。扰动的界限。如第4节所述,攻击者可以调整偏差界限,以生成具有不同隐身级别的攻击。我们在不同的边界下发起白盒攻击,攻击影响随着边界的减小而减小(如图5所示)。然而,该攻击仍然有效地使用较小的扰动引起 高 预 测 误 差 。 当 弹 道 位 置 偏 差 最 大 为0.2 米 时 ,ADE/FDE增加了86%/80%, 横向/ 纵向偏 差平均为1.31/1.40米(27%的偏差大于1.85米)。X黑波X白博误差(米)15165246(2s)(3帧帧(1s)帧e格帧罪误差(米)联系我们FQA轨迹机++1012.5810.067.545.022.510.07.55.02.50AdeFDE左权前后0.0AdeFDE左权前后0.0AdeFDE左权前后图4.攻击结果(白盒,单帧,在Apolloscape上)w.r.t.不同长度的对抗扰动。联系我们FQA轨迹机++1086420AdeFDE左权前后1050AdeFDE左权前后10.07.55.02.50.0AdeFDE左权前后图5.攻击结果(白盒,单帧,在Apolloscape上)w.r.t.轨迹位置的最大偏差的不同界限。6.2.4转让性我 们 评 估 了 三 个 模 型 之 间 的 可 移 植 性 , 使 用 -ingApolloscape数据集。 由于攻击影响是使用量化的预测误差而不是攻击成功的二元判断来评估的,因此我们定义了一个百分比分数来衡量可转移性。当我们将在源模型上优化的扰动应用于目标模型时,对于每个预测误差度量,我们计算目标模型上的预测误差与源模型上的预测误差的比率。最后,我们取六个指标对应的六个比率数的平均值作为最终得分。结果示于表4中。 首先,与非攻击情况相比,90.25%的转移对抗轨迹成功地增加了预测误差。它表明,扰动利用一般预测模型的共同内部模式因此,对一个模型优化的扰动也可以对其他模型发起攻击。 这意味着扰动带来了共同的模式,导致预测轨迹的偏差。其次,可移植性与目标模型高度相关:将微扰转移到FQA上比较容易,而转移到Tra-jectron++上比较困难。我们假设这是因为Trajectron ++利用了更多的轨迹特征,使得在较少特征上优化的扰动不能完全再现Trajectron++上的高预测误差。6.3. 缓解结果我们使用三个模型和Apolloscape数据集测试缓解机制。结果如图6所示。我们假设攻击者完全了解缓解方法,并在白盒攻击期间对每个预测应用相同的缓解方法。我们基于卷积的轨迹平滑是可微的,因此计算的梯度可以直接涉及缓解的效果。如果平滑方法替换为不可微的梯度,攻击者也可以使用可微函数来近似梯度,给出平滑算法的全部知识。列车时间缓解。 数据增广和轨迹平滑的有效性在不同的模型上是不同的。数据增强在Trajectron++上是有效的(预测误差降低了24%),它在低维数据上部署了复杂的 网 络 结 构 ( 即 , 轨 迹 ) 。 数 据 增 强 可 以 缓 解Trajectron++的过度拟合问题。轨迹平滑是FQA的有效方法。FQA模型预测的轨迹主要依赖于上一时间帧的速度方向,曲线轨迹误差较大,存在潜在的欠拟合问题。轨迹平滑不能解决模型的问题,但直接减轻对抗扰动对最后两个观测轨迹位置的影响如果我们在训练时同时应用数据增强和轨迹平滑,则攻击下的预测误差平均减少26%,而正常情况下的预测误差增加11%。测试时间缓解措施。 如果对所有轨迹进行轨迹平滑,攻击下的预测误差下降了13%,但正常情况下的预测误差显著增加了28%。 这是因为测试数据分布被改变为与训练数据集不同。为了解决这个问题,我们要求检测方法将敌对轨迹与正常轨迹区分开来,并仅在敌对示例上应用平滑。图7显示了§5中提到的两种检测器的ROC曲线。首先,我们的基于规则的方法(即,加速度方差阈值)在真阳性率(TPR)和假阳性率(FPR)方面优于SVM分类。这一结果证实了加速度随时间的变化是对抗性轨迹和正常轨迹之间的关键区别。第二,德--单自由度6(3秒)帧(1s)(2s)帧帧24AME单帧246(3秒)帧(1s)(2s)帧帧之三扰动0.2-me否之三0.5-meal)r(原点1-溴-2-甲基-2-氧代-3-吡啶1米(ori0.5米特尔图尔巴特离子0.2-me否ginal)误差(米)p我对埃尔图尔巴特没有之三之三0.5-me0.2-meal)r(原点1-溴-2-甲基-2-误差(米)误差(米)误差(米)误差(米)15166×联系我们FQA轨迹机++10.07.55.02.512.510.07.55.02.510.07.55.02.5未缓解数据增强训练时平滑测试时平滑检测&测试时间平滑数据增强训练时间平滑0.0AdeFDE左右前后0.0AdeFDE左右前后0.0AdeFDE左权前置后图6.各种缓解方法前后的预测误差(单帧,Apolloscape数据集)1.00.80.60.40.20.0SVM模型AUC FQA=0.774555AUC GRIP++=0.753445AUC Trajectron++=0.7949450.00.20.40.60.81.0假阳性率1.00.80.60.40.20.0基于规则AUC FQA=0.877220AUC GRIP++=0.841531AUC轨迹++=0.8718970.00.20.40.60.81.0假阳性率图8示出了一种场景,其中对抗扰动欺骗了假的车道改变并 导致 AV 的硬 制动。 在这种情况下,另一车辆(0V)在AV旁边行驶(为了演示,我们省略了其他对象),并且在这种情况下预测是准确的(横向偏差为0.18米)。扰动后(0.5米的偏差范围,3秒的长度,最大化向左偏差),向左的平均偏差显著增加到1.27图7.对抗性轨迹的检测的ROC(Apol-loscape数据集,3秒轨迹)。图8.通过对抗性扰动(GRIP++模型,Apolloscape数据集)欺骗假车道变换行为的示例。三个模型的对抗轨迹的检测具有相似的准确性。它证明了我们的检测方法的通用性在各种模型。最后,我们部署了基于规则的方法,具有88%的TPR和27%的FPR。通过整合检测,测试时间平滑将对抗性情况的预测误差降低了12%,而正常情况的预测误差仅提高了6%。缓解措施的局限性。如第6.2节所述,一些正常轨迹也具有对抗模式,这导致检测的FPR相对较高训练时间方法在训练数据中引入噪声,因为它们改变了原始数据集的空间特征。测试时异常检测的FPR很高,因此在某些正常情况下需要进行不必要的平滑处理这两种方法都提高了对抗鲁棒性,但在某些正常情况下,性能稍差。对抗性轨迹的完整防御是一个有前途的未来工作。6.4. 为例在本节中,我们通过一个案例研究来展示对抗性扰动的现实影响更多的案例研究在附录中。米(7)。更糟糕的是,高误差直接影响AV的决策在时间帧0-2处,预测的根据AV规划逻辑(例如,百度Apollo的开源规划代码 [3]),将AV尽量停在十字架后面点产生OV,减速度达到12m/s2,超过了正常行驶的最大减速度配置在AV软件中。这种硬制动大大增加了追尾碰撞的风险。在应用列车时间缓解之后,向左的偏差减小到0.91米。 虽然预测的轨迹和AV的未来轨迹交叉,AV只需要6 m/s 2的减速度。我们成功地再现了对现实世界AV系统百度Apollo 6.0的攻击[3]。 我们在LGSVL模拟器中构建驾驶场景[28]。详情见附录。7. 结论本文首次对轨迹预测的对抗鲁棒性进行了分析. 从我们提出的攻击的评估,预测模型通常是可接受的对抗扰动,并可能导致危险的AV行为,如硬刹车。 我们揭示了在硬场景或对抗性示例下评估最坏情况预测准确性的必要性。为了提高轨迹预测的对抗鲁棒性,我们提出了几种改进方法。我们还建议利用地图信息和驾驶规则的语义来指导预测。致谢。 这项工作得到了NSF的资助CNS-1930041,CNS-1932464,CNS-1929771,CNS-2145493和利用下一代无线网络的边缘计算国家AI研究所,授权号2112562。真阳性率误差(米)真阳性率误差(米)误差(米)15167引用[1] Autoware:用于自动驾驶汽车的开源软件。https://gitlab.com/autowarefoundation/autoware.ai , 2020年。一、二[2] 流 量 分 析 工 具 :下一 代模 拟循 环 。https://ops.fhwa。圆圆.gov/trafficanalysistools/ngsim. htm,2020年。一、五[3] 百度阿波罗。http://apollo.auto,2021年。一、二、八[4] Anish Athalye,Nicholas Carlini,and David Wagner.模糊的梯度给人一种错误的安全感:规避对对抗性示例的防御。在机器学习国际上,第274-283页。PMLR,2018。4[5] Holger Caesar、Varun Bankiti、Alex H Lang、SourabhVora 、 Venice Erin Liong 、 Qiang Xu 、 AnushKrishnan 、 Yu Pan 、 Giancarlo Baldan 和 OscarBeijbom。nuscenes:自动驾驶的多模态数据集。在IEEE/CVF计 算 机 视 觉 和 模 式 识 别 会 议 论 文 集 , 第11621-11631页,2020年。一、二、五[6] Yulong Cao , Chaowei Xiao , Benjamin Cyr , YimengZhou,Won Park,Sara Rampazzi,Qi Alfred Chen,Kevin Fu,and Z Morley Mao. 对抗传感器攻击自动驾驶中基于激光雷达的感知。在2019年ACMSIGSAC计算机和通信安全会议论文集,第2267-2281页2[7] Nicholas Carlini、Anish Athalye、Nicolas Papernot、Wieland Brendel 、 Jonas Rauber 、 Dimitris Tsipras 、Ian Goodfellow、Aleksander Madry和Alexey Kurakin。评估对抗鲁棒性。arXiv预印本arXiv:1902.06705,2019。2[8] Rohan Chandra、Uttaran Bhattacharya、Aniket Bera和Di-nesh Manocha。Traphic:使用加权交互在密集和异构流量中进行轨迹预测。在IEEE/CVF计算机视觉和模式识别会议上,第8483-8492页,2019年。1[9] Rohan Chandra , Uttaran Bhattacharya , ChristianRoncal,Aniket Bera和Dinesh Manocha。Robusttp:端到端的轨迹预测异构道路代理在密集的交通与嘈杂的传感器输入。在ACM计算机科学在汽车研讨会,第1-9页二、三[10] Rohan Chandra 、 Tianrui Guan 、 Srujan Panuganti 、Trisha Mittal 、 Uttaran Bhattacharya 、 Aniket Bera 和Dinesh Manocha。 基于谱聚类的graph-lstms道路智能体 轨 迹 和 行 为 预 测 。 IEEE Robotics and AutomationLetters,5(3):4882-4890,2020。一、二[11] Chiho Choi,Joon Hee Choi,Jiachen Li,an
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功