物理劫持攻击暹罗跟踪器：ATTACKZONE

2309本作品采用知识共享署名国际4.0许可协议进行许可。针对对象跟踪器的物理劫持攻击RaymondMullerPurdueUniversitymullerr@purdue.edu明莉Yanmao Man亚利桑那大学yman@arizona.edu瑞安·格迪斯Z.BerkayCelikPurdueUniversityzcelik@purdue.edu摘要亚利桑那大学lim@arizona.edu弗吉尼亚理工rgerdes@vt.edu在攻击自主车辆的目标检测管道现代自主系统在其视觉感知管道中依赖于对象检测和对象跟踪。虽然许多最近的作品已经攻击了自动驾驶车辆的对象检测组件，但这些攻击并不适用于集成对象跟踪以增强对象检测器的准确性的完整管道。与此同时，现有的针对对象跟踪的攻击要么缺乏现实世界的适用性，要么无法对抗强大的对象跟踪器（暹罗跟踪器）。 在本文中，我们提出了ATTRACKZONE，一个新的物理可实现的跟踪器劫持攻击暹罗跟踪器，系统地确定有效区域的环境中，可用于物理扰动。Att RA ckZone利用Siamese Region ProposalNetworks的热图生成过程来控制对象的边界框，从而导致物理后果，包括车辆碰撞和行人进入未经授权的区域。 在数字和物理领域的评估表明，Att RA ckZone在92%的时间内实现了其攻击目标，平均只需要0.3-3秒。CCS概念• 计算方法学→机器学习算法;• 安全和隐私→系统安全。关键词对抗机器学习;神经网络;目标跟踪;自动驾驶;视频监控ACM参考格式：Raymond Muller，Yanmao Man，Z.Berkay Celik，Ming Li，and RyanGerdes.2022. 物理劫持攻击对象跟踪器。 在2022年ACM SIGSAC计算机和通信安全会议（CCS '22）的会议记录中，2022年7美国纽约州纽约市ACM，14页。https://doi.org/10.1145/3548606.35593901引言物体检测和物体跟踪都是各个领域中不同自主系统的重要组成部分，例如自主驾驶[27]，行人检测[14]和移动机器人导航[2]。广泛的工作已经研究CCS©2022版权归所有者/作者所有。ACM ISBN978-1-4503-9450-5/22/11。https://doi.org/10.1145/3548606.3559390诸如使用附着到场景内的对象的贴纸和补丁来欺骗对象检测以忽略或错误分类关键实体（例如，停止标志[11，54]）。然而，在自主系统中，目标检测只是视觉感知管道的一半;目标跟踪用于构建目标的轨迹，以提高目标检测的准确性。与涉及在单个帧中确定对象的分类和边界框的对象检测不同，对象跟踪涉及在多个帧上计算相同对象的边界框。 通过记录同一对象随时间的移动，对象跟踪器能够估计对象的速度和轨迹，与纯对象检测相比，这允许更一致和准确的边界框计算[ 22 ]。这种准确性增强还提供了针对对象检测攻击的鲁棒性。 在部署跟踪器的情况下，纯粹针对对象检测的攻击必须在60个连续帧上成功至少98%的时间，这对于当前针对对象检测的攻击是不可行的[22]。 有许多不同类型的跟踪器，但暹罗跟踪仍然是最普遍的，因为它们在准确性和效率之间具有固有的平衡，这使得它们适合实时应用[37]。由于对象跟踪不涉及对对象进行分类，而是专注于计算它们的边界框，因此针对它的攻击集中在跟踪器劫持上，这是一种在受控方向上偏离对象跟踪器计算的边界框的技术。跟踪器劫持攻击有两种类型：移入和移出。在移入攻击中，对象的边界框（例如，车辆、行人、风滚草、动物）被移动到路径中以破坏其操作。例如，如果目标系统是车辆，它将停止或偏离其路径以避开被劫持的对象。如果目标系统是配备行人跟踪功能的安全摄像头，则会发出错误警报。类似地，移出攻击将目标系统路径中的对象的边界框移出路径。对于车辆目标系统，这将导致碰撞，因为系统确定路径中的障碍物已被清除。对于监视，移出攻击可以掩盖入侵者的进入由于对象检测攻击对对象跟踪是不可行的，跟踪器劫持攻击利用对象检测中不存在的跟踪域所特有的元素。例如，之前的一项工作专注于攻击简单在线实时（SORT）跟踪器[22]，该跟踪器使用简单的速度估计模型来跟踪对象。不幸的是，此攻击利用了SORT算法特有的设计缺陷，其中跟踪结果具有生命周期，Raymond Muller，Yanmao Man，Z.Berkay Celik，Ming Li，and RyanGerdesCCS2310对象跟踪时间t +2时间t +1时间t既往跟踪结果（t-1）·对于给定数量的帧，继续报告来自损坏的跟踪器的 SORT攻击是不可转移的，因为这种设计缺陷不存在于更复杂的跟踪算法中，例如暹罗跟踪器。另一项工作针对暹罗跟踪[21]，利用对抗机器学习来创建改变跟踪结果的噪声模式。然而，这种攻击仅在数字域中起作用，因为它无法区分在物理域中不可能攻击的区域，例如太阳，以及有效攻击捕捉的检测结果时间t时间t +1时间t +2跟踪结果融合、规划、控制区域（例如，墙）。这严重限制了它的适用性，需要攻击者直接修改相机输出。序列时间=1，.，nbbox，object class跟踪器bbox，object class在本文中，我们介绍了Att RA ckZone，第一个可以物理地对暹罗跟踪器发起跟踪器劫持攻击的工作。 由于物理世界是动态和不可预测地变化的，因此在进行攻击时，有必要确保物理上可扰动的空间存在于目标对象的潜在小限制之外。因此，我们利用3D点云数据来构建攻击区域，这些区域可以用于物理域跟踪器劫持攻击。一旦确定了这些区域，我们就利用Siameseheatmap pro-focus算法并生成噪声模式，以将跟踪器的焦点转移我们确保我们的攻击是最小的，同时避开既定的防御（如卡尔曼滤波）和保持适应环境。然后，我们将噪声模式投射到有效的攻击区域上，以实现跟踪器劫持，而不会损害受害者车辆的摄像头。我们评估了Att RA ckZone在自动驾驶和视频监控中对base [26]和Distractor感知[56] Siamese跟踪器的有效性。我们展示了攻击成功率对跟踪器 我们采取模型不可知的方法，并检查不同模型的暹罗跟踪器之间的攻击相互转移性和具有不同参数和训练数据的相同模型之间的攻击内部转移性。我们检查和比较两种不同的方法，离线和在线，这取决于是否使用受害者的路线是已知的。我们还检查了攻击参数，评估成功攻击所需的时间和可投射空间。攻击和预测必须有多强我们根据给定攻击是否实现了移入或移出的原始目标来衡量原始成功率在所有评估的暹罗跟踪模型中，在跟踪器的原始测试数据集上，攻击成功率平均为95.5%，而在模拟数据集上的平均成功率为91.1%。对于真实世界的攻击，我们实现了80.8%至89%的平均成功率，具体取决于攻击是在线还是离线进行 攻击平均需要0.3到3秒才能达到目标，只有63%-82%的环境必须受到干扰，攻击才能成功，错误率为30%。最后，我们的攻击平均修改每个像素不到5.86%。 Att RA ckZone实时高效运行，并规避当前针对跟踪器劫持攻击的防御措施，例如卡尔曼滤波器和噪声消除。捐款. 在本文中，我们做出了以下贡献。我们是第一个展示了一个系统的过程中发现有效的攻击区域的投影仪攻击。图1：完整自主系统管道的概述我们提出了一种新的攻击在物理领域对暹罗跟踪器，利用热图生成的设计，引导跟踪器进入一个特定的区域。我们成功地对三个最流行的暹罗跟踪模型发起攻击Attra ckZone代码可在https://github.com/purseclab/AttrackZone供公众使用和验证。2背景用于自主系统的典型视觉感知管道由对象检测器和对象跟踪器组成，如图1所示。 给定来自相机视频馈送的图像序列，系统运行对象检测器以获得每个感兴趣对象的边界框和对象类[ 40 ]。然后，这些边界框被馈送到对象跟踪器中，对象跟踪器首先根据其历史结果计算自己的边界框，然后将其结果与对象检测器的结果相 此过程通过提供跨帧的时空特征一致性来帮助平滑边界框预测中的错误。最后，它将此信息传递给后续模块，例如规划车辆行驶路径的自动驾驶车辆的规划模块[52]。2.1目标检测与跟踪为了推断周围的环境，自主系统使用实时对象检测算法来对其附近的对象进行分类这些算法通常采用卷积神经网络（CNN）来实时检测对象。例如，YOLO [40]是一种流行的网络架构，因为与其他对象检测架构（如R-CNN [41]和RNN [48]）相比，它具有高速度和高性能。YOLO及其变体将图像分割成预先配置大小的正方形网格 对于网格中的每个正方形，他们分配正方形属于每个给定类别的概率。然后，它们将方块聚集到各个边界框中并返回它们。另一方面，目标跟踪算法估计目标的航向和速度，以计算目标轨迹并纠正目标检测中的跟踪器通过考虑图像帧的时空一致性来预测对象行为，而对象检测器独立地对每个输入进行推理。对象检测···针对对象跟踪器的物理劫持攻击CCS2311移入攻击移出攻击区域建议网络图2：基于Siamese的对象跟踪器的图示虽然有许多不同的对象跟踪算法，但基于暹罗的跟踪器最近由于其实时推理的效率而获得了普及[9，37，56]，并且通常用于现实世界的系统中，例如，安全摄像头[53]、机器人车辆[15]和智能监控[1]。基于Siamese的跟踪器通过区域建议网络提取图像特征以跟踪帧之间的对象。这使它们能够产生比不同类型的跟踪器更高的精度，例如简单在线实时跟踪（SORT）[9]，它使用帧之间的速度估计来预测跟踪器位置。2.1.1Siamese Networks. 暹罗跟踪器[43]使用图像特征来跟踪帧之间的对象，而不是创建速度估计（见图2）。暹罗跟踪的主要特点是区域建议网络。训练一个暹罗网络，将图像中的每个区域分类为要忽略的“背景”或要跟踪的然后，每帧上的跟踪算法使用CNN来找到与目标对应的区域，为目标区域生成热图 热图将跟踪器的搜索空间限制为仅目标区域。具体地，应用边界框回归来定位正确的对象，并在该搜索空间内更新其跟踪器。连体网络有不同的变体，它们在生成热图的方式上有所不同。 基本暹罗网络（BSN），如SiamRPN [26]，仅在目标和背景上进行训练，并纯粹根据是否应该跟踪图像来分割图像。最近对BSN 的 改 进 是 干 扰 感 知 暹 罗 网 络 （ DASN ） ， 例 如 ，DaSiamRPN [56]和DaSiamRPN+[21]模型，它们是在带有标记干扰项的数据上训练的。 通过学习忽略图像中可能导致BSN误报的区域，DASN能够生成更简洁的热图，聚焦于感兴趣的对象。3威胁模型3.1攻击目标：物理跟踪器劫持我们考虑一个对手，其目的是对基于暹罗的对象跟踪器发起远程物理跟踪器劫持，目标是移入和移出对象。跟踪器劫持仅仅涉及改变对象的边界框而不是影响对象图3显示了针对两个系统的跟踪器劫持的攻击目标和结果，即自动驾驶汽车中的物体跟踪和视频监控系统中的行人跟踪。移入攻击移出攻击图3：攻击者移动攻击。这种攻击中的对手旨在移动对象的跟踪器（例如，车辆、行人、风滚草、动物）不在目标系统的路径中（例如，自动驾驶车辆的移动攻击会过早地停止车辆，目的是扰乱交通流量，使车辆容易受到伏击。同样，对于视频监控，攻击触发摄像头警报，以欺骗系统认为有人进入了大楼。这可能会分散操作员的注意力或导致多次错误警报，使系统忽略准确的系统警告。移动攻击。在这种攻击中，对手的目标是将被跟踪的物体移出跟踪器的路径。 虽然对象仍然在那里，但跟踪器确定它已经移动了，因为它的跟踪器已经偏离。对于自动驾驶车辆，攻击者可以使目标系统与物体碰撞，该物体可能是可能遭受致命伤害的行人。视频监控的移出攻击可以防止摄像头报警系统看到有人进入建筑物，从而导致秘密进入通常安全的设施。3.2攻击模型和假设我们认为攻击者有两种能力。首先，我们假设攻击者知道运行对象跟踪器的系统的位置（安装摄像头的位置）。 有了这个知识，攻击者使用代理相机（例如，立体摄像机或具有LiDAR的摄像机）以获得受害者摄像机的视图及其3D点云，用于识别攻击区域（有效对象的表面，下文详述攻击者可以实时（在线）或离线获取此数据。攻击者可以驾驶无人机安装的低成本/高访问性相机，并实时近似受害者相机的视图，确保类似的可适应视角。 作为另一示例，如果目标自主车辆的路线提前已知，则攻击者可以通过在与受害者车辆相同的路线中驾驶来离线收集相机馈送，或者使用在线资源（例如， USGS Explorer [45]与Google Earth [13]用于LiDAR和图像数据）。离线与 在线攻击在6.3节中进行了比较。其次，我们假设攻击者可以访问任何开源的基于Siamese的对象跟踪器，以基于代理相机馈送生成物理扰动。我们在第6节中显示模板热图 跟踪结果搜索区域卷积层特征图卷积层Raymond Muller，Yanmao Man，Z.Berkay Celik，Ming Li，and RyanGerdesCCS2312在特定的暹罗网络上构建的攻击（例如，BSN）转移到其变体（例如，DaSiamRPN和DaSiamRPN+）。为了在物理世界中进行跟踪器劫持，攻击者的目标是随着时间的推移在有效对象的表面上找到隐身和鲁棒的物理扰动。实际设置中的攻击需要瞄准移动对象并生成扰动，所述扰动（1）在受害者的相机的视场 不在玻璃表面和天空上），（3）在环境不稳定性内有效（例如，不断变化的照明条件），以及（4）对人类观察者来说最不显眼。最后，为了发起跟踪器劫持，攻击者远程地将扰动投射到攻击场景，例如，通过将投影仪连接到在受害者车辆附近行驶的敌方车辆，或者驾驶装有投影仪的敌方无人机我们并不认为攻击者能够接触到目标车辆的摄像头或硬件。此外，攻击者不会利用硬件漏洞（例如，LiDAR和GPS欺骗/干扰漏洞[4]）或软件漏洞（例如， 远程代码注入[17]）。4现有的攻击和设计挑战我们的主要目标和挑战是通过改变摄像头捕获的物理环境，通过建立威胁模型和设计目标，分析了现有目标检测攻击无法对抗目标跟踪器的原因，以及现有目标跟踪器攻击的局限性4.1目标检测器攻击对跟踪器攻击的推广性先前的工作主要研究了针对对象检测器的对抗性攻击，所述对象检测器一次获取单个帧，例如，印刷的贴在停车标志上的对抗性贴纸，以欺骗物体检测结果。这些攻击集中在创建虚假对象[20，31，54]，屏蔽对象[3，23]以及更改特定对象现有的针对对象检测的攻击无法改变对象跟踪结果（从而改变自主系统的实际视觉感知管道），这主要有两个原因。首先，针对对象检测的攻击没有考虑将对象跟踪添加到自治系统的视觉管道以确保跨视频帧的时空一致性的影响。通过记录对象的移动，对象跟踪器能够实现比纯对象检测器更准确的边界框结果，这意味着对象跟踪器计算的边界框与对象检测器计算的边界框具有根本不同的行为。其次，对象跟踪器通过在多个帧中获得一致和稳定的结果，自然提高了对象检测的鲁棒性具体来说，通过将对象跟踪器集成到自主系统流水线中，攻击者必须在60个连续帧中98%的时间内欺骗对象检测器，才能成功劫持跟踪器[22]。这种成功率对于当前针对对象检测的攻击是不可行的[6，11，29，54]，使他们无法承诺对抗物体追踪器。4.2针对对象跟踪器的攻击现有的攻击对象跟踪器的作品非常有限。最近的一项工作已经证明了跟踪器劫持对SORT跟踪器，利用其依赖于速度估计，而不是实际的图像特征[22]。这使得攻击对许多其他不使用速度估计来跟踪对象的跟踪器（包括暹罗跟踪器）不可行此外，攻击是在数字仿真中生成的（直接改变输入跟踪器的像素值），并将自己限制在放置在单个车辆上的补丁上，限制了其攻击表面积和成功率。随着基于暹罗的跟踪器的日益流行，最近提出了一些针对它们的 RTAA攻击旨在将跟踪器从其正确位置移开[21]，冷却收缩（C-S）攻击将跟踪器从存在中移除[50]。这两种攻击都是数字域攻击，直接改变输入图像像素，而无需物理发起攻击。 它们还在不考虑物理约束的情况下生成噪声，导致物理上不可行的攻击，其中不可能的区域（例如天空和太阳）被扰动。此外，现有的跟踪器攻击对自主系统的决策管道的后果还没有很好地定义。 RTAA攻击没有为跟踪器指定所需的结束位置，导致它在图像周围随机和不真实地移动。这大大降低了攻击的隐蔽性，并使其易于预防，例如，通过应用卡尔曼滤波器，即使不知道攻击。 虽然C-S攻击的目标是向暹罗跟踪器隐藏对象，但它不会向对象检测算法隐藏对象，对象检测算法仍然可以辅助决策。 这意味着在自主系统中，视觉感知管道上几乎没有物理后果，它只是失去了对象的跟踪器，而没有将其移入或移出。4.3设计挑战和潜在解决方案（1）物理空间限制。对物理上可行的跟踪器劫持攻击的需求来自于进行纯粹基于图像的攻击的挑战。随着自治系统的安全措施越来越多，从逻辑上讲，更容易干扰物理世界来改变系统的感知，而不是损害系统本身。然而，将物理世界中的3D空间转换为用于扰动的2D空间并不是微不足道的。确保可用的物理扰动区域的一种方法是征用环境的一部分并将物理补丁应用于对象。例如，对于车辆跟踪器劫持，攻击者可以将带有对抗性噪声的补丁粘贴到汽车后面，并将其驾驶到受害者面前，确保汽车始终是可用的攻击区域[11，18]。然而，征用表面牺牲了灵活性，这对于确保动态环境中的物理可行性可能是至关重要的在前面的例子中，一辆车在攻击者的车后面调停，使补丁过时。另一种方法是只显示或投影噪声到跟踪器劫持的目标对象上。然而，这严重限制了可用于跟踪器劫持攻击的面积。正如我们在第6.4.3节中所展示的，有限的显示或投影噪声区域会对攻击成功率产生负面影响。因此，有必要将环境限制提炼为针对对象跟踪器的物理劫持攻击CCS231345[客户端]目标13相机+点场景w/攻击云区域攻击区域生成5.12暹罗网络寻找攻击区4攻击噪音最终噪音5.2567投影机播放噪音进行攻击图4：ATT rackZonex个对抗性噪声的可用区域，同时确保这些区域一旦识别出攻击区域，攻击者就提供一个经过训练的暹罗网络，并为攻击区域生成扰动（4）。攻击者使用暹罗网络进行反馈，并最小化损失函数（第5.2节）以生成热图改变扰动，直到找到跟踪器劫持的最佳扰动（5）。 损失函数最小化确保了实现预期效果的最小扰动量，从而解决了隐形问题（C3）。此外，针对卡尔曼滤波器检查产生的每个扰动。 如果卡尔曼滤波器阻止跟踪器到达攻击者指定的位置，我们丢弃扰动并生成新的模式（C4）。如果受害者区域足以发动跟踪器劫持攻击。（C2）隐蔽性。 扰动应该被设计得很小，无害的，或者对一个不经意的观察者来说是察觉不到的。然而，扰动必须仍然是相机可见的，并且不能太小而失去效果。因此，攻击者必须找到最小的扰动来实现攻击目标。（C3）时空约束。对象跟踪器是时空一致的，每个预测依赖于先前的跟踪结果。 这对噪声产生和攻击区域施加了时间约束。与对象检测攻击不同，在对象检测攻击中，每个单独的图像帧可以被独立地处理，对象跟踪攻击必须在给定的时间段内成功地影响一组帧，从而需要对攻击进行快速调整以匹配周围环境中的变化。这在离线攻击与网络攻击离线攻击从所有必要的信息开始，以确保在适应不断变化的环境时保持一致性，而在线攻击则没有，这使它们处于不利地位。（C4）规避卡尔曼滤波。一个跟踪器劫持攻击，随机和不切实际地移动周围的图像可以击败-feeted的卡尔曼滤波器，这减轻了劫持的影响。 由于卡尔曼滤波器通常用于纠正跟踪误差，几乎没有额外的开销[7]，因此攻击方法必须能够避开卡尔曼滤波才能被认为是有效的。5物理物体追踪器劫持我们提出了一个时空攻击的跟踪器劫持，它确定了攻击区域内的物理场景（空间），并产生跨时间的物理扰动（tempo-ral）。 AttrackZone允许攻击者发起远程物理攻击，以破坏自治系统中对象跟踪器的常规操作。 Att RA ckZone适用于各种自治系统中使用的所有基于Siamese的跟踪器。图4显示了AttrackZone的各个阶段。攻击者首先定义攻击目标，指定目标对象的边界框移动到的期望位置（1）。攻击者可以指定结束区域或多帧上的滑动窗口，以确保跟踪器的平滑移动。在定义攻击目标后，攻击者提供周围环境的3D点云和摄像机馈送（为受害者的视图提供替代）以获得攻击区域（3），场景中用于物理操作的有效区域（第5.1节）。攻击区系统地确定环境中可用的物理区域，解决物理空间限制，以投射扰动并增加攻击成功的可能性（C1）。是已知的提前时间，步骤，并可以提前进行没有时间限制，产生扰动离线播放期间的攻击，这直接解决了离线时空约束（C2）。否则，可以以较慢但仍然足够的速率在线生成噪声 我们将在6.3节讨论在线攻击和离线攻击之间的权衡。最后，攻击者将扰动传递给投影仪，投影仪投射到有效的攻击区域（6 - 7）。5.1攻击区域识别攻击区域攻击的第一步是在受害者摄像机的视图识别有效的5.1.1点云重映射。 为了找到有效的物理攻击区域，我们首先收集进行攻击的场景的3D点云。 点云可以通过基于光的传感器（如LiDAR和立体相机）在线或离线收集。这些传感器比非基于光的传感器（例如，声纳），因为它们生成环境的语义上精确的3D表示，包括场景形状及其地面特征。例如，激光雷达穿透玻璃表面，而声波从包括玻璃在内的任何固体表面反弹。作为基于光的传感器的替代方案，我们还研究了使用语义分割生成攻击场景区域的影响，例如通过Mask R-CNN [16]。语义分割为图像中的每个像素分配一个类，允许将其分成不同的区域。然而，我们发现，分割易受环境条件的影响，例如，不均匀的照明[32]，产生不精确的3D点云。我们确定相对于受害者的摄像机的有效攻击区域安装在车辆后视镜后面或仪表板上的摄像机）。 算法1详细说明了过滤出不在受害者相机的视场（FoV）中的3D点的步骤。它是一种工作列表式算法，采用点云相对于受害者摄像机的坐标、攻击者代理摄像机的分辨率我们还包括一个最大投影距离，以考虑攻击者投影仪的距离限制算法首先计算从每个LiDAR点到原点（线2）的距离矩阵然后计算水平和垂直FoV，以使用公式1（第3-4行）识别每个LiDAR点（ ���=���，���，���），���其中x表示水平FoV，y表示垂直FoV。required_fov =| atan2（���，���）·180/ |（一）Raymond Muller，Yanmao Man，Z.Berkay Celik，Ming Li，and RyanGerdesCCS2314[]/[客户端][]/∈（）下一页（）下一页（）下一页=I002个月（FoV峰值）2000年算法1过滤攻击场景中的3D点输入：点���云：3D点云中的点列表，（视差，���视差）：替代相机���输出：selected_points：相机可见的3D点1：函数FILTER_3D（距离， 距 离）������2：distVictim= compute_distance��� 距 离，原点3：距离hfov=compute_horizontal_fov距离���4：compute_vertical_fov 计算5：selected_points=6：对于做7：distanceOk=distVictim距离确定<8：hfovOk =hfov

下载后可阅读完整内容，剩余1页未读，立即下载