版权归作者所有。针对深度神经网络的博威Xi普渡大学统计系xbw@purdue.edu美国芝加哥大学统计学系chenyujie@galton.uchicago.edu范飞，詹图，邓新燕普渡大学机械工程学院feif，tu 17，xdeng@ purdue. edu摘要本文基于将生物启发设计应用于移动物理对象，开发了一种新的针对深度神经网络（DNN）的对抗性攻击。据我们所知，是第一个引入移动物体的物理攻击的作品。而不是遵循现有文献中的主导攻击策略，即， 为了向数字输入或静止物理对象引入微小扰动，我们表明两种新的成功的攻击策略。我们表明通过将几个模式叠加到一个物理对象上，DNN变得混乱，并挑选其中一个模式作为类别标签。我们对三个扑翼机器人的实验证明了开发一种对抗性伪装的可能性，以引起DNN的目标错误。我们还表明，某些运动可以减少视频中连续帧之间的依赖性，并使对象检测器“盲目”，即，无法检测视频中存在的对象。因此，在针对DNN的成功物理攻击中，还应考虑针对系统的目标运动。介绍当前一代的人工智能（AI）在复杂的任务中非常成功，例如图像分类，对象识别或玩棋盘游戏Go。不幸的是，这种前瞻性的人工智能并不能抵御潜在的数字和物理攻击。本文旨在研究利用移动物理对象的仿生对抗攻击，这是迄今为止尚未考虑的问题。现有的数字和物理攻击集中在向干净的样本/对象添加微扰以欺骗DNN。数字攻击算法主要集中在通过解决优化问题或针对一个特定DNN使用生成模型来 生 成 数 字 对 抗 扰 动 ， 例 如 ， （ Kurakin et al.2018）。根据攻击者对目标DNN的了解，数字攻击又分为白盒攻击、灰盒攻击和黑盒攻击例如，快速梯 度 符 号 方 法 （ FGSM ） （ Goodfellow ， Shlens 和Szegedy 2015），一步白盒攻击，使用成本函数的梯度符号来生成对抗性扰动。Carlini和Wagner（CW）攻击（Carlini和Wagner 2017）解决了一个盒子骗局，紧张的优化问题，以产生对抗扰动。在过去的几年里，已经开发了许多数字攻击最近的调查文件，例如，(Yuan等人2019; Biggio和Roli 2018）提供了数字攻击的列表。与数字攻击算法相比，设计物理对象来破坏DNN的 工 作 较 少 。 （ Sharif et al.2016; Kurakin ，Goodfellow ， and Bengio 2017; Eykholt et al. 2018;Athalye et al. 2018）是四个例子。（Sharif等人，2016年）设计了一种可折叠的框架，以避免面部检测。（Kurakin，Goodfellow和Bengio 2017）打印出了针对Inception v3分类器的数字对抗图像，并使用手机拍摄了principal的照片。他们发现裁剪的照片图像也被Inception v3分类器错误分类。（Eykholt et al.2018）表明，在停车标志上贴上几张贴纸可能会导致它被错误地（Atha-Mr. et al. 2018）通过在外壳上添加一些彩色条纹，创造了一种3D打印的海龟，它被误认为是步枪。这些工作也采取了优化方法，在优化设置中使用一个特定的DNN，类似于数字攻击算法。同时，他们设计了 固定的物理对象来欺骗目标DNN。这些攻击证明了DNN中某种类型的固有脆弱性。为了增强DNN的鲁棒性，了解DNN中的漏洞是很重要的.据我们所知，这篇论文是第一篇设计使用移动物理对象欺骗DNN的对抗攻击的工作。通过我们的生物启发的对抗性攻击，我们表明DNN中存在更多的漏洞，这表明健壮DNN比目前认为的更困难。生物启发对抗攻击生物智能，不仅限于人类的认知反应，还涵盖了使生物体躲避捕食者和猎物并适应不断变化的环境的广泛机制。图1显示了隐藏在植物上的螳螂。螳螂由于它们的伪装色而隐藏起来。当他们移动时，他们仍然可以因为他们移动的方式而隐藏起来。螳螂的颜色会随着周围环境的变化而变化：来自干燥地区的螳螂是棕色的，而来自潮湿地区的螳螂是绿色的。他们版权所有© 2020本文由其作者。在知识共享许可署名4.0国际（CC BY 4.0）下允许使用。不表1：重新训练的Inception V3的分类结果图1：螳螂作为叶子（左）和花（右）在猎物靠近之前保持很长时间不动。当它们移动时，它们以摇摆的方式移动，模仿风中摇摆的植物从生物智能（Floreano和Mattiussi 2008）中学习因此，当前一代的人工智能需要显著提高其面对不同类型攻击的能力。接下来，我们将展示针对DNN的生物启发对抗攻击。图2：真实蝴蝶（左）和机器人（右）图3：真实蝴蝶（左）和机器人（右）图4：真实蝴蝶（左）和机器人（右）多模式叠加攻击我们有三架扑翼飞机（即，扑翼机器人）形状相同。图2、3、4中的右侧面板显示了机器人的正面、背面和侧面。最初的机器人形状像鸟，但有两对翅膀，一对是彩色的，另一对是透明的。尾部类似于小型飞机的尾部。我们通过将从蝴蝶复制的图案超级化到机器人上来对机器人进行对抗性伪装。图3是机器人显示原来的颜色设计，只有几个黑点添加在翅膀上。图2显示了机器人的身体涂成黑色，翅膀涂成橙色，带有黑色条纹，类似于蝴蝶上的图案。图4显示了一个被涂成黑色的机器人，翅膀和尾巴上有几个白点，看起来像一只大部分是黑色的蝴蝶。因此，图2、图3、图4中的三个机器人都变成了三种不同图案的叠加我们用索尼DSC-RX 10数码相机拍翅膀的方式记录它们的飞行过程，并用H.264视频编码器制作成MP4文件。分析原始视频和从视频中提取的帧提取的视频帧的分辨率为1920×1080。我们提取视频帧等间隔的时间，并使用国家的最先进的图像分类算法来标记选定的视频帧。首先，视频帧由预训练的Incep V3图像分类器（Szegedy et al. 2016）直接标记，这是一种在ImageNet 1000类图像上训练的深度卷积神经网络（Deng et al. 2009年）。这里我们使用Inception V3的TensorFlow实现来标记视频帧（TensorFlow Github Directory）。机器人与预先训练的Inception V3的训练过程中不出所料，Inception V3的顶级标签类包括不同类型的蝴蝶，项链，运动衫，抽筋鱼，面具，羽毛笔，雨伞，领结等，没有一个视频帧被识别为机器人被创建的鸟。接下来，我们使用9个图像类（Shao，Zhu和Li2014）重新训练Inception V3三次：1）真实的鸟; 2）真实的蝴蝶; 3）机器人; 4）青蛙; 5）狮子; 6）黑猫;7）白鼠; 8）鱼; 9）水母。在机器人类中，当我们每次重新训练Inception V3时，我们都包含来自两个视频的帧，并使用来自第三个视频的帧作为测试样本。表1显示了重新训练的Inception V3的分类结果。总的来说，橙色图案的机器人有240帧;白色翅膀和黑点的机器人有264帧;黑色翅膀和几个白点的机器人有203帧。橙色图案的大部分，240帧大部分带有黑色翅膀和白点的画面，203帧中有195帧被标记为机器人。令人惊讶的是，结果是分裂的一个与白色的翅膀82帧被标记为机器人。为了可视化来自机器人的帧和来自其他类的图像是如何分组的，我们执行主成分分析（PCA），包括来自三个机器人的帧，以及真实的鸟和真实的蝴蝶的图像图5橙色蝴蝶（233），机器人（7）白色蝴蝶（182），机器人（82）黑色蝴蝶（1），机器人（195），鸟（4），黑猫（3）图5：来自三个机器人的视频帧以及真实鸟类和蝴蝶图像的PCA显示显示了真实的鸟图像和真实的蝴蝶图像形成两个大而松散的集群，而来自三个机器人的帧形成三个小而紧密的集群。重新训练的Inception V3的结果指出了DNN的一个主要漏洞--我们可以说，橙色图案的机器人大多被标记为蝴蝶，因为这是一个很强的识别特征，黑色机器人大多被标记为机器人，因为黑色油漆突出了机器人的形状对于白色机器人，它是原始设计加上一些黑点。在紧密聚集的帧中，31%被标记为机器人，69%被标记为蝴蝶。DNN只是选择一个模式并分配类标签。不幸的是，我们不知道DNN会选择哪种模式。针对当前一代的人工智能，攻击移动的物理对象是一种成功的对抗性攻击，正如橙色图案的机器人所展示的那样。向移动的物理对象引入微小的扰动确实会引起DNN的一些混乱，尽管不如白色和黑色机器人所示的全身伪装动作攻击 我们使用最先进的物体去-从图像和视频中识别和标记对象1. YOLOv3具有106层的完全卷积结构。它的结构使它能够检测从小到大的不同大小的物体如 果在视频中检测到对象，YOLOv3将在对象周围放置一个边界框，并标记。如果YOLOv3认为一个对象符合描述，它可以为该对象分配多个标签。YOLOv3可以检测多达9000个对象类。除其他应用外，物体检测是自动驾驶系统必须正确完成以避免碰撞的最重要任务之一YOLOv3的视频输出可以在这里下载2. 在两个视频中，YOLOv 3是在一个主要是黑色机器人的视频中，YOLOv3简要地将尾巴识别为两个遥控器，概率为0.71和0.61。两个边界框集中在尾部的白点上。这发生在黑色机器人背部稳定地面对相机飞行我们相信扑翼运动可能减少视频帧之间的依赖性。因此，扑翼运动完全欺骗了对象检测器YOLOv3在两个视频中，并在第三个视频中大部分时间成功。在我们的实验中，我们注意到存在其他类似的运动，以减少视频帧之间的依赖性，使对象检测器例如，一个人用船桨划皮艇。当皮艇顺流而下，随着船桨的运动，YOLOv3无法检测到这个人。某些运动，如果设计得当，能够欺骗最先进的物体探测器。运动应该是身体对抗性攻击的关键部分。同时，我们意识到，开发算法来将特定运动与给定对象配对可能比通过添加微小扰动来开发攻击更困难。图 6 ： 得 分 最 高 的 类 是 Clock 0.58 ， 由 YOLOv3 在ImageNet 9000类上训练。当使用YOLOv3标记提取的帧时，它会在对象周围放置一个边界框。虽然Inception V3只提供了顶级类的概率，但YOLOv3的绑定框允许我们检查为什么YOLOv3在帧/图像上出错图6显示了一个la-保护系统，你只看一次（YOLO）V3，以确定-在三个视频中演示飞行机器人。YOLOv3（Redmon和Farhadi 2018）是一个实时目标检测系统。它可以第1https://pjreddie.com/darknet/yolo/2https://www.stat.purdue.edu/带肋框架YOLOv3只检测到白色机器人翅膀的一部分，并将该部分标记为时钟，得分为0.58，因为翅膀上画有黑点。我们注意到边界框聚焦在黑点上。根据在基于DNN的AI的训练过程中使用的图像类别，它选择其中一个匹配类别并将其分配给帧。我们的实验表明，DNN无法分辨出几个匹配类中哪一个是正确的对象类。它远不如人类面对复杂物体的识别准确。结论基于实验的成功，我们证明了利用移动的物理对象设计生物启发的对抗性攻击是可能的。未来的工作包括有针对性的攻击，以创造最有效的伪装。我们认为，要使攻击最强大，它不应该简单地计算针对一个特定AI的物理装备。虽然攻击者可以发动不可预测的攻击来破坏AI，但防御者也可以在不可预测的时间更新和实现更新，更强大的学习算法。因此，有效的物理攻击必须能够打破任何AI系统，包括现在和未来的系统，并允许移动和静止的物体避免被检测到。对抗性摄像机可以基于周围环境。如果一个物体在复杂的环境中工作，它的物理外观应该允许它融入背景。如果一个物体在一个简单的环境中工作，它的物理外观可以被设计成模仿一个活的有机体。与此同时，我们意识到，有一些物体具有完全不同的外观，属于同一类，还有一些隐藏的物体，只能根据其形状的细微不规则性来检测。人工智能需要提高其能力，而不仅仅是增加其训练数据的大小，以正确识别和标记这些对象。在我们的实验中，我们使用基于卷积神经网络（CNN）的YOLOv3来检测视频中的飞行机器人。YOLOv3无法检测到整个视频中的任何内容，即，整个视频中不存在边界框。拍动翅膀的动作使许多帧变得模糊，物体不停地转动，并在相机前可能的情况是，更难以在模糊图像/帧中定位密集区域。此外，快速移动的对象使得难以将帧与地面实况对象匹配。对于未来的工作，我们可以看看预处理阶段的运动检测或帧控制是否有助于减轻某些运动的威胁许多其他最先进的对象检测系统也基于卷积结构，例如R-FCN（Dai et al. 2016）和RetinaNet（Lin etal. 2018）。同时，目前大多数对抗性攻击和防御都针 对 基 于CNN的 系 统 。 研究 基 于 递 归 神 经 网络（RNN）的视觉系统是否对快速运动更鲁棒是很有趣的，因为RNN可以深入时域。注意攻击和防御RNN都需要考虑数据的连续性（Papernot et al. 二〇一六年;Rosenberg et al. 2019）。因此，与攻击和防御基于CNN的系统相比，这是一条不同的研究路线。致谢本文得到了诺斯罗普·格鲁曼公司和SAMSI GDRR2019-2020计划的部分支持。引用Athalye，A.; Engstrom，L.; Ilyas，A.;和Kwok，K. 2018.合成强大的对抗性示例。 第35届国际机器学习会议论文集，284-293。比吉奥湾，和Roli，F.2018年狂野模式：对抗性机器学习兴起十年后模式识别84：317-331.Carlini，N.，和Wagner，D. 2017.神经网络的鲁棒性评价2017年IEEE安全与隐私研讨会（SP），39戴，J.;李，Y.;他，K。Sun，J. 2016. R-fcn：通过基于区域的全卷积网络进行对象检测。邓，J.;董，W.; Socher，R.;李湖，澳-地J.道：李，K.;和Fei-Fei，L. 2009. Imagenet：一个大规模的分层图像数据库。2009年IEEE计算机视觉与模式识别会议，248Eykholt ， K.;Evtimov ， I.;Fernandes ， E.; 李 ，B.;Rahmati ， A.; 肖 ， C.;Prakash ， A.;Kohno ， T.; 和Song，D.2018年对深度学习视觉分类的强大物理世界攻击在IEEE计算机视觉和模式识别会议，1625Floreano，D.，和Mattiussi，C. 2008. 生物启发的人工智能：理论、方法与技术。MIT Press.古德费洛岛J.道：Shlens，J.;和Szegedy，C. 2015.解释和利用对抗性的例子。在国际会议上学习代表，1Kurakin，A.;古德费洛岛Bengio，S.;董，Y.; Liao，F.;梁，M.;Pang，T.;Zhu，J.;胡某;Xie，C.;等人2018年对抗性攻防对抗赛。在NIPS'17竞赛中：构建智能系统。斯普林格。195- 231Kurakin，A.;古德费洛岛和Bengio，S. 2017.物理世界中的对抗性例子。在第六届国际学习表征会议（ICLR）的会议记录中，1林，T.- Y的;戈亚尔，P.;格希克河;他，K。Dollar，P.2018.用于密集目标检测的焦点损失。IEEE模式分析与机器智能汇刊。Papernot，N.; McDaniel，P. D.; Swami，A.;和Harang，R.2016.为递归神经网络制作对抗性输入序列。在第35届IEEE军事通信会议（MILCOM 2016）的会议记录中，49Redmon，J.，和Farhadi，A. 2018. Yolov3：渐进式改进。arXiv预印本arXiv：1804.02767。Rosenberg ， I.;Shabtai ， A.;Elovici ， Y.; 和 Rokach ，L.2019年。递归神经网络对抗性样本的防御方法。邵，L.; Zhu，F.;和Li，X. 2014.视觉分类的迁移学习：一项调查。IEEE transactions on neural networksand learning systems26（5）：1019-1034.Sharif，M.; Bhagavatula，S.; Bauer，L.; Reiter，M. K.2016.犯罪的证据：对最先进的人脸识别技术进行真实和隐秘的攻击。2016年ACMSIGSAC计算机和通信安全会议论文，1528Szegedy，C.;Vanhoucke，V.;Ioffe，S.;Shlens，J.;和沃伊纳Z. 2016.重新思考计算机视觉的初始架构。IEEE计算机视觉与模式识别会议论文集，2818TensorFlowGithub目录。https://github.com/tensorflow/models/tree/master/research/inception.元，X.;他，P.;朱，Q.;和Li，X. 2019.对抗性示例：深度学习的攻击和防御。IEEE神经网络与学习系统汇刊1-20。
