「侦探侦探：对抗性示例对物体检测器的影响研究」

侦探侦探：对抗性示例对物体检测器的影响研究放大图片作者：J.Wang，Nilaksh Das，ShengYun Peng，Haekyu Park，Duen Horng（Polo）Chau佐治亚理工学院美国佐治亚州亚特兰大[svellaichamy3，matthewhull，jayw，nilakshdas，speng65，haekyu，polo]@gatech.edu摘要由于基于深度学习的系统在许多视觉相关任务中表现出色，因此其广泛部署的主要问题，我们提出了DetectorDetective，这是一个交互式视觉工具，旨在帮助用户更好地理解模型的行为，DetectorDetective使用户能够轻松了解Faster R-CNN对象检测器的三个关键模块-特征金字塔网络，区域建议网络和感兴趣区域头部-如何响应用户选择的良性图像及其对抗版本。关于这些模块之间的中间特征的渐进变化的可视化有助于用户深入了解对抗性攻击的影响此外，Detec- torDetective显示输入图像的显著性图以相对突出有助于攻击成功的图像区域。DetectorDetective通过提供一个用户友好的交互式工具来检查和理解模型响应，从而补充了针对对象检测的对抗性机器学习研究。DetectorDetective可通过以 下 公 开 演 示 链 接 获 得 ： https ： //poloclub.github.io/detector-detective 。视频演示可在https://youtu.be/5C3Klh87CZI上获得。1. 介绍深度神经网络现在用于许多计算机视觉任务，并且在图像分类[4，9]，对象检测[19，20]和语义分割[8，11]中达到了人类水平的准确性由于其惊人的准确性和在各个领域的适用性，它们形成了一类值得更深入理解的模型模型的准确性和鲁棒性在其广泛部署中发挥着关键作用一些研究表明，深度神经网络易受数字扰动[7，13，16]和物理可实现攻击[3，6，18]的影响。Szegedy等人[16]表明，添加视觉上无法感知但结构化的噪音能够欺骗深度学习系统做出错误的预测。这在自动驾驶汽车未能检测到行人或错误检测到停车标志等情况下可能是灾难性的。由于存在这种漏洞，重要的是能够直观地理解和解释系统达到预测的过程，以便用户信任系统。我们提出了DetectorDetective（图1），这是一个交互式工具，可以帮助用户了解原始良性图像及其恶意攻击版本是如何处理的，因为它从像素集合到对象检测器的不同模块，最后到边界框和分类标签的集合。我们使用投影梯度下降[12]从用户选择的输入图像中生成副图像，以实现这种比较可视化。然后，用户使用该工具以交互方式探索对象检测器内的关键模块以及这些模块的组件，并对原始示例和对抗示例进行并排比较可视化。DetectorDetective还提供了基于Quantients [5]和GradCAM [15]的整体显着性图 GradCAM++ [2]，GradCAM的推广也被发现对于多个检测很好地工作。此外，这两种技术都能够通过显着图的基本健全性检查[1]。DetectorDetective可在以下公开演示链接：https：//poloclub。github.io/detector-detective 。视频演示可在https://youtu.be/5C3Klh87CZI上获得。DetectorDetective• 在对象检测器上对对抗性示例进行视觉解释DetectorDetective帮助用户解释图1.DetectorDetective界面。（A）图像查看器允许用户选择输入图像，并将所选图像与其受攻击版本一起呈现。（B）用户可以在模块查看器中的对象检测器中选择要调查的内部模块模块查看器突出显示体系结构图中的选定模块（C）内部查看器可视化所选模块为良性和对抗性图像提取的特征图，从而能够并排比较模块如何对良性和对抗性图像做出不同的(D)解释查看器提供了良性和敌对图像的哪些部分用于生成模型结果的可视化解释通过（1）可视化由模型的内部模块提取的特征，（2）用显著图（即，对预测贡献最大的图像区域），以及（3）使得能够在良性和敌对情况之间对这种特征可视化和预测解释进行并排的视觉比较• 开放源代码、基于网络的实施。Detec-torDetective在现代浏览器中运行，并且是开源的1，有助于支持可重复的研究，并扩大公众• 使 用 场 景。 我 们提 供了 三个 使用 场景 来展 示DetectorDetective如何帮助人们了解对抗性示例对1https://github.com/poloclub/detector-detective对象检测器，诸如对象检测器为什么从对抗图像的背景中不正确地检测到多个对象。2. 系统设计与实现在本节中，我们描述DetectorDetective的界面设计和实现（图1）. 图像查看器（图1A）显示用户选择的图像及其受到恶意攻击的图像。模块查看器（图- ure1B）允许用户选择目标检测器中的模块进行聚焦。内部查看器（图1C）显示所选模块的关键特性表示的可视化。最后，解释查看器（图1D）使用GradCAM和显着性图解释整体预测我们选择了Faster R-CNN [14]，这是一种广泛使用的对象检测器。2.1. 图像查看器：输入选择和攻击Image Viewer（图2）允许用户选择一个图像，并显示其受到恶意攻击的图像。下拉图2.图像查看器允许人们选择一个图像进行调查，它显示了选定的图像及其攻击版本。菜单提供了本演示中COCO验证数据集2017[10]在Detectron 2模型[17]上被投影梯度下降攻击[12]干扰的所选图像及其对抗图像显示在此查看器中。2.2. 模块和内部查看器：模型内部模块查看器（图1B）允许用户选择对象检测器中的内部模块进行调查，内部查看器（图1C）可显示所选模块的内部功能。在模块查看器的顶部，用户可以通过单击单选按钮选择一个模块然后，模块查看器通过可视化整体模型架构并突出显示所选模块，帮助用户确保他们是否选择了正确的模块。Faster R-CNN中有三个模块：Backbone，Region Proposal Net（RPN）和Region of Interest（ROI），图像依次通过这些模块（图5）。接下来，我们解释三个模块：主干（第2.2.1节）、RPN（第2.2.2节）和RoI（第2.2.3节）。2.2.1特征金字塔网络当用户选择模块查看器中的第一个单选按钮时（即，‘Backbone’), Internal Viewer visualizes feature图3.模块查看器（顶部）和内部查看器（底部），用于可视化对象检测器特征金字塔网络（FPN）FPN是Faster R-CNN的第一个模块，通过提取多尺度特征来提高其预测所有大小图像的能力。以不同尺度提取的五个特征图是P2-P6，并且更深的分量提取更大尺度的特征（即，具有较高的接受域）。例如，图3显示了P2-P6在不同深度以不同尺度提取良性和恶性图像的特征图，其中较亮的颜色意味着针对相应感受野的特定尺度提取更强的特征在特征提取之后，它们被馈送到另外两个模块区域建议网络（第2.2.2节）和感兴趣区域（第2.2.3节）。2.2.2区域建议网络当用户在Module Viewer（模块查看器）中选择第二个单选按钮时（图1B），Internal Viewer（内部查看器）（图1C）将显示由对象检测器的第二个模块提取的特征图：区域提案网络（RPN）。RPN生成边界框来识别检测到的对象的位置，它内部使用两种特征图：对象图和锚增量图。对象图可视化图像中对象存在的概率。锚点增量包含有关要素相对于锚点的形状和方向的信息。将不同的大小、纵横比应用于特征图以分类前景中的锚。最后选出最多1000个盒子。2.2.3感兴趣当用户在模块查看器（图1B）中选择第三个单选按钮时，内部查看器（图1C）将显示最后一个模块的输出：感兴趣区域（ROI）。RoI最终预测检测到的对象的边界框和标签。RoI计算RPN模块中识别的每个边界框的得分，基于阈值过滤边界框最终预测限制在100个盒子内。2.3. 解释查看器：显示预测框解释查看器（图1D）通过突出显示对模型决策最有影响力的像素（即，显着图）在良性和对抗性图像中，由GradCAM [15]和Gradents [5]产生。例如，图6h显示了对象检测器将其注意力集中在对抗图像的背景天空上，以预测天空中的汽车。(a)图像（b）输出P2(c)输出P3（d）输出P4(e)输出P5（f）输出P6图4.在对象检测器3. 使用场景我们提供了三个使用场景，展示了DetectorDetective如何帮助用户调查和解释对抗性示例对Faster R-CNN模型的3.1. 客体幻觉当模型针对位置和分类损失进行优化时，对象检测器可能会错误识别具有错误分类标签的多个对象。 比如说， 在图6b中，在对抗图像的背景上错误地检测到许多对象，而在良性图像上识别出正确的对象（风筝），如图6a所示使用DetectorDetective，我们调查了这种我们首先使用Explanation Viewer并观察到良性和恶性病例之间的显着性图看起来非常不同，如图6g和图6h所示。良性图像的显著性图（图6g）忠实于图像，因为模型关注风筝存在的区域另一方面，对侧图像的显着性图最后发现了多个错误的物体为了解释这种幻觉检测的内部过程，我们使用模块查看器仔细检查内部特征。在骨干模块的选择上，我们比较了P2分量提取的内部特征，给出了良性和恶性图像。如图6c所示，P2仅很好地识别了良性图像中风筝的特征然而，当给出对抗性图像时，图6d中所示的P2的特征图中的激活部分与良性图像的对象图（图6e）相比，对抗性图像的对象图（图6f）进一步揭示了对抗性3.2. 平移边界框我们研究另一个不正确的对象检测的情况下，对象被正确识别，但边界框坐标被攻击。例如，如图7b所示当检查解释查看器时，DetectorDetective揭示了用于检测火车的对抗图像的最显著区域似乎是散焦的，如图7 h所示;的区域图5.Faster R-CNN的模型架构，由三个模块组成：特征金字塔网络（FPN，也称为骨干，在左边），区域建议网络（RPN，在右上角）和感兴趣区域（RoI，在右下角）。当我们将显著性图与图7g中所示的良性图像的显著性图进行比较时，注意力已经转移要检查内部模块提取的功能，我们可以转到模块查看器。我们看到，早期模块（如P2）的特征图之间没有然后，我们将注意力转移到后面的模块，如P6，并开始看到良性和敌对图像的特征图之间更明显的差异。例如，P6在RPN中提取的锚增量图揭示了原始（图7e）和对抗（7f）病例之间的差异这些特征图中的高度激活部分没有对齐;良性图像的P6锚增量图具有预期的水平激活区域，因为列车在水平轨道上;然而，P6锚增量图中的激活部分似乎是倾斜的，这可能会导致最终的边界框的宽度比良性检测的边界框的宽度小。因此，我们看到导致边界框平移的攻击会影响区域建议网络的部分内容。3.3. 分类不正确我们发现了几个不正确的检测给定的对抗图像，其中对抗检测只攻击标签，而不是边界框。在检查解释查看器时，我们看到良性和敌对图像中的显著像素存在细微但明显的差异，如图所示图8g和图8h。重点是狗和熊之间的共同特征，例如良性和敌对图像上的下半张脸。然而，熊的独特特征被弱化，例如它的眼睛反映在对抗图像的梯度为了检查不同模块提取的特征，我们使用内部查看器并比较FPN和RPN提取的特征图然后我们转向Inspector Viewer在RPN中P6的特征图中，如图8c和图8d所示，我们看到良性图像和受攻击图像的对象非常相似，因为检测到中心的大对象这可能是因为P6通常捕获大型对象的特征。另一方面，当我们检查由RPN模块中的P2组件生成的特征图时，我们发现良性图像和恶性图像之间存在较大差异，如图8e和图8f所示。RPN模块似乎不能很好地检测熊脸的下半部分;与良性特征图相比，熊的鼻子在对抗性特征图中没有高度激活。这一发现与解释查看器揭示的关于对抗图像中熊脸下半部分的不强调的内容非常一致总之，DetectorDetective帮助用户更容易地可视化和理解特征提取器FPN对RPN模块的影响。commodatebox(a) 原件检测（b） 多 对抗性检测-tions(c) P2中的可解释特征(a) 原始检测（b）转换检测(c) （d）P2中的可解释特征(e) P6-锚点三角形图高亮显示正确的位置和方向(f) P6-锚点Delta标测图，突出显示平移位置和拉伸方向（e）P2-物体探测风筝（f）P2-物体探测天空(g)Gradcam聚焦风筝（h）Gradcam突出天空图6.幻觉检测：对象检测器识别在对抗图像中不存在的多个对象。例如，在图6b中，与如图6a所示的在良性图像中正确识别风筝的良性情况相比，在图像的背景上检测到多个对象。在对抗图像中，DetectorDetective揭示了对象检测器中的内部组件（例如，P2）从图像中天空所在的位置提取空特征，与良性情况（图6c、6e、6g）相比，这可能导致多个不正确的4. 结论我们提出了DetectorDetective，这是一个交互式工具，可以帮助用户了解对象检测器的行为，因为对抗图像是通过模型内部处理的。DetectorDetective直观地比较模型中核心组件提取的良性和敌对特征，以揭示敌对攻击的效果。我们的工具是开源的，扩大了解释对抗性攻击的途径，（g）GradCAM突出显示列（h）GradCAM向上移动到ac-图7.平移对象检测：对象检测器正确识别训练对象，但边界框坐标与对抗图像中的对象没有很好地对齐（图7a和7b）。边界框位于对抗图像中的不正确位置的潜在原因是P6中的锚增量图（图7f）检测到的特征不是水平排列的，而火车对象位于水平轨道上。目标探测器我们相信，我们的可视化和比较方法可以帮助人们深入了解如何提高对攻击的防御能力。5. 确认这 项 工 作 得 到 了 美 国 国 防 高 级 研 究 计 划 局（DARPA）的部分支持。使用、复制或披露受政府和表演者之间协议编号HR00112030001中规定的限制这项 工 作 还 得 到 了 Avast 、 Fiddder Labs 、 Bosch 、Facebook 、 Intel 、 NVIDIA 、 Google 、 Symantec 、Amazon的支持(a)（b）误分类检测引用[1] 朱利叶斯·阿德巴约，贾斯汀·吉尔默，迈克尔·穆利，伊恩·古德费尔-洛，莫里茨·哈特和比恩·金。显著性图的健全性检查神经信息处理系统的进展，31，2018。1[2] AdityaChattopadhay ， AnirbanSarkar ， PrantikHowlader ， andVineethNBalasubramanian.Grad-cam++：深度卷积网络的广义梯度视觉解释。2018年IEEE计算机视觉应用冬季会议（WACV），第839-847页，2018年。1[3] Shang-Tse Chen ， Cory Cornelius ， Jason Martin ， andDuen Horng Polo Chau.变形者：对更快的r-cnn对象检测器的鲁棒物理对抗攻击。在数据库中的机器学习和知识发现联合欧洲会议上，第52-68页。Springer，2018. 1[4] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei.Imagenet：一个大规模的分层图像数据库。2009年IEEE计算机视觉和模式识别会议，第248-255页。Ieee，2009年。1[5] Christian Etmann ， Sebastian Lunz ， Peter Maass ，andCarola-BibianeSc h？nlie b. 论广告与广告之间的联系(c)原始图像(e)P2特征提取时突出显示的人脸(g)突出显示原始图像的部分（d）在被钉合的图像(f)P2特征提取(h)突出显示受攻击图像的部分鲁 棒 性 和 显 著 图 可 解 释 性 。 arXiv 预 印 本 arXiv ：1905.04172，2019。1、4[6] Kevin Eykholt、Ivan Evtimov、Earlence Fernandes、BoLi 、 Amir Rahmati 、 Chaowei Xiao 、 Atul Prakash 、Tadayoshi Kohno和Dawn Song。对深度学习视觉分类的强大物理世界攻击。在IEEE计算机视觉和模式识别会议集，第1625-1634页，2018年。1[7] Ian J Goodfellow，Jonathon Shlens，Christian Szegedy.解释 和 利 用 对 抗 性 的 例 子 。 arXiv 预 印 本 arXiv ：1412.6572，2014。1[8] Yanming Guo ， Yu Liu ， Theodoros Georgiou ， andMichael S Lew.使用深度神经网络进行语义分割的综述。国际多媒体信息检索杂志，7（2）：87-93，2018。1[9] 亚历克斯·克里热夫斯基、伊利亚·萨茨克弗和杰弗里·E·辛顿。使用深度卷积神经网络的Im-agenet分类神经信息处理系统的进展，25，2012。1[10] 林宗义、迈克尔·梅尔、塞尔日·贝隆吉、詹姆斯·海斯、皮埃特罗·佩罗纳、德瓦·拉马南、皮奥特·多尔·拉尔和C·L·劳伦斯·齐特尼克。微软coco：上下文中的公用对象。欧洲计算机视觉会议，第740Springer，2014. 3[11] 乔纳森·朗埃文·谢尔哈默和特雷弗·达雷尔用于语义分段的全卷积网络。在IEEE计算机视觉和模式识别会议的论文集，第3431-3440页，2015年。1图8.误分类检测：对象检测器对检测到的对象进行误分类（图8a和8b）。由P2提取的特征图（图8f）和对抗图像的显著性图（图8h）显示，对象检测器可能会错过熊的下半部分面部的特征[12] 罗波，刘雁南，魏凌霄，徐强面向神经网络的不可感知和鲁棒的对抗性示例攻击在AAAI人工智能会议论文集，第32卷，2018年。第1、3条[13] AleksanderMadry 、 Aleksandar Makelov 、 LudwigSchmidt、Dimitris Tsipras和Adrian Vladu。迈向抵抗对抗 性 攻 击 的 深 度 学 习 模 型 。 arXiv 预 印 本 arXiv ：1706.06083，2017。1[14] 任少卿、何开明、罗斯·格尔希克、孙健。更快的r-cnn：利用区域建议网络进行实时目标检测。神经信息处理系统的进展，2015年28日。2[15] Ramprasaath R Selvaraju，Michael Cogswell，AbhishekDas，Ramakrishna Vedantam，Devi Parikh，and DhruvBatra.Grad- cam：通过基于梯度的定位从深度网络获得视觉解释。在IEEE计算机视觉国际会议论文集，第618-626页，2017年。1、4[16] Christian Szegedy、Wojciech Zaremba、Ilya Sutskever、Joan Bruna 、 Dumitru Erhan 、 Ian Goodfellow 和 RobFergus。神经网络的有趣特性。arXiv预印本arXiv：1312.6199，2013。1[17] Yuxin Wu，Alexander Kirillov，Francisco Massa，Wan-Yen Lo，and Ross Girshick.探测器2。https：//github.com/facebookresearch/detectron2，2019. 3[18] Kaidi Xu ， Gaoyuan Zhang ， Sijia Liu ， Quanfu Fan ，Mengshu Sun ， Hongge Chen ， Pin-Yu Chen ， YanzhiWang，and Xue Lin.对抗T恤！躲避现实世界中的人体探测器欧洲计算机视觉会议，第665-681页。Springer，2020年。1[19] 赵仲秋，郑鹏，徐守涛，吴新东。使用深度学习进行物体检测：审查. IEEE Transactions on Neural Networks andLearning Systems，30（11）：3212-3232，2019。1[20] Zhengxia Zou，Zhenwei Shi，Yuhong Guo，and JiepingYe. 20年来的物体检测：一个调查。arXiv预印本arXiv：1905.05055，2019。1