基于先验驱动的不确定性近似的通用对抗扰动方法

2941基于先验驱动不确定性近似的普适对抗扰动洪柳1、季荣荣12 *、李洁1、张宝昌3、高跃4、吴永健5、黄飞跃51厦门大学信息学院人工智能系2鹏程实验室3北京航空航天大学4清华大学5腾讯优图实验室摘要深度学习模型已经显示出它们对通用对抗扰动（UAP）的脆弱性，这种扰动是准不可感知的。与传统的受训练数据影响的有监督的无监督无现有的无监督方法未能利用模型的不确定性来产生鲁棒的扰动。在本文中，我们提出了一种新的无监督的通用对抗扰动方法，称为先验驱动的不确定性近似（PD-UA），通过充分利用模型的不确定性来生成一个强大的UAP。具体而言，部署了Monte Carlo采样方法来激活更多的神经元以增加模型的不确定性，从而获得更好的对抗性扰动。之后，一个纹理偏见先验揭示了统计的不确定性，这有助于提高攻击性能。UAP由具有增强动量优化器的随机梯度下降算法来制作，并且最终使用拉普拉斯金字塔频率模型来维持统计不确定性。实验结果表明，该方法在ImageNet验证集上取得了较好的攻击效果，与现有方法相比，欺骗率有明显提高.1. 介绍深度学习模型[11]的成功已经在各种计算机视觉任务中得到了验证，例如图像分类[14]，实例分割[20]和目标检测[6]。然而，现有的深度模型已经被证明对对抗性示例敏感[2，12，31]，即向输入图像添加扰动通常，给定将输入图像X映射到类标签y的卷积神经网络（CNN）f（X），对抗攻击的目标是找到最佳扰动δ以愚弄f（X），如下所示：其中，φ是控制扰动幅度的正数，φ· φp是p范数。扰动δ是准不可感知的，其被设计为欺骗模型对扰动图像进行错误分类[1]，或者强制输出错误的目标类[13]。已经提出了各种方法，例如模型提取[26]，迁移学习[19]和梯度更新[1]。然而，在许多实际应用中，有效性和效率仍然是一个开放的问题，因为这样的方法不是通用的，并且需要特定且复杂的优化算法来在线制作对抗性扰动。最近，在[21]中引入了通用对抗性扰动（UAP），该扰动采用单个噪声来对抗性地扰动不同图像的相应CNN输出。UAP也可以进行转移攻击，即：交叉模型和交叉数据攻击，适用于白盒和黑盒攻击任务[1，19]。UAP方法有数据依赖型和数据独立型两种，应用广泛。数据相关方法使用如等式（1）中所示1，其中训练数据和模型架构必须事先已知[21]。因此，数据依赖方法的性能对训练样本的数量敏感[15，24]。相反，数据无关的UAP更灵活[23，24]，它只需要模型架构和参数，而不需要知道使用的训练样本通过基于随机高斯初始化最大化卷积神经元的激活，它可以通过直接跟踪给定CNN模型的稳定性来因此，它比依赖数据的UAP受到更多的关注。本质上，UAP利用CNN模型的不确定性来干扰其在输入观测下的输出可靠性。因此，UAP的关键问题在于如何估计这种模型的不确定性，这为我们从一个新的角度研究数据无关的UAP提供了创新。最近的工作[7，18，29]也支持通过铸造获得模型不确定度的估计是可能的f（x+δ）f（x），s. t. <δCNN的dropout技术存在两种主要类型的不确定性*R.冀（rrji@xmu.edu.cn）为通讯作者。模型：认知的不确定性和自主的不确定性2942最大激活损耗梯度拉普拉斯金字塔频率模型采样更新…纹理通过PD-UA生成UAP12341234^1 ^2 第三章第四章^1 ^2 第三章第四章图1. 提出的数据独立UAP的框架。我们采用MC dropout来近似每一层的认知不确定性。引入了不确定性激活损失，其中信息流以紫色线表示通过结合所有的组件，我们采用了一种新的梯度更新方案，以产生一个强大的数据无关的UAP。污[4]。认知不确定性解释了最适合训练数据的模型参数的不确定性，例如ImageNet [3]。直观地说，在我们的例子中，CNN的不确定性可以通过每个卷积层上激活的神经元数量来反映在模型输出期间，激活的可信神经元越多，实现的不确定性越大，从而导致更好的UAP。为此，在我们的UAP学习中引入了虚拟模型不确定性，其目的是激活更多的神经元，以增加每个卷积层的模型不确定性，并使用Monte Carlo Dropout（MC Dropout）[8]。随机不确定性是数据无关但任务相关的不确定性，其是统计不确定性并且表示为对于各种输入数据保持稳定但在不同任务之间变化的量。对于[10]中的分类任务，统计数据表明ImageNet上的预训练模型包含很强的纹理偏差，这促使我们使用纹理图像来揭示Aleatoric不确定性以更好地欺骗CNN因此，我们引入了一个纹理偏置作为信息先验，这是一个约束，在扰动学习过程中的模型任意的不确定性。由于纹理图像包含大量低频信息[33]，我们引入了拉普拉斯金字塔频率模型，有效地提高了攻击性能，具有更快的收敛速度。在本文中，我们结合了认知和自主的不确定性在一个统一的框架，被称为先验驱动的不确定性近似（PD-UA）。图1给出了总体框架，主要在以下三个方面进行了创新1) 为了近似认知不确定性，我们提出了一个虚拟模型不确定性，使我们的PD-UA最大限度地最大化对应于扰动输入的神经元激活，这增加了不确定性，以及提高攻击性能。2) 为了近似随机不确定性，我们是首次引入纹理偏置来初始化UAP，这在公共基准测试中实现了比最先进技术更显著的性能增益。我们得出两个基本而重要的结论：（a）扰动的更好初始化对更深CNN的UAP的生成质量具有显著影响。(b)类似纹理的扰动可以直接欺骗CNN，而无需任何训练过程。3) 我们进一步提出了一个拉普拉斯金字塔频率模型，以提高从低频部分的梯度，其输出被有效地用于更新扰动，通过SGD与动量。4) 我们将所提出的方法与ImageNet数据集上最先进的数据独立UAP进行了比较，其中包括六个着名的CNN模型，包括GoogleNet，VGG（VGG-F，VGG-16 ， VGG-19 ） 和 ResNets （ ResNet- 50 和 ResNet-150）。定量实验表明，我们提出的PD-UA优于国家的最[23]有明显的欺骗性。2. 相关工作Szegedy等人。 [31]首先观察到神经网络（特别是CNN）可以被一种特殊结构的扰动所欺骗，这种扰动对人眼来说是准不可察觉的随后，提出了许多基于梯度的对抗扰动方法，包括但不限于快速梯度符号方法[12]、基于迭代的快速梯度符号方法[16]和动量迭代快速梯度符号方法[5]。注意，作为基本特性，这些方法本质上是数据依赖性和模型依赖性的，并且对抗性示例通常基于复杂的优化来计算，这在现实世界应用中不太实用。最近在[21]中的工作已经证明，被称为通用对抗扰动（UAP）的单一对抗噪声足以从给定CNN模型的数据分布中欺骗大多数图像。需要一些与模型的训练数据具有相似分布的数据样本因此，它能够在没有任何在线优化过程的情况下将这样的UAP添加到输入图像，这在各种现实世界应用中显示出有希望的实用价值[16，17]。然而，性能在很大程度上依赖于训练数据的质量和数量[15，24]，其中欺骗率随着实际中非常昂贵的样本大小而增加。为了处理这些问题，一些方法进一步利用无监督或数据独立学习来制作UAP。致力于数据无关UAP的代表性工作已经在[23]中提到，其基于给定的深度架构最大化卷积神经元的激活以优化UAP。上述方法可以被认为是白盒攻击，其中数据样本和深度2943JJJJJJj jj模型，或它们中的至少一个是预先已知的。另一条研究线主要集中在黑盒跟踪上。为此，现有方法基于进化算法[13]、转移学习[19]或模型提取[26]来学习这种扰动。如前所述[21，25]，UAP具有很强的转移不同模型，数据集和计算机视觉任务的能力因此，UAP在实践中也可以用于黑盒攻击。假设使得CNN的输出不可信。形式上，遵循Eq. 1，设f Wi（δ）是在单次扰动输入δ下具有权重参数Wi的第i个卷积层的输出。 我们将激活中子的概率Δ定义为p（Δ|fWi（δ）），其中p（·）表示p（∆ij）到第i个卷积层的第j个神经元在-受[8]启发，输出的不确定性概率第i层定义如下：p（∆|fWi（δ））= 中国（北京）|wi）p（wi|δ，W）3. 该方法我的 我的Σ=p（i）j|wi）q（wi）， （2）对抗性扰动通过增加模型输出的预测不确定性来愚弄CNN模型为此，我们提出了一个先验驱动的不确定性近似-jj j其中w，j是对应于第j个第i层的神经元，q（wi）= p（wi|δ，Wi）表示J J图1示出了一种用于学习UAP的CNN模型模拟（PD-UA）方法，其充分利用CNN模型的不确定性来学习UAP。首先，当更多的神经元被激活时，CNN模型的Epis-temic不确定性变得更大，这在本领域中被忽视为此，在神经元的输出上引入伯努利分布以近似每层的不确定性，称为虚拟认知不确定性。该过程使用MCdropout方法完成，详见第3.1节。其次，为了更好地近似统计上反映固有噪声分布的随机不确定性这种不确定性显著提高了对更深层CNN（如ResNet）的攻击性能，如详细所述。在扰动δ输入下wj的选择概率，和p（nij|δ，wi）表示第j个神经元被激活的概率。类似于[8]，每个滤波器q（w，i）的后验分布近似如下：q（wi）wi=wi·zj ，s. t. zj<$Bernoulli（αj ），（三）其中zj是满足具有参数αj的伯努利分布的随机变量。利用l2-范数估计了mv的激活度每个神经元，其中更大的程度意味着神经元以更高的概率被激活。当更多的神经元被激活时，不确定性就变得足够大。因此，我们可以直接最大化方程中的使用近似后验来定义第i层处的第j个神经元的不确定性，如下：第3.2节。最后，我们把这两个不确定性在一个统一的框架中，可以通过p（ij）=−logfWi（δ）Σ，S. t. <中国（4）新加坡元。此外，引入拉普拉斯金字塔频率模型对梯度进行归一化处理，从而加快了收敛速度。模型细节和相应的优化在第3.3节中详细说明。3.1. 虚拟认知不确定性为了捕获认知不确定性，我们采用贝叶斯概率理论[8]的模型不确定性近似。传统的贝叶斯CNN [8]主要其中fWi（·）是第i层的第j个神经元的输出值。二进制变量zj= 0表示神经元作为图层的输入，将删除Ekij通过经由蒙特卡罗（MC）丢弃在神经元上添加丢弃分布来近似。与[8]中的处理类似，MC丢弃可以通过在网络中执行T个随机正向传递并对结果进行平均来近似因此，我们将每个神经元的虚拟认知不确定性估计为：通过dropout策略对认知不确定性进行建模，从现有模型中提取信息。 和重量p（∆1ΣTΣ）=−log. fWi（δ）ΣΣ，S. t.ǁδǁ<你好，贝叶斯CNN的参数基于e ij Ttj2Jp（五）基于SGD的优化器，它使模型的输出具有更高的置信度和更低的不确定性。不同的是，我们提出了一个新的模型，从模型的结构激活，而不是从最终的概率输出量化的不确定性的措施我们通过激活尽可能多的卷积神经元来其中zt表示神经元ij通过第t个前馈网络。基于每个神经元的不确定性定义，整个CNN模型的不确定性的损失函数ΣKΣ尽可能多的层，这被称为虚拟的认知联合国。确定性我们的认知不确定性建模不同于Ue（δ）=我p e（∆ij），s. t. <中国（6.2944）J[7]两个方面：1）我们的目标是在固定扰动下增加模型的不确定性。（2）数据独立其中K是给定CNN模型下卷积层的数量。2945LPFMikTop1：蜂巢（100%）Top1：蜗牛（99.9%）Top1：摄像头（65.2%）低通滤波器低通滤波器低通滤波器（a）纹理先验（b）原始示例（c）对抗示例（d）LPFM的架构（e）分析。图2. 子图（a）是使VGG-16以100%置信度输出标签“蜂窝”的特定纹理图像子图（b）是原始图像，VGG-16可以高置信度地将其预测到正确的标签。子图（c）是在子图（a）中添加基于纹理的扰动的对抗性示例，其输出错误的标签“反射相机”65。2%置信度。子图（d）示出了拉普拉斯金字塔频率模型（LPFM）的架构，并且子图（d）给出了所提出的方法的分析。在子图（d）中，线性调频包括四个部分：空间金字塔结构、低通滤波器、重新缩放过程和平均值计算。在给定扰动输入的情况下，LPFM首先构造n层空间金字塔模型.然后，我们使用低通滤波器来减少高频信息。最后，重新标度和平均过程被用来产生我们需要的最终扰动。在子图（e）中，黑点x是可以正确分类的原始样本，绿点x+δ是具有最佳分类的对抗样本。方向δ1（绿线）。在迭代过程中，θδ2和θδ3是近似方向。 当考虑与红点相似的点时，梯度将被拉回语义空间。3.2. 具有纹理偏移的随机不确定性纹理细节的再现如下：在上一节中，我们抓住了认知的不确定性--L=E[G（δ）−G（δ）]，GΣ（δ）=F1（δ）F1（δ），对模型参数的污染，以近似概率aijp（p）的能力|fWi（δ））。为了抓住神怪-IJ0ijkikJK（七）然而，我们需要调整扰动δ的分布，并在扰动学习期间利用这种先验作为正则化器。随机不确定性反映了观测噪声对模型输出的影响，不同形式的扰动具有不同的攻击性能。关键问题转向如何初始化和利用这样的扰动在UAP学习。所有现有的UAP方法都使用简单的随机高斯分布或均匀分布来初始化对抗性噪声δ[10]中的最近观察表明，在ImageNet上预训练的CNN因此，我们认为，纹理风格的偏见可以帮助最大限度地激活每一层的纹理基元，这可以进一步增加模型的不确定性，其中，G是从以下各项中提取的特征的格拉姆矩阵：对于预训练的分类网络的某些层，Fl是层l中位置k处的第i个滤波器的激活，并且δ0是在训练期间固定的纹理风格图像，如图2（a）所示我们使用VGG-16（relu32）的一个层来定义我们的风格损失。3.3. 优化我们建议在我们的扰动学习中捕获认知不确定性和自主不确定性。为此，我们改变了风格损失与纹理偏见方程。7导致虚拟认知不确定性作为正则化子，并且我们有：L（δ）=U（δ）+ρ×L（δ），（8）简单输入噪声观测。偏差可以是更好的初始a试图改进现有的UAP攻击算法，然而，这是在文献中未开发的。为了验证上述假设，我们建议使用纹理图像作为特殊的UAP来攻击在ImageNet [3]上预训练的VGG-16 [28]通过添加纹理偏差，ImageNet验证集的欺骗率达到49%，如图2（a）所示，其表现与最先进的GD-UAP一样好[23]。我们用纹理图像代替UAP的初始化，并使用与GD-UAP类似的学习方法。愚弄率以数据独立的方式比GD-UAP显著提高了18%可以得出结论，一个简单的纹理扰动先验可以帮助改善现有的数据无关的方法。另一方面，在初始化之后，另一个关键问题是如何在扰动学习期间利用此纹理样式信息。受纹理合成[9]的启发，我们使用了风格损失，特别是鼓励其中ρ是控制随机不确定性权重的权衡参数。Eq.的梯度8可以容易地计算，因为所有函数都是凸的和光滑的。梯度下降算法用于在第i次迭代时更新扰动，如下：δi=δi−1−λ*L（δ），（9）其中λ是学习率。L（δ）是方程的梯度。8，这可以很容易地通过亚当优化器实现利用随机不确定性，UAP被设计为学习低频信息，其类似于纹理样模式[33]。与低频部分相比，高频部分的梯度幅度趋于相对大。因此，我们考虑使用拉普拉斯金字塔频率模型（LPFM）来增加UAP的低频部分LPFM第一结构+X重缩放是说2946算法1先验驱动的不确定性近似输入：参数学习率λ，辍学概率p。输出：通用扰动向量δ。一曰： 用纹理图像初始化δ2：重复3： 计算第i个卷积层处的fWi（δ）4： 经由MC丢弃近似zj=05：计算等式8个;6：通过等式更新扰动向量10当量12个。第七章： 直到最大迭代或收敛。8：输出通用扰动δ。输入梯度的n级拉普拉斯空间金字塔，然后用给定的低通滤波器输出每一级中的梯度。该框架如图2（d）所示最后，我们在所有尺度上的梯度求和，以获得最终的梯度与白化过程。具有增强动量的最终更新方案重写如下：gi=µ·gi−1+N（L（δi）），（10）δi=δi−1+λ·gi，（11）偏差问题从我们在第4节的大量实验中，所提出的方法可以显着提高攻击性能，具有更快的收敛速度。4. 实验数据集。我们评估了提出的PD-UA方法来欺骗一系列在 ImageNet [3] 上 预 训 练 的 CNN ， 包 括 GoogleNet[30]，VGG-F [28]，VGG-16 [28]，VGG-19 [28]，[14]第150话，我们使用ImageNet验证集[27]来评估攻击性能。评估指标。为了定量测量精心制作的UAP的攻击性能，我们主要考虑广泛使用的愚弄率（FR）表示通过添加UAP而使其预测标签变得不正确的图像的比率比较方法。的提出将PD-UA方法与最先进的数据独立UAP进行比较：GD-UAP [23].我们还增加了在方程的任意不确定性损失。7在GD-UAP上，导致GD-UAP+P。为了公平计算，我们提出的方法没有任意的不确定性，命名为UA1，其考虑了当在等式中ρ=0时的虚拟认知8. 我们还报道了δi= min.Σmax（−，δi），，（12）性能通过直接使用纹理偏差扰动，也就是说，图2（a）中的纹理图像，命名为PP。模拟其中N（·）是LPFM的计算，gi是动量在第i次迭代时，λ是学习率。由方程式12、我们首先最大化每个梯度值和约束-之间的像素值，然后将输出值与进行比较，进一步将输出约束为小于。我们在算法1中总结了所提出的PD-UA方法的总体过程。3.4. 分析最近的现有技术[32，34]已经表明，当激活每一层的所有神经元时，具有类似概念的神经元被重复激活，这导致信息冗余。一般而言，对抗学习算法的目标是寻找将当前输入从现有类空间中推出的方向，通常采用迭代的方式实现。如图2（e）中所示的红色和或- ange线，如果当前梯度在计算上依赖于冗余神经元，则梯度的值将减小，即使在相反的方向上也是如此。这种信息偏差使得空间搜索更加复杂和耗时。此外，由于缺乏扰动先验，显式语义方向更难计算。利用所提出的纹理先验，均匀扰动的方向更合理，这导致了一系列重复的图案，如图3（a）所示为了处理这个问题，Eq.6近似CNN模式不确定性，其可以自适应地丢弃每层的神经元，这有效地解决了信息与GD-UAP [23]类似，我们还比较了使用伪数据先验2时的方法，该方法通过随机高斯样本近似真实实施详情。对于所有比较方法，我们遵循[23]中相同的参数设置，并重现所有基线的实验。我们的PD-UA方法是基于Tensorflow实现的。对于LPFM，我们构建一个3级空间金字塔，并将二项式滤波器设置为[1，4，6，4，1]，即低通滤波器，两者都可以导致最佳攻击性能。将最大扰动阈值设置为10，像素值在[0，255]中。学习率λ和衰减因子μ被设置为0。05和0。8，分别。并且MC丢弃的概率被设置为0。1，且ρ=1e−3。4.1. 攻击的定量结果我们将我们的PD-UA与ImageNet验证集[3]上最近的数据独立UAP进行比较。表1、表2和表3中报告了不同方法3. 我们观察到，PD-UA始终实现优异的性能，无论是否使用先验（伪数据先验和纹理偏置）。表1示出了通过从CNN模型直接学习UAP而我们首先报道1注意，UA方法使用随机高斯分布先验进行UAP初始化，这是非纹理先验。2伪数据先验是模拟图像的数值分布，从动态高斯分布中采样。2947方法VGG-FGoogLeNetVGG-16VGG-19ResNet-50ResNet-150GD-UAP85.9651.6145.4740.6835.5928.87PP46.4040.6643.6943.5622.9624.12UA87.7561.4148.4641.6638.8732.87GD-UAP+P86.5358.3751.6346.8363.7150.35PD-UA90.1067.1253.0948.9565.8453.51表1.所提出的方法和其他数据独立的UAP的评估结果（FR%）所有的扰动都是从具有扰动先验的相应CNN模型。方法VGG-16VGG-19ResNet-50愤怒-150UAP77.8280.8081.3984.10GD-UAP63.0852.6753.1739.56GD-UAP+P64.9552.4956.7044.23UA65.7161.5259.7039.77PD-UA70.6964.9863.5046.39表2.GD-UAP和PD-UA扰动的愚弄率结果事先用伪数据学习直接使用纹理图像作为UAP的PP速率，其考虑了任意的不确定性。我们可以观察到PP已经实现了与GD-UAP相当的攻击性能，特别是对于深度CNN模型，如ResNet-150。此外，我们评估了GD-UAP的攻击性能，增加了随机不确定性，并且在四个更深的CNN模型（VGG-16，VGG-19，ResNet-50和ResNet- 150）上性能的改善是显着的。然后，我们进一步比较UA和GD-UAP，其中UA侧重于认知不确定性。结果示于表1中。 平均值为7。与GD-UAP相比，愚弄率提高了68%，这验证了认知不确定性的有效性。然后，通过组合这两个不确定性，攻击性能是最好的，这仍然实现了4的平均改进。百分之十三十四99%，2. 83%，4.53%，3. 34%，3. 与GD-UAP +P相比，在六个CNN模型（VGG-F，GoolgeNet，VGG-16，VGG-19，Resent-50和Resent-150）上分别为80%按照[23]中的方法，我们在制作通用扰动之前添加伪数据，并在表2中报告结果。所提出的方法PD-UA仍然实现了最佳性能与这样的数据之前。注意，ResNet的PD-UA实现了与数据依赖性UAP类似的欺骗率，这表明伪数据先验和纹理偏差（随机不确定性）对于以数据独立的方式制作UAP都是有用此外，我们在表3中报告了不同CNN之间的黑盒攻击性能，其中UAP在一个CNN模型上训练，然后在其他模型上进行评估。PD-UA实现了比之前的GD-UAP更好的黑盒攻击性能[23]。在视觉上，通过使用相同的扰动偏差，来自不同方法的最终通用扰动看起来彼此相似，如图3和图4所示。结论是，PD-UA确实有助于设计鲁棒的通用扰动，这改善了两者(a) GD-UAP+ P。普遍获得。PD-UA。图3.VGG-F的可视化（最好是彩色的）。白盒攻击和黑盒攻击性能。4.2. 论任意不确定性我们分析了使用纹理偏置的影响，这会影响输出的任意不确定性。我们观察到，这种改善对于更深的CNN 是 显 著 的 （ 其 中 大 多 数 实 现 了 至 少 15% 的 改善）。 [24]中的工作表明，使用预训练的扰动3进行初始化可以提高攻击性能，这与我们的方法相比表现良好，特别是对于更深的CNN。它进一步证明了更好的纹理偏置是有用的。由于纹理信息的不规则性，来自预先训练的CNN的先验不是合成扰动先验的好选择，如表4所示。除了预先训练的先验之外，我们进一步比较其他两个先验，即，梯度先验和纹理偏置。结果表明，纹理偏差仍然优于这两种不同的先验。我们评估的攻击性能，直接使用，ING事先扰动没有训练，这是我们的基线（称为PP）选择。我们在图2（a）中使用扰动示例，其中图像通过束采样算法随机合成。 更有趣的是，直接使用这种先验扰动可以在更深的CNN上实现类似的欺骗率，即，与GD-UAP相比，VGG和ResNet。为了解释，在较深网络的浅层和中层中存在强的纹理信息，而对于较小的CNN模型则不是这样，即，VGG-F和GoogleNet。因此，对于浅CNN 模型 ，UA的攻 击性 能优 于 GD-UAP+P， 即，VGG-F和GoogleNet。我们通过相应扰动的可视化来分析这些现象，如图3和图4所示。我们观察到，从UA制作的微扰具有类似的纹理模式，3这个预先训练的扰动是用VGG-F的扰动计算的2948VGG-16VGG-19ResNet-50ResNet-150VGG-FGoogLeNetPD-UA53.0949.3033.6130.3148.9839.05VGG-16GD-UAP+PUA51.6348.4644.0741.9732.2329.0928.7824.9044.3847.6336.7935.52GD-UAP45.4738.2027.7023.8044.3034.13表3.数据独立情况下GD-UAP和PD-UA扰动的愚弄率，基于ImageNet进行评估验证集每行表示在一个CNN上学习的扰动攻击其他CNN的欺骗率当源模型和目标模型相同时进行白盒由于篇幅所限，本文仅报道VGG-16的攻击结果。(a) GD-UAP。普遍获得。（c）普遍获得援助和公共民主。（d）先前。PD-UA。（f）具有PDR的PD-UA。图4.为VGG16精心制作的UAP可视化 （最好是彩色的）。实际上，圆形纹理总体上实现了它们之中最好的性能，特别是每行中有七个圆形。我们合成的纹理图像与一个小的图像补丁是随机裁剪的图3表4. 纹理偏置的不同初始化。表示扰动先验是从小CNN合成的，例如VGG-F。 “Tex- ture”is a texture prior as shown in FigureFR：49.9% FR：45.8% FR：49.9% FR：54.4%FR：62.1% FR：64.9%FR：65.8%FR：55.6%图5.通过不同的几何结构，不同的纹理合成方法的结果。我们主要报告基于圆形、直线、正方形、三角形和菱形的结果。所有结果均在ResNet-50模型上以无数据方式进行评估。愚弄率结果在相应的图像下报告。术语为GD-UAP+P和PD-UA，例如圆形纹理图案。此外，当使用扰动先验时，扰动中包含一些一般信息，如也就是说;对于较小的CNN，从梯度反馈到扰动存在特定的语义基础;相反，在更深的CNN模型中存在更多的文本基础。此外，我们还比较了8种不同扰动先验的影响，例如圆形、直线、正方形、三角形和菱形，其结果如图5所示。数量-（b）.基于新的扰动先验，性能为65。67%，这与每行七个圆圈的比例相似。之所以选择这种基本的几何图案，是因为我们想探索简单和重复的纹理线索对攻击性能的影响此外，这些结果可以帮助我们选择相应的纹理补丁有效地，可以实现可比的攻击性能。4.3. 论认识的不确定性本小节重点讨论虚拟认知不确定性的影响，其分析是通过改变一个值而固定其他值来完成的图6（a）进一步示出了等式（1）中的采样概率的影响在VGG-16上随机初始化5例MC脱落。我们还报告的结果，经常辍学（RD）和原来的优化没有辍学（W/O）。然而，常规丢弃和无丢弃的性能与MC丢弃的性能相当，而两者的差距在一定程度上影响最终性能。 然而，更高的概率会使采样空间变大，这就需要更大的计算量，而且耗时更多。我们进一步评估的攻击性能对TMC采样方程。五、图6（b）中所示的结果基于ResNet50模型。我们观察到，性能随着sam的数量而增加-但当T≥10时，变化不大。因此，我们设置p=0。1和T=10的情况下，可以获得均衡的性能和良好的近似认识的不确定性。我们描述了λ和μ之间的参数分析，GoogLeNetVGG-16VGG-19ResNet-50预训练60.5850.3448.6459.33梯度63.5851.8348.3263.33纹理65.2351.1848.8864.592949(a) 采样率α。（b）采样时间T。(c) λ和μ。（d）ρ。图6.认知不确定性的参数分析。（最佳查看颜色。）这对于优化是重要的。我们在没有扰动的情况下对ResNet50进行了进一步的评估，图6（c）中的结果表明，具有更大的动量和学习率可以实现更好的性能。因此，我们将学习率设置为0。05，动量系数为0。8.此外，为了评估损失函数方程中两个8，我们通过调整GoogleNet上的参数ρ来评估如图6（d）所示，我们观察到，当经验设置ρ=1e−3时，可以达到最佳精度，这在所有CNN模型中都是一致的。4.4. 消融研究在本小节中，我们首先将模型的收敛性与基线（GD-UAP）进行比较。为了进行公平的比较，两种扰动都是从ResNet-50训练的，具有随机初始化和相同的优化算法。如图7（a）所示，这两个方案可以在6000次迭代后收敛。但是，所提出的方法收敛速度快2倍，在从另一个数据集（如PASCAL VOC）选择的验证集上获得更好的结果。除了方程中的损失函数。8，我们也使用类似的方案来评估所提出的优化算法，如图7（b）所示。与经典的Adam优化算法相比，提出的增强动量LPFM总之，所提出的PD-UA不仅具有更好的攻击性能，而且在2000次迭代后收敛速度很快。此外，我们还评估了不同设置的LPFM优化的影响如表5所示，我们首先使用不同的滤波器来评估是否需要保留低频信号。在表5中，低通滤波器获得了最好的性能，而高通滤波器(a)损失函数分析（二）优化分析。图7.参数分析(Best查看颜色。）LPBPHP1级2级L2L1V53.0952.7849.6650.1551.4226.3121.11R65.8463.7749.5362.2864.1727.8028.11表5. LPFM的图解。扰动在VGG-16（V）和ResNet-50（R）上进行训练。 我们评估了三种不同的过滤器，即。、低通滤波器（Lp）、带通滤波器（Bp）和高通滤波器（Hp）。我们显示了金字塔模型中不同层次的结果同时，我们用两种常用的归一化方法，如 l2-norm（l2）和 l1-norm（l1）来代替LPFM。而带通滤波器更差4.我们认为，完全集中在高频信号上并不是一个好的选择，而低频信号对于产生UAP相对重要。如图3（b）和（c）所示，LPFM加上低通滤波器使得扰动包含低频纹理信息。分析了金字塔层数的影响，结果表明金字塔层数的设置对最终结果影响不大，而采用2-3层的金字塔层数可以达到满意的效果。5. 结论本文提出了一种新的通用摄动方法，主要考虑模型的不确定性，以制定一个鲁棒的通用摄动。首先，我们通过MC dropout技术最大化激活的卷积神经元来近似模型的不确定性，这可以更有效地学习扰动。然后，利用基于纹理的图像作为扰动来逼近随机不确定性，可以显著提高攻击性能。基于一种新的迭代更新方案，我们合成了一种更鲁棒的单扰动。大量的实验证明，该方法可以更好地攻击前沿的CNN模型。在未来的工作中，我们将研究其他新的先验选择，以进一步提高我们的性能。鸣谢。本工作得到国家重点研发计划（No.2017YFC0113000和No.2016YFB1001503）的支持，国 家 自 然 科 学 基 金 项 目 （ No.U1705262 、 No.61772443 、No.61572410）、国家语委科研项目（No.YB135-49）、福建省自然科学基金项目（No.2017J01125、No.2018J01106）。4我们用带通滤波器（[0，1，0，1，0]）以及高通滤波器（[4，1，0，1，4]）。2950引用[1] Naveed Akhtar和Ajmal S Mian。对抗性攻击对计算机视觉中深度学习的威胁-调查。IEEE Access杂志，2018年。1[2] 尼古拉斯·卡利尼和大卫·瓦格纳。神经网络的鲁棒性评估在S P的程序，2017年。1[3] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Li Fei-Fei. Imagenet：一个大规模的分层图像数据库。在CVPR的过程中，2009年。二、四、五[4] Armen Der Kiureghian和Ove Ditlevsen。偶然的还是冲动的？有关系吗？结构安全杂志，2009年。2[5] 董银鹏，廖方舟，庞天宇，苏航，胡晓林，李建国，朱军.用动量推进对抗性在CVPR的诉讼，2018年。2[6] Deng-Ping Fan，Wenguan Wang，Ming-Ming Cheng，and Jianbing Shen.将更多的注意力转移到视频显著对象检测上。在CVPR的诉讼，2019年。1[7] 亚林·加尔深度学习的不确定性博士论文，剑桥大学，2016年。第1、3条[8] 亚林·加尔和祖宾·加赫拉马尼。Dropout作为贝叶斯近似-表示深度学习中的模型不确定性。在ICML会议记录，2016年。二、三[9] Leon A Gatys，Alexander S Ecker，and Matthias Bethge.基于卷积神经网络的纹理合成在NeurIPS的程序，2015年。4[10] Robert Geirhos，Patricia Rubisch，Claudio Michaelis，Matthias Bethge ， Felix A Wichmann ， and WielandBrendel. ImageNet训练的CNN偏向于纹理：增加形状偏移可提高精度和鲁棒性。在ICLR会议记录中，2019年。二、四[11] Ian Goodfellow Yoshua Bengio和Aaron Courville深度学习MIT Press Cambridge，2016. 1[12] Ian J Goodfellow，Jonathon Shlens，Christian Szegedy.解释和利用对抗性示例。在ICLR的Pro-ceedings，2015年。一、二[13] Tamir Hazan，George Papandreou，and Daniel Tarlow，editor. 扰动、优化和统计。麻省理工学院出版社，2016.第1、3条[14] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习在2016年CVPR的进展中一、五[15] 瓦伦丁·克鲁科夫和伊万·V·奥塞莱代茨。奇异向量的艺术和普遍对抗扰动。在2018年CVPR的程序中。一、二[16] Alexey Kurakin，Ian Goodfellow，and Samy Bengio.物理世界中的对抗性例子。在ICLR会议记录中，2017年。2[17] Jie Li，Rongrong Ji，Hong Liu，Xiaopeng Hong，YueGao，and Qi Tian.图像检索的通用扰动攻击。在ICCV的会议记录，2019年。2[18] Yingzhen Li和Yarin Gal.贝叶斯神经网络中具有α发散的丢弃推理。在ICML会议记录中，2017年。1[19] Yanpei Liu，Xinyun Chen，Chang Liu，and Dawn Song.可转移对抗性实例与黑盒攻击的研究.在ICLR会议记录，2017年。第1、3条[20] 乔纳森·朗埃文·谢尔哈默和特雷弗·达雷尔用于语义分割的全卷积网络在2015年CVPR的程序中1[21] Seyed-Mohsen Moosavi-Dezfooli ， Alhussein Fawzi ，Omar Fawzi，and Pascal Frossard.普遍对抗性扰动。在CVPR的诉讼，2017年。一、二、三、五[22] Seyed-Mohsen Moosavi-Dezfoooli ， Alhussein Fawzi ，and Pascal Frossard.DeepFool-一种简单而准确的欺骗深度神经网络的方法在CVPR的程序，2016年。2[23] Konda Reddy Mopuri，Aditya Ganeshan，and VenkateshBabu Radhakrishnan.用于制作通用对抗性扰动的可推广的无数据目标。IEEE TPAMI杂志，2018年。一二四五六[24] Konda Reddy Mopuri 、 Utsav Garg 和 Venkatesh BabuRadhakrishnan。快速特征欺骗--一种数据独立的通用对抗扰动方法。在BMVC会议记录中，2017年。一、二、六[25] Konda Reddy Mopuri，Utkarsh Ojha，Utsav Garg，andR Venkatesh Babu. NAG -用 于敌 手生 成的 网络 。在CVPR的诉讼，2018年。3[26] Nicolas Papernot、Patrick McDaniel、Ian Go