43216084ComDefend：一种有效的对抗性样本的图像压缩模型贾晓军1，2，魏星星3，曹晓春1，2，Hassan Foroosh41中国科学2网络空间安全研究中心，鹏程实验室，深圳5180553清华大学计算机科学与技术系4中佛罗里达jiaxiaojun@iie.ac.cn，xwei11@mail.tsinghua.edu.cn，caoxiaochun@iie.ac.cn，foroosh@cs.ucf.edu摘要深度神经网络（DNN）已被证明易受对抗性示例的影响。具体来说，在干净的图像中添加难以察觉的扰动可以欺骗训练有素的深度神经网络。 在本文中，我们提出了一个端到端的图像压缩模型来防御对抗性示例 ： ComDefend 该 模 型 由 压 缩 卷 积 神 经 网 络（ComCNN）和重构卷积神经网络（RecCNN）组成。ComCNN用于保持原始图像的结构信息并纯化对抗性扰动。RecCNN用于重建高质量的原始图像。换句话说，ComDefend可以将对抗图像转换为干净的版本，然后将其提供给经过训练的分类器。我们的方法是一个预处理模块，在整个过程中不修改分类器的结构。因此，它可以与其他模型特定的防御模型相结合在MNIST、CIFAR10和ImageNet上进行的一系列实验表明，该方法的性能优于现有的防御方法，能够有效地保护分类器免受对抗性攻击。1. 介绍众所周知，深度学习技术[14]在人工智能（AI）领域占据主导地位，在图像识别[8]、自然语言处理[3]、语音处理[9]等领域迎来了新的发展高潮。然而，Szegedy等人 [19]正式提出了对抗样本的概念，这给神经网络带来了极大的危险具体来说，immunoep-* 通讯作者图1.我们的端到端图像压缩模型的主要思想是防御对抗性示例。对抗图像与原始图像之间的扰动非常微小，但在图像分类模型的高级表示过程中，扰动被放大。我们使用ComCNN去除对抗图像的冗余信息，RecCNN重建干净的图像。通过这种方式，对抗性扰动的影响被抑制。添加到干净图像的可扰动可能导致网络在测试时间期间以高置信度做出不正确的预测，即使当扰动量非常小并且人类观察者察觉不到时。更重要的对抗性样本的存在已经成为深度网络的现实应用中的主要安全问题，例如自动驾驶汽车和身份识别等。近年来，提出了许多对抗实例的方法.这些方法可以大致分为两类。第一类是增强神经网络本身的鲁棒性。对抗性训练[20]是其中的一种典型方法，它将对抗性示例注入训练数据以重新训练网络。标签平滑[22]，将一个热门标签转换为软目标，也属于这一类。第二对抗图像整齐的图像分类模型标签：dogComCNN12位映射RecCNN干净图像整齐的图像分类模型标签：Panda（Correct）43216085N...N.........8位映射ComCNN........................3位映射Sigmoid层NN高斯噪声NN3位映射输入转换转换+Elu下转换+Elu上转换+Elu输出转换图2. ComDefend的概述。ComCNN用于保留原始图像的主要结构信息。RGB三通道的原始24位映射被压缩成12位映射（每个通道被分配4位）。RecCNN负责重建干净版本的原始图像。在压缩后的紧致表示上加入高斯噪声，提高了重构质量，进一步增强了防御能力。一个表示各种预处理方法。例如，在[18]中，Song等人提出了PixelDefend，它可以在将对抗图像输入分类器之前将其转换为干净的图像。类似地，[15]将不可感知的扰动视为噪声，并设计了一种高级表示引导去噪器（HGD）来去除这些噪声。HGD在NIPS 2017对抗性视觉挑战赛中获得第一名[13]。一般来说，后者更有效，因为它们然而，HGD在训练去噪器时仍然需要大量的对抗图像。因此，在很少有目标图像的情况下，很难得到好的HGD. PixelDefend的主要思想是模拟图像空间的分布当空间太大时，仿真结果会很差。图像压缩是一个低层次的图像变换任务。由于图像局部结构中相邻像素之间具有很强的相似性和相关性，图像压缩可以在保留图像优势信息的同时减少图像 中 的 冗 余 信 息 。 基 于 这 一 观 察 ， 我 们 设 计 了ComDefend，它利用图像压缩来去除对抗性扰动或破坏对抗性扰动的结构ComDefend的基本思想如图1所示。ComDefend由两个CNN模块组成。第一个C-NN，称为压缩CNN（ComCNN），用于将输入图像转换为紧凑的表示。在德-在尾部，原始的24位像素被压缩成12位。从输入图像中提取的紧凑表示被期望保留原始图像的足够信息。第二种CNN称为重建CNN（Rec- CNN），用于高质量地重建原始图像。ComCNN和RecCNN最终被组合成一个统一的端到端框架，以学习它们的权重-s. 图2给出了ComDefend的说明。注意到ComDefend是在干净的图像上训练的。通过这种方式，网络将学习干净图像的分布，从而可以从对抗图像重建干净版本 的 图 像 。 与 HGD 和 PixelDe- fend 算 法 相 比 ，ComDefend算法在训练阶段不需要对抗性样本，从而降低了计算量。另外，ComDefend不是对整幅图像进行，而是对一幅图像逐个块进行ComDefend，提高了处理效率。代码发布于https://github.com/jiaxiaojunQAQ/Comdefend.git。综上所述，本文有以下贡献：1) 我们提出了ComDefend，这是一种端到端的图像压缩模型，用于防御对抗性示例。ComCNN提取原始图像的结构信息，并去除不可感知的扰动。RecCNN以高质量重建输入图像。在整个过程中，部署的模型没有修改。2) 我们设计了一个统一的学习算法来模拟-重建图像............NN8位映射RecCNN原始图像43216086新学习ComDefend中两个CNN模块的权重。此外，我们发现在压缩表示中加入高斯噪声可以帮助重建更好的图像，进一步提高防御性能。3) 我们的方法大大提高了整个系统的弹性，多种强大的攻击方式，击败包括NIPS 2017对抗挑战赛冠军在内的最先进的防御模式。本文的其余部分组织如下。第二节简要回顾了相关工作。第3节介绍了拟议的ComDefend的细节。第四节给出了一系列的实验结果。最后，第五节给出了结论。2. 相关工作我们从两个方面研究了相关的工作：生成对抗性样本的攻击方法和抵抗对抗性样本的防御方法。2.1. 攻击方法在[6]中，Goodfellowet al.提出了快速梯度符号法（FGSM）。通过在损失梯度的梯度方向上增加增量来产生对抗性示例。在此之后，在[12]中提出了FGSM的改进版本基本迭代方法（BIM）。与FGSM相比，BIM执行多个步骤。这种方法在[16]中也称为投影梯度下降（PGD）。为了处理FGSM中的参数选择，在[17]中，Moosavi-Dezfooli等人。建议使用分类器和几何公式的迭代线性化来生成对抗性示例。在[1]中，Carlini-Wagneret al. 设计一个有效的优化目标（CW），以找到最小的扰动。C W可以可靠地产生被人类受试者正确分类但被良好训练的分类器错误分类在特定目标中的样本。2.2. 防御手段在[20]中，对抗训练将不同攻击方法生成的对抗图像添加到训练图像数据集中。训练图像数据集的增长使得图像分类模型更容易模拟整个图像空间的分布。在文献[21]中，Warde-Farley和Goodfellow提出了用软目标代替单热标签的标签平滑方法首先用独热标签训练图像在[25]中，Xuet al.提出了利用特征压缩方法，包括每个像素的颜色位深度和空间S-平滑来实现对抗性样本的防御PiexlDe-fend在[18]中提出PiexlDefend的基本思想是在将输入图像输入到图像分类器之前对其进行净化。在[15]中，作者提出了一个高层次的代表性，引导去噪（HGD）方法来防御对抗性示例。该模型在训练数据集上进行训练，其中包括210k个干净和对抗图像。3. 端到端图像压缩模型3.1. ComDefend的基本思想让我们先回顾一下反例的理由.对抗样本是通过对干净图像添加一些不可感知的扰动来生成的。增加的扰动太小，人类无法察觉-S.然而，当对抗性样本被馈送到深度学习网络时，不可感知的扰动的影响随着网络的深度而迅速增加因此，精心设计的扰动将欺骗强大的CNN。更具体地说，从以往的相关研究中，我们可以把不可感知的扰动视为具有特定结构的噪声。Kurakin等人在[12]中，考虑到这种可以欺骗强大CNN的噪声存在于现实世界中换言之，扰动不影响原始图像的结构信息。这些不可感知的扰动可以看作是图像的冗余信息。从这个角度出发，我们可以利用图像压缩模型中图像冗余信息的特点来对抗样本。为了消除不可感知的扰动或打破不可感知的扰动的特定结构，我们提出了一种端到端的图像压缩模型，它不仅压缩输入图像，而且将输入图像转换为干净的图像。如图2所示在压缩过程中，ComCNN提取图像的结构信息并去除图像的冗余信息。在重建过程中，RecCNN在没有对抗性扰动的情况下重建输入图像。特别是，ComCNN将24位像素图像压缩为12位。也就是说，12位像素图像去除了原始图像的冗余信息，保留了原始图像的主要信息因此RecCNN使用12位像素图像来重建原始图像。在整个过程中，我们希望从原始图像和对抗样本中提取的12位像素图像尽可能相同。因此，我们可以将对抗性示例转换为干净的图像。3.2. ComCNN的结构ComCNN由9个权值层组成，可以将输入图像压缩为12位像素图像。也就是说，保留输入图像的主要结构信息，并且去除包括输入图像的不可感知的扰动43216087（一）（1）10000步（2）30000步（3）50000步（b）第（1）款（1）10000步（2）30000步（3）50000步（c）第（1）款（1）10000步（2）30000步（3）50000步图3.比较结果是ComDefend是否添加高斯噪声。在每个子图中，顶部图像是原始图像，中间图像是压缩的12位映射，底部图像是重建图像。(a)ComDefend通过未二值化的12位映射重建图像。(b)在没有高斯噪声的情况下，ComDefend通过二值化的12位映射重建图像。(c)对于高斯噪声，ComDefend通过二值化后的12位映射进行图像重构。我们看到了重建的质量，(c)与（a）中的相同。这意味着未二值化地图的增量信息实际上是噪声。因此，当高斯噪声被添加到二值化的地图，更好的图像被重建。表1. ComCNN层表2. RecCNN层卷积和ELU [2]的组合在ComCNN中使用。如表1所示，ComCNN由两个组件组成，第一个组件用于提取原始图像的特征并生成256个特征图。第1第一组分为3×3×3，3×3×32，3× 3 × 64，3×3 ×64和3×3×128共32层，64层，128层和256层ELU的非线性被用作激活函数第二个用于缩小和增强输入图像的特征。5世纪到第9层，由128个尺寸为3×3×256的过滤器、64个尺寸为3×3×128的过滤器、64个尺寸为3×3×64的过滤器组成，32个3×3×64尺寸的过滤器和3个3×3×32尺寸是第二部分的主要部分。 ComCN-N用于提取原始图像的特征并构造紧致表示。3.3. RecCNN的结构RecCNN由9个权值层组成，用于重建原始图像，而不会产生不可感知的扰动。如表2所示，对于第1层至第9层，32个尺寸为3×3×12的过滤器，64个尺寸为3×3×32，128个过滤器尺寸为3×3×64，256个过滤器尺寸为3×3×128，128个过滤器尺寸为3×3×256，64个过滤器尺寸为3×3×128，64个过滤器尺寸为3×3×64，32个过滤器尺寸为使用3×3×64和3个尺寸为3×3×32的过滤器，并添加ELU。 RecCNN使用了紧凑的表示，然后，将该图像重新发送以重建输出图像。输出图像具有比输入图像更少的扰动。也就是层类型输出通道输入通道滤波器大小第1层Conv+ELU1633× 3第2层Conv+ELU32163× 3第三层Conv+ELU64323× 34层Conv+ELU128643× 3第5层Conv+ELU3561283× 36层Conv+ELU1282563× 3第七层Conv+ELU641283× 3第八层Conv+ELU32643× 3第九层Conv12323× 3层类型输出通道输入通道滤波器大小第1层Conv+ELU32123× 3第2层Conv+ELU64323× 3第三层Conv+ELU128643× 34层Conv+ELU2561283× 3第5层Conv+ELU1282563× 36层Conv+ELU641283× 3第七层Conv+ELU32643× 3第八层Conv+ELU16323× 3第九层Conv3163× 343216088也就是说，输出图像可以破坏扰动的特定结构。通过这种方式，压缩模型可以防御对抗性示例。3.4. 损失函数至于ComCNN，ComCNN的目标是使用更多的0来编码图像信息。因此，ComCNN的损失函数可以定义为：L1 （ θ1 ）=λ<$Com （ θ1 ， x ） <$2 ，（1）其中θ1是ComCNN的可训练参数Com（）表示ComCNN，λ是我们使用大量实验来证明的超级参数。更多详情请参见第4至于RecCNN，RecCNN的目标是以高质量重建原始图像因此，我们使用MSE来定义RecCNN的损失函数：表3. 实验与压缩位压缩位810121416PSNR31.0131.0131.7828.7730.95图像y在0和1之间。注意，S形输出利用灰度信息的不同阴影来表示输入图像，而不是0和1。RecCNN可以通过这些灰度信息重建原始图像。如果对这些灰度信息进行二值化，原始图像的主要结构信息将完全丢失。为了解决这个问题，我们提出了使用噪声攻击。特别地，我们在sigmoid函数之前将随机高斯噪声（高斯噪声的均值为0，高斯噪声的方差为）添加到输出。用0和1编码的信息更容易抵抗噪声攻击。因此，在训练期间，压缩模型学习使用二进制信息来防御1L2（θ2）=2NΣǁRec(θ2, Com(θ1, x)+ϕ)−xǁ2,(2)噪音攻击。如图3所示，我们可以看到，添加随机高斯噪声有助于改善其中Com（）是ComCNN，θ2表示RecCNN的可训练参数，Rec（）表示RecCNN，θ1表示ComCNN的训练参数而λ表示随机高斯噪声。为了使压缩模型更有效，我们设计了一个统一的损失函数来同时更新ComCNN和RecCNN的参数。其定义为：压缩模型的性能另外，压缩位数的选择主要是根据重构的我们在表3中尝试不同的压缩位，发现12位显示出最佳的PSNR重构性能。3.6.网络实现ComCNN和RecCNN的权重是ini-1L（θ1，θ2）=2NΣǁRec(θ2, Com(θ1, x)+ϕ)−xǁ2+ λ<$Com（θ1，x）<$2。（三）用[7]中的方法进行了验证。我们还使用Adam算法[10]，参数设置为α=0。001，β1=0。9，β2=0。999和ε=10−8来提升根据这个损失函数，很明显，Com-CNN和RecCNN都协同工作来抵抗噪声攻击。参数θ1、θ2在模型训练期间同时升级3.5.学习算法为了训练压缩模型，我们为ComCNN和RecCNN都设计了一个可扩展的学习算法。ComDefend的优化目标公式为：压缩模型。在超参数γ和λ在得到确认后，我们使用50个批量大小训练ComCNN和RecCNN用于30个e-pochs学习率从0.01到0.0001呈指数衰减30个epoch。4. 实验结果及分析在本节中，为了评估性能对于所提出的方法，我们进行了几个实验，其中包括：生成对抗性示例，selec-神经网络中的超参数，图像分类，（1）A = 0（ΣǁRec(θ2, Rec(θ1, x)+ ϕ) − xǁ2N+ θCom（θ1，x）θ2），（四）其中x是输入图像。表示随机高斯噪声。θ1和θ2分别是 ComCNN 和 RecCNN 的 参 数 Com （ ） 表 示ComCNN，Rec（）表示RecCNN。在整个过程中，ComCNN对输入进行编码，将图像X放入相同大小的图像Y中，其中每个像素块12是浮动的。然后使用sigmoid函数来限制与所提出的方法比较，与其他防御方法和性能分析。所提出的方法可以显着表现出良好的对抗最先进的对抗性攻击。4.1. 用于培训和测试的数据集为了清楚地验证我们提出的方法，Com-CNN和RecCNN训练基于CIFAR-10数据集的50，000个干净（ 未 扰 动 ） 图 像 [11]。 为 了 进 行 测 试 ， 我 们 使 用CIFAR-10数据集中的10，000张测试图像，Fashion-mnist [23]中的10，000张测试图像，43216089表4.我们建议的方法中参数的选择。n= 1。0= 10。0=20。0=25。0= 30。0= 35。0= 40。0=500平均λ= 0。0168.39%百分之九十点二二86.69%87.52%86.12%85.42%86.22%86.71%84.66%λ= 0。00188.99%89.64%72.23%百分之九十点二三91.09%90.41%百分之九十点五五90.56%87.96%λ= 0。000189.61%90.77%91.82%90.98%89.45%91.24%90.61%百分之九十点三三90.60%λ= 0。0000189.06%91.65%百分之九十点九九91.37%90.74%91.05%90.25%90.65%百分之九十点七二λ= 0。0百分之九十90.39%91.45%91.27%91.01%90.88%88.18%90.10%90.41%平均85.19%90.53%86.63%百分之九十点二七89.88%89.80%89.16%89.67%88.89%imagenet数据集的1000个随机图像[4]。我们还在这三个数据集上训练了ResNet [8]，这是近年来最先进的深度神经网络图像分类器之一。4.2. 对抗样本在文献中，三种常见的距离度量用于生成对抗性示例：L0，L2，L∞。 L0表示干净图像和对抗样本之间的不同像素数。 L2度量干净图像和反面示例之间的标准欧几里德距离. L∞表示对抗示例中不可感知扰动的最大值。 在[22]中，Goodfellow et al. 论证了用L∞构造反例。 而相关的研究文献主要是利用L2和L∞来进行相关的研究。因此，我们利用L2和L∞来实现对抗攻击-S.特别地，我们使用L∞距离度量来实现FSGM、BIM和DeepFool对抗攻击，使用L2距离度量来实现C W对抗攻击。4.3. 超参数神经网络中有两个超参数需要通过大量的实验来确定第一个参数是标准正态分布高斯噪声参数λ，第二个参数是惩罚项参数λ。为了提高该方法的性能，λ和λ的值取决于图像分类的性能。具体地说，图像压缩即使保留了图像的主要结构信息，也会丢弃部分图像信息。为了保持图像分类器的准确性，我们在cifar-10训练数据集的1000个随机图像上计算经过良好训练的Resnet 50的平均准确率有关更多详情，请参阅表4。从表4中可以看出，当参数λ固定时，分类器的准确率随着参数λ的增大先增大后减小。 更具体地，当参数λ= 0时。0001，且λ= 1。0分20秒。0，平均精度不断提高 但当参数λ=0. 0001，且λ=20。0块50。0时，平均精度不断下降。也就是说，当噪声太大时，网络不足以抵抗它，导致网络性能下降，而当噪声太小时，网络学习使用0图4. ResNet-50在测试时以及训练和测试时对使用所提出的方法的四种攻击产生的对抗图像的分类准确性。虚线表示ResNet-50模型在没有任何防御的对抗图像上的准确性。和1来编码图像，而不是使用0和1。类似地，当参数λ固定时，分类器的精度随参数λ的减小先增大后减小。因此，适当的参数设置可以保障图像分类模型的准确性根据表4，λ=0。0001，且λ=20。0可以获得分类器的最佳性能另外，本文中参数λ的取值为0.0001，参数λ的取值为20.0。4.4. 图像分类与所提出的方法简单地检测对抗图像对于图像分类的任务是不够的。能够正确分类对抗性示例通常至关重要。在本节中，我们提出的方法用于防御对抗性攻击的两种情况一种是在测试时使用图像压缩，另一种是在训练和测试时使用图像压缩。4.4.1测试时的图像压缩图像分类模型已经在干净的图像上训练。测试图像由干净的图像组成，43216090表5. 与其它防护方法比较的结果（CIFAR-10，L∞= 2/8/16）网络防御手段清洁FGSMBIMDeepFoolC WResNet50在训练时间正常92%/92%/92%39%/20%/18%08%/00%/00%21%/01%/01%17%/00%/00%对抗性FGSM91%/91%/91%88%/91%/91%24%/07%/00%45%/00%/00%20%/00%/07%对抗式BIM87%/87%/87%80%/52%/34%74%/32%/06%79%/48%/25%76%/42%/08%标签平滑92%/92%/92%73%/54%/28%59%/08%/01%56%/20%/10%30%/02%/02%该方法92%/92%/92%89%/89%/87%84%/47%/40%90%/90%/90%91%/90%/90%测试时间特征压缩84%/84%/84%31%/20%/18%13%/00%/00%75%/75%/75%78%/78%/78%PiexlDefend85%/85%/88%73%/46%/24%71%/46%/25%80%/80%/80%78%/78%/78%该方法91%/91%/91%86%/84%/83%78%/41%/34%88%/88%/88%89%/87%/87%表6. 与其它防护方法的比较结果（Fashion-mnist，L∞= 8/25）网络防御方法清洁FGSMBIMDeepFoolC WResNet50正常93%/93%38%/24%百分之一百06%/06%百分之一百对抗性FGSM93%/93%85%/85%51%/00%63%/07%67%/21%对抗式BIM92%/91%84%/79%76%/63%82%/72%81%/70%标签平滑93%/83%73%/45%16%/00%29%/06%33%/14%特征压缩84%/84%70%/28%56%/25%83%/83%83%/83%PiexlDefend89%/89%87%/82%85%/83%88%/88%88%/88%该方法93%/93%89%/89%70%/60%90%/89%88%/89%表9. 与ICLR 2018在ImageNet网络防御手段FGSM-8FGSM-12深度傻瓜C WIncResV2正常百分之三十四百分之三十二百分之十三0%的百分比ICLR2018百分之六十二百分之五十百分之五十五百分之五十九我们的方法百分之六十二百分之六十一百分之六十百分之六十一对抗性图像它们首先通过所提出的方法进行压缩和重构，然后将它们馈送到训练有素的分类器。图4显示了图像分类模型（Resnet50）的准确性，该模型在四种攻击产生的对抗性示例虚线显示了在没有防御的对抗图像在这方面，在测试时使用的所提出的方法将CIFAR-10的FGSM最强攻击的准确度从35%提高到83%，将BIM最强攻击的准确度从0%提高到31%，将DeepFool最强攻击的准确度从1%提高到89%，并且将C W最强攻击的准确度从0%提高到87%。4.4.2训练和测试时的图像压缩还有另一种方法来保护对抗性示例，也就是说，我们在训练和测试期间应用所提出的方法。特别地，在训练时间期间，我们在变换的cifar-10训练图像上训练图像分类模型。我们首先使用ComCNN将输入图像压缩为紧凑的表示，然后使用RecCNN在将其馈送到网络之前重建输入图像。在测试时间上，先对测试图像进行变换，然后再输入到训练好的分类器中如图4所示，我们可以看到，对于CIFAR-10，所提出的方法在训练和测试时将FGSM最强攻击的准确率从35%提高到83%，BIM最强攻击从0%提高到31%，DeepFool最强攻击从1%提高到89%，C W最强攻击从0%提高到87%4.4.3与其他防御方法的比较为了定量地衡量我们所提出的方法的性能，我们比较了所提出的方法与其他传统的计划下的L∞距离度量。Cifar-10图像数据集的比较结果如表5所示。在训练和测试期间，与这些方法相比，我们提出的方法实现了巨大的性能改善。特别是，它在FGSM，DeepFool和CW攻击方法上达到了近90%的准确率。与干净图像上的图像分类模型相比，该模型在对抗性样本上的分类准确率在测试阶段，该方法对FGSM、DeepFool和C W攻击的准确率达到对于BIM攻击，我们的方法提高了性能。表6显示了Fashion-mnist图像数据集上与其他防御方法的比较结果。在FGSM、DeepFool和C W攻击方法上，该方法的性能得到了更重要的是，我们在imagenet数据集上使用HGD和ICLR 2018 [24]方法进行了对比实验。如表7所示，所提出的方法提高了防御FGSM、DeepFool和CW攻击方法的性能。为了测试更多的攻击方法，我们增加了deepfool和CW方法。结果示 于 表8 中 。 我 们 看 到 ， 与 HGD 相 比 ， 该 方 法 对FGSM，DeepFool，MI-FGSM [5]和C W的防御准确率更高，对IFGSM的竞争准确率更高，这证明了该方法的有效性请注意，IFGSM的SNR设置为3和5，而不是8和16，因为我们发现当攻击太强时（当L∞>=8时），人眼可以感知到噪声。因此，可以很容易地区分43216091表7. 与其他防御方法的比较结果（Imagenet，L∞= 8/13/20）网络防御方法清洁FGSMBIMDeepFoolC WResNet101正常76%/76%/76%03%/03%/03%00%/00%/00%01%/01%/01%00%/00%/00%HGD54%/54%/54%51%/50%/50%36%/36%/36%52%/52%/52%51%/51%/51%该方法67%/67%/67%56%/56%/56%12%/12%/10%53%/53%/52%54%/54%/53%表8.与ImageNet上的HGD比较结果（L∞= 8/16）网络国防清洁FGSMIFGSM（3/5）MI-FGSM深度傻瓜C WIncResV2正常百分之八十六34%/30%10%/5%13%/7%13%/11%0%/0%HGD百分之五十四47%/48%42%/42%46%/44%48%/48%48%/48%我们的方法百分之七十七62%/61%51%/42%50%/40%60%/60%61%/63%IncV3正常百分之八十三20%/18%57%/49%57%/50%12%/11%0%/0%HGD百分之七十60%/60%62%/61%62%/62%60%/60%59%/59%我们的方法百分之七十四62%/61%64%/60%69%/64%60%/60%60%/60%IncV4正常百分之八十八28%/26%6%/1%4%/1%17%/15%0%/0%HGD百分之六十四56%/56%51%/50%57%/52%59%/59%59%/59%我们的方法百分之七十四58%/56%50%/46%50%/40%60%/60%61%/60%被人类攻击，防御方法是不必要的。 事实上，我们的方法的核心优势是我们在干净的图像上训练我们的网络，而不是对抗性的图像。通过这种方式，我们不需要使用攻击方法来生成对抗性示例，因此训练数据集比HGD小得多，训练时间也比HGD少得多。此外，我们的方法基于补丁而不是整个图像执行压缩，因此，测试时间减少（HGD需要2.7秒来处理一个图像。 但所提出的方法只需要1.2秒处理相同的图像）。我们在表9中给出了与[24]的比较结果。实验结果表明，本文方法对深度欺骗、CW、FGSM（λ=8，12）的预测精度均高于文献[24]，验证了本文方法的有效性。此外，我们提出的方法不依赖于攻击方法，分类器它可以与其他防御方法相结合。4.5. 对建议方法的分析对于测试时间，该方法将输入图像转换为干净的图像.它打破了对抗性例子中扰动的特殊结构。具体来说，ComCNN将输入图像编码为紧凑表示。在这个过程中，不可忽略的扰动不影响紧表示的结果。换句话说，干净图像和对抗图像的输出图像尽可能相同。因为在网络的训练过程中，网络学习抵抗较强的高斯噪声攻击，对输入图像进行编码。在训练和测试时间上，该方法压缩了真实样本空间为在未压缩空间中，有32×32×28× 28×28幅图像。而对于压缩后的图像空间，图像空间中只有32×32×24×24×24幅图像这样一来43216092所提出的方法使得现有的图像分类模型更容易模拟图像分布。中间层是在分类器训练的决策面和样本数据的真实面之间变小。也就是说，对抗性示例出现的概率变得比以前更小。5. 结论在本文中，我们提出了一个端到端的图像压缩模型来防御对抗性的例子。ComDefend可用于测试时间以及培训和测试时间。在测试时间方面，通过破坏对抗图像中对抗扰动的结构来保护对抗样本。在训练和测试时间上，通过压缩图像空间来实现防御。通过这种方式，它减少了可用于对手构建对抗示例的搜索空间。与目前最先进的防御方法相比，ComDefend可以在FGSM，DeepFool和C W攻击方法上实现更高的准确性。同时，该方法也提高了对BIM攻击的抵抗能力.更重要的是，ComDefend是对一幅图像逐个块地执行的，而不是对整幅图像执行，这需要更少的时间来处理输入图像。我们的工作表明，分类敌对的例子的性能显着提高，通过使用所提出的方法。6. 确认国 家 重 点 研 发 计 划 项 目 （ 批 准 号 ：2018YFB0803701 ） 资 助 。 国 家 自 然 科 学 基 金（ No.U1636214 ， 61861166002 ， U1803264 ，61806109 ） . 北 京 市 自 然 科 学 基 金 （ 编 号 ：L182057）。国家博士后科学基金资助项目（编号：2018M641360）。43216093引用[1] N. Carlini和D.瓦格纳。评估神经网络的鲁棒性。2017年IEEE安全与隐私研讨会（SP），第39-57页。IEEE，2017年。[2] D.- A. Clevert，T. Unterthiner和S. Hochreiter。 快速和通过指数线性单元（ELU）进行精确的深度网络学习。arXiv预印本arXiv：1511.07289，2015。[3] R. Collobert和J.韦斯顿一个统一的架构语言处理：具有多任务学习的深度神经网络。第25届机器学习国际会议论文集，第160-167页。ACM，2008年。[4] J. Deng，W.东河，巴西-地索赫尔湖J. Li，K. Li和L. 飞-飞Imagenet：一个大规模的分层图像数据库。 在计算机视觉和模式识别，2009年。CVPR 2009。IEEE会议，第248-255页。Ieee，2009年。[5] Y. Dong，F.廖氏T.庞氏H.Su，J.Zhu，X.Hu和J.李以势头增强对抗性攻击。在IEEE计算机视觉和模式识别会议论文集，第9185-9193页，2018年[6] I.古德费洛，J。Shlens和C.赛格迪 解释和利 用 对 抗 性 例 子 （ 2014 ） 。 arXiv 预 印 本 arX-iv ：1412.6572。[7] K. 他，X。Zhang，S.Ren和J.太阳 深入研究整流器：在图像网络分类方面超越人类水平的性能在Proceedings of the IEEE international conference oncomputer vision，pages 1026[8] K. 他，X。Zhang，S.Ren和J.太阳深度残差学习-用于图像识别。在Proceedings of the IEEE conference oncomputer vision and pattern recognition，pages 770[9] G.欣顿湖 Deng，D. Yu，G. E. Dahl，A. R. 穆罕默德N. Jaitly，A.Senior，V.Vanhoucke，P.阮氏T.N. Sainath等人语音识别声学建模的深度神经网络：四个研究小组的共 同 观 点 。 IEEE Signal processing magazine ， 29（6）：82[10] D. P. Kingma和J.BA. 亚当：一种随机的方法优化. arXiv预印本arXiv：1412.6980，2014。[11] A.克里热夫斯基河Nair和G.辛顿加拿大高级研究所。http：//www. CS.多伦多。edu/kriz/cifar. html，2010.[12] A.库拉金岛Goodfellow和S.本吉奥。 对抗性马-大规模的中国学习arXiv预印本arXiv：1611.01236，2016。[13] A.库拉金岛Goodfellow，S.本焦湾Dong，F. 獠M. Liang，T. Pang，J. Zhu，X. Hu，C.竞争对手的攻击和防御。arXiv预印本arX- iv：1804.00097，2018。[14] Y. LeCun，Y.Bengio和G.辛顿深度学习自然，521（7553）：436，2015.[15] F.廖，M. Liang，Y.董氏T. Pang，J. Zhu，and X.胡使用高级表示引导去噪器防御对抗性攻击。arXiv预印本arXiv：1712.02976，2017。[16] A. 马德里 A. 马克洛夫 L. 施密特 D. 齐普拉斯 和A.弗拉多面向抵抗对抗性攻击的深度学习模型。arXiv预印本arXiv：1706.06083，2017。[17] S.- M.穆萨维-代兹福利A. Fawzi和P.弗罗萨德深-傻瓜：一种简单而准确的欺骗深度神经网络的方法。IEEE计算机会议论文集Visionand Pattern Recognition，第2574-2582页，2016年。[18] Y. 宋 ， T. Kim ， S. Nowozin ， S. Ermon 和 N. 库 什 曼Pixeldefend：利用生成模型来理解和防御对抗的例子。arXiv预印本arX- iv：1710.10766，2017。[19] C. 塞格迪，W。扎伦巴岛萨茨克弗布鲁纳D。二涵I. Goodfellow，和R。费格斯。神经网络的有趣特性arXiv预印本arXiv：1312.6199，2013。[20] F. Trame`r，A.Kurakin，N.帕佩尔诺岛Goodfellow，D.骨-H和P. McDaniel。集体对抗训练：攻击和防御。arXiv预印本arXiv：1705.07204，2017。[21] D. 沃德法利和我古德费罗11对抗性干扰深度神经网络扰动，优化和统计，第311页，2016年。[22] D.沃德法利岛Goodfellow，T. Hazan，G. 帕潘德里欧和D.塔罗深层神经网络的对抗性扰动扰动优化和统计，2016年2月。[23] H.肖氏K. Rasul和R.沃尔格拉夫。 时装设计师：十一月，用于基准机器学习算法的EL图像数据集。2017年12月17日，第1708.07747页[24] C. Xie，J.Wang，Z.Zhang，Z.Ren和A.尤尔。减轻通过随机化产生对抗效应。在2018年国际学习代表会议上[25] W. Xu，L. Evans和Y.气 特征挤压：检测深度神经网络中的对抗性例子arXiv预印本arXiv：1704.01155，2017。
我的内容管理
展开
