通过随机多样化防御对抗性攻击的方法及其效果评估

TrainingSoft-maxmodulatorx′x′ = x + wc′KnowntrainingdataAdversarialKnownarchitectureTesting1examples· · ·1nx1· · ·1nxN· · ··1My1·1MyNFigure 1: Setup under investigation: the attacker knows thelabeled training data set X and the system architecture buthe does not have access to secret key k of the defendershared between the training and testing.112260通过随机多样化来防御对抗性攻击0Olga Taran，Shideh Rezaeifar，Taras Holotyak，Slava Voloshynovskiy�0日内瓦大学计算机科学系，7号Drize路，1227Carouge，瑞士0{olga.taran，shideh.rezaeifar，taras.holotyak，svolos}@unige.ch0摘要0机器学习系统对对抗性攻击的脆弱性对其在许多应用中的使用提出了质疑。在本文中，我们提出了一种随机多样化作为一种防御策略。我们在灰盒场景中引入了一个多通道架构，假设攻击者已知分类器的架构和训练数据集。攻击者不仅在测试时可以访问秘密密钥和系统的内部状态。防御者在多个通道中处理输入。每个通道在基于训练和测试阶段之间共享的秘密密钥的特殊变换域中引入自己的随机化。这种基于变换的随机化通过共享密钥在防御者的关键定义子空间中保留梯度，但它阻止了梯度反向传播和攻击者创建各种旁路系统。多通道随机化的另一个好处是聚合，它融合了所有通道的软输出，从而提高了最终得分的可靠性。共享秘密密钥为防御者创造了信息优势。实验评估表明，所提方法对许多已知的最先进攻击具有更高的鲁棒性。01. 引言0除了引人注目和令人印象深刻的成就外，许多机器学习系统容易受到对抗性攻击的影响[6]。对抗性攻击试图通过向选择的目标图像引入有界且不可见的扰动来欺骗分类器的决策。这种弱点严重地质疑了机器学习在许多安全和信任敏感领域的使用。许多研究人员已经提出了各种防御策略和对抗措施来击败对抗性攻击。然而，不断增加的防御数量自然地刺激了新的、更加通用的攻击的发明。0� S. Voloshynovskiy是通讯作者。该研究得到了SNF项目编号200021182063的支持。0ˆ c φ θ0x0目标类（c'）0目标主机（x）0M y0φ θ0X0在[15,10]中给出了最有效的攻击和防御的概述和分类。在本文中，我们考虑了防御者和攻击者之间的“游戏”，根据图1中的图表。防御者可以访问分类器φθ和训练数据集X。防御者在训练和测试之间共享一个秘密密钥k。分类器输出一个长度为M的softmax向量y，其中M对应于类的总数，每个yc，1≤c≤M被视为给定输入x属于类c的概率。在测试期间使用训练过的分类器φθ。在白盒情况下，攻击者对分类器架构、防御机制、训练数据以及往往可以访问分类器的训练参数具有完全了解。在本文中考虑的灰盒情况下，攻击者知道分类器的架构、一般的防御机制，并且可以访问相同的训练数据X。利用上述可用的知识，攻击者可以生成一个非目标或针对特定类c'的对抗扰动wc'。攻击者通过将这个扰动添加到目标主机样本x上来生成对抗性示例。φθ1IW1P11W−11...W−11... ... ...WJφθ11P1I· · ·1M· · ·1M· · ·1MyˆcBkkyy1Jk11k1I1I11Classifier 11Classifier 1IφθJIPJ1W−1J...W−1JφθJ1PJI· · ·1M· · ·1MyykJ1kJIJIJ1Classifier J1Classifier JI112270聚合器0图2：所提出的多通道分类器的广义图示。0x ′ =  x  +  w c ′ .在测试时，将对抗性示例呈现给分类器，以试图欺骗分类器φ θ的决策。在我们的概述中，虽然不敢自称详尽无遗，但我们将现有的防御策略分为三大组：01.非基于密钥的防御：这组包括大多数基于检测和拒绝、对抗性重训练、过滤和再生等最新防御机制[10]。除了这些方法的广泛多样性外，这些方法的共同特点和主要缺点是缺乏像秘密密钥这样的“加密”元素，这将允许防御者在攻击者上获得信息优势。02.通过随机化和混淆进行防御：该组的防御机制主要基于随机化的思想，避免对训练系统的参数进行可重现和可重复使用。这包括梯度掩码[1]和通过不同类型的无密钥随机化引入模糊性。这种随机化的示例可以是在系统的不同层次上添加噪声[14]，注入不同类型的随机化，例如随机图像调整或填充[13]或随机有损压缩[5]等。0这组防御策略的主要缺点在于攻击者可以绕过防御模块或在生成对抗扰动时考虑到这种模糊性[1]。此外，由于分类器仅平均训练，分类准确性降低。0除非对特殊集成或聚合进行适当应用以补偿这种损失，否则这组防御策略的主要缺点在于攻击者可以绕过不同的随机化参数集，即使在这种情况下，训练和测试阶段之间的不匹配也只能保证平均性能，而人们希望对每个随机化参数的实现都能保证性能。不幸的是，如果没有训练和测试之间的共同秘密共享，这是无法实现的。03.基于密钥的防御：第三组是将防御机制泛化的组，其中包括明确基于训练和测试阶段之间共享的秘密密钥的随机化。例如，可以提到使用随机投影[11]、随机特征采样[4]和基于密钥的转换[10]等。0然而，该组已知方法的主要缺点是由于有用数据的减少而导致性能下降，这应该通过适当的多样化和相应的聚合来补偿。0在本文中，我们针对基于密码学原理的基于密钥的防御策略进行进一步扩展，以在最大程度上保留分类系统中的信息的同时，为防御者创造对攻击者的信息优势。所提出系统的广义图示如图2所示。它具有两个级别的随机化，每个级别都可以基于唯一的秘密密钥。通过对为其自身的随机化进行训练的多通道分类器的软输出进行聚合，实现了额外的鲁棒性。正如将在整个文中所示的那样。1 0 0 ... .. ... 0 0 0... ... .. .. ... ... ...0 ... -1 0 0 ... ... 00 1 0 ... .. ... 0 0 00 ... 0 1 0 ... ... 00 ... 0 0 -1 ... ... 00 0 0 ... .. ... 0 0 10 0 0 ... .. ... 0 1 0... ... .. .. ... ... ...T�t=1J�j=1112280本文中，使用多通道架构可以降低攻击的效率。本文的主要贡献有两个方面：•一种新的多通道分类架构，具有基于密码学原理的对灰盒攻击的防御策略。•对三个标准数据集上多类已知对抗攻击的提出方法的效率进行了调查。0本文的其余部分组织如下：第2节介绍了一种新的多通道分类架构。第3节提供了一种基于数据独立排列的防御策略对多通道架构的扩展，该策略在[10]中提出。第4节研究了基于密钥的高效数据独立变换。第5节分析了在秘密域中通过硬阈值过滤。第6节总结了本文。02. 多通道分类算法0所提出架构的核心是一个多通道分类器，如图2所示。它由四个主要的构建块组成：01. 在一个变换域中对输入数据进行预处理，通过映射 W j，1 ≤ j ≤ J。一般来说，变换 W j可以是任何线性映射器。例如，它可以是随机投影或属于正交变换（W j W T j =I）家族，如离散傅立叶变换（DFT）、离散余弦变换（DCT）、离散小波变换（DWT）等。此外，W j还可以是可学习的变换。然而，应当指出的是，从对抗攻击的鲁棒性的角度来看，数据独立变换 W j是有趣的，以避免训练数据的密钥泄漏。此外，W j可以基于秘密密钥 k j。02. 数据独立处理 P ji ，1 ≤ i ≤ I是随机化的第二级，用于防止梯度反向传播到直接域。0可以设想几种情况。如图3a所示，P ji ∈ {0, 1} l ×n，l 

下载后可阅读完整内容，剩余1页未读，立即下载