灵敏低音量1不敏感的高容量基于比特翻转的对抗性权重攻击的Zhezhi He<$，Adnan Siraj Rakin<$，Jingtao Li，Chaitali Chakrabarti and Deliang Fan电气，计算机和能源工程学院，亚利桑那州立大学，坦佩，AZ 85287网址：zhezhihe@asu.edu，dfan@asu.edu摘要近年来，一种新的对量化神经网络权值的对抗性攻击模式引起了人们的极大关注，即基于比特翻转的对抗性权值攻击。比特翻转攻击（BFA）。BFA已经显示出非凡的攻击能力，其中对手可以通过在一小组可计算权重位上的恶意位翻转（例如，8位量化ResNet-18的93百万位中的然而，没有有效的防御方法来提高DNN对这种BFA的容错能力。在这项工作中，我们对BFA进行了全面的调查，并提出利用二值化感知训练及其松弛分段实验表明，对于BFA，为了实现相同的预测精度退化（例如，低于CIFAR-10的11%它需要19。3× 480。ResNet-20和VGG-11上的恶意位翻转分别比免费的同行。1. 介绍随着深度神经网络（DNN）在多个计算机视觉相关任务中实现超越人类的性能，其在现实世界场景中的应用正在迅速增长。在这种情况下，神经网络的容错能力是一个很大的研究兴趣，以发展可靠的神经网络对弱随机故障，甚至强大的恶意攻击。大量的研究工作都集中在DNN被人类无法感知的输入噪声所欺骗。敌对的例子然而，DNN的另一个脆弱的维度是模型参数，这几乎没有被研究过。由 于 巨 大 的 模 型 大 小 （ 最 先 进 的 DNN 的 数 百MB[9，24]），现代DNN加速器（例如，GPU）通常需要将模型参数存储在主存中，即动态随机存储器（DynamicRandom-Access-Memory这些作者贡献相当代码发布于：https://github.com/elliothe/BFADNN重量BatchNorm偏置等。∙(a) BFA下量化DNN的概念说明7550250 5 10 15 20 25 30 35 40位翻转次数(b) 精度与#带/不带防御的位翻转。图1：在已识别的脆弱权重位上的故障注入可以通过行锤攻击（RHA）物理地进行。同时，处于防御状态的DNN对恶意位翻转具有更高的抵抗力。（DRAM ） 。最 近的 研究 进展 已 经提 出了 存储 在DRAM 中 的 数 据 的 脆 弱 性 问 题 ， 其 中 行 锤 攻 击（RHA）[19]已经被示出在不被授予任何数据写入特权的情况下恶意翻转DRAM中的存储器位，如图所示。1.一、不幸的是，存储在DRAM中的具有浮点表示的DNN可以很容易地通过单个位翻转（例如，在任何权重的指数位中）通过RHA [8]。由于DNN权重量化技术，DNN更加紧凑，因为权重以具有约束表示的定点格式表示。这种表示已被证明可以显着增强量化DNN对[8]中这种恶意位翻转的免疫力然而，新提出的位翻转攻击（BFA）[17]，其渐进位搜索算法可以14095片上核心∙片外RHADRAM无防御有防御准确度（%）14096l=1Ll=1Ll=1l=1ˆ成功地识别和翻转极少量的易受攻击的权重比特（例如，ImageNet上的9300万位ResNet-18中的13位），以降低大规模8位地面实况测试来实施攻击L（·，·）计算损失。攻击效率通过汉明距离（即，有效的位翻转）量化DNN推理准确度低至随机攻击后模型参数{Bi}L（B）L给定猜测（即，从69.8%降至0.1%）。到目前为止，仍有ll=1ll=1缺乏有效的防御方法，因此我们提出了一种基于利用由D（Bl，Bl）。一般来说，BFA的优化目标是使DNN以最少的故障数量发生故障。Σi位翻转（即，min D（B，B））。加权二值化及其松弛分段ing.在这项工作中的贡献可归纳为：• 基于位翻转的对抗权重攻击（即，BFA）进行，并获得了一些有见地的意见下-这些攻击的长期参数漏洞。• 提出了一种有效的抗BFA攻击的方法--加权二值化及其分段聚类算法。• 其他对抗性攻击防御方法（例如，对抗训练、修剪）和常规模型正则化方法。2. 背景及相关作品2.1. 基于比特翻转的对抗性权重攻击基于位翻转的对抗性权重攻击，又名。比特翻转攻击（BFA）[17]是一种对抗性攻击变体，通过翻转比特来执行权重故障注入。为了机器不可感知的目的，BFA只翻转最脆弱的权重位，这些权重位由具有迭代层间和层内搜索的渐进位搜索（PBS）算法识别给定由比特参数化的nq比特量化DNN，表1：比特翻转攻击（BFA）的威胁模型Access Required（需要访问）<$AccessNOT Required（不需要访问）<$模型拓扑超参数等参数训练配置。小批量样本数据完整的训练/测试数据集。值得注意的是，定点格式的量化权重是幅度受限的（即，max（B）= 2nq−1），这不仅在生物学上更合理，而且对于加速现代AI应用程序来说也是必要的。为了澄清，我们使用与先前工作相同的威胁模型[17]，如表1所示。2.2. 防御对抗性示例由于BFA是一种对抗性攻击变体，因此研究了用于防御对抗性示例的流行技术[5]，以寻求潜在的BFA防御方法。对抗训练。对抗性训练[5，15]是迄今为止最成功的对抗性示例防御方法，它优化了DNN参数θw.r.t干净输入x和它们的ad versaryeexamplesx，如下所示：minL（f（x;θ），t）+α·L（f（x∈;θ），t∈）（2）（即，二进制量化权重），定义张量{BI}L，θ其中l∈{1，2，.，L}是层索引。内-识别具有最高梯度的位的层搜索其中，α是用于平衡在干净的自然数据和对抗性的前，（argmaxBl|B.I.L|）作为脆弱的b i t候选者，其中L样本t是软标签，如等式中所示。（一）. 如此敌对是推理损失。 然后，层间搜索com-通过直接检查损失增量来对层内搜索所选择的比特候选进行奇偶校验。因此，迭代i中的位搜索可以公式化为优化过程[17]：培训通常也被认为是一个强大的常规-技术。增加模型容量。先前的工作[15，7]已经通过增加模型容量实验性地证实了对抗性攻击的抵抗力提高。.最大Lf{Bi}. x;{Bi}Ll l=1阿利ΣΣ，t（一）这被解释为鲁棒分类器将需要更复杂的决策边界[15]，预计这也将有利于防御恶意的权重变化。进一步深入分析模型容量S.T. t=f（x;{Bl}L）;l=1D（B_l，B_l）∈{0，1，.，Nb}和BFA抗性在第6节中讨论。其中，x和t表示所选择的输入小批量，3. BFA 101真实标签Bi是第l个的量化位张量先理解，然后保护和利用钻头-在第i次迭代中用BFA扰动层f（x;{B}L将由{B1}L）com-. 特蒂斯基于翻转的对抗权重攻击，我们进行了一些初步的调查，以及几个重要的问题，14097清洁模型的输出作为软标签，其替换如下所述的服务140981000100试验种子= 63试验种子= 922试验种子= 1764试验种子= 2802试验种子= 36659080706050403020100 0 100攻击前重量100 0 100攻击前重量100 0 100攻击前重量100 0 100攻击前重量100 0 100攻击前重量(a) ResNet-20 [6]具有8位权重。BFA的位翻转N BF（平均值±标准差）：11。2±1。9、权重总位数：两百万1000100试验种子= 176100 0 100攻击前重量试验种子= 1946100 0 100攻击前重量试验种子= 3569100 0 100攻击前重量试验种子= 7778100 0 100攻击前重量试验种子= 92649080706050403020100 0 100攻击前重量(b) VGG-11 [20]具有8位权重。BFA的位翻转N BF（平均值±标准差）：56。6±35。2、权值总位数：七千八百万。图2：CIFAR-10数据集上BFA引起的（a）ResNet-20 [6]和（b）VGG-11 [20]的权重偏移。对于两种架构，使用不同的随机种子执行5次试验。每个彩色点描绘了权重偏移（x轴：攻击前权重，y轴：攻击后权重）。颜色条表示CIFAR-10测试数据的相应准确度（%）点和对角虚线之间的垂直距离（即，y=x）表示权重移位幅度。此外，该图中报告的结果使用8位训练后权重量化[17]。观察1 BFA倾向于翻转接近零权重的位，并导致大的权重偏移。0.100.08如图所示2，在BFA [ 17 ]中提出的渐进比特搜索易于识别权重中的脆弱比特，其绝对值具有小的幅度（即， |W|→ 0），然后将其修改为大值（在图的标题中解释）。2）。由于BFA对在二进制补码中编码的量化权重{0，1，… nq}。此外，Fig.2还显示了模型，容量越大，对BFA的(i.e.、对于相同的精度降级需要更多的位翻转0.060.040.020.0000.150.100.0510 20 30 40 50模块idx观察2 BFA倾向于翻转目标神经网络前端层的权重位。0.000 5 10 15 2025模块idx图图3示出了在BFA下DNN的不同模块1上的位翻转的直方图所有的试验表明，大部分的BFA发现的位主要是在前端，沿前向传播路径。这样的观察可以被解释为由前端中的位翻转引入的误差可以在向前传播期间容易地累积和放大，这类似于[ 5 ]中讨论的对抗示例的线性解释。1模块索引包括DNN内的所有模块，其中从小到大的索引表示沿着推理路径从前到后的位置。图3：CIFAR-10上的#位翻转与模块索引（上图）ResNet-20和（下图）VGG-11中的归一化直方图和内核密度估计（KDE）。观察3 BFA迫使几乎所有的输入被归类到一个特定的输出组。图4描绘了DNN在不同BFA迭代下对CIFAR-10测试数据的前1分类输出。CIFAR-10测试子集包括10个输出类别上的1000个样本（即，总共10k个样本）。无BFA清洁试验种子：1764试验种子：3665试验种子：2802试验种子：922试验种子：63试验种子：7778试验种子：9264试验种子：3569试验种子：176试验种子：1946年攻击后重量攻击后重量14099l=1l=1LLFPFP∂wl我LLl我iter = 0iter = 3iter = 6iter = 9iter = 12飞机汽车鸟猫鹿狗蛙马轮船卡车（a）普通训练Wl=1。（b）二进制化Wfp -是的010000100002500050000 10000图4：ResNet-20输出分类直方图在BFA下10个类别的演变，CIFAR-10的10 k测试攻击样本量为128。(c)二值化Wb.（d）分段聚类Wl=1。在迭代0时，模型几乎均匀分布在顶部- 每个输出类别中的1个分类输出预测。有趣的是，随着博鳌亚洲论坛的发展，它迫使几乎所有的投入都被归类为一个产出组。我们还发现，主要的输出组高度依赖于给定的攻击样本数据。4. 防御BFA为了增强DNN对BFA的抗性，我们提出并研究了两种防御技术，即，二进制化感知训练及其松弛-4.1. 二值化感知训练二进制化感知训练最初被提出作为极低位宽模型压缩技术，其将权重从32位浮点转换为由1位编码的{-1，+1}二进制格式[18]。在这里，二值化感知训练被用作防御技术，BFA，在数学上可以描述为：转发：b=0（|WFP|）·sgn（wfp）图5：ResNet- 20（第一层，l= 1）在各种训练配置下的权重分布演变。x轴：重量大小，y轴：训练阶段如观察1中所讨论的，BFA倾向于攻击接近于零的权重并导致大的权重偏移。权重二值化通过强制所有权重为± E来消除接近于零的权重（|WFP|），其中采样层的权重分布如图所示。5c.第二个问题。（二）二进制化感知训练本质上充当注入比特翻转噪声的DNN的训练如Eq中所述。（3）在训练期间，浮点权重基{W_fp}被动态二进制化。回顾使用SGD的优化，权重变化Δwfp可以表示为：Δ w =η·f（f（x，{W}）; t）（4）其中η是学习速率。由于Eq的存在，（3），即使对WFP进行小的权重更新（即，wfp-|wfp）可以直接将对应的二进制化权重wb从当满足以下条件时，作为位翻转从-1到+1或相反：l，il联系我们l我（三）sgn（wfp−wfp）sgn（wfp）（5）向后：Bl我=FPl我因此，二值化感知训练涉及对二值化权重Wfp的大量位翻转，其模仿注入。其中sgn（）是符号函数。WB表示二进制化的在训练过程中将位翻转噪声施加到权重上。图6从它的浮点对应物wfp得到的权重。一般来说，权重二值化本质上实现了两个目标：1）将位宽减小到1，以及2）将权重聚类以0.00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000|WFP|）如Eq。（三）、采用直通估计（STE）[2]来解决非差分问题。[10]第10章：我的朋友们然而，与[ 10 ]中的STE不同，由于权重缩放系数E（|WFP|）的情况。我们对BFA抗性增强的解释通过二进制化感知培训有两个方面：1）∂w14100描述了在训练二进制化ResNet-20时由权重更新引起的位翻转的平均数量，即使当学习率为0.001时，每次迭代也可能在二进制化权重上引起大约300个位翻转。4.2. 作为二值化松弛的聚类由于权重二值化通常会由于积极的模型容量减少而遭受显著的预测精度下降，因此我们提出了一种对权重二值化的放松，称为分段聚类（PC），以发出固定的单个位宽约束，同时保留14101l=1LLLLLLResNet 20，Clean模型91.590.088.587.085.500.00050.001 0.005VGG 11，Clean模型的Top-1测试准确度89.688.888.087.286.400.0001 0.0005图6：二进制化感知训练与epoch（x轴），CIFAR 10上的ResNet-20。ResNet20，NBF的平均值500400300200VGG11，NBF的平均值7500600045003000类似的集群功能，我们认为这在保护BFA方面发挥了重要作用《智慧之路》-00.00050.001 0.00510000.0001 0.00051500排序对推断损失L引入了附加的权重惩罚（例如，交叉熵），并且优化可以被公式化为：LResNet20，NBF的标准差48403224VGG11，NBF的标准差400320240min{Wl}LΣLExL（f（x，{Wl}l=1），t）+16016808（||W+— E（W+）||2个以上||W−— E（W−）||（二）（六）00.00050.001 0.00500.0001 0.0005`l=1分段聚类惩罚项其中λ是聚类系数，用于调整权重聚类惩罚项的强度。W+和W−表示图7：在不同量化位宽nq∈ {8， 6， 4， 1}和聚类惩罚系数下，5次试验的无BFA测试精度、NBF的均值和标准差[001 pdf 1st-31 files]λ∈ {0， 1e−4， 5e−4， 1e−3，5e−3}，其中（左列）第l层权正负权子集张量DNN模型优化为Eq.（6）导致双峰重量分布，如图所示。5便士上面提出的分段聚类也可以被视为Lasso组的变体，其中组被定义为每层中的正权重子集和负权重子集。5. 实验5.1. 实验装置数据集和网络架构在这项工作中，实验集中在视觉数据集CIFAR-10 [12]上，其中包括从10个类别中均匀采样的60 k32×32RGB图像，其中50 k和10 k样本用于训练，分别测试。数据增强技术与[6]中报告的ResNet-20和VGG-11[20]这两个网络的研究工作。 我们使用基于动量的随机梯度下降优化器，训练批量和权重衰减分别为128和3e-4。 初始学习率为0.1，0.1在80和120个时期，并且时期的总数是160。请注意，所有实验都是使用Pytorch [16]进行的，在NVIDIATitan-XP GPU上运行。91.8491.2990.02 85.5892.2190.9890.44 84.8891.3390.7789.55 84.6588.3690.0190.3989.05 88.290.2389.4889.5988.388.2686.9485.82 86.19882846.458.79 43.529.346.474.8四十五点五40.855.370.4四十五点三541.216.414.229.793020.631.411.4十一点六49.382.597852.7978741.14零点四五11.3 60.894.243.62.073.3943.1711.73 4.15431.66.512.826.3 6.915.592.388.58.7344.1410.5711.434.4749.8NQNQNQ146184618648NQNQNQ148641684186联系我们14102umn）ResNet-20和（右列）VGG-11在CIFAR-10上。BFA配置。为了评估所提出的防御方法的有效性，利用[17]中的代码进行进一步修改。对于CIFAR-10数据集，将预测精度降低到11%以下的位翻转次数NBF用作测量BFA抗性的度量此外，由于BFA需要一组数据来执行攻击，我们从训练中获取256个样本图像-将子集作为默认BFA配置，并报告5次BFA试验的NBF的请注意，此后报告的所有量化DNN仍然使用[17]中的统一量化器，但使用量化感知训练而不是训练后量化。5.2. 结果评价给出了不同量化位宽nq和不同聚类系数λ的分段聚类实验结果。7.第一次会议。它报告了无BFA的测试精度和BFA成功所需的位翻转次数NBF。注意，对于图1中的权重二值化，7，我们通过设置排除了分段聚类（PC）项，14103λ= 0，因为二值化本质上执行了第4.1节中讨论的聚类。量化位宽和聚类系数的影响。基于图中报告的结果。7、培训 对于ResNet-20和VGG-11，与8位量化的对应物相比，具有二进制化权重的DNN大致将测试准确度降低了1.4%和1.2%如-在4.2节中讨论过，我们提出分段聚类作为对权重二值化的放松的意图是减轻这种准确性下降。我们确实观察到，使用具有适当λ的分段聚类可以减轻准确度下降，同时提高BFA抗性（即，对于相同的精度降级需要更多的位翻转NBF对于ResNet-20和VGG-11，λ的理想配置分别为0.001和0.0005，因为具有较大容量的模型受益于相对较小的λ。ResNet-20的BFA抗性。8位量化的ResNet-20（基线）仅需要平均28位翻转来妨碍准确DNN的功能，而与基线相比，权重二进制化显著提高了BFA抵抗力。二值化使平均NBF值提高到541.2，抗BFA能力提高了1.19倍.然而，考虑到不可避免的由于位宽急剧减少（32位），到1位），作为一种替代方法，我们探讨了PC的性能在其他位宽配置以及。与（例如，在过参数化VGG-11上NBF>7000如此大的值的含义是值得注意的，因为较大的NBF值指示通过可行的网络物理攻击执行存储器故障注入的难度显著增加。例如，当使用行锤攻击来执行故障注入时，增加的攻击执行时间可以由操作系统通过数据完整性检查来检测。5.3. 不同防御方法对抗性权重攻击[17]是最近开发的现代DNN安全威胁模型。因此，在这一领域制定防御办法的工作没有受到太多关注。因此，本文首次研究了一种值得警惕的参数安全问题--基于位翻转的对抗性权值攻击，并给出了相应的防御方法。由于在这一研究方向上缺乏竞争性的方法，我们尝试转移对抗性例子的几种常规防御方法[15，3，22]，以提供一个全面的比较。表2：替代方法比较。 在此表中，我们报告了BFA的攻击前和攻击后测试准确度（%）和NBF。选择8位量化作为基线;二进制和PC-8位是所提出的方法。此外，与基于Lasso的修剪和对抗性权重训练（adv.培训也包括在内。λ= 1 e−3 时 ， N BF 的 平 均 值 提 高 了 2 。 09× ， 2.55×1。73×分别用于8、6和4位宽。总之，我们提出的分段聚类针对不同位宽的所有情况，尽管如此，二进制化网络仍然是对BFA最成功的防御。攻击前方法攻击后NBFVGG-11的BFA抗性。对于VGG-11，我们的观测遵循与前一节所述相似的模式。基线VGG-11（例如，nq=8）要求平均NBF为16.4。同样，权重二值化显著提高了网络的鲁棒性，平均NBF为7874;与基线相比，提高了1480倍 在VGG-11的情况下，低位-宽度比ResNet-20更能保护BFA;这种差异的主要原因可能是网络大小之间的差异。对于VGG- 11这样的大型网络，低位宽和PC执行适当的正则化以成功防御BFA。PC对VGG-11的最佳性能是在4位网络中实现的，λ= 1e−4，NBF的平均值为82.59。权重修剪。激活和权重修剪都已被研究作为对抗性示例的防御[21，3]。这种修剪技术涉及推理过程中的随机过程，该过程受到梯度混淆[1]的影响，这是对抗性输入防御失败的常见原因然而，我们研究了网络修剪抵抗对抗性权重攻击的有效性作为一种替代方法。为了实现这一点，我们使用Lasso损失函数训练一个常规网络，将大部分权重缩小到极低的值。因此，我们可以用额外的L1范数惩罚重写损失函数：ΣL总之，二值化感知训练及其分段聚类松弛都可以提高BFA抵抗力。minL（f（x，{Wl}）;t）+β·{W}l=1||1（7）||1(7)而二值化感知训练可以将NBF推到一个非常大的值其中β是调整修剪强度的系数。通过EQ训练（7）、我们期望的重量男高音准确度（%）准确度（%）8位91.8410.4528.0±4.47PC-8位90.0210.0758.79±4.14二进制88.3610.13541.2 ±49.8套索修剪88.1110.126.8±0.44Adv. 培训87.7210.099.6±6.5814104是一个高度稀疏的表示。修剪作为对抗性权重防御背后的直觉可以总结为：在稀疏网络中，我们认为这些零值权重不会有任何物理连接（修剪）来进行位翻转攻击，从而使它们免受BFA的影响。结果，攻击者只剩下他/她可以改变以执行BFA的几部分权重。尽管如此，如表2所示，这样的稀疏正则化网络甚至更宽度被认为是一种有效的对抗性示例防御方法。在这项工作中，预计DNN能力也将在防御BFA方面发挥积极作用我们在表3中通过改变网络的宽度来总结BFA的性能。表3：网络宽度的影响。报告了具有不同宽度配置（1×，2×和4×）的ResNet-20 [6所有网络都使用8位量化。易受对抗性权重攻击，需要平均-年龄只是6.8位翻转，以妨碍目标DNN的功能。由于大部分权重被修剪，剩余的权重在保持准确的网络性能方面具有重要意义因此，改变任何剩余的非零权重仍然会显著降低网络性能对抗性重量训练 受对抗训练[15，4]的启发，我们尝试采用相同的想法并创建基于BFA的对抗训练作为与我们提出的方法进行比较的替代方法我们修改了等式中的对抗训练目标（2）为对抗性重量训练服务：基线（1×）2× 4×28.第二十八章0± 4。四十七二十六。2± 2。六八三十六。4 ±12。44ResNet-20（PC） 58.79 ±4.1447. 2± 8。04 72 ±18. 79在表3的第一行中，我们观察到ResNet-20 be-在网络宽度为基线的4倍时然而，基线和2×宽度的网络的性能之间的差异几乎无法区分。在表3的第二行中，模式也观察到利用我们提出的分段聚类方法。我们提出 的 4 倍 宽 度 的 方 法 平 均 需 要 72 位 翻 转 才 能 导 致ResNet-20架构完全失效总之，类似于minL（f（x;{B}），t）+αL（f（x;{B}+{B{B}BFA}），t）从对抗性例子[15，7]的观察，大量增加网络容量将提高S.T.{BBFA（八）}={B}−{B}对BFA的鲁棒性。其中，{BBFA}是BFA扰动权重比特{Bf}与其无BFA对应比特{B}之间的差。 在模型训练期间，{BBFA}在运行时生成为模型权重上的附加常数偏移。对抗性训练的结果示于表2中，其中它没有显示来自这种对抗性重量训练的BFA抗性的改善我们对辩护失败的解释当使用对抗样本执行对抗训练时，即使使用不同的随机种子，每个自然图像也具有相似的对抗样本。然而，对于基于比特翻转的对抗性权重攻击，使用单个自然图像作为攻击样本将导致大量不同的脆弱权重比特组合，而BFA仅以贪婪的方式提供一种组合。因此，用所有易受伤害的权重位组合执行对抗性权重训练不是可行的方法。最后，通过对表2中列出的所有潜在防御方法的比较，我们得出结论，二值化感知训练和分段聚类是有效的防御方法。6. 分析网络宽度的影响。在先前的工作[14，7]中，通过增加层来增强目标DNN的容量结论1增加网络容量可以提高对基于比特翻转的对抗性权重攻击的抵抗能力。批量归一化和丢弃的影响 在过去的几天里，深度神经网络中批量归一化（BN）层的存在通常通过归一化沿着推理路径转发的隐藏特征来加速DNN的训练[ 11 ]。另一方面，对抗性权重攻击通过对权重位的恶意位翻转在权重张量中引入方差，这相应地改变了隐藏的特征。考虑到批量归一化，我们期望BN层稳定由恶意权重位翻转引起的隐藏特征错误。如表4中所列的结果，我们从我们的基线模型（情况1）中去除BN层（情况2）。我们观察到，一旦BN层从VGG-11网络中移除，它就变得更容易受到权重攻击，需要不到10位翻转才能导致DNN的故障。因此，我们得出结论批归一化能够稍微稳定位翻转错误。除了批量归一化之外，传统的DNN正则化技术，如dropout，也用于增强对抗性示例的抵抗力[23]。如表4所示，我们将辍学率提高到0.7，14105表4：脱落和批次标准化（BN）的影响：为了显示这种影响，我们报告了三种情况下的NBF：案例1. BN和脱落（p= 0. 2，p为辍学率）;这是我们在其他部分的实验中使用的情况。 案例2. 无BN和脱落（p =表5：在该表中，我们报告了对抗性输入攻击（PGD[15]）对对抗性输入防御[15]和对抗性权重防御（提出的PC）的测试准确性。然后在对对抗性权重防御和输入防御进行BFA后报告NBF0.2) 以检验BN层对BFA的影响 案例3.BN和脱落（p = 0. （7）检查效果方法：检测准确度测试精度NBF针对BFA的dropout正则化器对于这三种情况中的每一种，我们报告了vanilla VGG-11和VGG-11的NBF，并提出了分段聚类（PC）。无发作（%）PGD发作后（%）基线91.840.4128.0 ±4.47对抗训练85.51 40.07 16.2 ±2.95分段聚类90.02 0.51 58.79 ±4.14方法：w BNdropout（0.2）无BN脱落（0.2）w BN脱落（0.7）DNN的参数安全性方向。 最后，我们在表6中总结了这项工作的结果，VGG-11 16.4± 1.14 9.2±0.42 24.6± 3.71VGG-11（PC）29.79± 11.3 8.8±0.44 32.79 ± 3.49案例3.对于vanilla VGG-11体系结构，丢包对抗BFA的影响更为明显然而，对于我们的分段聚类的情况下，dropout并没有显着提高鲁棒性。尽管如此，一般来说，诸如dropout之类的正则化技术有望防止网络过度拟合[13]，随后略微提高网络对对抗性输入[23]和权重攻击[17]的抵抗力结论2正则化技术，如批量归一化和丢弃等，有助于提高对BFA的抵抗力.对抗性输入防御方法是否能提高对抗性权重攻击的鲁棒性？ 还是邪恶的Versa 在本节中，我们将研究对抗性输入防御和权重参数防御如何在增加网络的整体鲁棒性方面相互作用。为了实现这一点，我们采用了最流行的对抗性输入攻击，称为投影梯度下降（PGD）[15]。我们对PC权重防御进行PGD攻击，并观察到PGD攻击后的网络测试准确率下降到表5中的0.51%。因此，我们的权重防御完全无法抵御强大的PGD输入攻击。然后，我们通过使用强权重攻击BFA [17]来攻击强输入防御（称为PGD训练的对抗性防御[15]）来扭转角色。同样，对抗性输入防御无法防御BFA，需要的NBF数量甚至比表5所示的基线更少。结论3提高网络参数对BFA的鲁棒性并不能保证提高网络对输入攻击的鲁棒性，反之亦然。其提供了在构建具有更高BFA抗性的DNN时遵循的增强的调节指导。我们的权重二值化及其聚类松弛提供了迄今为止最好的解决方案，实现网络参数免疫BFA。此外，DNN架构的网络宽度和某些关键元素也会对BFA产生轻微的影响。表6：改善BFA耐受性的研究清单提高BFA抗性的方向是否1. 执行权重聚类（即，二值化PC）C2. 增加网络容量C3. Dropout，Batch-Norm RegularizationC4. 对抗性重量训练C5. 网络修剪C7. 结论在这项工作中，我们试图对对抗性参数安全增强进行全面的研究，并为未来对抗DNN参数漏洞提供一些有见地的观察。基于这些观察，我们强调了开发对抗性权重防御的潜在成功方向。最后，通过综合实验，我们提出的方法，特别是二值化感知训练，被证明可以提高对新兴的基于位翻转的对抗性权重攻击的抵抗力谢谢。这项工作得到了美国国家科学基金会的部分支持，基金号为2005209，1931871，半导体研究公司nCORE。14106引用[1] A. Athalye，N.Carlini和D.瓦格纳。模糊梯度给人一种虚假的安全感：规避对抗性示例的防御arXiv预印本arXiv：1802.00420，2018。6[2] Y. Bengio，N. L e'onard和A. 考维尔通过条件计算的随机神 经 元 估 计 或 传 播 arXiv 预 印 本 arXiv ： 1308.3432 ，2013。4[3] G. S. Dhillon，K.Azizzadenesheli，Z.C. Lipton，J.伯恩斯坦J. Kossaifi，A.Khanna和A.Anandkumar 随机激活修剪用于 强 大 的 对 抗 性 防 御 。 arXiv 预 印 本 arXiv ：1803.01442，2018。6[4] I.古德费洛，J。Shlens和C.赛格迪解释和利用对抗性的例子。CoRR，abs/1412.6572，2014年。7[5] I.古德费洛，J。Shlens和C.赛格迪解释和利用对抗性的例子。ICLR，2015年。二、三[6] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残 差 学 习 。 在 Proceedings of the IEEE conference oncomputer vision and pattern recognition，pages 770-778，2016中。三、五、七[7] Z. He，A. S. Rakin和D.粉丝参数噪声注入：可训练的随机性，以提高深度神经网络对对抗性攻击的鲁棒性。在IEEE计算机视觉和模式识别会议集，第588-597页，2019年。二、七[8] S.作者：Y.J.卡亚角Giuffrida和T.杜米特拉斯终末期脑损伤：揭露硬件故障攻击下深度神经网络的不雅退化。arXiv预印本arXiv：1906.01017，2019。1[9] G. Huang，Z.Liu，K.Q. Weinberger和L.范德马滕。密集连接的卷积网络。在IEEE计算机视觉和模式识别会议论文集，第1卷，第3页，2017年。1[10] I. Hubara等人二值化神经网络 In Advances 神经信息处理系统，第4107-4115页，2016年。4[11] S. Ioffe和C.赛格迪批次标准化：通过减少内部协变量偏移来加速深度网络训练。机器学习国际会议，第448-456页，2015年。7[12] A.克里热夫斯基河Nair和G.辛顿Cifar-10（加拿大--http：//www. CS.多伦多edu/kriz/cifar. html，2010. 5[13] J.Liang和R.刘某将去噪自动编码器和丢弃器堆叠在一起，以防止深度神经网络中的过拟合。2015年第8届国际图像和信号处理大会（CISP），第697-701页IEEE，2015年。8[14] A. 马德里 A. 马克洛夫 L. 施密特 D. 齐普拉斯 和A.弗拉多面向抵抗对抗性攻击的深度学习模型。arXiv预印本arXiv：1706.06083，2017。7[15] A. 马德里 A. 马克洛夫 L. 施密特 D. 齐普拉斯 和A.弗拉多对抗对抗性攻击的深度学习模型。在2018年国际学习代表会议上。二、六、七、八[16] A. Paszke，S.格罗斯，S。钦塔拉湾Chanan、E.杨，Z.De Vito，Z. Lin，L.德迈松湖Antiga和A. Lerer pytorch中的自动微分。2017. 5[17] A. S. Rakin，Z.他和D。粉丝位翻转攻击：具有渐进位搜索的破碎神经网络。在IEEE计算机视觉国际会议（ICCV）的会议记录中，第1211-1220页，2019年。一二三五六八[18] M. 拉斯泰加里河谷Ordonez，J.Redmon和A.法哈迪。Xnor- net：使用二进制卷积神经网络的Imagenet分类。欧洲计算机视觉会议，第525-542页。施普林格，2016年。4[19] K. 拉扎维湾Gras、E.博斯曼湾普雷尼尔角Giuffrida和H.博斯翻转风水：在软件栈里敲一根针。在第25届{USENIX}安全研讨会（{USENIX}Security 16），第1-18页，2016年。1[20] K. Simonyan和A.齐瑟曼。用于大规模图像识别的深度卷积网络。arXiv预印本arXiv：1409.1556，2014。三、五[21] K. Wang， Z. Liu，Y. Lin，J. Lin，and S.韩Haq：硬件感 知 自 动 量 化 。 arXiv 预 印 本 arXiv ： 1811.08886 ，2018。6[22] S. Wang，X. Wang，S. Ye，P. Zhao，and X.是林书用剪枝和逻辑增广防御dnn对抗性攻击。2018年IEEE全球信号和信息处理会议（GlobalSIP），第1144IEEE，2018年。6[23] S. Wang，X.Wang，P.Zhao，W.Wen，D.Kaeli，P.下巴和X.是林书用于强化深度神经网络的防御性丢弃-在对抗性攻击下工作。在计算机辅助设计国际会议论文集，第71页。ACM，2018。七、八[24] Q. Xie，中国山茱萸E. Hovy，M. T. Luong和Q. V. Le.自训练与嘈杂的学生提高imagenet分类。arXiv预印本arXiv：1911.04252，2019。1
我的内容管理
展开
