没有合适的资源?快使用搜索试试~ 我知道了~
13409DBL子空间对抗训练李颖文吴思哲陈坤方晓林黄涛上海交通大学{李涛,吴颖文,陈思哲,方亨少,肖林煌}@sjtu.edu.cn摘要单步对抗训练(AT)由于其有效性和鲁棒性而受到广泛关注。然而,存在严重的灾难性过拟合问题,即,在训练过程中,抵抗投影梯度下降(PGD)攻击的鲁棒准确度突然下降到0%本文从一个新的优化角度来研究这个问题,首先揭示了每个样本的快速增长梯度与过拟合之间的密切联系0.80.60.40.20.06050403020100 10 20 30 40 50 60 70 80历元这也可以应用于理解多步AT中的鲁棒过拟合。为了控制梯度的增长,我们提出了一种新的AT方法,子空间对抗训练(Sub-AT),它将AT限制在一个精心提取的子空间中。它成功地解决了两种过拟合,并显着提高了鲁棒性。在子空间中,我们还允许单步AT具有更大的步长和更大的半径,进一步提高鲁棒性性能。 因此,我们实现了最先进的单步AT性能。在没有任何正则化项的情况下,我们的单步AT可以达到超过51%的鲁棒精度,以对抗强PGD。对CIFAR-10发动半径为8/255的50次攻击,达到了一个相当高的水平,与标准多步PGD-10 AT相比,具 有 巨 大 的 计 算 优 势 。 代 码 发 布 于https://github.com/nblt/Sub-AT。1. 介绍对抗训练(AT)[23]旨在最大限度地降低模型在最坏情况下的风险,是目前提高深度神经网络鲁棒性的最有效方法。 对于具有参数w的给定神经网络f(x,w),AT的优化目标可以用公式表示如下:minE(x,y)max(f(x+δ,w),y),w∈B(x,其中(x,)是半径为的范数球, 损失函数AT的关键问题在于通过生成对抗性示例来解决内部最坏情况问题图1.单步AT中的灾难性过拟合。实验在CIFAR-10上进行,采用PreAct ResNet 18模型,研究了对radius 8 / 255的∞扰动的对抗鲁棒性.单步快速AT在验证集上对PGD-20攻击的鲁棒准确率在一个单历元内突然下降到0,其特征在于平均值的快速爆炸每个样本的梯度范数。目前,生成对抗性示例的最有效方法是快速梯度符号法(FGSM)[9],即,xadv= x + n·sgn(nxL(f(x,w),y)).由于上述对抗性示例是通过一步梯度传播生成的,因此对应的AT被称为单步AT。图1,我们证明了一个标准的单步AT过程中,训练的鲁棒精度对FGSM攻击不断增加。然而,概括能力,即,在投影梯度下降(PGD)攻击[23]下,验证集上的鲁棒精度可能突然下降到零,这是一种典型的过拟合现象,称为灾难性过拟合[40]。许多工作[1,16,17,32,37,40]致力于解决这样一个有趣的过拟合问题。解决过拟合的一种方法是使用明智设计的学习率计划以及适当的正则化。例如,Wonget al. [40]提出向FGSM添加随机步骤并引入循环学习率[30]来克服过拟合。Andriushchenko等人[1]提出了一种新的正则化项GradAlign,以进一步提高单步AT解的质量然而,在这方面,训练鲁棒精度(FGSM)确认稳健准确度(PGD20)平均梯度标准鲁棒精度梯度范数13410ni=1我2ni=1我¨Σ∇L¨2Σ这些方法高度依赖于专门设计的学习速率表,对于不同的任务,需要仔细地调整学习速率表。另一种方法是生成更精确的对抗性示例。例如,Kimet al. [17]建议验证沿对抗方向的内部区间并搜索适当的步长。PGD AT是一种典型的多步AT,它使用多次迭代生成对抗性示例,也可以帮助避免灾难性的过拟合。然而,这些方法需要多次前向传播。更严重的是,过拟合仍然可以显著地发生在多步AT(称为鲁棒过拟合)中,如Rice等人所证明的。[28]第10段。为了理解这个有趣的现象,让我们研究一下在图1中的第64个时期发生灾难性过拟合时会发生什么。在过拟合之前,训练鲁棒精度已经进入稳定阶段,表明批量梯度范数较小1nw(f(xadv,w),y)(n表示批量)。小批量梯度有两种可能:i)每个样本的梯度很小;ii)样本的梯度不收敛,但它们相互抵消,导致总体平衡状态。 我将以《易经》为题,每个样本的梯度在一个固定训练批次上的平均范数(即,1n?wL(f(xadv,w),y)?)用红色表示。一个选择范围。作为一种直接扩展,Sub-AT可以用于减轻鲁棒过拟合(图1)。2b)在多步AT中,暗示这两种现象背后的相似本质因此,第一次,这两个过拟合,这是以前单独处理[1],现在连接和重新解决在一个统一的方法。由于子空间中的训练控制了梯度幅度,因此从根本上解决了灾难性的过拟合,我们现在可以允许更大的步长和半径,这在以前需要精细正则化的帮助,例如GradAlign [1]。 它带来了对鲁棒性的进一步改进,由此得出纯基于单步的AT(没有正则化项)实现了与标准多步PGD AT竞争的鲁棒性,具有很大的计算益处,回答了长期存在的问题:单步AT能否比多步AT实现对迭代攻击的相当的鲁棒性?我们的Sub-AT揭示了单步AT长期被忽视的潜力,可以启发更有效和强大的AT算法。我们的主要贡献可概括如下:• 本文从一种新的优化角度研究了单步AT中的灾难性过拟合问题,打破快速增长梯度有趣的是,在过度拟合之前,norm几乎保持不变。然而,当过拟合发生时,它突然增加。直观地说,那时梯度的平衡被打破了--网络试图捕捉每个样本的标签,这些标签具有巨大的波动,即大梯度,这是一个明显的过拟合信号。这一现象也与最近关于梯度方差和泛化能力之间联系的讨论一致[12,15,25]。受大梯度和过拟合之间联系的启发,我们提出通过控制梯度的大小来解决过拟合问题一种可能的方法是将梯度下降限制在一个子空间而不是整个参数空间中,以防止梯度的过度增长。关键的挑战在于将网络的能力保持基于这一发现,我们提出了一种新的AT方法,称为子空间对抗训练(Sub-AT),它识别出这样一个有效的子空间,并在其中进行AT。从图2a中Sub-AT的训练统计数据中,我们观察到它成功地将平均梯度范数控制在低水平(黄色虚线曲线),从而解决了灾难性的过拟合。同时,鲁棒精度从0.4显著提高到接近0.5(黄色实心曲线)。对学习率的敏感性也从根本上克服了,因为我们只使用恒定的学习率,并且结果在宽范围内保持相似。这也可以用来解释多步AT中的鲁棒过拟合现象• 我们提出了一个有效的AT方法,子AT,它限制在一个精心提取的子空间AT,以控制梯度的增长。它统一解决了两种过拟合,显着提高鲁棒性,并成功地克服了学习率的敏感性它也很容易与其他AT方法相结合,以带来一致的改进。• 我们的Sub-AT在单步AT上实现了最先进的对抗鲁棒性,并且可以成功训练更大的步长和更大的半径,这带来了进一步的改进。值得注意的是,我们的纯单步AT在CIFAR-10上在粘性=8/255时相对于PGD-50实现了超过51%的稳健准确度,与多步PGD-10 AT相比具有很大的时间优势。2. 相关工作对抗训练。由于深度神经网络很容易被对抗性的例子所欺骗,因此许多防御方法[4,5,8,21提出了其中,AT [23]通过对抗性扰动来增强训练数据,是目前提高模型鲁棒性的最有效方法。根据产生对抗扰动所涉及的梯度传播次数,AT134110.50.40.30.20.10.00.550.500.450.400.350.300.256050403020100 20 40 60 80历元(a) 单步AT。403530252015100 50 100 150 200历元(b) 多步AT。一个有趣的过拟合问题其中,Wonget al. [40]首先建议向FGSM添加随机步长并采用循环学习率,这提供了与PGD AT相比具有显著时间优势的竞争鲁棒性。Andriushchenko 等 人 [1] 设 计 了 一 个 新 的 正 则 化 项GradAlign,以改善扰动集内的梯度Sriramanan等人[32]引入了一个松弛项,以找到更合适的梯度攻击方向。然而,这些方法依赖于明智选择的学习率计划或适当的正则化系数[17]。为了理解过拟合,Viveket al. [36]发现通过单步AT学习训练的模型可以防止模型生成有效的对抗性示例,并引入了dropout调度来缓解它。Kim等人。[17]在过拟合过程中观察到样本判定边界的失真,并建议沿着对抗方向验证对抗示例。然而,他们的解释仅限于单步AT,并且鲁棒性性能仍然较差。在这项工作中,我们从优化的一般角度理解过拟合,并解释AT图2.解决单步AT中的灾难性过拟合和多步AT中的鲁棒过拟合 实验在CIFAR-10上进行,采用PreAct ResNet 18模型,对半径为8/255的∞扰动具有鲁棒性。在这两种过拟合中,验证集上的鲁棒精度随着突变而退化。样本的平均等级范数的增加。我们的Sub-AT成功地控制了平均梯度范数的快速增加,从而均匀地解决了两个过拟合,并显着提高了鲁棒性。主要分为两类:单步AT [1,17,29,32,40]和多步AT [23,38,44]。单步AT已被证明是高效和稳健的[29,40],因此受到广泛关注。例如,免费AT[29]使用具有冗余批次和累积扰动的单步梯度实现了显 著 的 鲁 棒 性 性 能 。 多 步 AT , 如 PGD AT [23] 和TRADES [44],通常比单步AT提供更好的鲁棒性保证,因为它生成强对抗性扰动。然而,它的计算成本相对较高,因为在批量训练期间需要多次向前和向后传播对抗训练中的过度拟合。单步AT和多步AT都存在过拟合问题(分别称为灾难性过拟合[40]和鲁棒过拟合[28]),其中鲁棒测试准确度随着训练的进行而开始下降在单步AT中,该问题可能更严重,因为对PGD攻击的鲁棒测试准确率可能仅在一个时期内突然下降到0%许多作品致力于解决这样的问题,均匀地,带来了鲁棒性的巨大改善在子空间训练。许多工作集中在神经网络训练的低维本质上[11,34,35]。开创性的工作[19]首先提出通过随机投影在约简子空间中训练神经网络,并发现获得90%常规训练性能所需的维数远小于原始参数的维数。以下工作[10]通过考虑不同的层并在每个步骤重新绘制随机基础来改进随机基础训练。与随机投影不同,Liet al.[20]提出在从训练动态中提取的低维子空间中训练我们还利用了从AT的训练动态中提取的子空间,并将训练约束在其中,从而成功地控制了梯度的大小并保持了训练性能。3. 方法3.1. 灾难性过度拟合研究首先,我们关注图中一个有趣的现象3a:当灾难性的过拟合发生时,训练数据的自然准确性会崩溃。回想一下,与此同时,鲁棒的训练精度经历了突然的增加,如图1所示。这两个现象表明,在过拟合之前,网络学习了鲁棒的特征,这些特征有利于鲁棒性和自然准确性。然而,当过拟合发生时,网络转向捕获训练数据中的对抗信息(对抗信息)。AT:稳健性确认准确度Sub-AT:Val稳健准确度AT:平均梯度范数Sub-AT:平均梯度标准AT:稳健性确认准确度Sub-AT:确认稳健准确度AT:平均梯度标准Sub-AT:平均梯度标准鲁棒精度鲁棒精度梯度范数梯度范数13412--微扰),这损害了自然精度,即,对自然实例的泛化能力。此外,它失去了对PGD攻击生成的新对抗性示例的泛化能力,因为它们可能非常接近自然示例。对抗性信息是如此0.80.40.0Val Robust AccTrain Natural Acc0 40 80历元(一)0.40.20.06040200 100 200 300批次(b)第(1)款由于对抗性样本相对具体而言,我们记录了Fast AT[40]对PGD-20攻击的鲁棒准确性以及训练期间大小为n=256的一个固定训练批次中梯度的平均范数(批次归一化[14]的估计被冻结用于样本梯度估计)。图1示出了当catastrophic过拟合发生时的统计,其中我们观察到鲁棒准确度的突然降低与平均梯度范数的突然增加高度一致。这种现象意味着在灾难性过拟合期间,每个样本的梯度突然增加,导致训练中的巨大波动,最终导致鲁棒泛化的显著退化。为了进一步研究增长和过度拟合之间的联系,我们检查了第64纪元的详细统计数据,当灾难性的过度拟合发生时。我们在每次迭代后记录统计数据 为了比较,我们还考虑将学习率从0衰减。1比0。01,因为增加的梯度指示过度的学习速率。结果如图所示。3b,其中我们观察到,尽管对于两种学习率,最终都会发生灾难性的过拟合,但较小的学习率可能会有所帮助。它实现了更好的鲁棒性,准确性和显着推迟过拟合与更好地控制平均梯度范数(黄色虚线曲线)。我们得出以下结论:i)过拟合与平均梯度范数的快速增长密切相关,精心选择的学习率可以帮助抑制梯度的增长,这导致了采用启发式学习率的最新进展[40];ii)为了控制灾难性过拟合,我们必须控制平均梯度范数的增长。3.2. 控制渐变幅值让我们专注于如何在训练期间控制每个样本的梯度幅度我们的主要思想是将AT的梯度下降约束在一个低维子空间而不是整个参数空间中,从而隐式地抑制了梯度的快速增长。首先,我们考虑如何获得这样一个子空间,是有效的AT。最近,Liet al.[20]提出了一种称为DLDR的算法,该算法有效地提取了用于图3. (a)训练数据的自然准确性也会在过拟合处崩溃;(b)第64个时期的统计数据的变化:切换到较小的学习率可以通过更好地控制梯度范数来减轻优化训练轨迹。它通常包含两个步骤:• 步骤1:示例模型检查点w1,w2,. - 是的- 是的,wt,其中我们将模型参数作为向量wi与参数的数目N的长度对齐;• 步骤2:对对齐的参数矩阵[w1,w2,. - 是的-是的 ,wt],并得到子空间[u1,u2,. - 是的-是的,ud],其中维数d。在这项工作中,我们应用DLDR算法[20]来提取AT的有效子空间。请注意,我们在过拟合发生之前对模型参数进行采样,因为在这个阶段,网络学习到了对鲁棒性和自然准确性都有益的鲁棒特征,如第二节所示。第3.1条我们期望在这样一个提取的子空间中优化网络在提取子空间后,我们将模型参数倒回初始化,并通过将梯度投影到子空间上来约束AT优化。详细算法总结在算法1中。抽样策略。DLDR采用了一种简单的采样一个更微妙的策略有望提高性能。对于采样时期,我们期望在过拟合之前进行采样将获得最佳性能。在训练开始时的采样并不好,因为子空间不能很好地估计。当过拟合肯定没有发生时,我们在一个安全区域中用多一点的时期进行DLDR默认情况下,对于单步AT,子空间d的维数在CIFAR-10上设置为80。我们在附录A中提供了详细的采样策略。培训绩效。在图2中,我们证明了Sub-AT在恒定的低水平下成功地控制了平均梯度范数,从而解决了灾难性的精度稳健性确认(lr=0.1)稳健性确认(lr=0.01)平均梯度标准(lr=0.1)平均梯度标准(lr=0.01)鲁棒精度梯度范数13413×←1σii=1不←i=1我4:W =[ws− w,ws− w,...,ws− w];我12吨i=1--. advn12天n算法1子空间对抗训练(Sub-AT)要求:子空间的维数d,DLDR的采样次数t,学习率α,批量大小n和训练数据{(xi,yi)};一曰: 第一阶段:求出子空间[u1,u2,. - 是的- 是的,ud];2:对参数轨迹ws,ws,. - 是的- 是的,w沿有一定策略的AT训练计算分析。Sub-AT的计算开销由两部分组成:DLDR和子空间训练。DLDR部分包括两个步骤:采样和分解.与采样相比,分解的时间消耗可以忽略不计,因为它只涉及t t矩阵的谱分解和两个矩阵乘积。Sub-AT的训练具有与标准AT几乎相同的计算复杂度,而在梯度投影上的附加代价很小详细计算-3:w=1×tws;12不第五章: 对WW进行谱分解,得到最大d个特征值[σ2,σ2,. - 是的- 是的,σ2],其特征向量为[v1,v2,. - 是的- 是的,vd];6:ui=1Wvi;7:阶段2:在提取的子空间中进行AT;8:k0;9:P =[u1,u2,. - 是的- 是的 ,ud];10:w0=ws;11:虽然不收敛,12:样本小批量数据{(xi,y)};13:生成对抗性示例x;14:gadv<$1<$n<$wL(f(xadv,wk),y);←−G与标准AT训练相比,它只对子空间中的一4. 实验在本节中,我们进行了全面的实验,以验证Sub-AT在解决单步和多步AT的过拟合方面的有效性。我们首先证明了Sub-AT成功地解决了灾难性的过拟合,并在单步AT中实现了最先进的鲁棒性能。然后,我们表明,获得子空间后,子AT允许更大的步骤和更大的半径,这进一步提高了鲁棒性。最后,我们应用kni=1。 阿吉什15:wk+1wkαP P16:kk+1;十七: end while十八: 返回wk;0.50.40.30.20.10.0AdvK;10050子AT,以减轻多步AT中的鲁棒过拟合,表明利用子空间,弱单步AT是能够实现比多步AT更好的鲁棒性揭示了单步AT的巨大潜力4.1. 实验装置数据集。在我们的实验中考虑了三个数据集:CIFAR-10/100 [18]和Tiny-ImageNet [7]。我们按照9:1的比例随机分割原始训练集作为训练集和验证集[3]。由于空间有限,我们将Tiny-ImageNet结果放在附录C中。攻击 我们考虑两种典型的对抗性的每-扰动:φ∞范数,半径φ=8/255和φ2范数0 20 40 6080历元(一)0FastAT(b)第(1)款快速子AT半径为128/255。 对于单步AT,对∞范数攻击,并使用建议的步长α=1。25Wonget al.[40]。 用于多步骤图4. (a)Sub-AT对学习率非常鲁棒;(b)de-CIFAR-10的尾时间消耗分析和鲁棒过拟合,同时显著提高鲁棒性能。然后在图4a中,我们证明了Sub-AT对广泛的学习速率具有高度鲁棒性值得注意的是,在大的学习率下,Sub-AT可以在几个时期内快速收敛并保持性能而不会过拟合。因此,Sub-AT从根本上克服了对学习率的敏感性,并获得了真正的鲁棒性过拟合。在这项工作中,我们将恒定学习率默认设置为1,以实现稳定和有效的训练。我们用10个步骤生成对抗性扰动,步长α=2/255(对于范数为∞)和α=15/255的钉对于2002标准,标准PGD AT如下设置:Rice等人[28]第10段。我们考虑了PGD-20 [28],PGD-50(50次迭代和10次重启)[40]以及最近由[6]提出的强大而可靠的攻击自动攻击,以严格评估鲁棒性。训练 对于所有实验,我们使用PreAct ResNet-18[13]作为默认选择。Wide- ResNet [42]的实验可以在附录D中找到。考虑了三种学习率时间表:i)循环时间表[1,40],可以帮助克服过拟合;ii)分段时间表,即,训练模型200个时期,初始学习率为0。在100度和150度Sub-AT(lr=0.1)Sub-AT(lr=1)亚AT(lr=10)快速AT(lr=0.1)鲁棒精度96分钟Fast AT采样分解快速子AT58分钟计算时间(min)CIFAR-10的理论分析如图所示4b. 我们观察到Sub-AT减少了总训练时间开销13414≤−表1.单步AT在CIFAR-10/100上的性能比较在PGD-50攻击下评估了鲁棒性附表方法子空间CIFAR-10CIFAR-100鲁棒精度自然精度鲁棒精度自然精度最好最终最好最终最好最终最好最终环状Fast AT–45.8245.6982.3683.2616.720.0034.5147.23环状GradAlign–47.0246.7380.4381.3424.5724.2250.8251.92分段Fast AT–39.950.0073.1389.9317.840.0041.5446.46分段单身–35.4832.4383.6886.8616.180.9155.8859.15分段自由了–47.3047.0079.3779.9823.5022.9350.9151.64分段GradAlign–42.160.0271.6488.7723.8015.6049.3053.40分段GAT–50.0341.3782.3884.4523.1220.4058.3357.09恒定Fast Sub-AT快速AT48.2247.8882.3682.7424.9724.5552.7453.09恒定GradAlign Sub-AT GradAlign48.8848.4079.8280.8425.6925.4652.6552.92恒定GAT Sub-AT GAT51.1550.8081.7681.6123.4022.9657.7158.45表2.在CIFAR-10(α=1.0)上,使用较大训练步长的单步Sub-AT对抗半径为8/255的摄动的结果。25)。方法子空间最终时间自然公司简介AA自然公司简介AAFast AT–73.1339.9537.5589.930.000.001.6h快速亚AT(Δ T=8/255)Fast AT82.3648.2244.2082.7447.8843.891.0h快速亚AT(ΔT=12/255)Fast AT80.7450.3845.8480.9149.6445.401.0h快速亚AT(ΔT=16/255)Fast AT78.6451.4646.1179.1351.2246.031.0h快速亚AT(ΔT=12/255)GAT80.7752.4146.8080.7252.3046.802.1h快速亚AT(ΔT=14/255)GAT79.9653.3547.2580.1453.0246.922.1hPGD-10 AT–80.5050.7947.2982.9242.5141.087.0hepoch(作为我们的基本AT的默认设置),这是常用的,并产生最好的鲁棒性性能,如Rice等人所建议的。[28];iii)恒定时间表,用于我们的Sub-AT,以显示其对学习速率的不敏感性我们将学习率设置为1,没有时间表,并在子空间中训练模型40个epoch,具有足够的收敛性。我们使用128和SGD OP的批量大小timizer,动量0.9,权重衰减10−4。数据增强,如4像素填充,随机裁剪,和水平翻转。评价 我们在训练过程中考虑最佳和最终的鲁棒性性能,并使用它们之间的差异来评估过拟合的程度。在验证集上实现最佳鲁棒精度的模型检查点被选为最佳模型,而最终模型是最后五个epoch的平均值[28](除了循环学习率使用最后一个epoch)。时间消耗在Nvidia Geforce GTX 2080 TI上测量。对于Sub-AT,我们重复五次独立运行。表中的标准偏差被省略,因为它们非常小(0。45%),这几乎不影响结果。4.2. 解决灾难性过拟合首先,我们考虑解决单步AT中的灾难性过拟合。我曾以《易经》为题,以《易经》为题。FGSM AT以随机初始化作为基线,并且还考虑了最近提出的用于防止过拟合的其他方法,包括GradAlign(具有推荐系数λ=0)。2)[1]、稳定单AT(c=3个检查点)[17]、自由AT(m=8)[29]和GAT [32](默认系数λ=10)。我们使用PGD-50攻击[1,40]评估鲁棒性,并将训练时期设置为200 [17],以仔细检查是否会发生过拟合。在CIFAR-10和CIFAR-100数据集上使用不同方法的结果见表1。1,其中我们将Sub-AT应用于不同的基本方法,其中子空间来自相应的训练轨迹。基本方法使用分段时间表,其中过拟合大多发生。我们观察到,在200个epoch的分段学习率下,Fast AT和FGSM AT与GradAlign仍然会遇到严重的灾难性过拟合。仔细设计的循环学习速率调度[1,40]有助于克服过拟合,但它导致较差的鲁棒性能(例如,1 .一、CIFAR-10上为86%)与GradAlign Sub-AT相比。在没有任何其他正则化技术的情况下,我们的朴素Fast Sub-AT已经能够获得比使用GradAlign正则化的FGSM AT更好的鲁棒性[1]。GAT [32]确实克服了灾难性的过拟合,并在基本方法中实现了令人印象深刻的鲁棒性,但它仍然可能遭受过拟合问题,因为不同的方法,13415快速亚AT(=16/255)±±±±∈最好的和最后的差距很大。结合Sub-AT算法,可以有效地抑制过拟合现象,提高鲁棒性。为了确保稳健性的改进,我们进行了额外的评价经由 自动攻击关于CIFAR-10,我们的GAT Sub-AT达到46。330 37%的稳健准确度(最佳),而基础GAT达到45。290 53%(最佳),在CIFAR-100上,我们的GradAlign Sub-AT达到21岁640的情况。百分之二十二(最佳)而环状 GradAlign实现20块300 11%(最佳)。因此,通过Sub-AT,我们在单步AT上获得了最先进的鲁棒性性能,进一步减少了多步AT的鲁棒性差距注意我们的良好性能不依赖于在DLDR采样期间获得的结果,因为vanilla Fast AT和GradAlign在训练期间都遇到严重的过拟合,并且仅获得远不能令人满意的差结果。4.3. 走向更大的台阶和更大的半径在解决了灾难性的过拟合问题后,我们证明了Sub-AT在训练中以较大的步长和半径克服了过拟合问题,进一步提高了鲁棒性。具有较大半径的单步AT。具有较大半径的AT通常可以提供更好的鲁棒性保证,以抵御潜在的对抗性攻击。然而,很难训练对大的噪声鲁棒的模型,特别是对于单步AT [1]。通过将训练约束在子空间中,我们可以很容易地对大样本进行单步AT。与上一节类似,我们在第二节中重复快速子AT实验。4.2,训练半径为[8/255,20/255](默认α=1。25)。我们选择了最好的检查点(对PGD-20攻击半径8/255)的不同设置,并绘制其强大的准确性曲线相对于不同的攻击强度。在图6中,我们观察到在一定范围内,使用较大半径进行训练始终提高了对不同半径攻击的鲁棒性(特别是对于大半径攻击),这表明模型然而,也存在着预期的限制,因为过多的扰动会损害训练数据的有价值的信息,导致性能退化。例如,对8/255攻击的最佳鲁棒性是在训练半径为16/255时实现的。单步AT,步长更大。虽然Wonget al. [40]发现向FGSM AT添加随机初始化可以帮助避免灾难性的过拟合,它仅在步长α不太大时成立。事实上,应用大于12/255的α仍然可能遇到严重的灾难性过拟合(如[40]的图3所示,其中α=8/255)。由于Sub-AT解决了过拟合问题,我们希望它可以允许使用大α进行训练。为此,我们考虑CIFAR-10,并在第二节中重复快速子AT实验。4.2,α范围为1/255至16/255,并记录最终0.50.40.30.2快速AT(=8/255)快速子AT(=8/255)快速子AT(=12/255)快速亚AT(=20/255)8 10 12 14 16攻击半径(x/255)鲁棒性性能(注意我们在同一个子空间中)。从图5中的结果,我们观察到Sub-AT成功地解决了大步长的过拟合,并进一步提高了鲁棒性,表明使用大步长确实有利于鲁棒性。0.50.40.30.20.10.00 2 4 6 8 10 12 14 16步长(x/255)图5. PGD-20攻击下不同单步方法在不同步长下的最终稳健性测试精度,λ=8/255。图6.测试PGD-20攻击下不同扰动半径下的鲁棒精度。我们在验证集上评估具有最佳性能的检查点。我们在Tab中总结了使用较大步长和较大半径的训练结果。2,其中我们还报告了总时间消耗(包括Sub-AT的DLDR阶段)以及对PGD-50和自动攻击的评估。主要发现包括:i)简单地通过增加训练步长和半径,Sub-AT显着提高了模型对两种强攻击的鲁棒性,而不会遭受catastrophic过拟合或额外的时间成本;ii)值得注意的是,纯单步Sub-AT在自动攻击下比多步PGD-10AT实现了非常有竞争力的鲁棒准确性,并且在PGD-50攻击下甚至更好的鲁棒准确性。我们还摆脱了PGD-10 AT遭受的鲁棒过拟合的严重问题iii)更有希望的是,与PGD-10 AT相比,Sub-AT只需要总训练时间的七分之一,这是一个相当大的优势。快速AT(循环lr)快速子AT(恒定lr)鲁棒精度鲁棒精度13416表3. CIFAR-10/100上的多步AT和Sub-AT对抗PGD-20攻击的结果,带有范数扰动。数据集规范半径设置鲁棒精度自然精度最好最终Diff.最好最终Diff.8在51.0942.928.1780.5082.92-2.42CIFAR-10ℓ∞=255亚AT52.7952.310.4880.4680.47-0.01=128在67.7365.212.5288.1788.82-2.42ℓ2255亚AT69.1469.010.1388.8788.84-0.018在26.8019.387.4252.2953.27-0.98CIFAR-100ℓ∞=255亚AT27.5027.020.4852.4152.180.23=128在40.2134.985.2361.9860.281.70ℓ2255亚AT41.4841.000.4862.6263.13-0.51表4.将具有较大训练半径的Fast AT应用于多步AT的结果(半径为8/255,CIFAR-10)。方法子空间最终时间自然公司简介AA自然公司简介AAPGD-10 AT–80.5050.7947.2982.9242.5141.087.0hPGD-10 Sub-ATPGD-10 AT80.4652.4848.3780.4752.0147.884.9h快速亚AT(ΔT=12/255)PGD-10 AT81.0253.3248.5881.2552.8548.213.9h快速亚AT(ΔT=16/255)PGD-10 AT79.6354.1749.1479.9454.1148.863.9h4.4.多步AT然后,我们应用Sub-AT来减轻多步AT中的鲁棒过拟合,其中我们将标准PGD-10 AT [23]设置为基线。为了用数字显示过拟合的程度区别是至关重要的,因为通常情况下,我们只能在不使用验证集的情况下获得最终性能。从选项卡中的结果 3,我们观察到鲁棒的过拟合如预期的那样发生在AT的每个设置中,并且最佳和最终之间的差距可以大到8。17%(按CIFAR计算)(10分)。通过在子空间中限制AT,我们减少了差距小于0。5%同时显著提高了鲁棒精度(例如,+1。CIFAR-10的7%)。在从DLDR [20]中提取的好子空间中,与标准AT相比,还保留了干净数据附录B中提供了通过自动攻击进行的更多检查,其中我们观察到Sub-AT确实可以减轻鲁棒过拟合并持续提高鲁棒性,而不是梯度掩蔽的结果[2,26]。我们注意到,鲁棒性的改善自然来自低维优化,并且结果有希望通过结合其他增强技术(例如对损失函数的修改)来进一步改善[3]。最后,我们将快速子AT应用于从多步PGD-10 AT中提取的子空间从选项卡中的结果4,我们观察到,令人惊讶的是,具有较大训练半径的快速子AT显著优于PGD-10子AT。这意味着,我们可以实现强鲁棒性,只有在子空间中的弱对抗性的例子的指导下,这也带来了计算上的这一发现揭示了以前被低估的单步AT的潜力,并可以为设计提供新的方案使用更强大和更有效的AT方法。5. 结论本文研究了单步AT中严重的灾难性过拟合问题。从一个新的优化角度,我们揭示了每个样本的快速增长的梯度和过拟合之间的密切联系,这也可以解释在多步AT的鲁棒过拟合为了控制梯度的增长,提出了Sub-AT,将AT约束在精心提取的子空间中。它成功地解决了这两种过拟合,从而显着提高了鲁棒性。利用子空间,我们允许单步AT具有更大的步长和半径,进一步提高鲁棒性。由单步AT生成的弱对抗样本可以在子空间中训练,以获得比多步PGD AT更好的鲁棒性因此,纯基于单步的AT仅用七分之一的训练时间就实现了与标准PGD-10 AT相当的鲁棒性,这是朝着更有效的AT方法迈出的坚实一步确认我们非常感谢郑宏凯、陶清华和匿名评论者对本文的有益反馈这些成果的研究得到了国家重点研发项目( No.2018AAA0100702 ) 、 国 家 自 然 科 学 基 金61977046和上海市科技重大专项(2021SHZDZX0102)的资助。X.黄为通讯作者。13417引用[1] Maksym Andriushchenko和Nicolas Flammarion。了解并提高 快速 对抗 训练 . 在 Proceedings of the Advances InNeural Information Processing Systems 33(NeurIPS),第33卷,第16048-16059页一、二、三、五、六、七[2] Anish Athalye,Nicholas Carlini,and David Wagner.模糊的梯度给人一种错误的安全感:规避对对抗性示例的防御。在国际机器学习会议(ICML)上,第274-283页。PMLR,2018。八、十一[3] 陈天龙、张振宇、刘思佳、常世宇和王张扬。鲁棒过拟合可以通过适当学习的平滑来减轻。在国际会议上学习表示(ICLR),2020年。五八十一[4] Jeremy Cohen,Elan Rosenfeld,and Zico Kolter.通过随机 平 滑 验 证 对 抗 鲁 棒 性 。 在 国 际 机 器 学 习 会 议(ICML)中,第1310-1320页。PMLR,2019年。2[5] Francesco Croce、Maksym Andriushchenko、Vikash Se-hwag 、 Nicolas Flammarion 、 Mung Chiang 、 PrateekMittal和Matthias Hein。RobustBench:一个标准化的对抗鲁棒性基准。在神经信息处理系统(NeurIPS)数据集和基准跟踪进展(第2轮),2020年。2[6] 弗朗切斯科·克罗齐和马蒂亚斯·海因。 可靠的评估对抗鲁棒性与不同的参数自由攻击的合奏。国际机器学习会议(ICML),第2206-2216页。PMLR,2020年。五、十一[7] Jia Deng,Wei Dong,Richard Socher,Li-Jia Li,KaiLi,and Li Fei-Fei. Imagenet:一个大规模的分层图像数据 库 。 在 IEEE/CVF 计 算 机 视 觉 和 模 式 识 别 会 议(CVPR),第248-255页,2009年。五、十一[8] Yinpeng Dong , Fangzhou Liao , Tanyu Pang , HangSu,Jun Zhu,Xiaolin Hu,and Jianguo Li.给敌对的进攻增加动力。在IEEE/CVF计算机视觉和模式识别会议(CVPR)上,第9185-9193页,2018年。2[9] Ian J Goodfellow,Jonathon Shlens,Christian Szegedy.解释 和 利 用 对 抗 性 的 例 子 。 国 际 学 习 表 征 会 议(ICLR),2015年。1[10] Frithjof Gressmann , Zach Eaton-Rosen , and CarloLuschi.在低维随机基上改进神经网络训练. 神经信息处理系统进展(NeurIPS),第33卷,第12140-12150页,2020年3[11] 盖伊·古尔-阿里,丹尼尔·A·罗伯茨,伊桑·戴尔。梯度下降发生在一个微小的子空间。arXiv预印本arXiv:1812.04754,2018。3[12] Moritz Hardt、Ben Recht和Yoram Singer。训练更快,推广更好:随机梯度下降的稳定性。 国际机器学习会议(ICML),第1225-1234页。PMLR,2016. 2[13] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。在IEEE/CVF计算机视觉和模式识别会议(CVPR),第770-778页,201
下载后可阅读完整内容,剩余1页未读,立即下载
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功