无参数自适应自动攻击评估方法的实现与应用

151050通过自适应自动攻击实现对对抗鲁棒性的实用评估0Ye Liu 1, Yaya Cheng 1, Lianli Gao 1, Xianglong Liu 2, Qilong Zhang 1, Jingkuan Song 1*01 中国电子科技大学未来媒体中心和计算机科学与工程学院，中国 2北京航空航天大学，中国0liuye66a@gmail.com, yaya.cheng@hotmail.com, lianli.gao@uestc.edu.cn0xlliu@buaa.edu.cn, qilong.zhang@std.uestc.edu.cn, jingkuan.song@gmail.com0摘要0对抗攻击的防御模型取得了显著的发展，但缺乏实用的评估方法阻碍了进展。评估可以定义为在给定迭代次数和测试数据集的预算下寻找防御模型的鲁棒性下限。一个实用的评估方法应该是方便的(即无参数)，高效的(即较少的迭代次数)和可靠的(即接近鲁棒性的下限)。为了实现这个目标，我们提出了一个无参数的自适应自动攻击(A3)评估方法，以测试时间训练的方式解决了效率和可靠性问题。具体而言，通过观察到对特定防御模型的对抗样本在其起始点上遵循一些规律性，我们设计了一种自适应方向初始化策略来加速评估。此外，为了在给定迭代次数的预算下接近鲁棒性的下限，我们提出了一种基于在线统计的丢弃策略，自动识别和放弃难以攻击的图像。对近50个广泛使用的防御模型进行的大量实验证明了我们的A3的有效性。通过比现有方法少得多的迭代次数，即平均1/10(加速10倍)，我们在所有情况下都实现了较低的鲁棒准确性。值得注意的是，我们在CVPR2021防御模型白盒对抗攻击竞赛中以这种方法获得了1681支队伍中的第一名。代码可在以下网址找到：https://github.com/liuye6666/adaptive auto attack01. 引言0尽管在广泛领域取得了突破，深度神经网络(DNNs)[21, 23,42, 52,57]对对抗样本的脆弱性较高。例如，添加了人类难以察觉的扰动的输入0* 通讯作者0攻击者可以欺骗深度神经网络(DNNs)以输出不合理的预测[4, 11, 14-16, 30, 33, 50,60-62]。为了解决这个问题，已经提出了各种对抗性防御方法[9, 17, 18,49]来抵抗恶意扰动。不幸的是，这些防御方法可能会被更高级的攻击方法[7, 12, 44,45]破解，使得很难确定最先进的技术。因此，我们迫切需要一种实用的评估方法来判断不同防御策略的对抗鲁棒性。鲁棒性评估可以定义为在给定迭代次数和测试数据集的预算下寻找防御模型的鲁棒性下限[7]。对防御模型进行白盒对抗攻击对于测试对抗鲁棒性至关重要。在这些方法中，广泛使用的随机抽样已被证明在大规模研究中生成多样化的攻击起始点是有效的[7, 20, 31,43]。一般来说，有两种随机抽样策略。从输入空间的角度来看，给定一个原始图像x的标签y和从均匀分布中抽样的随机扰动ζ，起始点是xst = x +ζ，例如，投影梯度下降(PGD)[31]。从输出空间的角度来看，给定一个分类器f和一个随机抽样的多样化方向wd，评估者通过最大化输出的变化来生成起始点，即wd�f(x)。直观地说，随机抽样策略是次优的，因为它是模型无关的。对随机抽样进行全面的统计分析以验证其是否是次优的。换句话说，我们想研究对抗样本，即成功欺骗受害者模型的图像，对特定防御模型是否遵循其起始点的某些规律性。输入空间的统计结果表明，对抗样本的起始点实际上是随机的。这是合理的，因为起始点高度依赖于它们对应的输入图像，而输入图像在高维空间中是随机分布的。与输入空间不同，输出空间的统计结果显示̸151060即多样化方向wd相对于特定的防御模型遵循某些规律。具体而言，wd不是均匀分布的，而是在正/负方向上具有模型特定的偏差。因此，在输出空间中进行随机采样无法获得良好的起始点，这可能会减慢评估速度。为了加速评估，我们在本文中提出了一种自适应方向初始化(ADI)策略。ADI首先采用一个观察者来记录在第一次重新开始时对抗性示例多样化方向的变化。然后，基于这些方向，ADI引入了一种比随机采样更好地生成起始点的新方法，用于后续的重新开始。0除了使用ADI加速鲁棒性评估外，我们设计了另一种名为基于在线统计的舍弃策略，以提高现有方法的可靠性。目前，广泛应用于鲁棒性评估的是一种简单的迭代策略，它将所有图像视为平等，并为它们分配相同的迭代次数[6, 7, 20, 31,32, 43,51]。然而，这种策略是不合理的，因为它在攻击困难的图像上付出了不必要的努力。直观地说，给定预算迭代次数，我们成功攻击的例子越多，我们获得的鲁棒性越接近下限。因此，分配给攻击困难图像的迭代次数是次要的。基于我们观察到的损失值可以粗略地区分攻击的难度，我们提出了一种基于在线统计的舍弃策略，自动识别和舍弃攻击困难的图像。具体而言，我们在每次重新开始时停止扰动具有相当困难的图像。对于剩下的图像，分配相同数量的迭代次数。显然，基于在线统计的舍弃策略充分利用了迭代次数，并增加了将图像扰动为对抗性示例的机会。基于这种可靠策略，我们可以进一步接近鲁棒性的下限。从本质上讲，加速评估与提高可靠性密切相关，因为节省的迭代次数可以用于攻击易攻击的示例，从而导致更低的鲁棒准确性。通过结合上述两种策略，我们提出了一种实用的评估方法Adaptive AutoAttack (A3)。0总之，我们的主要贡献有三个方面：1)基于全面的统计数据，我们提出了一种自适应方向初始化(ADI)策略，它比随机采样生成更好的起始点，以加速鲁棒性评估。2)我们提出了一种基于在线统计的舍弃策略，自动识别和舍弃攻击困难的图像，在预算迭代次数下进一步接近鲁棒性的下限。3)大量实验证明了该方法的有效性和可靠性。特别地，我们将A3应用于近50个广泛使用的防御模型，无需参数调整，我们的方法实现了更低的鲁棒性。0准确性和更快的评估速度。02. 相关工作0许多针对防御模型的白盒攻击方法已被提出用于鲁棒性评估。Fast Adaptive Boundary Attack (FAB)[6]旨在找到改变给定输入类别所需的最小扰动。ProjectedGradient Descent (PGD)[31]通过在每次重新开始时分配随机扰动来进一步提高评估性能。基于PGD，Gowal等人[20]提出了一种MultiTargeted攻击(MT)，每次重新开始时选择一个新的目标类别。Tashiro[43]提供了一种更有效的初始化策略来生成多样的起始点。不幸的是，大多数这些有前途的方法都高估了鲁棒性[2,12, 44,45]。造成这种情况的潜在原因是不恰当的超参数调整和梯度掩盖[7]。因此，我们迫切需要一种实用的评估方法，它方便（即无需参数）、高效（即迭代次数较少）且可靠（即接近鲁棒性的下限）。为了解决这个问题，Croce等人[7]提出了Auto Attack(AA)，通过整合四种攻击方法。大规模研究表明，AA的鲁棒测试准确性低于现有方法。然而，AA效率低下，因为它需要大量迭代来进行鲁棒性评估。Yu等人[51]没有采用集成策略，而是使用潜在特征，并引入了统一的ℓ∞-范数白盒攻击算法LAFEAT来更可靠地评估鲁棒性。然而，LAFEAT的时间和空间复杂度是不可接受的，因为它需要为每个防御模型训练新的模块。总的来说，这是不切实际的，因为在实际应用中往往无法访问训练集。03. 方法论03.1. 准备工作0在本节中，我们介绍对抗攻击的背景知识。给定一个C类分类器f: x ∈ [0, 1]D →RC，其中x是带有标签y的原始图像，模型预测通过以下方式计算：0h(x) = argmax c=1,...,C fc(x), (1)0其中fc(x)指的是x在第c类上的输出logits。在本文中，我们主要关注非目标攻击。非目标对抗攻击的目标是欺骗f以使其错误分类一个人难以察觉的对抗样本xadv = x +δ，即h(xadv) ≠y。通过采用ℓ∞距离来评估δ的难以察觉性，即∥δ∥∞ ≤ϵ，定义了约束优化问题：0arg max L(f(xadv), y) s.t. ∥xadv − x∥∞ ≤ ϵ. (2)0.51-0.020.48-0.120.48-0.100.35-0.070.48-0.070.34-0.130.43-0.080.41-0.060.390.260.460.09-0.120.140.40.20.00.20.4π��.(9)151070在白盒对抗攻击的情况下，攻击者可以访问受害者模型的所有信息。在这种情况下，最流行的方法之一是PGD[31]。具体而言，PGD计算迭代t时的梯度：0gt = �xtadvL�f�xtadv�, y�, (3)0其中xtadv是第t次迭代时的对抗样本，起始点xst生成如下：0xst = x + ζ, (4)0其中ζ是从均匀分布U(−ϵ,ϵ)D中采样的随机扰动。然后，PGD通过执行迭代更新生成对抗样本：0xt+1adv = Px,ϵ � xtadv + ηt ∙ sign(gt) �, (5)0其中ηt是第t次迭代的步长，x0adv =xst，函数Px,ϵ(∙)将输入剪裁到x的ϵ球内。为了准确评估防御模型的鲁棒性，PGD通常采用多次重启。在每次重启时，起始点从扰动空间中随机采样。为了进一步提高起始点的多样性，Tashiro等人[43]提出了ODI，通过最大化输出空间的变化来找到起始点。具体而言，给定从均匀分布U(−1,1)C中采样的随机多样化方向wd，ODI首先计算归一化扰动向量如下：0υ(x, f, wd) = �x0∥�xw�df(x)∥, (6)0然后通过以下迭代更新最大化输出变化来生成起始点：0xt+1adv = xtadv + ηodi ∙ sign �υ�xtadv, f, wd��,0xt+1adv = Px,ϵ � xt+1adv �, (7)0其中ηodi是ODI的步长，通常设置为ϵ，在本文中我们保持相同的设置。x0adv由公式(4)计算得到。经过Nodi次迭代，即初始化的迭代次数，ODI得到起始点xst：0xst = xNodiadv. (8)0与PGD一样，ODI执行多次重启以达到更低的鲁棒准确性。03.2. 动机0一个实用的评估方法应该是方便的（即，无需参数1），高效的（即，迭代次数较少），和01 根据[7]，'无需参数'表示我们不需要为每个新的防御进行参数微调。0误分类 真实标签0几何0FBTF0HYDRA0AT_HEMART0预训练鲁棒性0TRADES0插值0特征散布正则化0图1.对11个模型的对抗样本多样化方向wd的定量统计结果。所有模型的多样化方向wd都不服从均匀分布。0可靠（即接近鲁棒性的下界）。尽管使用了大量的迭代次数，但大多数现有方法通常会高估鲁棒性。这可能有两个原因：a）尽管生成多样化的攻击起始点的有效性，但随机抽样是次优的，因为它是与模型无关的。利用随机抽样生成起始点将减慢鲁棒性评估的速度；b）广泛采用的天真迭代策略，即将相同数量的迭代分配给所有测试样本，是不合理的。直观地说，天真迭代策略在扰动难以攻击的图像上付出了不必要的努力。为了验证上述两点，我们对一些白盒对抗攻击方法针对防御模型进行了全面的统计分析。随机抽样是次优的。考虑到公式（8）和公式（4），随机抽样广泛用于在输入空间（例如PGD）和输出空间（例如ODI）中生成多样化的攻击起始点。值得注意的是，在输入空间中不需要对随机抽样进行统计，因为起始点高度依赖于相应的输入图像，而输入图像在输入空间的高维空间中是随机分布的。因此，我们主要关注输出空间。如公式（7）所示，输出空间中的噪声由w_d决定。因此，为了验证在输出空间中随机抽样的不合理性，我们分析了对抗样本的w_d（即成功攻击的样本）并探索了什么样的w_d是有利的。具体而言，我们采用了以重启次数R = 50，N_odi = 7和η_odi =ϵ为参数的ODI。每次重启攻击的迭代次数N_atk设置为30，第t次迭代的步长如下所示：0η t = 02ϵ ∙ (1 + cos(t mod N_atk))0然后我们使用ODI攻击了11个防御模型，包括Geometry[59]，FBTF [47]，HYDRA [39]，̸10020030040070080090010000102030405060151080在对不同模型的对抗样本中，我们总结了w_d的统计结果如图1所示。第一列和第二列分别给出了w_d在ˆy（误分类标签）和y（真实标签）处的均值，即wˆy_d和wy_d。从图1中，我们得出以下观察结果。首先，对于对抗样本，它们的多样化方向w_d不服从均匀分布。其次，多样化方向存在模型特定的正/负偏差。主要有三种偏差：a) wy_d < 0，wˆy_d> 0，b) wy_d > 0，wˆy_d > 0，c) wy_d > 0，wˆy_d <0。0wy_d > 0，wˆy_d <0。根据公式（7），对于a，f_y(x_st)和fˆy(x_st)将分别减小和增加，这符合对抗攻击的目标。对于b，f_y(x_st)和fˆy(x_st)都将增加。对于c，f_y(x_st)将增加，fˆy(x_st)将减小。显然，情况b和c是违反直觉的，一个潜在的原因是这些防御模型采用了梯度掩码[34]。基于这些观察结果，随机抽样是次优的，因为它是与模型无关的。采用随机抽样生成起始点会阻碍算法快速接近鲁棒性的下界。有关w_d的更详细的统计结果，请参阅附录。B.天真迭代策略的局限性。大多数现有方法采用天真迭代策略，即将所有图像视为平等。然而，基于两个直觉：（1）图像在扰动为对抗样本的难度上存在差异，（2）难度越高，需要的迭代次数越多。天真迭代策略是不切实际的，因为它在扰动难以攻击的图像上付出了不必要的努力。为了成功攻击更多的图像并在预算迭代次数内接近鲁棒性的下界，分配给难以攻击图像的迭代次数是次要的。因此，我们需要一种方法，可以粗略区分难以攻击的图像和易于攻击的图像，合理分配预算迭代次数。直观地说，损失函数值可以粗略反映将图像扰动为对抗样本的难度。可以使用多个损失函数L(∙)进行攻击，包括交叉熵损失和边界损失，定义为max c≠yfc(x) -fy(x)。在本文中，我们使用边界损失，并将无法在2000次迭代后成功攻击的图像定义为难以攻击的图像。成功攻击的其他图像，我们定义为易于攻击的图像。为了验证损失值能否区分难以攻击和易于攻击的图像，在攻击中给定2000次迭代，我们首先使用ODI攻击了5个模型的所有图像（包括AWP [48]，FAT [58]，Proxy [38]，OAAT [1]和0迭代次数0损失百分位数（%）0FATProxyAWPOAATRLPE0图2.易攻击图像的损失百分位数的定量统计结果。随着迭代次数的增加，易攻击图像的损失百分位数不断降低。0然后，我们使用ODI再次攻击这5个模型，记录攻击过程中易攻击图像的损失值百分位数。我们在图2中可视化了统计结果。从图中可以得出以下观察结果。随着迭代次数的增加，易攻击图像的损失百分位数不断降低。此外，易攻击图像的损失百分位数始终高于大多数难以攻击图像的损失百分位数。以易攻击图像为例，当迭代次数达到100时，损失排名的百分位数为前60%，随着迭代次数的增加，它降低到前5%甚至前0.1%。换句话说，易攻击和难以攻击图像的损失值不是随机分布的，难以攻击图像的损失值更有可能较小。我们可以根据损失值区分这些图像。基于这些观察结果，为了充分利用预算的迭代次数，我们可以根据损失值的增加比例自动放弃难以攻击的图像。03.3. 自适应方向初始化0受到第3.2节中随机抽样的分析的启发，我们提出了一种名为自适应方向初始化（ADI）的方法，以生成比随机抽样更好的方向来初始化攻击。具体而言，ADI分为两个步骤：有用方向观察器和自适应方向生成。对于有用方向观察器步骤，ADI首先采用随机抽样生成多样化的方向，即wd = U(-1,1)C。然后，ADI使用由公式（8）获得的起始点来初始化PGD攻击，并获得由PGD生成的对抗性示例。我们将W表示为一个包含所有对抗性示例的wd的集合。where the set T = {1, ..., C}\{y, y} contains all classesother than y and y.Compared with random samplingadopted by ODI, the adaptive direction generated by ADI isguided by prior knowledge, i.e., the direction of diversifica-tion of adversarial examples. Furthermore, ADI randomlygenerates the remaining C − 2 dimensions of the adaptivedirection to improve the diversity of starting points.151090包含所有对抗性示例的wd的集合。受到第3.2节的启发，对于自适应方向生成，ADI采用W中wd的总和的符号作为先验知识来生成自适应方向wa：0κc(W) = sign � 0wd ∈ W wc d � , (10)0其中κc(W)是生成wca的先验知识，即wa的第c个维度。在κ(∙)的帮助下，ADI生成wa的第y个分量如下：0wya = � wya � U(-0.5, 0.1), κy(∙) < 0, wya � U(-0.1, 0.5),κy(∙) > 0. (11)0为了提高wa的有效性，ADI随机选择一个标签y，以符号κy(∙)的符号为准：0wya = � -0.8, κy(∙) < 0, 0.8, κy(∙) > 0. (12)0值得注意的是，我们的方法对wya不敏感。为简单起见，我们设置wya =±0.8。对于自适应方向wa的其余维度，ADI计算如下：0wia � U(-1, 1)C-2, i ∈ T, (13)03.4. 基于在线统计的舍弃策略0考虑到迭代次数的鲁棒性下限，我们提出了一种新的迭代策略，称为基于在线统计的舍弃策略（OSD）。根据第3.2节的观察，OSD采用损失值来区分难以攻击和容易攻击的图像。OSD首先按照每次重启时对应的损失值降序对测试图像进行排序，然后舍弃难以攻击的图像，即停止对损失值较小的图像进行扰动。特别地，给定初始舍弃率ϕ和舍弃增量ι，第r次重启时的舍弃率如下所示：0ς_r = ϕ + r × ι. (14)0对于剩余的图像，OSD为它们分配相同数量的迭代次数。直观上，为了进一步提高攻击成功率，OSD在第r次重启时为剩余图像分配更多的迭代次数，比之前的重启时更多。具体而言，给定一个0算法1：自适应自动攻击（A3）0输入：范数边界ϵ，初始化迭代次数N，步长η，第r次重启时攻击迭代次数N_ratk，攻击迭代步长η_atk，重启次数R，测试数据集I0输出：第r次重启时的对抗样本x_t+1a0通过OSD更新测试数据集I，对于I中的每个x，执行以下操作0从U(-ϵ, ϵ)中采样ζ0如果 r=0，则x_st = x + ζ0从U(-1, 1)中采样wd0否则0wd ← wa0/* ADI */ for n =0对于t=0到N_ratk，通过公式（7）计算x_n+10如果 r=0，则通过公式（5）计算x_t+1 adv0通过公式（11）到（13）计算wa。如果x_t+1 adv是一个对抗样本，则执行以下操作0返回 x_t+1 adv0对于初始攻击迭代次数γ和迭代增量ν，第r次重启时的攻击迭代次数计算如下：0N_r atk = γ + r × ν. (15)0与朴素的迭代策略相比，OSD通过自动识别和放弃难以攻击的图像充分利用了预算中的迭代次数。此外，通过为不同重启时的攻击分配不同数量的迭代次数，OSD有助于进一步接近对抗鲁棒性的下界。03.5. 自适应自动攻击0我们将上述两种策略结合起来形成一个实用的评估方法自适应自动攻击（A3）。首先，A3为每个模型生成自适应方向，并提供更好的起始点以加快评估速度。第三，A3是可靠的。通过在线丢弃难以攻击的图像并自适应地调整攻击的迭代次数，我们的方法A3充分利用了预算中的迭代次数，并进一步接近对抗鲁棒性的下界。0由于我们不需要为每个新的防御模型进行参数微调，所以A3非常方便。其次，A3是高效的。对于基于梯度的优化来生成对抗样本，与随机采样不同，我们的方法A304. 实验4. Experiments4.3. Result of CompetitionWith our proposed A3, we participated in the CVPR2021 White-box Adversarial Attacks on Defense Modelscompetition launched by Alibaba Group and Tsinghua Uni-versity.To evaluate performance fairly, all codes were151100与主流方法AA相比，我们的无参数A3是一种更高效、更可靠的鲁棒性评估协议。自适应自动攻击算法的算法概述如算法1所示。0我们进行了全面的实验来评估我们方法的实用性。具体而言，我们包括了五个基准方法：PGD [31]，ODI[43]，MT-PGD [20]，I-FGSM [29]和AA[7]。我们从最近的会议中选择了近50个ℓ∞防御模型，其中包括8种不同的架构。具体而言，评估是在35个在CIFAR-10数据集上训练的防御模型和12个在CIFAR-100数据集上训练的防御模型上进行的[27]。值得注意的是，为了公平比较，实验中所有攻击方法的步长都是通过公式（9）计算的。我们对所有攻击方法都使用边界损失。在AA之后，我们采用鲁棒准确率（acc）来反映评估的可靠性。如果一个鲁棒性评估方法能够更好地降低模型的分类准确率，则认为该方法是可靠的。在我们的实验中，我们假设每次迭代中所有方法的计算复杂度是相似的。因此，每种方法的评估效率可以通过总迭代次数来反映。为了简化起见，我们测试了前向传播（“→”）和反向传播（“←”）来指示不同方法的评估效率。04.1.与最先进的攻击方法的比较0为了全面验证我们方法的效率和可靠性，我们将AA、PGD、ODI与我们的A3在近50个防御模型上进行了比较。评估结果如表1所示。设置。按照ODI和PGD的设置，为每个图像分配100次迭代（每次重启4次，每次重启25次攻击），Nodi =2。对于AA，采用标准版本2。对于我们的A3，攻击γ的初始迭代次数设置为25，迭代增量ν为5。初始化迭代次数N =7。当迭代次数达到50时，我们保持不变以节省预算迭代次数。初始丢弃率ϕ = 0，丢弃增量ι =0.1，当丢弃率达到0.9时，我们以ι =0.035的间隔逐渐增加到0.97。结果。如表1所示，A3对所有防御模型使用相同的参数，在所有情况下的鲁棒准确率都低于AA，平均降低0.1%的准确率。此外，我们的方法实现了更快的评估，平均前向传播加速10.4倍，后向传播加速5.4倍。总的来说，无参数、可靠性和效率的特性使A3成为一种实用的鲁棒性评估方法。02 https://github.com/fra31/auto-attack0关于其他数据集、网络架构和指标（即ℓ2范数），请参阅附录C。04.2.消融研究0自适应方向初始化的有效性。为了评估ADI的有效性，我们设计了另一种变体称为反向自适应方向初始化（R-ADI），它采用自适应方向的反向。对于所有方法，我们为每个图像分配150次迭代（每次重启5次，每次重启30次），N =10。在表2中报告了R-ADI、ODI和ADI的比较结果。可以看出，与ODI相比，我们的ADI在所有情况下都实现了更好的攻击性能。结果表明初始方向确实影响性能。与均匀生成初始方向相比，我们的ADI可以生成模型特定的初始方向，并帮助获得更好的性能。总的来说，R-ADI在所有情况下的性能最差。一个可能的原因是R-ADI选择了一个糟糕的初始方向，这影响了性能。基于在线统计的丢弃策略的有效性。为了验证OSD的效果，我们比较了在ADI、ADI+OSD（A3）和AA攻击下的防御模型的鲁棒准确率曲线。对于我们的ADI和ADI+OSD方法，设置与第4.1节中相同。注意，ADI+OSD表示在线统计丢弃策略应用于ADI。结果如图3所示。可以观察到，在所有情况下，AA需要更多的迭代次数才能达到ADI和ADI+OSD相同的鲁棒准确率。同时，为了实现更高的攻击性能，ADI和AA需要大量的额外迭代次数，但ADI+OSD需要较少的迭代次数。曲线揭示了我们的ADI+OSD的效率，特别是对于可靠的攻击。对其他鲁棒性评估方法的有效性。在本节中，我们研究了将ADI和OSD集成到不同的鲁棒性评估方法中的效果。对于所有方法，我们为每个图像分配500次迭代（每次重启5次，每次重启100次攻击），对于ODI方法，Nodi =10。对于MT-PGD，多目标数量为3。我们的A3，N =10。其他实验设置与第4.1节中相同。表3显示了在不同攻击方法[20, 29, 31,43]攻击下，集成了我们的模块（ADI和OSD）的防御模型的鲁棒准确率（%）。结果表明，ADI和OSD可以集成到多种攻击方法中，并有效提高它们的性能。CIFAR-10Defense MethodModelCleanNominalPGDODIAAA3∆accaccaccaccacc→←acc→←accULAT [19]†WRN-70-1691.1065.8766.7566.0665.8851.2012.9065.78 ↓ 0.104.49(11.40×)2.20(5.86×)↓ 0.09Fixing Data [36]WRN-70-1688.5464.2065.1064.4664.2550.8212.5964.19 ↓ 0.064.41(11.52×)2.17(5.81×)↓ 0.01ULAT [19]†WRN-28-1089.4862.7663.6363.0162.8049.6212.3062.70 ↓ 0.104.28(11.58×)2.10(5.85×)↓ 0.05Fixing Data [36]WRN-28-1087.3360.7361.6461.0960.7547.9811.9160.66 ↓ 0.094.14(11.59×)2.04(5.83×)↓ 0.07RLPE [41]†WRN-34-1586.5360.4161.2560.6960.4147.5311.8260.31 ↓ 0.104.12(11.52×)2.02(5.84×)↓ 0.10AWP [48]†WRN-28-1088.2560.0460.5560.2360.0447.2011.7059.98 ↓ 0.064.09(11.54×)2.01(5.82×)↓ 0.06RLPE [41]†WRN-28-1089.4659.6660.7859.8859.6647.0911.7259.51 ↓ 0.154.10(11.49×)2.00(5.85×)↓ 0.15Geometry [59]†‡WRN-28-1089.3659.6460.1759.5959.6447.1011.6759.53 ↓ 0.114.10(11.49×)2.00(5.85×)↓ 0.11RST [5]†WRN-28-1089.6962.5060.6459.4459.5347.1011.7059.42 ↓ 0.114.10(11.49×)2.01(5.82×)↓ 3.08Proxy [38]†WRN-34-1085.8559.0960.5159.9459.0946.7011.6058.99 ↓ 0.104.04(11.56×)1.98(5.86×)↓ 0.10OAAT [1]WRN-34-1085.3258.0458.8458.2558.0445.6411.3457.98 ↓ 0.063.99(11.43×)1.96(5.76×)↓ 0.06HYDRA [39]†WRN-28-1088.9859.9858.2757.6057.1445.2011.2057.06 ↓ 0.083.91(11.56×)1.92(5.83×)↓ 2.92ULAT [19]WRN-70-1685.2957.2057.9057.4857.2045.2011.2057.08 ↓ 0.123.90(11.59×)1.92(5.83×)↓ 0.12ULAT [19]WRN-34-2085.6456.8257.4057.0056.8644.9611.1856.76 ↓ 0.103.88(11.60×)1.90(5.89×)↓ 0.10MART [46] †WRN-28-1087.5065.0458.0956.8056.2944.6011.1056.20 ↓ 0.093.86(11.55×)1.89(5.93×)↓ 8.84Pre-training [22]†WRN-34-1087.1157.4056.4355.3254.9243.4010.8054.76 ↓ 0.163.73(11.64×)1.83(5.90×)↓ 2.64Proxy [38]ResNet-1884.3855.6056.3154.9854.4343.2110.7154.35 ↓ 0.083.75(11.52×)1.84(5.81×)↓ 1.25AT HE [35]WRN-34-2085.1462.1455.3354.2153.7443.0010.6953.67 ↓ 0.073.68(11.68×)1.81(5.91×)↓ 8.47LBGAT [8]‡WRN-34-2088.7053.5754.6953.9053.5743.1110.5853.46 ↓ 0.113.69(11.63×)1.81(5.80×)↓ 0.11FAT [58]WRN-34-1084.5253.5154.4653.8353.5142.9410.5453.42 ↓ 0.093.68(11.72×)1.81(5.83×)↓ 0.09Overfitting [37]WRN-34-2085.3458.0055.2153.9553.4242.1010.5053.33 ↓ 0.093.66(11.50×)1.80(5.83×)↓ 4.67Self-adaptive [24]‡WRN-34-1083.4858.0354.3953.6253.3342.1010.5053.20 ↓ 0.133.66(11.50×)1.80(5.83×)↓ 4.83TRADES [56]‡WRN-34-1084.9256.4354.0253.3153.0842.0010.4053.01 ↓ 0.073.63(11.57×)1.78(5.75×)↓ 3.42LBGAT [8]‡WRN-34-1088.2252.8654.3753.2652.8641.8010.3052.76 ↓ 0.103.64(11.48×)1.79(5.79×)↓ 0.10OAAT [1]ResNet-1880.2451.0651.6951.2851.0640.5410.2151.02 ↓ 0.043.51(11.53×)1.72(5.93×)↓ 0.04SAT [40]WRN-34-1086.8450.7252.9551.3850.7240.1410.0150.62 ↓ 0.103.50(11.46×)1.72(5.81×)↓ 0.10Robustness [13]ResNet-5087.0353.2952.1950.1449.2139.109.8049.16 ↓ 0.053.42(11.43×)1.68(5.83×)↓ 4.13YOPO [53]WRN-34-1087.2047.9847.1145.5744.8335.609.0044.77 ↓ 0.063.09(11.52×)1.52(5.92×)↓ 3.21MMA [10]WRN-28-484.3647.1847.7842.4241.5133.308.6041.27 ↓ 0.243.17(10.50×)1.66(5.19×)↓ 5.85DNR [28]ResNet-1887.3240.4142.1541.0140.4132.818.7240.26 ↓ 0.152.81(11.67×)1.38(6.32×)↓ 5.93CNL [3]‡ResNet-1881.3079.6740.2640.2340.2232.708.7039.83 ↓ 0.392.74(11.93×)1.34(6.49×)↓ 39.84Feature Scatter [54]WRN-28-1089.9860.6054.6342.9136.6230.008.2036.31 ↓ 0.3311.02(2.72×)5.44(1.51×)↓ 24.33Interpolation [55]WRN-28-1090.2568.7066.7249.3536.4530.008.5036.21 ↓ 0.2411.21(2.64×)5.52(1.54×)↓ 32.32Sensible [26]WRN-34-1091.5157.2356.0443.1534.2228.207.8034.00 ↓ 0.2210.66(2.65×)5.25(1.49×)↓ 23.23Regularization [25]ResNet-1890.8477.6852.7719.731.353.102.300.89 ↓ 0.462.24(1.38×)1.09(2.11×)↓ 76.79CIFAR-100Defense MethodModelCleanNominalPGDODIAAA3∆accaccaccaccacc→←acc→←accULAT [19]†WRN-70-1669.1536.8838.6437.4136.8829.847.4236.86 ↓ 0.022.56(11.64×)1.25(5.92×)↓ 0.02Fixing Data [36]WRN-70-1663.5634.6435.9534.9834.6428.026.9634.55 ↓ 0.092.38(11.76×)1.16(6.00×)↓ 0.04Fixing Data [36]WRN-28-1062.4132.0633.3932.3632.0625.536.4832.00 ↓ 0.062.24(11.38×)1.10(5.90×)↓ 0.06OAAT [1]WRN-34-1065.7330.3531.6230.9330.3524.346.1130.31 ↓ 0.042.18(11.14×)1.07(5.70×)↓ 0.04LBGAT [8]‡WRN-34-2062.5530.2031.6530.4930.2023.976.1030.12 ↓ 0.082.16(11.11×)1.05(5.80×)↓ 0.08ULAT [19]WRN-70-1660.8630.0331.0330.4130.0323.936.0929.99 ↓ 0.042.13(11.23×)1.04(5.86×)↓ 0.04LBGAT [8]‡WRN-34-1060.6429.3330.5629.6329.3323.215.9429.18 ↓ 0.152.11(11.00×)1.03(5.77×)↓ 0.15AWP [48]WRN-34-1060.3828.8630.7029.4528.8623.015.8428.78 ↓ 0.082.10(10.96×)1.02(5.72×)↓ 0.08Pre-training [22]WRN-28-1059.2328.4230.5629.1328.4222.745.7328.31 ↓ 0.112.08(10.93×)1.02(5.61×)↓ 0.11OAAT [1]ResNet1862.0227.1427.9027.4727.1421.745.6127.0