通过多项式性提高分类器的保守性和鲁棒性

133270通过多项式性提高分类器的保守性和鲁棒性0Ziqi Wang •0• 荷兰代尔夫特理工大学0z.wang-8@tudelft.nl0Marco Loog ◦•0◦ 丹麦哥本哈根大学0m.loog@tudelft.nl0摘要0我们说明了指数行为在经典LDA和逻辑回归等方法中可能产生的有害效果，如过于自信的决策。然后，我们展示了多项式性如何解决这个问题。其中之一是有目的地使尾部的性能达到随机水平，远离训练数据的主体。我们随后提出的一个直接相关的简单而重要的技术创新是softRmax：一种在当代（深度）神经网络中使用的标准softmax函数的合理替代品。它是通过将标准softmax与LDA中使用的高斯类条件模型联系起来，并用多项式替代它们来推导出的。我们展示了softRmax的两个方面，保守性和固有梯度正则化，可以在没有梯度混淆的情况下提供对抗性攻击的鲁棒性。01. 引言0在机器学习中，表现出某种指数行为的模型是无处不在的：从线性判别分析（LDA）中的高斯类条件分布[11,15]，到逻辑回归中的S型激活[19,27]，以及深度神经网络中的softmax激活函数[23,37]。然而，具有这种指数性使用的模型可能具有不希望的行为。我们描述和说明了这种行为，研究了其原因，并提出了通过转换为多项式行为的模型的部分补救措施。与[6,17]一样，我们考虑分布尾部，并展示了尾部样本接收到过于自信的后验预测[21]。这使得模型对异常值敏感，并在分布偏移的情况下导致过拟合。此外，我们将过于自信的预测与对基于梯度的对抗性攻击的鲁棒性不足联系起来。模型不应对与训练数据差异过大的样本持肯定态度。通常应避免对分布尾部样本进行过于自信的预测，例如，一个非典型的患者可能被错误地分类为健康或疾病，并且置信度很高。我们0我们希望实现我们所谓的保守性，即表达我们的不确定性。具体而言，我们将其定义为分布尾部样本的随机猜测级别预测，并展示了通过从指数行为转变为多项式行为来实现这一点，无论是在LDA还是逻辑回归中。此外，对于逻辑回归和深度学习，对标准softmax激活的研究表明，在许多情况下它并不一定是最佳选择[8,18,40]。我们提出了一种称为softRmax的多项式形式的softmax后验估计。为此，我们利用标准softmax函数与LDA之间的联系[4]，并采用修改后的柯西分布作为（超）指数高斯项的替代品。0除了过于自信的预测之外，指数性的使用也与对抗性攻击的脆弱性有关。这些攻击旨在通过向原始输入添加不可察觉的扰动来引起恶意预测变化。鲁棒性是在对抗性攻击下保持性能的能力[5]。我们证明，通过简单地用我们的softRmax替换标准的softmax，可以获得神经网络的更高鲁棒性。我们展示了鲁棒性可以追溯到softRmax的保守性和固有梯度正则化。第一个因素，保守性，主要带来了对基于梯度的攻击的鲁棒性。第二个因素导致样本和决策边界之间的边界增大，从而提高了对攻击的鲁棒性。各种应对对抗性攻击的策略的有效性可以归因于梯度混淆[2,10]。我们展示了我们固有的梯度正则化不依赖于这种混淆。0我们概述了在协变量偏移下保守性的好处[14,38,39]，并在模型受到攻击时展示了它。我们通过玩具数据集和公共数据集对我们的多项式替代方法进行了实证验证其鲁棒性。我们进一步提出了一种半黑盒攻击，称为平均样本攻击，以确认我们的softRmax的鲁棒性确实来自上述两个因素。我们还引入了一个尺度不变的度量标准，即幅度边际比，用于比较在相同级别的攻击下不同模型的鲁棒性。̸1332802. 背景材料和相关方法0在我们的工作中，对抗攻击用于鲁棒性评估。它们分为白盒攻击和黑盒攻击，取决于网络是否可用[33]。黑盒攻击不需要网络架构，通常涉及训练一个模仿目标网络决策边界的替代网络[31]。梯度攻击是一种典型的白盒攻击[12,25]。它旨在找到可以导致预测最快变化的扰动方向。FGSM[12]是一种简单而有效的方法，其中将一个小扰动η添加到输入x中以增加总体损失。扰动η是损失梯度� x J (w, x,y)的符号乘以ϵ。扰动后的输入变为：0x' = x + ϵ sign (� x J (w, x, y)). (1)0类似地，目标攻击[32]是一种基于梯度的攻击，旨在将样本扰动到目标类别yt，通过减小与目标类别对应的损失来实现：0x' = x - ϵ sign (� x J (w, x, y t)). (2)0BIM[25]在T步中进行迭代攻击。在相同的攻击尺度ϵ下，BIM在每一步中以α = ϵ/T的尺度进行攻击，形成第t步的攻击输入x' t：0x' t +1 = x' t + α sign (� x J (w, x, y)). (3)0我们需要预测边际M z[41]的概念来衡量对抗性的鲁棒性，它与输入空间中的经典（几何）边际有间接联系[36]。我们的工作使用它来评估边际和我们方法的鲁棒性。为此，我们考虑从输入x到潜在或表示空间的映射：z = f (x, w)，其中z ∈ R k，zi是对应于类别i ∈ {0, 1, ...,k}的最后一层的输出。假设样本x被正确分类为其类别y，zy在z中取最大值。预测边际定义为z y与z中第二大值之间的距离：0M z := z y - max i ≠ y { z i }. (4)0深度学习的对抗性防御已经通过对抗性训练[24]、蒸馏[3,34]、在潜在空间中构建最大边际[16,29,30,42]和梯度正则化[9,13,16,28,35,41]实现。梯度正则化方法的解释是启发式的，它们的成功往往依赖于梯度混淆[10]。后者指的是一个不必要粗糙的损失函数空间，阻碍了基于梯度的对抗性攻击，使其很容易陷入粗糙损失的局部最小值。然而，需要注意的是，这种方法并不能解决0对抗攻击问题本质上存在[2]。在BIM攻击[25]中增加迭代次数和使用黑盒攻击是检测梯度混淆的标准方法。我们在我们的工作中同时使用这两种方法来表明我们的方法不依赖于梯度混淆。协变量偏移是领域适应中的一个具体问题。领域适应是指训练数据和测试数据不是独立同分布的情况[7,20]。训练数据和测试数据分别被称为源领域和目标领域。解决这个问题的一个标准方法是通过为源样本分配由源分布和目标分布决定的权重来近似目标领域。在原始工作[38]中，这些权重是使用高斯分布估计的。使用这种方法，在源分布的尾部添加很少的样本就会导致对添加的异常值过拟合。我们证明，如果在密度估计过程中采用多项式t-分布而不是高斯分布，异常值的影响将受到限制。03. 指数性与多项式性0我们首先证明了在分布尾部存在过度自信的预测和对抗性攻击的敏感性，使用经典LDA、逻辑回归和深度学习。然后，我们将每个场景中的指数项替换为多项式项，并展示了这种替换是一种简单而有效的方法，可以提供保守性和改进的鲁棒性。值得注意的是，对于后者，不需要对抗性训练或额外的正则化。03.1. 保守性0保守性定义为在数据主体之外的尾部区域，即远离数据主体的x处，以随机猜测水平估计后验类别概率p(yi|x)。为了研究这种尾部行为，我们基本上研究了当范数无限增长时的x，即∥x∥→∞。假设有k个类别并忽略类别先验概率，保守性归结为以下要求：0lim ∥x∥→∞ p(yi|≈ 10k. (5)03.1.1 LDA0我们考虑使用LDA进行k类分类。我们详细阐述了过度自信预测与指数性的联系。根据贝叶斯定理，假设先验概率相等，类别yi的后验概率为：0p(yi|x)=p(yi)0k p(yk)p(x|yk)=p(x|yi0k p(x|yk). (6)0为了简单起见，我们将x视为一维。通过拟合高斯分布来估计类条件分布p(x|y)。̸̸.(8)̸I) = �133290（a）高斯分布。（b）学生t分布。0（c）逻辑回归。0图1.使用指数和多项式假设的LDA和逻辑回归。比较后验概率p(y0|x)。子图1a和1b显示了使用类条件高斯分布或t分布的LDA预测的后验概率。子图1c比较了softmax和softRmax的后验概率。使用高斯假设的LDA和指数函数的softmax在分布尾部显示出过度自信的预测。通过将指数行为替换为多项式行为，可以实现保守预测。0N(x|μk,σ^2)，其中μk和σ^2是类别k的均值和方差。当x趋于±无穷时，由于高斯分布的（更快的）指数衰减速率，后验概率会饱和为one-hot编码。具体来说，我们有：0p(yi|x)=(7)�0�1+�0k≠iexp(−102σ^2(2x(μi-μk)-μi^2+μk^2)0�0-10从中我们可以看出，当x→±∞时，limx→±∞p(yi|x)=0，除非yi是距离x=±∞最近的均值，此时后验概率将为1。这也在图1a中有所说明。0多项式替代。我们建议用（非中心）学生t分布替代密度估计中的高斯分布。只要所有k个类条件分布的主导项的幂次相同，就可以考虑其他多项式衰减的分布。通过这种方式，可以得到具有方程（5）中所示行为的保守后验概率。原因是当方程（6）的分子和分母包含多项式项而不是指数项时，x趋于±无穷时的极限行为会有所不同。对于前者，收敛性由后验概率p(x|yk)的多项式衰减速率控制。当它们相等时，假设所有先验概率相等，则极限后验概率为1。0k.0示例。我们考虑一个一维数据的二分类任务。我们假设类别y0的分布在[-2,-1]范围内是均匀分布，类别y1的分布在[1,2]范围内是均匀分布。使用最大似然估计拟合类条件分布p(x|y0)和p(x|y1)的高斯分布，得到后验概率p(x|y0)关于输入x的变化如图1a所示。当x→-∞时，p(y0|x)=1，当x→∞时，p(y1|x)=1。将t-分布代替高斯分布，如图1b所示，对于处于类条件分布主体的样本，我们仍然得到接近1的后验概率p(y0|x)。但对于处于尾部的样本，我们发现更保守的预测，其中p(y0|x)和p(y1|x)约等于1。03.1.2 逻辑回归和softmax0在神经网络中的softmax，作为最后一层用于后验估计的激活函数，与多类别逻辑回归在分类任务中的工作方式相同。在这里，我们考虑一个基本的线性变换f(x, w) = wTx + b =z，尽管我们的分析可以很容易地推广到非线性神经网络。使用标准的softmax激活函数ςS，将嵌入z映射为后验概率的向量，其中p(yi|x) = ςSi(z) = ezi/∑0kezk。与方程（7）等价，我们有0ςSi(z) = ex0k exp(wTk x + bk) =0�1 +0k ≠ i exp((wk − wi)Tx + (bk − bi))�0�0−10当∥x∥→∞时，如果对于所有的k，k ≠ i，(wk −wi)Tx为负，则后验概率为1，否则为0。我们在这里将softmax与LDA联系起来。让我们在Z中放置k个具有单位协方差N(∙|m,I)的正态分布，它们的均值是k个标准基向量ek。基于这些分布，每一个都代表k个类别中的一个，我们可以通过设置来将每个z ∈ Z映射到后验概率的向量ςG(z)：0ςGi(z) := N(0k N(z|ek, I). (9)0反过来，这可以直接与softmaxςS相关联。首先，我们意识到，对于固定的z，0N(z|ei, I) ∝ exp(−102 ∥z − ei∥2)0∝ exp0−10kz2k0exp(zi) exp(−102) ∝ ezi. (10)0由此，我们立即可以看到0ςGi(z) = N(z|ei, I)0kezk = ςSi(z). (11)1=k̸=iwT x+b−eiwT x+b−ekand the terms�wT x+b−wT x+b−ek133300多项式替代。受标准的柯西分布pC(x) = 10π(1+x2)——一个特定的t-分布，我们使用一个幂次为−2的多项式项来替代方程（11）中的高斯类条件分布N(z|ei,I)，从而得到我们的softRmax激活函数ςC：0ςCi(z) :=0∥zei0k 0∥z − ek∥2. (12)0通过采用多项式函数，后验概率变得保守，因为0p(yi|x) = ςCi(z) = ∥wTx + b − ei∥ − 20k ∥ wTx + b − ek ∥ − 201 +0式（13）02收敛到1当∥x∥→∞时。0例子。我们考虑一维二分类的逻辑回归。与前面的例子类似，我们假设两个类别y0和y1在范围[−1, 0]和[1,2]上服从均匀分布。我们用方程（12）中的softRmax激活函数替换了sigmoid/softmax函数来构建一个保守的回归器。从图1c中可以看出，后验概率p(y0|x)趋近于102在两端都趋于0。03.2. 稳健性0除了softRmax具有保守性之外，在任何概率深度网络中简单地用它替换标准的softmax也会带来更多的对抗性稳健性。我们展示了这是来自尾部的保守性和固有的权重正则化导致样本与决策边界之间的边界增大。03.2.1 保守性来自稳健性0大多数基于梯度的对抗性攻击试图最大化总体损失[12]或最小化目标类别的损失[32]。对于一个正确收敛的使用标准softmax的网络，攻击一个正确分类的样本会将其推离尾部，因为朝着尾部移动总体损失不会增加（目标类别的损失也不会减少）。这是因为正确类别的后验概率不会朝着尾部的方向减小（见图1c）。使用softRmax的损失函数的景观由于尾部的保守性而不同，如图1c所示。对于已经位于尾部方向的样本，攻击实际上会将它们推得更远进入尾部。这增加了总体损失或减少了目标类别的损失。然而，朝着尾部的扰动不会改变准确性，所以攻击0失败。这使得使用我们的softRmax的神经网络对基于梯度的攻击更加鲁棒。请注意，这种防御与梯度混淆不同，因为我们的损失函数的梯度不是不必要地粗糙，而是具有不同的结构。这将在4.2.2小节中的相应实验中进一步阐述。03.2.2 扩大边界的鲁棒性0影响softRmax鲁棒性的另一个因素是扩大的边界。为了说明这一点，我们再次考虑输入的简单线性映射：z = wTx +b。该理论可以通过将权重w替换为梯度�xz来推广到非线性映射。对于激活函数的输出为一般的ς，后验梯度等于：0∂0∂x = ∂ς(z0∂z∂z∂x = �zςw. (14)0网络权重通过最小化基于后验的损失函数进行优化，这意味着标记类别的后验概率应该最大化。对于可分离的数据集，网络可以学习到许多可能的决策边界。当决策边界被一些靠近决策边界的样本所偏倚时（如图2c和2p所示），网络通常有两种选择来进一步减小损失。它可以将决策边界移动以扩大分类器边界，或者使决策边界处的后验梯度更陡，以使正确分类样本的后验饱和到1更快。这两种方法都会减小损失。我们观察到，使用softmax作为激活函数时，网络倾向于通过使后验梯度陡峭来增加后验（如图2f和2q所示）。我们认为这是因为权重w的大小m没有被正则化，所以网络可以在优化过程中简单地增加m以增加方程（14）中的后验梯度。这导致决策边界周围的后验快速变化。优化中的一个问题是样本的后验会迅速饱和到1，不再对梯度更新产生贡献。如果决策边界像图2c中那样被偏倚，它在后续的迭代中几乎不会改变。这样的决策边界能够正确分离所有数据，但更容易受到对抗性攻击，因为分类器边界没有最大化。与softmax不同，softRmax通过扩大边界来优化损失。它将x映射到接近第k行的单位矩阵ek的z，因此∥z∥≈1。相应地，权重w的大小受到∥wTx+b∥≈1的固有正则化。这避免了将权重增加到可能导致尖锐决策边界的值，并且只留下了上述两种优化选项来减小损失，即扩大边界（见图2l和2w），从而增加了鲁棒性。(a) Softmax 1(b) Softmax 5(c) Softmax 10(d) Softmax 15(e) Softmax 30(f) Softmax 50(m) Softmax 1(n) Softmax 10(o) Softmax 15(p) Softmax 20(q) Softmax 30(r) Softmax 50wcov =�pDt(x)pDs(x)�λ.(15)133310(g) 我们的 10(h) 我们的 50(i) 我们的 100(j) 我们的 150(k) 我们的 300(l) 我们的 500(s) 我们的 10(t) 我们的 100(u) 我们的 150(v) 我们的 200(w) 我们的 300(x) 我们的 500图2.使用softmax和我们的softRmax进行线性可分数据集和moon数据集的边界变化。不同颜色的点表示两个类别。颜色带显示了输入空间中后验的发展。每个子图的标题中的数字是训练时期。使用标准softmax时，模型使得决策边界附近的后验变化尖锐以最小化损失。由于使用softRmax对权重w进行了正则化，通过在决策边界快速增加后验来最小化损失变得更加困难，这使得模型能够找到更大的边界。04. 实验0我们在使用标准的指数项和多项式替代项时，对保守性和鲁棒性进行了实验。首先，我们使用带有异常值的协变量转移适应性加权作为示例，证明了多项式的保守性在类似LDA的设置中是必要的。下一个实验表明，即使在受到攻击的情况下，softRmax也能给出保守的后验概率。我们还对公共数据集进行了标准的对抗攻击，以比较softmax和softRmax的鲁棒性。为了更好地理解softRmax的行为，我们引入了一种新的所谓的平均样本攻击和幅度边际比。04.1. 保守性04.1.1 协变量转移0在源域D s 和目标域D t之间存在协变量转移，假设存在一个固定的标签函数。我们考虑一种标准的加权方法[38]，使得源域分布p D s近似于目标域分布p D t ：0这里，λ控制加权方案的强度。与3.1.1节类似，使用高斯分布N(x|μ;σ^2)来估计0对于p D s 和p D t，估计了均值μ和方差σ^2。当源分布的尾部出现异常值时，如果目标分布p D t 的方差σ^2 D t 大于源域的σ^2 D s，则会给这些异常值分配极端的权重w cov，这将导致只对这些异常值进行过拟合。使用t-分布，可以获得权重为1，从而改善估计器的行为。考虑了与原始工作[38]类似的域适应回归设置。目标函数为f(x) =sinc(x)，如图3b所示。源和目标密度分别为p D s ( x ) = N (x | 1.1 , (1 / 2)^2 )和p D t ( x ) = N ( x | 2.1 , (10 / 17)^2)。我们向目标函数添加噪声ϵ s i ，以创建源域的输出值y s i= f(x s i ) + ϵ s i ，其中p(ϵ s ) = N(ϵ s | 0 , (1 / 4)^2)。我们将源样本大小设置为n s =150，目标样本大小设置为n t =100。为了近似目标域，根据公式(15)为每个源样本分配权重w cov。在密度估计之后，我们在范围[-5,-4]中随机采样了5个异常值，并将它们添加到源域中。所有参数都通过最大似然估计得到。使用高斯密度估计和t-分布的异常值敏感性比较如图3所示。使用高斯密度估计时，由于目标域的方差较大，噪声样本会获得较大的权重，因此当λ不为0时，回归器对噪声样本过拟合。由于t-分布的重尾，噪声样本的权重较小。(c) Softmax ϵ=0.3(d) Ours ϵ=0.3(e) Softmax ϵ=100(f) Ours ϵ=100133320(a) 边缘分布 (b) 目标函数 (c) 无异常值 (d) 高斯分布 (e) 学生-t分布0图3. (a)可视化了源域和目标域的边缘分布。目标函数和回归任务的输出值在(b)中显示。图(c)可视化了在没有添加异常值的情况下使用高斯密度估计的拟合线。图(d)和(e)分别展示了使用高斯密度估计和t-分布的适应结果。图例中的Lambda指的是公式(15)中的幂λ。高斯密度估计对异常值过拟合。04.1.2 保守预测0我们展示了保守性在对抗攻击下的进一步理想行为。对于使用softmax训练的网络，对抗攻击会使网络对高置信度样本进行错误分类。但是当使用softRmax模型受到攻击时，样本被错误分类，但置信度较低，这是由于保守性导致的。我们通过检查来自公共数据集MNIST[26]在不同级别的对抗FGSM攻击下被错误分类的样本的后验概率，来展示softRmax中被错误分类样本的置信度较低。网络有四个卷积层和一个全连接层。我们设置批大小为32，并使用Adam优化网络，学习率为1e-3。我们对softmax和softRmax设置使用相同的架构，唯一的区别是最后一层的激活函数。如图4所示，对于使用标准softmax训练的网络，被错误分类样本的预测类别的后验概率平均较高。具体来说，使用softmax，在ϵ=100的大规模攻击下，所有样本都以后验概率1被错误分类。由于尾部的保守性和软后验变化，我们的softRmax导致后验概率接近随机猜测水平。04.2. 鲁棒性04.2.1 对抗性防御0我们在公共数据集MNIST [26]、CIFAR10[22]和CIFAR100上进行实验，使用标准的softmax和我们的softRmax。MNIST的设置与4.1.2节中相同。对于CIFAR10分类，我们使用随机初始化的VGG16网络。我们使用学习率为5e-3、批大小为256和权重衰减为5e-6的SGD对VGG16进行优化。对于CIFAR100，我们采用在ImageNet上预训练的ResNet50，并使用Adam进行微调。我们将学习率设置为1e-4，批大小为512，权重衰减为5e-6。请注意，在任何实验中都没有使用额外的数据增强。softmax和我们的方法之间唯一的区别是在最后一个全连接层之后的激活函数。通过简单地将softmax激活函数替换为多项式softRmax激活函数，网络发展出了强大的对抗性防御能力（见表1）。在没有与其他方法结合的情况下，朴素的softRmax模型在基于注意力机制的对抗性防御方法上超过了CIFAR数据集上的现有技术水平[1]。0(a) Softmax 无攻击 (b) Ours 无攻击0图4.在不同级别的FGSM攻击下，被错误分类的MNIST测试样本的预测类别的后验概率。图例给出了被错误分类的样本数量。在softRmax的设置下，被错误分类的样本接收到的预测更不自信。即使在ϵ =100的极端攻击下，我们的softRmax也给出了非饱和的后验概率，达到了随机猜测的水平。0激活函数与多项式softRmax激活函数之间的区别，网络在损失函数的梯度上具有不同的结构。将样本引导到尾部与通过粗糙的损失函数梯度局部最小值来阻止攻击是不同的。从梯度攻击的角度来看，尾部是从样本的角度来扰动的正确方向，因为整体损失函数向尾部单调递增。然而，我们通过在非常大的迭代次数下执行迭代的BIM攻击来排除梯度混淆的可能性。事实上，softRmax在准确率稳定后的增加迭代次数后显示出更强的鲁棒性，如图5所示。下一节的实验表明，黑盒攻击比白盒攻击更弱，这进一步减小了softRmax鲁棒性可以被梯度混淆解释的可能性。04.2.2 梯度混淆0正如我们在3.2.1节中指出的，与梯度混淆不同，我们的损失函数的梯度不是粗糙的，而只是在分布的尾部有不同的结构。ϵϵϵϵ=0.3MNIST 3&7softmax99.7577.1818.6971.640.24ours99.9595.8888.7194.9066.24MNISTsoftmax96.848.30.4153.490.02ours97.7875.5549.3069.7333.94CIFAR10softmax80.3117.6213.9510.394.83ours80.2849.9341.0344.2518.11CIFAR100softmax61.4311.236.781.940.05ours61.0419.3111.049.062.16(a) ϵ=0.1(b) ϵ=0.3x′y = xy + ϵsign(Avgt − Avgy).(16)098.8899.1811.1453.233.5574.330.6958.13198.5099.2115.0546.7353.4160.7348.7763.44298.2698.1610.5054.0025.9350.4216.5342.26396.3498.1210.3151.7327.1658.9915.5437.77496.8497.3513.2851.8437.2163.0326.9747.94597.8798.099.3352.2432.8464.5216.6846.76697.9198.6412.0051.5235.4652.1424.4344.56796.6096.6912.1152.8832.4660.1022.0345.50892.6196.619.3654.3824.9673.0418.9041.93994.0595.646.3351.7230.6568.5829.3149.67133330表1.对抗性防御结果。我们比较了使用softmax和我们的softRmax激活函数在FGSM和BIM攻击（T=10）下的网络。'Clean'指的是在没有任何攻击的情况下对测试集的分类准确率。我们考虑了对MNIST、CIFAR10和CIFAR100中的类别3和7进行二分类，在不同的攻击水平ϵ下。结果显示，softRmax对抗性攻击的鲁棒性明显提高。0数据集 方法 无攻击 FGSM BIM0分布的尾部具有不同的结构。将样本引导到尾部与通过粗糙的损失函数梯度局部最小值来阻止攻击是不同的。尾部是从梯度攻击的角度来看，从样本的角度来扰动的正确方向，因为整体损失函数向尾部单调递增。然而，我们通过在非常大的迭代次数下执行迭代的BIM攻击来排除梯度混淆的可能性。事实上，softRmax在准确率稳定后的增加迭代次数后显示出更强的鲁棒性，如图5所示。下一节的实验表明，黑盒攻击比白盒攻击更弱，这进一步减小了softRmax鲁棒性可以被梯度混淆解释的可能性。0图5. 在不同的迭代次数下对CIFAR10进行BIM攻击。对于攻击水平ϵ= 0.1和ϵ = 0.3，softRmax的稳定准确率明显高于softmax。04.2.3 从保守性的鲁棒性0现有的基于梯度的攻击只能检查模型作为一个整体的鲁棒性，但不能显示鲁棒性是来自扩大边界还是保守性或两者兼有。为了检查扩大边界和保守尾部对鲁棒性的影响，我们提出了一种半黑盒攻击，称为平均样本攻击。它不依赖于梯度，而是简单地将样本扰动到一个预选目标类别的方向上，基于预先计算的平均值。因此，样本被保证不会被推向尾部。我们预先计算平均样本 Avg y  = 10对于每个类别 y ，我们有 n 个样本 x ny 。对于目标类别 t，对抗输入 x ′ 变为0总的来说，我们的平均样本攻击不应该比基于梯度的攻击更强，因为前者找到的攻击方向没有经过优化。它防止样本进入尾部，因此如果它对softRmax来说成为了一种更强的攻击，那么这表明尾部的保守性确实增加了鲁棒性。否则，基于梯度的白盒攻击也应该是我们的softRmax模型的最差攻击。0表2.在MNIST数据集上的有针对性攻击结果。白盒是使用可用于生成对抗样本的网络进行有针对性攻击。黑盒是有针对性攻击的黑盒版本，首先学习一个替代网络来近似原始模型的决策边界。Avg是我们的平均样本攻击。Clean列是不进行任何对抗攻击时不同模型的原始每类准确率。其余结果是在对抗攻击下所有10个类别的准确率。我们突出显示每个模型在所有攻击中的最差性能。0类别 清洁 白盒 黑盒 平均值0softmax 我们的 softmax 我们的 softmax 我们的 softmax 我们的0为了检查平均样本攻击是否对softRmax模型是一种更强的攻击，我们还在白盒设置和黑盒设置下进行了基于梯度的有针对性攻击。后者检查梯度混淆是否发生。在黑盒攻击[31]中，首先学习一个替代模型来模拟原始模型的决策边界，然后用该替代模型生成对抗样本。̸≈ ϵmnMz.(17)(a) MNIST(b) MNIST(c) CIFAR10(d) CIFAR10(e) CIFAR100(f) CIFAR100133340模型。我们表明，对于softmax来说，白盒攻击是最强的攻击，而我们定制的平均样本攻击对于softRmax更加有效（见表2）。这表明softRmax的保守尾部确实导致了鲁棒性。黑盒攻击比白盒攻击更弱的事实消除了平均样本攻击性能较差是由于梯度混淆引起的可能性。此外，即使在softRmax上，平均样本攻击的准确率最低，但其性能仍然明显优于softmax。04.2.4 从扩大边界的鲁棒性0我们进一步证明了softRmax的鲁棒性也来自于扩大边界。如果所有样本都被推到决策边界而不是尾部，那么具有更大边界的模型更加鲁棒。由于很难在输入空间中测量边界，因此我们使用预测边界 M z 作为替代。如果扰动 x中的扰动可以将样本推过边界，那么这意味着相应的 M z的变化也大于原始预测边界 M z 。然而，由于不同模型从 x到 z 的映射不同，M z 不能直接用于测量边界。较大的 M z不意味着输入空间中的较大边界。因此，我们引入了一个新的度量标准，即幅度-边界比，来测量攻击对原始预测边界引起的 M z变化。如果对于一个样本，变化大于原始预测边界，那么说明该样本可以成功攻击。为了推导出 x的比率，我们假设最大的 i � = y { z i } 的索引是 j 。我们用 wy 和 w j 分别表示输入 x 的梯度 z y 和 z j 。在输入 x中添加扰动 η 后，z y 和 z j 变为 ˜ z y 和 ˜ z j ，其中 ˜ z y=  w T y x  +  w T y η 。新的预测边界 ˜ M z  = ˜ z y −  ˜ zj 。根据[12]，w T η 可以近似为梯度的幅度 m，扰动的级别 ϵ 和输入的维度 n ，因此0r = | ˜ Mz |0M z = | ( w T y - w T j ) η|0给定相同的输入维度n和攻击水平ϵ, 简化的比率R = m M z可以作为度量标准. 具有较低比率R分布的模型意味着,在相同的攻击水平下, 更难改变预测边距M z ,这表明输入空间中有更大的边距和更高的模型鲁棒性.图6显示, 在MNIST, CIFAR10和CIFAR100上,softRmax模型的比率R低于softmax模型.05. 讨论和结论0我们建议在几种情况下将多项式替换为指数,并显示它导致保守行为.0图6. MNIST,CIFAR10和CIFAR100上softmax和softRmax的幅度-边距比率R的直方图. softRmax的比率明显较小, 表明其对抗性攻击的鲁棒性更高.0对于分布尾部的样本, 我们建议使用多项式替代指数,这样可以增加对抗性攻击的鲁棒性.我们展示了softRmax的鲁棒性也来自于较大的边距,并将其与softRmax的内在梯度正则化联系起来,这表明其成功并不源于梯度混淆.我们的softRmax可以轻松与许多其他对抗性防御策略结合使用, 研究它们的综合强度将是有趣的.鉴于多项式性引起的保守行为,研究其在OOD检测和其他与非独立同分布采样,领域自适应等相关问题中的使用似乎是值得的. 至于softmax,良好的DNN权重初始化对于避免梯度消失是重要的.除此之外, 考虑到当前的理解水平和实验证据,我们认为没有使用它的限制. 总之:为什么不试试softRmax呢?0致谢. 非常感谢Jan van Gemert对反驳意见的反馈和宝贵帮助.部分资助来自荷兰科学研究组织(NWO),研究计划C2D-水平数据科学与不断发展的内容(628.011.002).133350参考文献0[1] Prachi Agrawal, Narinder Singh Punn, Sanjay KumarSonbhadra, and Sonali Agarwal.注意力对图像分类模型对抗鲁棒性的影响.在2021年IEEE大数据国际会议(Big Data)上, 页码3013-3019.IEEE计算机学会, 2021. [2] Anish Athalye, NicholasCarlini和David Wagner. 模糊梯度给出了一种虚假的安全感:规避对抗性样本的防御. 在机器学习国际会议上, 页码274-283.PMLR, 2018. [3] Lei Jimmy Ba和Rich Caruana.深度网络真的需要很深吗?在第27届神经信息处理系统国际会议-第2卷的论文集上,页码2654-2662, 2014. [4] Christopher M Bishop等人.模式识别的神经网络. 牛津大学出版社, 1995. [5] Nicholas Carlini,Anish Athalye, Nicolas Papernot, Wieland Brendel, JonasRauber, Dimitris Tsipras, Ian Goodfellow, AleksanderMadry和Alexey Kurakin. 对对抗鲁棒性的评估.arXiv预印本arXiv:1902.06705, 2019. [6] Robert Chen.关于分布尾部概率的注释. 多元分析杂志, 8(2):328-333, 1978. [7]Hal Daumé III. 令人沮丧地简单的领域自适应.arXiv预印本arXiv:0907.1815, 2009. [8] Alexandre deBrébisson和Pascal Vincent.属于球面损失家族的softmax替代方法的探索. 在ICLR (海报)上,2016. [9] Harris Drucker和Yann Le Cun.使用双反向传播改善泛化性能. IEEE神经网络交易, 3(6):991-997,1992. [10] Chris Finlay和Adam M Oberman.可扩展的输入梯度正则化用于对抗鲁棒性. 应用机器学习, 3:100017,2021. [11] Ronald A Fisher. 在分类问题中使用多个测量.遗传学年鉴, 7(2):179-188, 1936. [12] Ian J Goodfellow,Jonathon Shlens和Christian Szegedy. 解释和利用对抗性样本.统计, 1050:20, 2015. [13] Rostislav Goroshin和Yann LeCun.饱和自编码器. 在第1届国际学习表示会议(ICLR 2013)上, 2013. [14]Arthur Gretton, Alex Smola, Jiayuan Huang, MarcelSchmittfull, Karsten Borgwardt和Bernhard Schölkopf.通过核均值匹配进行协变量转移. 机器学习中的数据集转移, 3(4):5,2009. [15] Trevor Hastie和Robert Tibshirani. 高斯混合判别分析.皇家统计学会: B系列(方法学), 58(1):155-176, 1996. [16] SibylleHess, Wouter Duivesteijn和Decebal Mocanu.基于softmax的分类是k均值聚类: 形式证明,对抗性攻击的后果以及通过基于质心的定制改进.arXiv预印本arXiv:2001.01987, 2020. [17] Bruce M Hill.关于分布尾部的一种简单的一般推断方法. 统计学年鉴,页码1163-1174, 1975.0[18] Sekitoshi Kanai，Yuki Yamanaka，YasuhiroFujiwara和ShuichiAdachi。Sigsoftmax：对softmax瓶颈的重新分析。在《神经信息处理系统进展》中，2018年：286-296。[19] David GKleinbaum，K Dietz，M Gail，Mitchel Klein和MitchellKlein。《逻辑回归》。Springer，2002年。[20] Wouter MarcoKouw和MarcoLoog。无目标标签的领域适应综述。《IEEE模式分析与机器智能交易》，2019年