SNN的鲁棒训练方法及其在对抗性攻击下的分类精度改进

5209∼××HIRE-SNN：通过使用精心设计的输入噪声进行训练来增强节能深度神经网络的固有鲁棒性放大图片创作者：Peter A.南加州大学洛杉矶分校{souvikku，pedram，paberel} @ usc.edu摘要低延迟深度脉冲神经网络（SNN）由于其在事件驱动神经形态硬件上提高能量效率的潜力而成为传统人工神经网络（ANN）的一个有前途的替代方案，然而，包括SNN在内的神经网络受到各种对抗性攻击，在许多应用中必须经过训练以保持对这些攻击的弹性。然而，由于与SNN相关联的过高的训练成本，在各种对抗性攻击下对深度SNN的分析和优化在很大程度上被忽视了。在本文中，我们首先详细分析了低延迟SNN对流行的基于梯度的攻击，即快速梯度符号法（FGSM）和投影梯度下降（PGD）的固有鲁棒性。受此分析的启发，为了利用模型为了评估合并-作为我们的算法，我们在CIFAR-10和CIFAR-100数据集上对VGG和ResNet的变体进行了广泛的实验。与标准训练的直接输入SNN相比，我们的训练模型产生了高达13的改进的分类精度。7%和10. 1%，分别对FGSM和PGD攻击生成的图像，在干净的图像准确性可以忽略不计的损失。我们的模型还超越了在速率编码输入上训练的固有鲁棒SNN，在攻击生成的图像上具有改进或类似的分类性能，同时具有高达25和4.第一章6、更低的延迟和计算能量。为了重现性，我们在github.com/ksouvik52/hiresnn2021上开源了代码。1. 介绍人工神经网络（ANN）在各种计算机视觉应用中已经取得了巨大的成功[36，10，31，37，19]。然而，由于这些应用程序通常是安全关键和可信系统的一部分，因此对其对抗性攻击的脆弱性的担忧日益增加图1. (a)原始图像的直接和速率编码输入变量。（b）VGG11的逐层平均尖峰（c）直接输入VGG 11 SNN及其等效ANN在CIFAR-100上的各种白盒（WB）和黑盒（BB）攻击下的性能迅速特别是，精心制作的对抗性图像具有小的，通常不明显的扰动，可以欺骗训练有素的ANN做出不正确和可能危险的决定[25，1，39]，尽管它们在干净图像上的表现令人印象深刻。为了提高ANN对攻击的模型性能，使用各种adversarially生成的图像进行训练[22，17]已被证明是非常有效的。很少有其他现有技术参考文献[40，33]应用噪声输入来训练鲁棒模型。然而，所有这些训练方案引起不可忽略的干净图像精度下降，并且需要显著的额外训练时间。受大脑启发的深度尖峰神经网络（SNN）也获得了显着的牵引力，因为它们有可能降低机器学习应用程序所需的功耗[13，28]。底层SNN硬件可以经由累积（AC）操作在固定数量的时间步长1T上使用基于二进制尖峰的稀疏处理，其消耗的功率比主导ANN的传统高能耗乘法累积（MAC）操作低得多[8]。通过使用近似梯度[2]和具有联合阈值，泄漏和权重优化的混合直接输入编码ANN-SNN训练[29]的SNN训练的最新进展改进了SNN1这里，时间步长是要通过模型的所有层处理的每个输入图像所花费的时间单位。5210.1、 如果z>0我我我N我（1）时间复杂度O− vt O（1）JN精确度，同时减少所需时间步长的数量。这降低了它们的计算成本，这反映在它们的平均尖峰计数中，如图所示。1（b）和推理延迟。然而，这些最先进的（SOTA）SNN在各种对抗性攻击下的可信度尚未得到充分探索。一些早期的工作已经声称SNN可能对流行的基于梯度的对抗性攻击具有固有的鲁棒性[7，34，24]。特别地 ， Sharmin et al.[34] 观 察 到 速 率 编 码 输 入 驱 动（图）。1（a））SNN具有固有的鲁棒性，作者主要归因于模型的高度稀疏尖峰活动。然而，这些探索主要限于浅SNN模型上的小数据集，更重要的是，这些技术会导致高推理延迟。本文扩展了这一分析，提出了两个关键问题。1. SOTA低延迟深度SNN在黑盒和白盒对抗攻击生成的图像下在多大程度上保持其固有的鲁棒性？2. 计算效率高的训练算法能否提高低延迟深度SNN的鲁棒性，同时保持其高清晰图像分类精度？我们的贡献是双重的。我们首先实证研究，并提供详细的观察固有的鲁棒性索赔深SNN模型时，SNN输入直接编码。有趣的是，我们观察到，尽管平均尖峰计数显着减少，但与各种白盒和黑盒攻击生成的对抗图像上的ANN对应物相比，深度直接输入SNN具有较低的分类准确性。图2. SNN基本操作。第5节，最后在第6节结束。2. 背景2.1. SNN基础在ANN训练中，更新权重涉及通过网络的层传递多位权重和梯度的单个前向-后向传递。相比之下，在SNN训练中，更新权重涉及T个前向和后向通道，每个通道传播二进制尖峰或其梯度的一部分。请注意，T被称为SNN有趣的是，LIF模型在模型中引入了非线性，可以与传统ANN中的直线（ReLU）操作进行比较LIF神经元动力学的离散时间[38]迭代版本由以下方程定义t+1t t tii j iJ在Fig. 第1段（c）分段。基于这些观察，我们提出了HIRE-SNN，一个基于尖峰时间相关反向传播（STDB）的神经网络。Ot=我不是0，否则（二）SNN训练算法更好地利用SNN其中zt=（ut−1）是归一化的膜电位ivt鲁棒性特别是，我们使用其像素值在时间步长上使用精心制作的噪声进行扰动的图像来优化模型可训练参数。更准确地说，我们将训练时间步长T划分为长度为T1的等长周期，并在每个周期内训练每个图像批次，在每个周期之后添加输入噪声。我们的方法的关键特征是，而不是重复显示相同的这避免了额外的训练时间，并且因为我们在每个周期之后更新权重，所以与传统的SNN训练方法相比，需要更少的存储器来存储中间梯度。为了证明我们方案的有效性，我们在CIFAR-10和CIFAR-100 [14]数据集上使用VGG [35]和ResNet [10本文的其余部分安排如下。在第2节和第3节中，我们分别介绍了必要的背景，并分析了直接输入SNN的固有鲁棒性。第四节介绍了我们的培训计划。我们提供了我们的实验结果和讨论秒-以及Vt是当前层激发阈值。IF的衰减因子λ =1，

下载后可阅读完整内容，剩余1页未读，立即下载