4岁。金,Y。Li,H.帕克河耶什万特河Yin,P.熊猫.
SNN与标准ANN的区别在于使用Leak-Integrate-and-Fire(LIF)神经元[30]
作为非线性激活。LIF神经元在膜电位中积累传入尖峰,并且当神经元具
有比激发阈值更高的膜电位时生成输出尖峰。这样的积分和发射被证明
带来了不可微的输入输出传递函数,其中标准的反向传播难以应用
[54]。最近的SNN工作通过在计算后向梯度时定义LIF神经元的代理函数
来规避不可微的反向传播问题[40,39,54,66,74,72,45,32,73]。
我们的工作也是基于一个梯度反向传播方法与代理函数(细节提供补充
A)。梯度反向传播方法使SNN具有更深的架构。例如,将批量归一化
(BN)[29]添加到SNN [38,33,83]中可以提高VGG16和ResNet19等更深
层次架构的准确性。此外,Fanget al. [20]重新审视SNN的深层剩余连
接,显示通过添加更多层可以实现更高的性能。尽管最近最先进的SNN
架构 更深入[83,20,15],尚未探索此类网络的修剪。我们认为,在深
度SNN中显示中奖票的存在为资源受限的神经形态芯片和边缘设备带来
了实际优势。
2.2 彩票假说
近几十年来,修剪一直在积极探索,它压缩了深度神经网络的巨大模型
大小,同时保持了其原始性能[27,26,71,47,42]。按照同样的思路,
Frankle Carbin [21] 提出了Lot- tery Ticket Hypothesis( LTH),该假设指
出,过度参数化的神经网络包含稀疏子网络,其精度与原始密集网络相
似甚至更好。他们通过迭代幅度修剪(IMP)搜索中奖彩票。尽管IMP方
法[84,2,18,5,46]与现有修剪方法相比提供了更高的性能,但这种迭
代训练-修剪-再训练操作需要巨大的训练成本。为了解决这个问题,工
作线[50,51,16,7]发现了来自源数据集的可转移中奖彩票的存在,并
成功地将其转移到目标数据集,从而消除了 搜索成本。此外,You
et
al. [80]引入
早鸟票
假设,其中他们推测可以在早期训练阶段获得中奖
票,从而降低训练直到收敛的成本最近,Zhanget al.
[82]通过精心选择的训练数据子集(称为修剪感知关键集)发现中奖
彩票。为了完全消除训练成本,一些作品[41,70]提出了从初始化网
络中搜索算法,该算法在没有训练的情况下找到中奖彩票。不幸的
是,这些技术没有显示出与原始IMP方法相当的性能,因此主流LTH
利用IMP作为修剪方案[24,82,51]。基于IMP技术,研究人员发现
LTH存在于各种应用中,包括视觉识别任务[24],自然语言处理[4,
7,53],强化学习[69,81],生成模型[31],低成本神经网络集成[46]
和提高鲁棒性[8]。虽然LTH在人工神经网络领域已经得到了积极的探
索值得一提的是,Martinelli
et