修正膜电位分布直接训练脉冲神经网络中解决偏移问题的方法

yfguo@pku.edu.cn, tongxinyi@buaa.edu.cn, starhxh@126.com3260RecDis-SNN: 修正膜电位分布以直接训练脉冲神经网络0郭宇飞 * , 童昕怡 * , 陈元培, 张立文, 刘晓德, 马哲, 黄旭辉 †0中国中国航天科工二院X实验室0摘要0受生物神经元突触活动启发的脉冲神经网络(SNN)越来越受到关注。当膜电位超过发放阈值时，它在网络单元之间传输二进制脉冲信号。SNN的这种仿生机制通过脉冲事件的功率稀疏性和异步操作表现出高能效性。然而，随着二进制脉冲的传播，膜电位的分布会发生偏移，导致退化、饱和和梯度不匹配问题，这对网络的优化和收敛是不利的。这些不希望的偏移将阻止SNN表现良好和深入。为了解决这些问题，我们尝试通过设计一种新的分布损失，即膜电位分布损失(MPD-Loss)，来修正膜电位分布(MPD)，它可以明确地惩罚不希望的偏移，而不在推理阶段引入任何额外的操作。此外，所提出的方法还可以减轻SNN中的量化误差，这在其他工作中通常被忽略。实验结果表明，所提出的方法可以在较少的时间步内直接训练出更深、更大、性能更好的SNN。01. 引言0人工神经网络(ANNs)在许多应用领域取得了巨大成功，包括图像分类[16, 44, 45]，目标检测[14, 31,39]，机器翻译[2]，游戏[43,46]等。然而，ANNs所需的计算资源增加给延迟敏感的应用和能量受限的设备带来了负担。最近，脉冲神经网络(SNN)因其生物启发的神经行为和高效计算而受到越来越多的关注，并被视为ANNs的潜在竞争对手[40]。0* 相等贡献. † 通讯作者.0SNNs利用二进制脉冲活动，即0表示无事件，1表示脉冲事件，来传输信息。这种传输模式弥合了ANNs的实值信息处理和大脑的脉冲信息处理之间的差距。由于二进制脉冲和稀疏时间通信机制的特性，SNNs在特定神经形态硬件上具有功耗效率，并在神经形态计算[3, 7, 21,33]、模式识别[20]、机器人学[18]、脑启发设备[33]等方面越来越有前景。然而，不连续和不可微的脉冲活动使得在反向传播中直接训练SNNs变得困难。目前用于避免不可微困境的SNN训练算法可以分为(i)ANN到SNN的转换和(ii)替代梯度(SG)下降方法。转换方法通常将预训练的非脉冲ANN转换为具有相同架构的SNN[4, 5, 9, 11, 15, 26, 38,42]。尽管转换后的网络可以达到与原始ANNs相当的性能，但它们需要更多的推理时间步骤，这需要更多的时间和能量消耗。SG下降方法采用SGs(即1 | x − V th | < 0 .5或0，其中V th是发放阈值，通常为0.5)来替代脉冲活动函数的全有或全无梯度[10, 17, 24, 29, 34, 41,49]。它为直接训练SNNs提供了机会。然而，它也面临梯度消失或梯度爆炸的问题。这些问题将导致性能下降和浅层网络架构。许多工作[12, 13, 23, 37,52]已经努力解决这些问题，并推动模型达到最先进的性能。然而，由于对直接训练SNNs困难的缺乏全面分析，这些工作仍有改进的空间。在这里，我们通过分析膜电位的偏移提供了一种理解训练SNN困境的新视角。以下是对单个通道的简要分析。随着二进制脉冲在层间传播，膜电位的分布会发生偏移。1101001010111000110010100110������������ = ������+������+������1010001010011001010001100000W1W21.5-0.50.501V t h0120.51.5V t h210.51.5V t h2-1.50.50-11.51V t h3270MPD-Loss0      退化                    饱和               梯度不匹配 平衡分布0膜电位0后脉冲脉冲特征图脉冲特征图0膜电位脉冲0V th0u0LIF0（a）（b）0（c）0微分近似梯度区间 发射阈值 V th0LIF模型突触0输出0图1.提出的RecDis-SNN的总体框架。（a）详细的LIF模型。（b）相邻两层神经元脉冲的传播和更新。（c）三个不希望的膜电位分布偏移的示例以及由提出的MPD-Loss调整的平衡分布。0膜电位分布在训练过程中会累积偏移，并可能落入不适当的范围，从而导致训练困难。如图1所示，在某些极端情况下，膜电位偏移会出现三种不平衡：（i）退化：如果通道中几乎所有神经元的膜电位值超出或低于发射阈值，该通道的脉冲将是同质的（即全为0或1），通道的特征信息将可忽略；（ii）饱和：如果通道中几乎所有神经元的膜电位值超出区间[0,1]，这些神经元的梯度将为0，导致无法进行反向传播；（iii）梯度不匹配：如果通道中几乎所有膜电位值都落在区间[0,1]内，相当于对所有梯度计算使用SG（Sigmoid）函数，这将放大来自准确梯度的近似误差，从而导致更严重的梯度不匹配。详细分析见第3.2节。膜电位分布的不可控偏移将增加SNN的训练难度，并限制网络规模。本文首先详细分析了三种不希望的膜电位分布（MPD）偏移，基于此分析，提出了一种新的分布损失，即MPD-Loss，以明确惩罚这些不希望的偏移。通过将MPD-Loss纳入SNN中，我们提出了RecDis-SNN，它将享受到修正的膜电位分布。RecDis-SNN的总体框架如图1所示。主要贡献如下：0•我们通过分析前向传播中膜电位分布的三个不希望的偏移，提出了理解训练SNN困难的新视角。0然后，提出了MPD-Loss来惩罚这些不希望的偏移。0•MPD-Loss有助于缓解梯度消失或爆炸问题，调整脉冲率并加快收敛速度。从这个意义上说，它在推理阶段起到了归一化的作用，而无需额外的操作。据我们所知，这是少数几个可以直接训练深度SNN而无需归一化技术或任何热启动的工作之一。0•MPD-Loss还可以缓解量化误差问题，这在其他工作中通常被忽视。据我们所知，这是第一个注意到SNN中这个问题并提供解决方案的工作。0•RecDis-SNN在标准非脉冲和神经形态学基准测试中进行了评估。实验结果表明，通过使用MPD-Loss，RecDis-SNN可以实现最先进的性能。同时，MPD-Loss可以轻松与其他方法结合，并进一步提高它们的性能。02. 相关工作0不需要的膜电位分布（MPD）偏移将加剧深度SNN中梯度的不稳定性（即梯度消失或爆炸）。此外，这些偏移可能导致SNN的过度激发或不足激发。解决这些问题的方法主要可以分为（i）归一化技术和（ii）使用更多可学习参数的扩展。这些方法以隐式方式在一定程度上缓解了MPD偏移问题。我们在本节介绍这些相关工作。3280归一化。归一化技术通常用于通过缩小深度神经网络（DNNs）中的内部方差偏移来避免梯度消失或爆炸。通过在DNNs中增加准确性和加速收敛的验证优势，已经提出了许多变体，例如批归一化[19]，组归一化[48]，层归一化[1]和权重归一化[27]。还有一些其他采用经验设置来重新分配数据的类似归一化的技术[35,36]。例如，[35]提出了二值化的类似退化问题，并使用特别设计的附加正则化损失来解决它。我们受到这个想法的启发，并将其应用于SNN领域。我们通过改进进一步减少量化误差。受到DNNs的巨大成功的启发，还提出了许多改进的归一化技术来训练SNNs[11,42,47,52]。NeuNorm[47]提出了通过使用输入统计量（移动平均发放率）来平衡神经元选择性和归一化神经元活动的方法。从理论上讲，NeuNorm与批归一化类似。通过将时空预激活归一化为N（µ，V2th），阈值依赖的批归一化（tdBN）[52]可以减弱预激活中对触发阈值的依赖性。很明显，归一化限制了神经元预激活范围，这有助于克服由不希望的偏移引起的退化和饱和问题。然而，据我们所知，SNNs中现有的归一化方法都忽视了梯度不匹配问题。0引入更多可学习参数。为了调整神经元的触发，许多研究尝试使用更多可学习参数来平衡神经元的触发阈值和膜电位。例如，参数化的漏电整流-放电（PLIF）神经元[13]被提出作为原始神经元的替代方案，在该方案中，膜泄漏是一个可学习的参数，而不是一个经验性的超参数。此外，Diet-SNN[37]被提出来共同优化膜泄漏和触发阈值。然而，通过引入更多可学习参数来探索膜电位和触发阈值之间的更好关系，这种方法仍然受到梯度不匹配问题的困扰。0与当前的SNN方法不同，所提出的方法同时解决了三个不希望的MPD偏移问题，同时也不失去对量化误差问题的关注。与[6,35]类似，我们试图通过将正则化嵌入损失函数中来刻画分布，即MPD-Loss。此外，它还可以减轻通常在其他工作中被忽视的量化误差。我们认为，这种关于包括量化误差问题的SNNs的新见解可能会给后续研究带来一些有趣的启示。03. 材料和方法0本节首先从理论上介绍了漏电整流-放电（LIF）神经元模型和所提出方法中使用的SGs。然后详细介绍了修正MPD的所提出方法。最后，通过分析的方式展示了其有效性和性能。03.1. 脉冲神经网络0漏电整流-放电神经元模型。脉冲神经元是SNNs的基本计算单元。它的膜电位和内部电压通过连接的突触对输入信号做出响应。与ANNs不同，脉冲神经元通过发射二进制脉冲信号并在膜电位超过触发阈值时将其传递给下一个连接的神经元来传播信息，遵循生物神经元发放规则的原则。作为SNNs中常用的神经元模型，本文采用了漏电整流-放电（LIF）模型。它可以用以下微分方程来描述：0τ0dt=−u+RI，u

下载后可阅读完整内容，剩余1页未读，立即下载