深度脉冲神经网络的串联学习规则：高效训练与快速推断

本文《A Tandem Learning Rule for Effective Training and Rapid Inference of Deep Spiking Neural Networks》关注于解决深度脉冲神经网络（Deep Spiking Neural Networks, DSNNs）在生物启发式计算（Neuromorphic Computing, NC）架构中的训练难题。由于脉冲神经元功能的非可微性，标准的反向传播算法（Backpropagation, BPTT）不能直接应用于这类模型。作者提出了一种串联学习框架，该框架由一个深度SNN和一个人工神经网络（Artificial Neural Network, ANN）组成，并通过权重共享进行连接。 核心创新在于设计了一个辅助结构——ANN，其主要目的是协助SNN在脉冲级（spike-level）进行误差反向传播。作者将SNN中的神经活动视为离散的表示形式，为此开发了一种特殊的ANN激活函数，使得在SNN的训练过程中，误差能够有效地从输出层逆向传递到输入层。这种策略克服了传统BPTT在处理SNN的非线性和非连续性问题上的局限性。 在该框架下，训练过程分为两个阶段：首先，SNN在前向传播过程中产生神经脉冲，然后这些脉冲信号被馈送到ANN，ANN计算出相应的误差梯度。随后，ANN的误差信息被反向传播到SNN，更新共享的权重，从而优化SNN的性能。这种双模式的学习规则不仅提高了训练效率，还允许SNN在完成有效训练后快速进行推断，因为ANN的快速计算能力可以支持实时决策。 此外，文章可能探讨了如何量化和衡量这种串联学习规则的效果，比如通过比较使用传统BPTT和该方法在同等时间下的精度提升、能耗效率或模型泛化能力。研究结果可能展示了在特定任务，如图像识别、自然语言处理或机器人控制等领域的实际应用案例，证明了这种串联学习规则在深层SNN中的优势。 这篇论文为深度脉冲神经网络的训练难题提供了一种创新解决方案，通过结合生物启发的SNN和传统的ANN，实现了高效训练和快速推理，有望推动生物模仿计算架构的发展。