ConvSNN：雷达姿态识别的代理梯度脉冲神经网络框架

软件影响10（2021）100131原始软件出版物ConvSNN：一种用于雷达姿态识别的代理梯度脉冲神经网络框架作者：Ali SafaJ.，Francky Catthoor，Georges G. E. Gielen天气-鲁汶，比利时天气-鲁汶，比利时自动清洁装置保留字：尖峰神经网络基于雷达的手势识别A B标准尖峰神经网络（SNN）最近因其低延迟和超低能耗而在边缘AI应用中引起了极大的兴趣。与DNN不同，SNN使用尖峰序列来传递信息。由于尖峰序列的导数是高度不确定的，因此已经提出使用替代梯度作为训练SNN的有效方法。 尽管如此，开源SNN软件的缺乏和有限的SNN应用程序范围减缓了更广泛的SNN采用。我们发布了我们的ConvSNN框架，展示了量化权重SNN在雷达姿态识别中的新颖适用性。我们的框架将促进SNN领域的未来研究代码元数据当前代码版本1.0用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2021-111Reproducible Capsule的永久链接https://codeocean.com/capsule/6192245/tree/v1法律代码许可证MIT许可证使用git的代码版本控制系统使用Python的软件代码语言、工具和服务编译要求，操作环境依赖性pytorch v.1.5.1，sklearn，matplotlib，numpy如果可用开发人员文档/手册问题支持电子邮件Ali. imec.be1. 介绍近年来，尖峰神经网络（SNN）已经成为一种新的基于事件的计算范例（与经典的基于框架的网络相反）。SNN由于其低推理延迟，低能耗以及与越来越多的大规模并行神经形态计算架构（由英特尔等公司研究[1]）的兼容性而引起了人们的极大兴趣，使其成为边缘AI应用的有吸引力的选择[2]。与连续激活函数（例如，与经典深度神经网络（DNN）中使用的ReLU相比，SNN利用不连续的尖峰激活函数，将信息编码为尖峰序列（狄拉克梳）。这导致整个网络的梯度定义不清，禁止直接使用误差反向传播（backprop）。为了规避这个问题和启用反向传播，最近提出了使用代理梯度[3]和时间反向传播（BPTT）[4]，并且由于其显著的效率[5]而迅速流行尽管如此，SNN的更大采用已经放缓，主要是由于（1）开源SNN框架的数量很少，以及（2）演示应用程序的数量有限。在本文中，我们通过发布我们的卷积SNN（ConvSNN）框架来解决这两个问题，目标是基于SNN的雷达手势识别的新用例。此外，我们的框架也不同于以前的SNN作品，由于其使用量化感知训练。我们的发布软件证明了具有4位权重（神经形态处理器中的典型位宽[7]）的资源受限Con- vSNN在两个不同的雷达手势识别数据集[6，8]上的适用性，实现了超过91%的准确度。因此，拟议的制度是本文中的代码（和数据）已由Code Ocean认证为可复制：（https://codeocean.com/）。更多关于生殖器的信息徽章倡议可在https://www.elsevier.com/physical-sciences-and-engineering/computer-science/journals上查阅。Corresponding author at：KU Leuven，Leuven，Belgium.电子邮件地址：Ali. imec.be（A. Safa）。https://doi.org/10.1016/j.simpa.2021.100131接收日期：2021年8月31日;接受日期：2021年9月3日2665-9638/©2021作者。由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impactsA. Safa，F.卡特索尔和通用电气Gielen Software Impacts 10（2021）100131图1.一、 混淆矩阵用于12类雷达姿态识别[6]. 通过运行SNN_12_class_test.py文件生成。识别准确率为91% ± 2%。准备在越来越多的超低功耗神经形态处理器中实现[1]。2. 描述ConvSNN框架是用Python编写的，并依赖于PyTorch库[9]进行自动区分，并在文件eNetworks.py中定义一个名为ActFun的自定义尖峰神经元类。ActFun类在前向传递中表现为泄漏积分和激发（LIF）neu-ron，并在后向传递中使用高斯代理[3]。用户可以通过在ActFun类的向后方法中编写他们的自定义数学模型来轻松地试验不同的代理模型。LIF衰减参数decay_neu和高斯替代参数可以在顶部行中修改eNetworks.py。ConvSNN由eNetworks.py中的类mini_eCNN定义，并且可以由用户容易地修改（例如，以尝试更多层）。文件SNN_12_class_train.py在12类雷达数据集上训练ConvSNN函数low_precision用于将网络权重设置为可设置的位宽。文件SNN_5_class_train.py也有相同的描述，它在第二个雷达数 据 集 （ 5 类 ） 上 训 练 网 络 。 文 件 SNN_12_class_test.py 和SNN_5_class_test.py测试保存的模型在其相应数据集上的准确性。图1显示了通过运行SNN_12_class_test.py获得的混淆矩阵。训练期间保存的模型存储在文件夹saved_models_12_class和saved_models_5_class中，并通过测试文件SNN_12_class_test.py和SNN_5_class_test.py从那里加载。这些数据集存储在文件夹dataet_5_class和dataet_12_class中。3. 影响我们的ConvSNN框架实现了一种新型雷达手势识别系统的开发，该系统具有可实现的4位权重[10]，目标是超低功耗边缘AI和物联网领域。本文提出的框架是模块化的，其他研究人员可以轻松修改以满足他们的自定义需求（因为它主要依赖于标准PyTorch函数[9]）。我们的ConvSNN框架 是为数不多的最先进的SNN软件之一，公开发布的更大的机器学习社区，并将帮助研究人员快速评估和扩展SNN，使新兴的神经形态计算范式更快地采用。2竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢作者感谢André Bourdoux ，Ilja Ocket，Federico Corradi 和LarsKeuninckx的讨论和指导，以及Flanders AI研究计划部分支持这项工作。引用[1]M. Davies等人，Loihi：具有片上学习的神经形态众核处理器，IEEE Micro 38（1）（2018）82 http://dx.doi.org/10.1109/MM.2018。 112130359。[2] S. Moradi，N. Qiao，中国春萤叶甲F. Stefanini，G. Indiveri，可扩展的多核架构与 异 构 存 储 器 结 构 的 动 态 神 经 元 形 态 异 步 处 理 器 （ DYNAP ） ， IEEETrans.BioMed.电路系统12（1）（2018）106http://dx.doi.org/10.1109/TBCAS.2017.2759700[3] E.O. Neftci，H.穆斯塔法角Zenke，Spiking神经网络中的代理梯度学习网络：将基于梯度的优化的力量带到尖峰神经网络，IEEE信号处理。Mag. 36（6）（2019）51 http://dx.doi.org/10。1109/MSP.2019.2931595。[4] P.J. Werbos，Backpropagation through time：What it does and how to do it。IEEE 78（10）（1990）1550http://dx.doi.org/10.1109/5.58337[5] ShresthaS.B.，Orchard，G，SLAYER：尖峰层错误及时重新分配，在：神经信息处理系统，蒙特利尔，加拿大，2018年。[6] S. Wang，J.宋，J。利恩岛普佩列夫岛与土壤的互动：探索射频频谱中的细粒度动态手势识别，2016年，pp. 851-860[7] C. 弗伦克尔，M。Lefebvre，J. Legat，D.Bo l ，A 0.086-mm 2 12.7-pJ/SOP 64k-Synapse 256-neuron online-learning digital spiking neuromorphic processor in 28-nm CMOS ， in ： IEEE Trans. Biomed. 电 路 . 系 统 ： 13 ， （ 1 ） 2019 ， pp.145http://dx.doi.org/10.1109/TBCAS.2018.2880425[8] J. Stuijt，M. Sifalakis，A. 优素福扎德 科拉迪， 大脑：一个事件驱动的，用于尖峰神经网络的完全可合成架构，Front。Neurosci. 15（538）（2021）。[9] A. 帕斯克河格罗斯，S。钦塔拉湾查南E.杨，Z.德维托角Lin，L.德迈森湖 Antiga，A. Lerer，Pytorch中的自动微分，2017年。[10] Ali Safa，André Bourdoux，Ilja Ocket，Francky Catthoor，Georges G.E. Gielen，2- J，12类，91%准确率的脉冲神经网络方法用于雷达手势识别，2021年。