自适应可扩展的多级脉冲神经网络

⃝可在www.sciencedirect.com在线获取ScienceDirectICTExpress 7（2021）94www.elsevier.com/locate/icte自适应可扩展的多级脉冲神经网络桂燮庵，徐文熙韩国首尔弘益大学电子工程系接收日期：2020年1月20日;接收日期：2020年4月8日;接受日期：2020年5月11日2020年5月19日网上发售摘要最近，深度神经网络（DNN）的识别率有了显著的提高。然而，由于数字层的增加，DNN需要额外的计算和显著的功耗。在这项研究中，我们提出了一种新的尖峰神经网络（SNN），具有高识别率和降低计算成本。如果当前神经网络（NN）的输出的可靠性被确定为低，则将结果前馈到下一个NN的输入。我们使用反向传播学习算法来训练组件神经网络。由于大多数的决策是在早期阶段，所提出的方法显示出约83%的计算成本减少与传统的SNN具有相同的识别率。c2021韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：多级神经网络; SNN;低复杂度神经网络1. 介绍人工神经网络（ANN）和深度神经网络（DNN）的兴趣最近逐渐增加。[1]的文件。这项研究大体上可以分为两类。在第一种方法中，我们间接地模拟了人脑活动，节点之间的信息以数字（DNN）的形式交换。在另一种方法中，我们更直接地模拟神经元活动，其中脉冲信息在节点（SNN）之间交换。我们的工作基于后一种方法。在SNN的最后阶段，需要将锋电位序列中的信息转换为对输入进行分类的信息。在以前的作品中提出了各种转换方法。在[2，3]中，作者提出了一种方法，其中使用SVM（支持向量机）或ANN将累积膜电位值用于分类。由于在他们的工作中使用浮点运算，因此系统复杂度和功耗非常高。在[4这种比较需要预处理，其中输出应该∗ 通讯作者。电子邮件地址：suafion@gmail.com（K.S.Um），seoweon.hongik.ac.kr（S.W.Heo）。同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2020.05.002在输出域中具有高隔离度。在其他作品中，尖峰的数量[7]或第一个尖峰的时间[8，9]用于分类。但是，这些方法需要等待尖峰发生或计数，这需要许多时间步长。在本文中，我们提出了一种新的多级SNN架构，具有低的平均操作能耗，通过新的分类机制。 为了减少操作的数量，我们在每个组件SNN中使用较少数量的时间步长。通过减少时间步长来降低识别率，通过一种新的分类机制来补偿。通过反向传播学习算法独立训练各个SNN[7]。当第一级SNN的计算完成时，计算分类器输出的级的判定。如果分类器输出被确定为具有低阶段决策，则所提出的网络计算下一个分量SNN。另一方面，如果分类器输出被确定为具有高阶段决策，则所提出的网络执行最终分类。至少在2002年，我们的研究中首次引入了基于分类机制的自适应可扩展SNN。开放的文学所提出的多级SNN只需要少量的计算，但性能相当于传统的SNN。本文的结构如下。在第2节中，我们解释了SNN的基本架构和操作的架构。我们将在第3节中详细解释所提出的算法。我们在第4节中展示了模拟结果，然后是结论。2405-9595/2021韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。K.S. 嗯，和S. W。Heo/ICT Express 7（2021）9495（∑=256=S=我O我我τ不我我2.3. 脉冲神经网络所提出的网络的学习在各个网络单元中进行。我们定义损失函数（Loss），如（5）中所示，具有均方误差。1损失=S1yi−T2t，L i（五）Fig. 1. 常规脉冲神经网络。2. 尖峰神经网络：概念和公式2.1. 基本架构一个传统的尖峰神经网络（SNN）如图所示。1.一、该网络由输入节点、隐节点和输出节点组成。第一层（10）的输入是编码的图像数据。在时间步长t中，网络计算膜电位，如果超过预定义的阈值，则生成尖峰。在输入层中，输入值应该使用神经编码转换为尖峰。在本文中，我们遵循[7]中的程序。输入图像像素通过ppixell被转换为0和1之间的概率值p。在每个时间步长t中，如果伯努利随机变量XBer（p）大于p，则生成尖峰。2.2. 脉冲神经网络我们使用Leaky Integrate and Fire（LIF）神经元模型。每个神经元的膜电位通过以下等式更新其中y，s和o，t，L是独热标签矩阵，并且在时间t处输出层（L）处输出尖峰。S表示分类标签的数量。对于所有时间T，尖峰被训练为在真实标签处发生。为了使损失函数最小化，反向传播被使用如下（6）。Wnew=Wold−µ×wLoss。（六）其中μ是学习率（0.0005）。损失函数梯度的推导由[7]使用。[7]的近似克服了（4）3. 提出的多级神经网络3.1. 自适应可扩展的多级脉冲神经网络图2示出了所提出的多级SNN。“SNN n“指的是如图1所示的单个尖峰神经网络。1，其中n是级数。使用第2.1节中介绍的方法将图像编码到尖峰序列中。传统的SNN将停止前馈的SNN计算从输入输出。然而，多级SNN将基于从输入计算的结果来决定是否继续前馈。每个单独SNN（SNNn）的最后一层是“分类层”。每个SNNn使用“阶段决定”的“发射率”（FR）来决定分类标签。表示尖峰与特定标签处的所有时间步长的比率的FRi=1∑ot，L.（七）ut+1，l=ut，lf（ot，l）+∑wlot+ 1，l−1+bl，（1）t我我我I j J IJ其中L是输出层，T是时间步长的数量。节点的数量等于要被其中Ut，L表示第L层的膜电位机密每个尖峰神经网络阶段独立地我i t和wl表示加权因子使用整个训练数据集进行训练。在时间步长i，在第i个和第j个节点之间。在（1）中，f（ot，l）由下式计算：t，lf（ot，l）=τe− ，（2）其中τ（= 0. 是衰减因子，并且尖峰（0t，l）由下式给出：ot，l=g（ut，l），（3）3.2. 一种多级脉冲神经网络的分类方法有两种使用多级NN的分类方法。对图像进行分类的第一种方法（方法1）使用所有的我哪里g（x）=我1;i f x≥Vth0;i f x Vth（四）.多级SNN输出。第二种方法（方法2）只使用一个SNN的输出。对于自适应可扩展多阶段，每个方法的阶段决策（DoS）分别在（8）和（9）O{2）不96K.S. 嗯，和S. W。Heo/ICT Express 7（2021）94我的天根据（4），当膜电位超过阈值电压（V tht，l= 1. 5）时，神经元将发放尖峰，并且膜电位（ui）将被重置为零。DoC（方法1）真;i f平均值（F R i）≥ 0。5False;i f average（F R i）<0.五、（八）K.S. 嗯，和S. W。Heo/ICT Express 7（2021）9497我的天图二、自 适应可扩展多级脉冲神经网络。当使用（8）中的方法1时，当前馈完成SNN的FR的平均值大于一半时，执行最终分类。表1尖峰比率与真和假情况。DoC（方法2）真;i f F Ri=1假;i f F R i= 1。（九）在（9）中，每个SNNn仅在FR为1时进行预测，并检查如果下一个SNN（称为SNNn+ 1）的FR为1。对于最终SNNn（SNNN）中的两种方法，如果DoC为假，则最终通过所有SNNn s的FR对于每个SNNn，隐藏层和每个层中的节点的数量是不同的。隐藏节点的大小从SNN1到SNNN逐渐增加，因为它是将用于从SNN1到SNNn的更困难的分类问题的网络。如果输入图像相同，但当前网络的DoC不足，则将通过下一个网络再次检查DoC。算法1是上述前馈机制的总结。作为使用图2中的方法2的网络的输出的示例，SNN1的分类标签为7。然而，DoC为假，因为FR1为0.7且小于1。我们用编码的输入图像检查了SNN2处的DoC。SNN2的分类标签为9，FR2为1.0。结果，DoC为True，多级SNN的最终分类标签为9。在这种情况下，SNN3没有运行。4. 仿真结果4.1. 初步分析表1示出了当个体SNN示出对测试图像的正确或不正确答案时的归一化FR的比率。单个SNN具有三个时间步长和一个具有150个隐藏节点的隐藏层。“真分类”是网络正确回 答的 标签。 “False-classification” is the label that thenetwork classified if the answer is incorrect, and “False–true”is the label that corresponds to the answer if the network 使用所提出的自适应可扩展多级SNN，可以重新考虑表14.2. 复杂性分析图3显示分类的测试数据集的比率在每个阶段。每一阶段比率的增加值是指在该阶段分类的比率。如果在最后阶段未进行分类，则使用第3.2节中讨论的FR总和确定分类标签。在方法98K.S. 嗯，和S. W。Heo/ICT Express 7（2021）94−=- -=- -−表3各种SNN的识别率和计算成本隐藏节点时间步长识别率[%]计算费用(a)150 3 97.5 1（b）100人 150200250（N4，方法1）（c）100150200250（N4，方法2，拟议）3 98.2 0.853 98.3 0.89图3.第三章。多 级 S N N 的 分类比。表2识别率[%]（方法1/方法2）与时间步长#和阶段#。（d）800 3 98.3 5.33（e）800 [7] 30与具有相同参数（a）的单个网络相比。与800个隐藏节点和三个时间步长的网络（d）时间步长数单个SNNn150− 200其实现相同的性能。当比较（c）和（e），（c）的识别率稍低，但在计算上具有显著优势。5. 结论在本文中，我们提出了一种新的自适应可扩展组件SNN，以减少计算成本，同时保持网络性能。为了减少运算次数和功耗，我们使用了一个组件SNN，图1 3、分类比例呈现小幅提升因为FRi的平均值小于0.5，上一步的输出。另一方面，当使用方法2时，分类率随着阶段而增加，这似乎是每个阶段相互补充的关系。利用相对计算成本计算网络间的计算量。在表3中，用于计算成本参考的SNN具有1个隐藏层，具有150个隐藏节点。当存在一个隐藏层时，如果隐藏节点的数量加倍，则计算量加倍。在此基础上，根据隐藏节点的数量计算计算量在表3（b）和（c）中，使用图3中的分类比率将每一步计算的计算量相加。3.第三章。4.3. 性能分析表2和表3中给出了验证所提出的自适应可扩展多级SNN对MNIST数据集的性能的实验结果。表2示出了通过改变级数和时间步长的多级SNN的识别率。使用两个以上的级可以显著提高性能为了与其他网络进行比较，使用具有最高性能和最小时间步长的网络。表3显示了各种SNN的识别率和计算量。所提出的多级SNN（c）具有四个阶段，时间步长为3。其识别率是98.3%，识别率时间步数少。我们评估的第一阶段SNN的信心，以决定是否需要进一步的操作。由于大多数决策表明我们不需要进一步的处理，计算成本降低了约83%，相比类似性能的单级CRediT作者贡献声明Kwi Seob Um：概念化，方法论，软件，写作-原始草稿。徐文熙：监督。竞合利益作者声明，他们没有已知的可能影响本文所报告工作致谢这项工作部分得到了韩国国家研究基金会（NRF）的资助（NRF-2016 R1 D1 A1 B 03930910）和韩国电力公司（资助号：R18 XA 02）的支持。引用[1] A. Tavanaei，M. Ghodrati，S.R. Kheradpisheh，T. Masquelier，A.Maida，脉冲神经网络中的深度学习，神经网络。111（2018）47-63.[2] S.R. Kheradpisheh，M. Ganjtabesh，S.J. Thorpe，T. Masquelier，基于STDP的尖峰深度卷积神经网络用于对象识别，神经网络. 99（2018）56-67。100100–150100−100− 150−200 −250296.597.7/97.798.0/97.998.0/98.0397.197.7/98.098.1/98.198.1/98.3497.598.0/98.098.2/98.298.2/98.3K.S. 嗯，和S. W。Heo/ICT Express 7（2021）9499[3] P. Ferre，F. Mamalet，S.J. Thorpe，基于赢家通吃的STDP的无监督特征学习，Front。计算Neurosci. 12（2018）。[4] S.M. Bohte，J.N. Kok，H.李文辉，神经元网络中的误差反向传播，神经计算， 2002年，第48 期，第17-37页。[5] S. Panzeri，M.E.钻石，信息携带的群体尖峰时间在胡须感觉皮层可以解码，而不知道刺激时间，前线。突触神经科学2（2010年）。[6] R.V. Florian ， The chronotron ： A neuron that learns to firetemporallyprecisespike patterns，PLoS One 7（2012）。[7] Y.吴湖，加-地Deng，G.李建，朱，L.Shi，Spatio-temporalbackpropagationfor traininghigh-performance spiking neural networks ， Front. Neurosci.12（2018）。[8] S.M.蔡斯急诊室年轻，第一尖峰潜伏期信息在单个神经元增加时，参考人口发病，美国国家科学院院刊。Acad. Sci. 104（2007）5175-5180。[9] A. Tavanaei，Z. Kirby，A.S. Maida，通过STDP和梯度下降训练尖峰convnets，在：2018年神经网络国际联合会议，2018年，第10页。一比八