没有合适的资源?快使用搜索试试~ 我知道了~
电子科学与技术学报20(2022)100177特邀论文用于神经形态计算的具有易失性阈值切换行为的Redo x忆阻器王宇浩a,b,龚天成a,b,c,丁雅欣a,b,杨莉c,王伟c,陈子昂d,e,杜楠d,e,ErikaCovif,Matteo Farronatog,Daniele Ielminig,张旭梦a,b,h,**,罗庆a,b,c,*中国科学院微电子研究所微电子器件与集成技术重点实验室,北京,100029b中国科学院大学,北京,100049,中国c中国深圳鹏程实验室,518055dJena大学固态物理研究所,Jena,07743,德国e量子探测系,莱布尼茨光子技术研究所,耶拿07743,德国f纳米电子材料实验室,德累斯顿,01187,德国g电子、信息和生物工程系,米兰理工大学,米兰,20133,意大利复旦大学芯片与系统前沿研究所,上海,200433A R T I C L EI N FO编辑:Xuan Xie关键词:忆阻器阈值开关神经形态计算A B S T R A C T尖峰神经网络(SNN)受到人类大脑的启发,是最强大的平台之一,可以在集成系统中使用传统或新兴的电子设备在硬件中实现高效,低成本和强大的神经形态计算。在硬件实现中,人工尖峰神经元的构建是构建整个系统的基础。然而,随着摩尔定律的放缓,传统的互补金属氧化物半导体(CMOS)技术正在逐渐衰落,无法满足神经形态计算日益增长的需求。此外,由于CMOS器件的生物可扩展性有限,现有的人工神经元电路非常复杂。忆阻器具有易失性阈值开关(TS)行为和丰富的动态特性,是超越CMOS技术来模拟生物尖峰神经元并构建高效神经形态系统的有希望的候选者。本文对SNN的基础知识进行了综述。此外,我们回顾了基于TS忆阻器的神经元及其系统的实现,并指出了在系统演示中应从设备到电路进一步考虑的挑战希望本文的研究能为基于忆阻器的神经形态计算的发展提供线索和帮助。* 通讯作者。中国科学院微电子研究所,微电子器件与集成技术重点实验室,北京,100029。** 通讯作者。中国科学院微电子研究所,微电子器件与集成技术重点实验室,北京,100029。电子邮件地址:Xumengzhang@fudan.edu.cn(X.- M. Zhang),luoqing@ime.ac.cn(Q. Luo)。https://doi.org/10.1016/j.jnlest.2022.100177接收日期:2022年6月19日;接收日期:2022年11月3日;接受日期:2022年11月11日2022年11月17日网上发售1674- 862 X/©2022电子科技大学。Elsevier B. V.代表KeAi Communications Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章(http://creativecommons.org/licenses/by-nc-nd/4.0/)。可在ScienceDirect上获得目录列表电子科学与技术学报期刊主页:www.keaipublishing.com/en/journals/journal-of-electronic-science-and-technologyY.-- H. Wang等人电子科学与技术学报20(2022)1001772P1. 介绍近年来,随着神经科学、大数据和深度学习算法的不断发展,传统的电子计算系统在图像分类、语音识别、自然语言处理、任务决策、智能驾驶等领域显示出优越的能力[1- 5 ]。然而,由于冯诺依曼瓶颈和存储器墙,存在与能量低效和延迟相关的挑战[6- 8 ]。为了进一步提高计算效率,受人脑启发的神经形态计算是一个很有前途的候选者。神经形态计算旨在研究属于大脑结构和机制的最有效的计算和学习过程,包括神经元和它们之间的连接突触,并在硬件中再现它们。神经形态计算具有事件驱动、并行计算、模拟计算和内存计算的特点[9],这些特点对于实现低功耗、高密度的计算系统至关重要特别地,这些特征是尖峰神经网络(SNN)固有的,被认为是第三代神经网络,其仅在必要时处理以尖峰形式编码的信息,即,当一个事件发生。在硬件实现方面,忆阻器已被认为是CMOS技术之外的神经形态计算的新平台忆阻器依赖于类似于生物神经元和突触的离子动力学过程,因此可以忠实地模拟神经元和突触的相关功能[6]。此外,根据欧姆定律和基尔霍夫定律,忆阻器可以自然地实现神经网络中的点积运算(OUTj<$iINi×Wi;j,其中INi是输入向量的元素,Wi;j是权重矩阵x的元素模拟计算、并行计算和内存计算。图1.一、 神经网络结构及ANN与SNN的比较:(a)典型的两层神经网络原理图,包括输入、隐层和输出节点;(b)ANN的工作原理图;(c)SNN的工作原理图。Y.-- H. Wang等人电子科学与技术学报20(2022)1001773忆阻器是由两个金属电极组成的2端器件,两个金属电极覆盖一个典型的薄开关层[12,13]。不同类型的切换存储器利用不同的存储器状态转换机制[14]。 根据不同的转换机制,如重做X[15],相变[16],铁电隧道结(FTJ)效应[17],磁阻效应[18],忆阻器有各种各样的应用。特别是,重做X忆阻器由于其快速的开关速度,出色的耐久性和可扩展性而受到极大的关注[15,19,20]。RedoX忆阻器可以分为两类,非易失性和易失性。非易失性忆阻器在以前的工作中已经被广泛地综述用于存储或模拟突触,因此在本综述中将不有三种类型的具有阈值开关(TS)特性的易失性忆阻器:基于绝缘体-金属转变(IMT)的TS忆阻器[21,22],基于导电金属薄膜的TS忆阻器[23这些TS忆阻器最初用作选择器,并在神经形态计算领域表现出卓越的性能本文综述了TS忆阻器在神经形态计算领域的应用研究进展 通过分类介绍了SNN的工作机理和优点。 针对不同的仿真原理,讨论了SNN的神经元模型。此外,TS忆阻器在人工神经元中的应用,SNN的实现,以及人工尖峰传入神经的详细介绍。2. 神经网络2.1. 神经网络大脑的高效率可以归因于三个因素:数据存储和计算的集成,高度互连的功能拓扑,以及时间依赖性神经元和突触。生物神经网络的基本组成部分是神经元和突触[27]。“神经形态工程”一词 近年来,神经形态计算也是指通过模拟、数字或数模混合电路和软件算法实现神经网络,达到与生物神经网络类似的效果。 图图1(a)是典型的两层神经网络的示意图,包括输入节点和隐节点之间的第一层,以及隐节点和输出节点之间的第二层。初始输入由输入节点接收,然后在加权和求和之后用作隐藏节点的输入。此外,隐节点的输入由神经元进行非线性变换,然后在输出处呈现在神经网络中实现神经计算的关键是向量与矩阵X的点积[1]。根据使用的神经元模型不同,神经网络可以大致分为人工神经网络(ANN)和SNN。人工神经网络是目前深度学习中使用的主要模型,主要模拟生物神经网络中的拓扑互连结构,用一种非线性函数来表示神经元,在一定程度上实现生物神经网络的认知功能。 图图1(b)展示了ANN是如何工作的。在ANN中,非线性函数用作将输入x转换为相应模拟输出的基本计算在SNN中,尖峰神经元被用作基本计算单元[29]。SNN使用尖峰或动作电位处理信息,是具有固定形状和幅度的唯一神经元输出,有时被称为二进制事件,可以是0或1。 与生物神经元类似,SNN中的神经元仅在接收或发射尖峰时被激活,因此SNN更节能。SNN的示意图如图所示。 1(c). 与ANN相比,SNN在计算过程中引入了定时参数,具有异步通信,稀疏编码和事件驱动信息处理的优点[30]。此外,SNN是执行神经形态计算的基本平台。2.2. 神经元模型已经提出了不同的神经元模型来描述神经元如何在电路上或数学上产生动作电位的过程一种是生物物理模型,其目标是模拟神经元膜的电生理状态(例如,HODGKIN-HUXley(H-H)模型[31])。另一种是现象学模型,其目标是使用简单的数学抽象(例如,泄漏积分和点火(LIF)模型[32])来捕获神经元的输入输出行为 H-H神经元和LIF模型在电路实现和算法应用中使用和研究最广泛。 图图2(a)示出了H-H神经元电路模型的示意图。在该模型中,具有不同导通电压的两个可变电阻(RNa和RK)表示生物神经元的Na+和K+通道。同时,电容器代表膜,固定电阻RL图二. (a)H-H神经元电路模型和(b)LIF神经元电路模型的示意图。Y.-- H. Wang等人电子科学与技术学报20(2022)1001774表示膜的泄漏路径 在接收到输入刺激后,膜电位升高,并且当膜电位超过阈值时依次激活两个电压门控离子通道至开放状态,导致动作电位。 与H-H模型相比,LIF神经元模型相对简单,如图所示。第2段(b)分段。在该模型中,电容器作为膜对输入信号进行积分,RL作为泄漏回路的电阻,阈值开关(或可变电阻)作为离子通道。2.3. 神经形态计算目前,神经形态计算的硬件实现主要涉及物理神经网络,可分为基于CMOS和非CMOS两种。基于新兴器件的神经形态计算技术正处于起步阶段,其中最具吸引力的方向之一是利用忆阻器构建神经形态芯片。从狭义上讲,神经形态芯片也特指SNN的硬件实现。在传统的CMOS工艺中,神经元电路和突触电路是硬件实现的基础 为了实现复杂的脑启发互连,神经形态芯片通常通过水平和垂直交叉矩阵(X-bar),片上网络(NoC)和多核互连的多级方案来实现[33,34]。基于该架构的众多芯片已被成功开发,在智慧城市、自动驾驶实时信息处理、深度人脸识别等领域显示出巨大的应用潜力:IBM的TrueNorth [ 35 ]是具有全局异步和局部同步的代表性数字芯片,英特尔的Loihi [33]基于FinFET技术实现在线学习,斯坦福大学的Neurogrid [36]是数模混合可编程神经形态芯片。与现有的CMOS晶体管相比,忆阻器具有结构简单、功耗低、可扩展性好、动态特性丰富、易于三维集成等优点,在标准CMOS制造工艺的后端(BEOL)中也是如此[37鉴于忆阻器在构建神经形态芯片方面的潜在优势,忆阻器一直被认为是构建低功耗、高密度神经形态芯片的理想硬件单元,引起学术界和工业界的广泛关注。3. 阈值开关氧化还原忆阻器3.1. TS设备阈值开关忆阻器(TSM)具有无需外加电压即可从低阻状态自发切换到高阻状态的特性,可以极大地简化神经元电路的设计和制作如上所述,TSM根据其工作机制可分为三种类型:IMT,金属离子阈值转换或双向阈值转换(OTS)[40]。在NbOx或VOx材料系统中普遍观察到基于IMT的TSM,施加形成电压后,形成具有IMT特征的NbO2或VO2导电沟道。IMT与通道中的能量密切相关外部电压可以使沟道从静止时的高电阻绝缘状态变为低电阻金属状态。 当外部电压激励不足时,导电沟道将被破坏,器件将自发地从低电阻状态改变图3.第三章。 三种类型的TSM在较低导电或较高导电状态下工作的示意图:(a)基于IMT的TSM,(b)基于金属离子阈值跃迁的TSM,(c)基于OTS的TSM。Y.-- H. Wang等人电子科学与技术学报20(2022)1001775(LRS)到高电阻状态(HRS),表现出易失性特征(见图1)。3(a))。基于金属离子阈值跃迁的TSM的特征在于由于REDOX和金属阳离子的反迁移而形成的金属导电沟道 以银薄膜的扩散忆阻器为例,当金属通道形成时,如果没有施加足够的电激励,金属导电路径和周围介质之间的界面能最小化或汤姆逊-吉布斯效应往往会自发地破坏导电路径(见图2)。 3(b))。见图4。基于具有IMT特征的TSM的人工神经元:(a)基于双Pt/Nb2O5/Pt忆阻器的H-H神经元电路;(b)所提出的基于IMT的神经元的I-V特性;(c)H-H神经元的全有或全无阈值放电特性的示意图[46],版权所有2013年,Springer Nature;(d)基于VO2忆阻器的三种原型神经元电路及其已证明的神经形态行为:a)紧张性兴奋性神经元; b)相位性兴奋性神经元; c)混合模式神经元[45],版权所有2018年,Springer Nature。基于NbOx忆阻器的三阶纳米电路元件:(e)集成电路元件;(f)忆阻器结构示意图(g)人工神经元在不同外部电压偏置下的时间动力学[47],版权所有2020,施普林格自然。Y.-- H. Wang等人电子科学与技术学报20(2022)1001776基于OTS的TSM通过场辅助隧穿实现交换操作S基Ge合金是一种很有吸引力的OTS材料。在这项工作中,基于OTS的TSM不在我们的主要讨论中,考虑到OTS是基于相变忆阻器的概念,而不是重做X忆阻器(参见图3(c))。3.2. 在人工神经元如今,CMOS器件已被广泛报道用于实现尖峰神经元电路[41,42]。然而,由于缺乏类似于神经元的动态特性,CMOS神经元电路需要几十个晶体管来实现神经元功能,导致能量效率和可扩展性面临巨大挑战具有相对简单结构的LIF神经元电路也需要由电容器、复位电路和比较器组成。 例如,当SNN必须与外部环境实时交互时,网络的时间常数必须与现实世界的时间常数相匹配。这通常会导致使用巨大的电容器,可以占用高达60%的芯片面积[43]。近年来,基于阈值开关重做X忆阻器的人工神经元由于其简单的电路设计而受到广泛关注。基于NbOx的忆阻器(redoX忆阻器之一)以负微分电阻(NDR)行为和丰富的器件物理动力学为特征,可以用作具有电压扫描的动态阈值切换的基础[44],并且用于模拟生物神经元。2013年,Pickett et al.报道了根据H-H神经元电路模型使用两个纳米级Pt/Nb2 O5/Pt忆阻器构建的神经电阻器[45]。图图4(a)显示了这种神经轴突的示意图。在该电路中,两个NbO2忆阻器充当Na~+离子通道和钾离子通道。两个通道都由忆阻器和电容并联组成,并通过负载耦合电阻器图图4(b)示出了该IMT忆阻器的I-V曲线,磁滞回线的存在是由于Mott转变。基于IMT的神经电阻可以实现阈值放电、全有或全无动作电位、无损锋电位传播、不应期、紧张性放电和快速爆发性放电等神经元行为。如图4(c)[46],当输入刺激相对较小(0.2V)时,不产生完整的动作电位,但当输入刺激足够大(0.3 V)时,会产生完整的动作电位以完成放电。据我们所知,这项工作是利用忆阻器实现尖峰神经元电路的开创性工作,为可扩展和CMOS兼容的神经形态电路奠定了基础。为了进一步实现更多的神经元激发模式,Yi et al. 优化了H-H神经元电路模型,实现了23种基于易失性神经元器件的生物神经元激发模式[45],更全面地体现了基于忆阻器的神经元电路的先进性。图4(d)[45]显示了三个原型神经元电路,以及基于这种VO 2有源忆阻器的实验证明的神经形态行为。通过定制被动R和C元件来实现不同的神经元激发模式,而不需要改变VO2器件参数。这项工作大大简化了集成电路的设计和制造基于H-H模型的神经元电路对器件的均匀性和电路间的参数匹配要求很高,增加了大规模集成和应用的难度。与此同时,LIF模型由于其结构简单、计算复杂度低而在系统集成中得到了广泛的关注在LIF神经元电路中,只有一个电容器与IMT忆阻器耦合是必要的。电容器负责积分,而IMT忆阻器执行阈值判断并产生尖峰信号。基于此,Gao et al.展示了基于NbOx忆阻器的LIF神经元,其与突触(负载电阻器)连接[48]。 在这项工作中,发放神经元的振荡频率与突触电导成正比,从而支持积分加权和的可行性。考虑到与Mott跃迁相关的TSM的独特动力学,充分利用神经元回路中的器件动力学具有重要意义2020年,Kumar et al.进一步使用NbOx忆阻器的三阶动力学图五、 基于具有金属离子阈值转变特性的TSM的人工神经元:(a)具有TS忆阻器作为动态阈值开关的尖峰神经元电路的示意图;(b)所提出的神经元电路的示意图;(c)不同输入脉冲幅度下神经元的放电特性[50],版权所有2017,IEEE;(d)在绝缘体中插入催化剂的忆阻器的示意图;(e)由催化剂引起的还原过电位降低的示意图;(f)扩散忆阻器结构的示意图;(g)从忆阻器测量的典型IV曲线[52],版权所有2020,Springer Nature。Y.-- H. Wang等人电子科学与技术学报20(2022)1001777¼¼×××器件的电容和堆叠集成外部电阻,以在单个集成器件中实现多种神经元放电模式,并首次验证了片上集成[47]。 图图4(e)示出了集成纳米电路元件,其由与内部并联电容器和内部串联电阻器耦合的NbO 2易失性Mott忆阻器组成。 图图4(f)示出了NbO 2忆阻器的结构。如图4(g)[47],当偏置低于滞后(vext)时,发生自持正弦振荡1.8 V),和周期性的两个尖峰突发时,发生的滞后(Vext1.95 V)的偏见这导致了不同的动态出现在不同电压下的忆阻器 该工作为实现高密度神经元电路以构建高效的类脑系统提供了可行的解决方案。除了基于IMT的TS忆阻器可用于构建神经元电路之外,具有金属薄膜的TS忆阻器也是有希望的候选者。Wang等人 基于扩散性Pt/SiO xN y:Ag/Pt忆阻器创建了具有随机动力学的LIF神经元,其中Ag的迁移类似于实际的神经元离子通道[49]。此外,Zhang et al.展示了一种基于Ag/SiO2/Au TSM的新型LIF神经元[50]。 图图5(a)示出了尖峰神经元电路的示意图。一个忆阻器和一个输出电阻连接在一起,以完成神经元,由一个电容器,如图所示。5(b). 图图5(c)显示了该人工神经元的放电特征,随着输入脉冲幅度的增加,放电频率明显增加。 该电路实现了四种基本的神经元功能:动作电位的全有或全无尖峰、阈值驱动尖峰、不应期和强度调制频率响应。通过系统仿真验证了基于该TSM神经元的神经网络在数字识别中的可行性。此外,Zhang等在Ag/SiO2/Au TS忆阻器的基础上,提出了一种新的忆阻器结构进一步构建了混合忆阻器-CMOS神经元,其具有基本的LIF神经元功能并能够对连接的突触进行原位调谐[51]。该工作为未来神经形态计算系统实现原位学习提供了一种新的途径然而,我们上面提到的器件的开关电压仍然远远高于生物学中的幅度第三部分。为了进一步将开关电压降低到生物神经元的水平(~100 mV),Fu et al.然后利用蛋白质纳米线作为催化剂构建了一种新型的扩散Ag忆阻器[52]。引入的催化剂促进金属离子还原,如图所示。 5(d)。 较低的还原过电位导致开关电压降低(图1)。 5(e))。图图5(f)示出了忆阻器的结构,绝缘衬底(Si/SiO2)与一对银电极耦合。如图5(g)中,在正偏压下,将器件从HRS转变为LRS的开关电压为60 4mV。在负偏置中发生对称行为分布在绝缘基底中的蛋白质纳米线不仅作为催化剂促进阴极Ag+还原,而且还提供这种催化作用。具有良好生物相容性的忆阻器。总之,忆阻器实现的神经元电路主要基于H-H神经元电路模型和LIF神经元电路模型。使用TS忆阻器来实现神经元有助于构造紧凑的神经形态机器。基于IMT的TS忆阻器和基于导电金属膜的TS忆阻器已被报道用于构建神经元电路。此外,混合忆阻器-CMOS神经元显示了实现具有原位学习能力的神经形态计算系统的可能性。 为了清楚地展示基于TS的神经元的研究现状,我们从器件类型、工作机制、器件结构、阈值电压和神经元模型等方面总结了具有新兴易失性忆阻器的人工神经元的代表性工作(见表1)。3.3. 在SNN神经元电路的构建是神经网络实现的基础,而神经网络中神经元的验证是促进新型神经元应用的必要条件。 在过去的几年里,已经进行了各种工作,建立基于SNN的硬件平台与忆阻器。参考文献[53]构建的基于忆阻器的被动SNN由20个集成忆阻突触组成,该集成忆阻突触与由CMOS电路和外部波形发生器组成的尖峰神经元连接在他们的工作中实现了SNN的一个代表性任务--重合检测。由于CMOS神经元电路结构复杂,不利于大规模集成,利用忆阻神经元构建神经元形态系统逐渐成为研究热点。 图图6示出了SNN的一些硬件实现[24,47,49,54- 58 ]。2018年,Wang et al.使用忆阻神经元和突触在世界上首次构建了8个完整的忆阻SNN [49]。其硬件结构示意图如图所示。第6(a)段。在此基础上,验证了卷积推理操作,实现了对输入模式的无监督学习。考虑到电容式神经网络具有静态功耗低、神经功能仿真性好等优点,Wang et al. 实现了具有被动突触的4 4电容ANN,并验证了Hebbian学习规则和网络的推理结果[54],如图所示。6(b). 为了充分发挥SNN在功耗方面的优势,Zhang et al.展示了完全忆阻时间编码(TC)SNN,由基于NbOx忆阻器的表1简要总结了一些基于挥发性忆阻器的代表性人工神经元类型机制器件结构阈值电压(V)神经元模型参考文献TSMIMTPt/Nb2O5/Pt1.75H-H[45个]TSMIMTPt/VO2/Pt1.22H-H[45个]TSMIMTPt/NbOx/Pt1.9LIF[47个]TSMIMTPt/TiN/NbO2/TiN/W0.5LIF[48个]TSM金属离子Pt/SiOx Ny:Ag/Pt1.4LIF[49个]TSM金属离子Ag/SiO2/Au1.0LIF[50个]TSM金属离子Ag/SiO2/Ag(纳米线)0.5LIF[五十二]Y.-- H. Wang等人电子科学与技术学报20(2022)1001778见图6。SNN的硬件实现:(a)全忆阻SNN的硬件图[49],版权所有2018,Springer Nature;(b)电容式ANN的硬件图[54],版权所有2018,Springer Nature;(c)构造的全忆阻TC SNN和硬件实现的示意图[55],版权所有2020,IEEE;(d)神经网络和突触阵列的硬件图[56],版权所有2020,Springer Nature;(e)具有神经形态振荡器和由伪记忆电容器的交叉阵列形成的连接矩阵的实验系统的示意图[47],版权所有2020,SpringerNature;(f)完全忆阻神经网络的示意图[24],版权所有2020,Advanced Electronic Materials;(g)ANN-SNN转换的示意图[57],版权所有2019,Wiley;(h)基于转换的SNN的硬件原理图[58],版权所有2019,IEEE。Y.-- H. Wang等人电子科学与技术学报20(2022)1001779×神经元电路和64 64 1 T1 R TaO x/HfO x忆阻器为基础的RRAM阵列,这是作为突触[55],如图所示。6(c). 与一般速率编码(RC)SNN相比,该TC SNN在延迟、功率和寿命方面显示出显著的优势目前的人工神经网络大多将神经元简化为简单的点模型,并将其计算功能简化为积分和点火,忽略了树突的信息处理功能因此,人工神经网络在复杂任务的灵活性、鲁棒性和功耗方面仍然远远落后于生物神经网络基于此,Li et al.展示了一种基于双端忆阻器的神经网络,该神经网络由作为人工突触的基于HfOx的非易失性忆阻器、作为人工树突的基于TaOx/AlOδ的动态忆阻器和作为人工胞体的基于NbOx的 Mott忆阻器组成[56]。 神经网络和突触阵列的光学图像如图所示。6(d). 这项工作代表了迈向更完整,节能和准确的神经网络的重要一步。在电路元件中产生神经形态动作电位理论上至少需要三阶复杂性,而大多数神经元是由一阶或二阶神经形态元件构成的考虑到这一点,Kumar et al.构建了具有三阶动力学的NbO x忆阻器,并进一步展示了没有晶体管的三阶元件的神经网络[47]。图图6(e)示出了具有神经形态振荡器和由伪记忆电容器的交叉阵列形成的连接矩阵的实验系统。这项工作指导紧凑和高功能的神经网络。与基于氧化物忆阻器的传统神经元相比,基于2D材料的人工神经元具有更低的能耗,类似于生物神经元。Hao等构建了一个2维(2D)LIF神经元,其机制归因于Ag在外场下在MoS 2晶格中的快速扩散和迁移,并通过集成2D神经元和基于Cu/GeTe的突触进一步制造了全忆阻ANN[24]。图图6(f)示出了由非易失性突触阵列和基于2D MoS 2的神经元组成的全2D神经网络。这项工作填补了用2D材料制造的神经网络的空白由于大多数常用的数据集都是用于ANN的,因此当用于SNN时,数据集中的模拟量需要转换为相应频率的脉冲串[59],从而导致精度损失。 为了缓解应用SNN处理数据的困境,通过调整权重和神经元参数将ANN转换为SNN是一种有效的方法[60- 62 ]。转换见图7。基于忆阻器的人工神经元的传感应用示意图:(a)由压力控制的生物传感系统,由生物机械感受器、神经纤维和生物突触组成;(b)基于ORO的人工生物启发传入神经,由压力传感器、有机环形振荡器和突触晶体管组成[69],Copyright 2018,Science China Press;(c)由NbOx忆阻器的人工尖峰传入神经组成的人工尖峰体感系统示意图[ 71],Copyright 2020,Springer Nature。Y.-- H. Wang等人电子科学与技术学报20(2022)10017710×基于方法的SNN可以同时具有SNN的高能量效率和ANN的高精度[63]。基于此,Midya等人说明了使用扩散忆阻器和并联电容器的ANN-SNN转换器[57]。图图6(g)是ANN-SNN转换的示意图。第1层(输入层)和第2层(隐藏层)像传统的ANN一样运行,而第3层(输出层)将权重激活产物转换为尖峰频率。此外,Zhang等人通过实验证明了由忆阻突触权重元件和1T1R Mott神经元组成的基于转换的SNN [58]。Mott神经元是通过将NbOx器件串联到晶体管上形成的,作为网络中的整流线性单元(ReLU) 1T1R神经元电路及其等效电路的原理图如图所示。6(h)。实际上,神经元电路没有外部电容,这大大提高了神经元电路的集成密度此外,实现了一个单层全连接前向神经网络(320 10),用于识别修改后的国家标准与技术研究所(MNIST)数据集中的手写数字,识别准确率高达85.7%,接近ReLU软件神经元的识别率此外,由于晶体管的门控效应,神经元的X-bar集成结构被提出以提高系统集成度。总结本节,在新兴电子设备上实现SNN是有希望的,但仍需要更多的努力来提高SNN的效率并实现大规模集成应用。在神经网络中引入枝晶函数,降低了动态功耗,提高了复杂信息处理的精度。 为了解决SNNs训练算法不成熟的问题,提出了基于转换的SNNs概念,为未来构建高效的神经形态芯片提供了一种新的技术途径。3.4. 人工传入神经如上所述,基于忆阻器的人工神经元已被积极研究和探索以构建有效的SNN。然而,从周围环境收集的信号通常是模拟形式的,不能在SNN中直接处理[64- 66 ]。在生物神经系统中,传入神经将从传感器接收到的信号转换为尖峰,并将其传输到中枢神经系统进行进一步处理[67]。因此,要实现集传感、存储和计算于一体的智能处理系统,就必须构建一种特殊的单元来模拟生物系统中的传入神经。到目前为止,在使用锁相环电路实现人工传入神经方面已经取得了重大进展Kim等人报道了一种可伸缩的人工传入神经,由电阻压力传感器、有机环形振荡器(ORO)和突触晶体管组成[68]。振荡器输出的尖峰脉冲的频率和幅度与来自双结构压力传感器的压力强度正相关。 使用离子凝胶作为栅极电介质的突触晶体管可以集成来自多个振荡器的信号。此外,这种人造传入神经被设计成通过与生物传出神经连接来制造混合单突触反射弧,以控制蟑螂腿的运动图图7(a)示出了由生物机械感受器、神经纤维和生物突触组成的生物传感系统。图图7(b)显示了人工传入神经,由电阻压力传感器、有机环形振荡器和突触晶体管组成[69]。然而,与CMOS神经元电路类似,基于CMOS器件的传入神经电路的发展受到电路复杂性和CMOS器件物理瓶颈的为了缓解这一限制,Zhang et al.首次基于专门设计的NbOx忆阻器构建了高度紧凑的人工尖峰传入神经(ASAN)[70]。ASAN中最重要的元件是由NbOx忆阻器和电阻组成的NbOx振荡器,在正常激励下,其输出频率与输入电压呈准线性关系,在过强激励下,其输出频率下降ASAN的频率-电压曲线如图所示。 7(c)[71],类似于图7所示的生物体觉系统中传入神经的动作电位特征。 7(a). 将矩形脉冲、三角脉冲和正弦脉冲等不同类型的尖峰脉冲输入到ASAN中,系统地研究了ASAN的动态尖峰行为在此基础上,构建了一个基于ASAN的人工机械感受器系统(ASMS),该系统与压电器件相连接,无需外部电源。此外,ASAN可以很容易地扩展到处理来自其他传感器的传感信号,例如嗅觉,味觉,视觉,听觉,温度,磁场和湿度。考虑到非可塑性人工神经的学习和记忆能力的仿真和实现的限制,Tan et al. 设计了一个光电尖峰传入神经,具有神经编码,感知学习和记忆能力[65]。基于MXene的传感器和发光二极管与模数转换电路相结合,负责将压力信息转换为光学信号。这种传入神经可以识别莫尔斯电码,盲文和物体运动,为电子皮肤,神经机器人等提供总之,要建立一个完整的智能处理系统,人工传入神经是不可或缺的组成部分。 由于TS忆阻器固有的动态特性,所构建的人工传入神经具有电路简单、集成度高的优点,可进一步用于构建各种感觉系统。4. 结论与展望在这篇综述中,最近的进展,在SNN中的挥发性重做X忆阻器的应用进行了审查。我们首先介绍了TS忆阻器的类别,并说明了神经网络,分为人工神经网络和SNN。 其中,事件驱动型SNN因其较高的生物合理性和较高的能源效率而受到我们的关注。因此,我们介绍了以忆阻器为代表的非CMOS器件在SNN中的应用,包括尖峰神经元的构建、SNN的硬件实现以及人工尖峰传入神经的创新。由于TS忆阻器具有结构简单、功耗低、动态特性丰富等优点,基于TS忆阻器的神经形态芯片可以很好地解决传统CMOS工艺电路设计复杂、集成度有限的问题。然而,随着对Y.-- H. Wang等人电子科学与技术学报20(2022)10017711基于忆阻器的神经形态芯片还处于起步阶段,仍有许多挑战需要解决:a) 对于基于忆阻器的神经元电路,神经元可以实现的功能相对简单。从器件功能验证到使用电阻神经元的外围辅助电路的优化设计,都需要进行更系统、更深入的研究,进行一定规模的示范。此外,忆阻器的可靠性、大阵列集成度和可变性限制了其广泛使用(到目前为止)[69,71]。设备级神经元的均匀性是由于在神经元中膜形成的随机性造成的。重做X忆阻器以及交叉阵列和神经元电路的集成仍然是当前的主要挑战。基于忆阻器的神经形态计算芯片。b) 高效的SNN算法是神经形态芯片实现智能的内在灵魂,但现有算法还不够成熟,没有针对基于忆阻器的硬件平台提出。c) 基于忆阻器的传感系统需要与深层神经形态信息处理系统相结合,构建一个集意识、记忆和计算于一体的人工智能系统,真正类似于人脑。d) 利用忆阻器件在标准CMOS制造工艺的BEOL中易于三维集成的优势,实现高密度3D神经形态芯片是未来追求的目标虽然目前基于忆阻器的神经形态计算研究大多还处于实验室阶段,还有很大的改进空间我们相信,随着各种新型忆阻器的出现和忆阻器集成度的提高,基于忆阻器的神经形态计算在未来的某些领域将竞合利益无潜在利益冲突确认这项工作得到了中国科学技术部的部分支持,批准号:2017YFA0206102,部分由国家自然科学基金资助,批准号:61922083和中国科学院战略重点研究计划(批准号:XDB 44000000;欧盟的地平线2020研究和创新计划,赠款协议编号为。824164;德国研究基金会项目MemCrypto根据批准号。GZ:DU 1896/2-1和MemDPU,批准号GZ:DU 1896/3-1。引用[1] Y. 莱昆湾,巴西-地本焦湾 Hinton,Deep learning,Nature 521(7553)(2015年5月)436- 444.[2] W. Rawat,Z.H. Wang,Deep Convolutional Neural Networks for ImageClassification: A Comprehensive Review,Neural Comput。第二十九条(九)2017)2352- 2449。[3] T.杨,D.哈扎里卡河Escherichia coli,E. Cambria,Recent trends in deep learning based natural language processing,IEEE Comput.内特尔Mag. 13(3)(Aug.2018)55- 75.[4] D. Silver,黑胫拟天蛾A. Huang,C.J. Maddison,等人,Mastering the game of go with deep neural networks and tree search,Nature 529(7587)(Jan. 2016)484- 489.[5] O.维尼亚尔斯岛巴布施金Czarnecki等人,星际争霸II中的大师级使用多智能体强化学习,Nature 575(7782)(2019年10月)350- 354。[6] 问:F. Xia,J.-J. Yang,用于脑启发计算的忆阻交叉杆阵列,Nat。Mater. 18(4)(Mar.2019)309- 323.[7] G.W. Burr,P. Narayanan,R. M. Shelby等人,用非易失性存储器作为突触权重元素实现的大规模神经网络:比较性能分析(准确性,速度和功率),在:Proc. IEEEIntl.电子器件会议,2015年,pp。 4.4.1- 4.4.4。 华盛顿[8] N.P. 茹瓦角Young,N.Patil等人,张量处理单元的数据中心内性能分析,在:Proc.ACM/IEEE第44届国际年会 Symposium onComputer Architecture,2017,pp. 1-12号。 多伦多[9] S.- M. Yu,Neuro-inspired Computing with Emerging Nonvolatile Memory,Proc.IEEE 106(2)2018 )260- 285.[10] C. Li,M.胡,Y.-N. Li等人,用大忆阻器交叉棒进行抗干扰信号和图像处理电子学。1(1)(1月2018)52- 59。[11] Z.孙,G. Pedretti,A. Bricalli,D. Ielmini,一步回归和分类与交叉点电阻存储器阵列,科学。Adv. 6(5)(Jan. 2020)1- 7,eaay2378.[12] L. Chua,忆阻器-缺失的电路元件,IEEE Trans.Circ. Theor. 18(5)(Sept.1971)507- 519。[13] D.B. Strukov,G.S.斯奈德,D.R.斯图尔特,R.S.Williams,The missing memristor found,Nature 453(7191)(May 2008)80- 83.[14] Z.- R. 王洪-Q. Wu,G.W.Burr等人,信息处理用电阻开关材料。Rev. Mater. 5(3)(Jan.2020)173- 195.[15] M.J. Lee,C.B. Lee,D. Lee等人,一种快速,高耐久性和可扩展的非易失性存储器件,由不对称的Ta 2O 5-x/TaO 2-x双层结构,自然。Mater. 10(8)(2011年7月)625- 630。[16] W.张河,巴西-地Mazzarello,M. Wuttig,E.马,设计结晶相变材料的通用记忆和神经启发计算,自然。Mater. 4(3)(2019年1月)150- 168。[17] J. Jiang,Z.- L. Bai,Z.- H. Chen等人,铁电畴壁电阻转换存储器非破坏性读出的高导电畴壁的临时形成。Mater. 17(1)(Jan.2018)49- 56.[18] F.D. N
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功