基于非冯·诺依曼认证的NbO_x忆阻适应SRM神经元芯片研究

芯片|Vol 1 |2022年夏季黄杰N.，王，T.，黄鸿M. Guo，X.芯片1，100015（2022）1月7∼∼芯片研究文章NON-VON NEUMANN认证DOI：10.1016/j.chip.2022.100015基于NbO_x忆阻器件的自适应SRM神经元黄京南1，王彤1，黄鹤鸣1，郭欣1，王伟1华中科技大学材料科学与工程学院材料加工与模具技术国家重点实验室E-mail：xguo@hust.edu.cn（Xin Guo）Cite as：Huang，J.- N.，王，T.，黄鸿M. &Guo，X.用于神经形态计算的基于NbOxChip1，100015（2022）. https://doi.org/10.1016/j.chip.2022.100015收到日期：2022年接受日期：2022年在线发布：2022年尖峰响应模型（SRM）描述了生物神经元响应于重复或长时间刺激的自适应行为本文首次利用Pt/NbOx/TiN易失性忆阻器件实现了一种具有泄漏积分激发（LIF）功能和自适应阈值的SRM神经元。通过调节器件的挥发速度，调节SRM神经元的阈值，实现不应期和横向抑制等自适应行为为了证明SRM神经元的功能，用SRM神经元构建了一个尖峰神经网络（SNN），并采用无监督学习规则进行训练，成功地对带有噪声的字母进行了分类，而类似的带有LIF神经元的SNN则失败了。这项工作表明，SRM神经元不仅模拟了生物神经元的自适应行为，而且丰富了SNN的功能并释放了SNN的计算能力。关键词：忆阻器件，NbOx，SRM神经元，脉冲神经网络，无监督学习规则介绍深度神经网络（DNN）在许多领域都有广泛的应用，但需要处理大量数据的DNN的实际应用对计算速度和功率效率提出了很高的要求。然而，在当代冯·诺依曼计算体系结构中，诸如中央处理单元（CPU）和图形处理单元（GPU）的计算单元与存储器2、3物理分离。因此，在处理单元和存储器之间不可避免的频繁数据穿梭导致额外的功耗和延迟4.因此，DNN在功率受限的场景中的应用，例如边缘计算和物联网（IoT），需要开发新的计算模式。人类大脑在认知任务中的速度和能源效率方面优于DNN。这些优势在于大脑的特殊结构，它用尖峰信号编码信号，并通过大量的并行计算，这要归功于大量的神经元（1011）和突触（1015）7，8。人类大脑表现出内存计算的特点，内存和处理单元之间频繁和大量的数据关闭是不必要的9，10。尖峰神经网络（SNN）被认为是下一代神经网络，它模拟了人脑的结构和工作原理，为智能计算的发展提供了一种有前途的方法11，12。在SNN中，神经元发出电脉冲，突触根据突触权重处理这些脉冲，并且处理的信息存储在脉冲的频率或定时信号中。与DNN相比，SNN在处理人工智能（AI）工作负载时在能源效率和计算能力方面具有优势。在过去的几年里，已经开发了许多神经启发的计算系统，例如Neurogrid13，SpiNNaker14，TrueNorth15，Loihi16和Tianjic17;在这些系统中，SNN被实现来模拟基于尖峰的信息编码和处理7，18。然而，为了模拟生物突触和神经元的丰富动力学，大量CMOS（互补金属氧化物半导体）晶体管，这使得系统体积庞大且昂贵。因此，低成本和纳米尺寸的人工突触和神经元对于SNN19的 ad-vNavisphere是至关重要的。由于结构简单，编程速度快（1ns），功耗低能量消耗（1 pJ）、大的可缩放性（2nm）和通用性能（模拟/数字和易失性/非易失性切换），忆阻器件（其电阻可以通过电刺激来调制）被成功地实现在人工突触和神经元中20此外，忆阻突触的阵列使得能够实现突触权重的高度面积有效的实现和加权输入的高度能量有效的存储器内计算，从而避免了如在von Neumann架构2、19、25、26中实践的那样将数据从存储器移动到计算单元。此外，已经开发了基于忆阻器件的人工神经元来仿真生物神经元的丰富动态，诸如这些神经元可以直接处理来自忆阻突触的模拟信号，而不是通过数模转换（DAC）将突触信号转换为数字信号，数模转换（DAC）会产生额外的功耗，研究文章DOI：芯片|Vol 1 |2022年夏季黄杰N.，王，T.，黄鸿M. Guo，X.芯片1，100015（2022）2月7−∼=-延迟。LIF神经元最广泛地用于SNN的硬件实现，因为它具有简单的电路和强大的处理能力33，34。然而，除了LIF功能之外，生物神经元具有适应刺激的高级功能，例如，神经元活性响应于重复或延长的刺激而衰减。神经元适应在生物系统中被广泛观察到;这种适应性行为可以归因于神经元内在可塑性的变化，其放电阈值是适应性的。近年来，一些具有自适应阈值的人工神经元被提出来增强神经元的处理能力。例如，Zhang et al.设计了具有不应期和侧抑制功能的忆阻CMOS神经元，实现了SNNs36个。Wei等人通过将忆阻器件与自适应单元集成，展示了具有尖峰频率自适应（SFA）特性的人工神经元，然后将自适应神经元应用于单层SNN7中。Shaban等人提出了一种硬件高效的方法 ， 使用 紧 耦 合 的 电路 - 设 备 交互 来 实 现 双 指数 自 适 应 阈 值（DEXAT）神经元，并改进了递归尖峰神经网络（RSNN）的性能35。虽然这些工作证明了自适应神经元的能力，但实现人工神经元的电路都很复杂，难以集成。在这项工作中，我们开发了一个尖峰响应模型（SRM）神经元的基础上的挥发性忆阻器件的Pt/NbOx/TiN。尖峰响应模型是一个具有自适应行为的神经元模型37SRM neu- ron有2个模块：LIF模块和阈值调整模块。LIF模块是利用模拟和易失性开关特性实现的，而阈值模块是通过控制器件的易失性来实现的更重要的是，用SRM神经元构造了一个SNN，并用无监督学习规则进行训练，SNN成功地对带噪声的四个字母结果Pt/NbOx/TiN器件的电性能如图11所示。1.一、该装置的结构如图所示。凌晨1 图图1b示出了器件的典型I-V曲线。在顶部电极上施加从0到5 V的正电压扫描，这将忆阻器件从高电阻状态（HRS）切换到低电阻状态（LRS）;施加从0到3 V的负电压扫描以将器件复位到HRS。第120次循环的I-V曲线与第一次循环相似，开关窗口没有任何收缩，表明器件具有稳定补充材料中的图S1给出了其他器械特性，如耐久性。器件的电阻转换由NbOx膜40、41中的电荷俘获和去俘获控制。图的插图图1b显示了以线性标度绘制的I-V曲线，突出显示了器件的非线性。图1c示出了Pt/NbOx/TiN器件对写入脉冲（5V，100ms）的响应;在施加写入脉冲之后，器件电导增加，之后，器件在约600 ms内弛豫到其初始状态，示出了易失性特征。 如图 1 d时，施加5个连续相同脉冲时，响应电流逐渐增强，可用于模拟刺激下神经元膜电位的逐渐增加。在这项工作中，器件的弛豫时间定义为器件电流降至峰值电流的95%的时间，如补充材料中的图S2所述。如图2所示，可以通过控制所施加脉冲的幅度、宽度和频率来调制器件电导。具有较大幅度的脉冲（图 2 a）和宽度（图 2 b）导致更高的电流增量和更长的弛豫时间。 图 2 c显示设备对脉冲的响应，不同的频率虽然单个脉冲（5V，15ms）产生的响应很小，但当脉冲频率从0.8增加到200Hz时，器件的响应电流在连续施加10个相同脉冲后呈现累积效应，最终响应电流从523增加到5935nA。在停止脉冲后，设备在几毫秒内自发地恢复到初始状态 图图2d和图2 e示出了统计脉冲/响应关系，表明器件响应电流和弛豫时间随着脉冲幅度和宽度的增加而几乎线性地增加。图2f示出了作为脉冲频率的函数的器件响应电流和弛豫时间，但是当脉冲频率高于20 Hz时，器件响应电流趋于稳定（1150 nA）。由于Pt/NbOx/TiN器件具有稳定的开关特性和可调的电导，因此可以在人工神经元中实现模拟膜电位和阈值的连续变化。SRM神经元SRM神经元是具有可调节阈值的LIF神经元。在LIF神经元中，当接受刺激时，膜电位V逐渐增加，而膜电位在没有任何刺激的情况下自发地衰减。当膜电位超过阈值V_th时，神经元生成尖峰作为输出。与LIF神经元类似，SRM神经元的膜电位也根据刺激逐渐变化然而，与阈值恒定的LIF神经元相比，SRM神经元具有动态阈值，因此表现出对刺激的自适应行为，这是生物神经元的一个重要特征SRM神经元的阈值由神经元活动控制在没有刺激的情况下，阈值保持恒定，因此神经元保持在静息状态。当SRM神经元激发时，神经元的阈值增加以保护其免受强刺激，并为其他神经元提供公平的机会来学习某些特征;换句话说，SRM神经元在激发后显示出不应期。此外，一个放电的SRM神经元还向相邻的神经元传递信号以提高它们的阈值，因此，相邻的神经元直接受到抑制，并且从电流刺激中什么也不学习;这种现象被称为侧向抑制。因此，SRM神经元可以避免信息过载并支持神经网络进行竞争性学习39。SRM神经元的物理演示如图所示。 3 a. SRM神经元电路包括两个模块：LIF模块和阈值调节模块，均基于Pt/NbOx/TiN易失性忆阻器件。LIF模块由忆阻器件（M1）、比较器和脉冲发生器组成.忆阻器件M1用于仿真神经元膜电位V_i的动态，即采样电阻器R_m（1M_i）上的电压。阈值调节模块由忆阻器件（M2）和多路复用器（MUX）组成.器件M2用于调节阈值Vth，即电阻器Rth上的电压（11Mth），然后阈值可以以不同的速率上升和下降，以更好地控制输出脉冲。比较器比较阈值和膜电位，然后产生控制信号;脉冲发生器在接收到来自比较器的控制信号时发射神经元尖峰 如图所示。 2d时，弛豫时间随脉冲幅度的增大而增大，因此，采用不同幅度的脉冲来实现不应期和侧抑制。MUX在a、b端口的控制下将M2与不同的信号连接，实现不同的神经元功能，更具体地说，一旦为端口“a”建立连接，则为1，否则为0，并且为端口“b”建立连接;因此，两个端口具有“00”、“01”和“10”的状态组合，对应于端口“b”的状态组合静息状态、不应期和侧抑制。不应期如图3b所示。最初，SRM神经元处于静息状态（MUX的状态是研究文章DOI：芯片|Vol 1 |2022年夏季黄杰N.，王，T.，黄鸿M. Guo，X.芯片1，100015（2022）3月7图1| Pt/NbOx/TiN器件的电学性能。(a)器械结构示意图。（b）器件的I-V曲线（120次循环）。插图显示了以线性标度绘制的数据。（c）器件对写入脉冲的响应。器件在施加WRITE脉冲时切换到LRS，然后在600 ms内弛豫到HRS。（d）器件对多个脉冲的响应。通过施加5个相同的脉冲来逐渐增加电流。图2| Pt/NbOx/TiN器件对具有（a）不同幅度（3至5V）、（b）不同宽度（10至140 ms）和（c）不同频率（0.8至200 Hz）的脉冲的响应。峰值电流值和弛豫时间随着（d）脉冲幅度、（e）脉冲宽度和（f）频率的增加而增加研究文章DOI：芯片|Vol 1 |2022年夏季黄杰N.，王，T.，黄鸿M. Guo，X.芯片1，100015（2022）4月7××图 3| SRM神 经 元 的适 应 行 为 ： （ a ） 神 经元 回路 ，其 中 M1 和 M2 都 是Pt/NbOx/TiN;（b）不应期的实现;（c）侧抑制的实现。当M2处于HRS时，将0.7V的恒定电压施加到M2以保持阈值Vth低（0.42V）。然后将连续脉冲（3.5 V，10 ms）作为输入（紫线）施加到M1，膜电位V逐渐增加（红线），并且膜电位在脉冲之间降低。在22.2 ms时，膜电位超过阈值（蓝线），因此SRM神经元发出神经元尖峰（黄线）。除了传输到后部神经元之外，神经元尖峰还通过端口'b'同时发送到MUX然后，通过MUX向M2施加脉冲（5 V，15ms），以增加其控制。当神经元的电导率增加并增加阈值（蓝线）时，神经元现在变得受抑制，因为阈值高于膜电位。然后，器件M2缓慢地恢复到初始状态，阈值缓慢地减小.在58.1ms时，器件M2的电导足够低，膜电位再次超过阈值，这时SRM神经元又产生一个神经元尖峰（黄线）。不久之后，另一个脉冲（5 V，15 ms）施加到M2以增加阈值（蓝线），神经元再次被抑制两个神经元尖峰之间的时间段（黄线）是不应期。在5个连续的输入脉冲之后，需要一段时间使器件M1返回到初始电阻状态。为了快速重置设备Ml，可以引入具有复位操作的编码方案;相应的设备响应在补充材料中的图S3中示出。图3c显示了侧抑制。在21.6 ms时，来自其他神经元（绿线）的脉冲通过或门发送到MUX的端口“a”，MUX切换到“10”状态。然后，通过MUX向M2施加脉冲（4.5 V，15 ms），以增加其电导并增加阈值（蓝线）。即使连续脉冲（3.5 V，10 ms）作为输入（紫线）施加到M1，膜电位（红线）也不会达到增加的阈值（蓝线），因此，SRM神经元不会发射任何尖峰;换句话说，SRM神经元被其他神经元抑制，这种现象称为侧抑制。在44.4 ms时，SRM神经元通过端口实现侧抑制的脉冲幅度小于实现不应期的脉冲幅度，这为其他神经元在训练期间放电和学习某些特征提供了公平的机会因此，阈值调节功能可以降低单个SRM神经元的触发频率，使每个神经元的触发频率接近，有利于降低功耗，增加器件寿命。为了证明SRM神经元在神经网络中的功能，我们构建了一个具有SRM神经元和突触的两层全连接SNN，如图4a所示。突触是用Pt/Ta/TaOx/Pt的非易失性忆阻器件实现的，具有35个稳定的电导状态，其电导在电脉冲下的变化在补充材料中的图S4中给出，并且在我们以前的工作中报道了更多的特性42。忆阻突触的阵列执行矩阵-向量乘法并存储突触权重。在SNN中，SRM神经元被实现在输出层中以处理突触信号，并且产生具有不同频率的输出信号以指示分类结果。由于SRM神经元，SNN可以实现“赢家通吃”的如图4a所示，使用具有5 × 5像素的4个字母（S5补充材料。首先，将输入样本编码为脉冲。以字母所有的脉冲然后被发送到25 ×4突触阵列，其中脉冲与突触权重相乘。输出层中的4个SRM神经元处理来自突触的信号并生成尖峰以指示推断结果。在训练之前，突触阵列中的忆阻器件Pt/Ta/TaOx/Pt被随机设置为高电导，以确保输入样本可以容易地引起输出层中的SRM神经元激发。Af-研究文章DOI：芯片|Vol 1 |2022年夏季黄杰N.，王，T.，黄鸿M. Guo，X.芯片1，100015（2022）5月7图4|字母“H，U，S，T”的分类。(a)用于输入的字母和具有SRM神经元的SNN。当训练SNN（b）具有和（c）不具有SRM神经元时，突触阵列中的忆阻器件Pt/Ta/TaOx/Pt的电导更新4个SRM神经元在输入相应的字母（d）无噪声和（e）有噪声时的输出在与突触权重相乘之后，脉冲被传输到输出层中的SRM神经元，并且引起它们的膜电位的增加。当SRM神经元的膜电位高于阈值时，神经元生成尖峰作为输出，该尖峰也被放电后，被放电的神经元进入不应期，因此它不能以相对较短的时间放电。长周期（~ 150ms）。其他神经元在接受到放电尖峰后进入侧抑制期（~ 50ms）。因此，当一个山姆-Ple被输入到SNN，只有一个SRM神经元被激发，并且输出层中的所有其他SRM神经元被抑制;以这种方式，SNN实现了在输入下一个样本之前，施加100 ms的间隔以将SRM神经元的膜电位复位到初始状态。不应期长于侧抑制期;当输入下一个样本时，先前被激发的神经元仍然被抑制，为其他神经元提供公平的机会开火研究文章DOI：芯片|Vol 1 |2022年夏季黄杰N.，王，T.，黄鸿M. Guo，X.芯片1，100015（2022）6月71==××=−=−=采用无监督SRDP学习规则训练SNN，与BP算法相比，该方法具有更好的硬件兼容性。无监督SRDP用于更新突触权重，如下所述：⎧⎪⎨1fi>fthfj=1器件的模拟和易失性开关特性。通过施加脉冲，调节器件的挥发速度，改变SRM神经元的阈值，从而在神经元中实现不应期和侧抑制的功能。基于Pt/Ta/TaOx/Pt的忆阻器件，用SRM神经元和突触构成SNN，经过无监督SRDP学习训练后，得到ij=−2⎪⎩−1fi fth<&fj=1fi> fthfj=0fi fth

下载后可阅读完整内容，剩余1页未读，立即下载