FPGA中片上学习和多层感知器的设计与应用

©20 13T heA ut horsP ublishedd by El sevie rB.V.美国应用科学研究所的选择和/或应用审查可在www.sciencedirect.com在线获取ScienceDirectAASRI Procedia 6（2014）82 - 882013第二届AASRI计算智能与生物信息学基于Virtex-E的Subadra Murugana *，Packia Lakshmi Kb$，Jeyanthi Sundarc，MathiVathani Kda爱因斯坦工程学院欧洲经委会系教授，印度泰米尔纳德邦Tirunelveli-627012。b印度泰米尔纳德邦Tirunelveli爱因斯坦工程学院欧洲经委会系助理教授-627012。c、d印度泰米尔纳德邦Tirunelveli爱因斯坦工程学院欧洲经委会应用电子系PG学者----627 012。摘要由于技术的进步，许多集成电路被制造出来，以开发一个人工系统，可以执行类似于人脑执行的“智能”任务。其中许多采用片外学习方法，或者通过模拟硬件实现，或者大量采用并行计算机实现。这项工作是关于使用现场可编程门阵列（FPGA）的可训练神经芯片，因为这有助于通过利用神经网络的固有并行性来提高学习能力。通过这种快速原型是可能的实时应用，如语音识别，语音合成，图像处理，模式识别和分类。在这项工作中，片上学习方法的设计标准的基准XOR问题，使用基于多层感知器的反向传播，并实现在VIRETEX-E FPGA使用VHDL。设计工作频率为5.332 MHz，总门数为4，73，237。© 2014作者。出版社：Elsevier B. V.CC BY-NC-ND许可下的开放访问。美国应用科学研究所关键词：FPGA;片上学习;反向传播;多层感知器* Subadra Murugan..联系电话：+0-979-096-8632; $ Packia Lakshmi K电子邮件地址：*subadra_m@yahoo.com，$krishbagya@gmail.com2212-6716 © 2014作者出版社：Elsevier B.诉 在CC BY-NC-ND许可下开放访问。美国应用科学研究所科学委员会负责的同行评审doi：10.1016/j.aasri.2014.05.012Subadra Murugan等人/ AASRI Procedia 6（2014）82831. 介绍超大规模集成电路（VLSI）的新兴应用之一是独立的神经网络芯片。这种独立的神经网络芯片可以超越传统的基于计算机的模式识别系统的能力，它们被用于模式分类，数据处理，电力负荷预测，电力控制系统，定量天气预报，游戏开发，优化问题等。人工神经网络（ANN）是一种强大的建模工具，特别是当底层数据关系未知时。它提供了一种完全不同的方法来解决实时问题，它们被称为第六代计算技术[2]。大多数现有的神经网络商业应用通常是通过软件开发的，并在通用处理器上进行顺序模拟[3]。这是最简单但最不受欢迎的方法，因为培训时间很长。它适用于不需要适应新数据的网络，仅用于投资网络建模能力[4]。然而，存在一些特定的实时应用，例如流式视频压缩、生物信息学，其要求在规定的时间内对大的非线性数据集进行高容量自适应实时处理和学习[5]。因此，需要设计具有真正并行处理能力和可重构性的神经网络硬件，以用于未来可扩展的应用[6]。这可以通过片上学习方法来实现。这是一个理想的方法，因为它开发了一种方法，使一个独立的神经网络芯片。在片上学习方法中，硬件根据权重随时准备修复架构，通过充分利用其固有的并行性来获得所需的性能，并且在数量级上比软件模拟运行得更快[7]。Erashekhar等人（2013）比较了软件和硬件实现方法。特别是他们比较了不同的硬件实现方法，如VLSI（模拟/数字），专用集成电路（ASIC）和FPGA。他们选择FPGA实现他们的工作，因为高度的可编程性[8]。Suhap Sahin等人（2006）比较了使用VLSI神经芯片和FPGA的硬件实现方法。他们解释了FPGA在VLSI芯片上的实时应用。他们描述了FPGA的特点，并得出结论，FPGA具有更高的速度和更小的尺寸比VLSI设计的实时应用，特别是分类[9]。Janardan Misra等人（2010）还分析了不同的硬件实现，如模拟神经芯片，数字神经芯片，基于RAM的实现方法和FPGA实现方法。最后，他们得出结论，FPGA成本低，易于获得，可重新配置，提供软件灵活性。他们进一步指出，最新一代FPGA的部分和在线重新配置功能提供了额外的优势[5]。本文旨在设计一种基于片上学习多层感知器（MLP）的神经网络，采用反向传播（BP）算法学习异或问题。第1.1节回顾了架构，第1.2节描述了神经网络的学习算法。第二部分介绍了片上学习的实现，并对结果进行了讨论.1.1. 网络架构多层感知器是一种广泛使用的通用逼近器，适用于解决非线性可分问题[10]。结构参数，如每个神经元的输入数量，权重，激活函数，突触互连和层数将在ANN结构中指定，因为它们在学习时起着重要作用[11]。逻辑XOR函数有两个输入和一个输出，基于此MLP结构如图1所示。84Subadra Murugan等人/ AASRI Procedia 6（2014）82偏倚（b1）偏倚（b3）输入输出输入输入层隐藏层输出层偏倚（b2）至少包含一个隐藏层的问题[7]。因此，在这项工作中，2-2-1 MLP结构的设计与sigmoid激活函数来解决异或问题。Fig. 1.异或问题1.2. 学习过程学习的主要目标是实现良好的泛化，能够预测与给定输入值相关的输出值[12]。反向传播方法是一种监督学习算法，广泛用于训练多层感知器。它调整从输入-输出映射计算的权重值，并最小化正确输出值和目标值之间的误差。它使用梯度下降算法迭代计算权重值[10]。对于具有输入向量xi、输出向量yj的MLP，权重通过梯度下降规则计算，并且由（1）给出：wi =其中，k是学习率，yj（1-yj）是激活函数的导数，（tj-yj）是以ti为目标的误差。BP算法是基于两个通道的重复应用，即-前向通道和反馈通道。1.2.1. 向前传球在前向传递中，输入数据从输入层传播到输出层，以在每个处理元件处获得输出值，并且在输出层处计算相应的误差值。输出误差计算被计算为实际输出（y1，y2，... yn）和期望输出（t）之间的差= Yk（1-yk）（tk-yk） 对于每个输出神经元（k）（2），Subadra Murugan等人/ AASRI Procedia 6（2014）8285全局控制器错误比较块111111133输入层隐藏层输出层输入ROMRAM神经元模块RAM梯度模块3权重更新模块目标ROM误差计算模块3梯度模块神经元模块权重更新模块梯度相位控制器反向相位控制器正向相位控制器- 对于每个隐藏单元（h）， = Yh（1-yh）kwh，k（3）1.2.2. 反馈通过在此步骤中，误差值通过网络逐层向后传播，以便更新预期输出的权重。对于每个网络权重wi，j，权重更新可以被计算为（4）wi，j（new）= wi，j（old）+nwi（4）其中，，j=，j xi，j，称为权重更新的幅度。如果输出是正确的（t=y），则权重不改变（ wi，j =0），否则更新权重wi。重复该训练过程，直到输出误差信号低于预定阈值或均方误差（MSE）。2. 执行由于逻辑异或问题是用来衡量人工神经网络的学习能力，这项工作利用片上传播学习算法解决异或使用VIRTEX FPGA。图2显示了完整的BP算法实现模块。学习过程的前向传递由前向相位控制器控制，后向传递由后向相位控制器控制。全局控制器用于同步所有模块。图二. BP算法实现模块86Subadra Murugan等人/ AASRI Procedia 6（2014）82同时刺激所有层中的每个神经元，并将输出转发到下一层。最后，在输出层通过应用激活函数计算加权和的值来产生输出。将最终输出提供给误差计算模块以求出MSE。全局控制器的误差比较模块用于检查学习情况。如果误差值大于阈值，全局控制器向反向相位控制器发送使能信号。BP算法的后向阶段包括两个主要阶段梯度计算阶段-使用梯度下降法权重更新阶段-在所有层神经元中更新新的权重值首先计算输出神经元的梯度值，并将其反向传播到前一隐层进行梯度计算。在梯度计算之后，对每一层和每一个神经元权值同时进行权值更新。新的更新值存储在RAM中以供将来使用。因此，权重更新过程的完成指示一个完整的训练集，并且对于所有其他输入模式重复这两个阶段，直到网络被充分训练。采用IEEE 754标准的单精度浮点运算包和Sigmoid激活函数包，编写了XOR问题完整模块的VHDL代码。激活函数的硬件实现使用近似函数使用以下等式（5）[13]完成。ሺݐሻͳȀʹʹቂͳቃȁȁ（五）3. 实施结果对于异或问题的片上训练，采用VHDL语言编写了完整的模块，并在VIRTEX-E使用Xilin14.5 ISE。设计完成后，将对顶层模块进行合成，并验证其时序和功能。图3图4分别说明了神经网络在前向和后向传递中的训练阶段。从图中可以注意到，根据在正向阶段中计算的误差来完成权重更新过程。MSE确保网络得到充分训练。资源利用率见表1。表1.完整XOR模块逻辑利用率使用可用利用切片寄存器2,85164,896百分之四占用的切片32,01532,448百分之九十八仅包含相关逻辑32,01532,015百分百4个输入LUT61,38664,896百分之九十四用作逻辑56,958----GCLK数量44百分百GCLKOB数量14百分之二十五设计的总等效门数473,237----Subadra Murugan等人/ AASRI Procedia 6（2014）8287图三.前向相位见图4。向后阶段4. 结论FPGA保留了高度的灵活性，便于器件重新配置，缩短了硬件开发周期。本文采用VHDL语言进行了编码，并在MODELSIM 6.3f仿真器中进行了成功的仿真，最后在VIRTEX E FPGA中使用XILINXISE 14.5 ISE进行了实现。该方法保持了人工神经网络的内部并行性，设计工作在0.6053315 μs。该设计使用了87%的LUT和98%的切片。实验结果表明，利用反向传播学习增强MLP结构是可行的，可以满足实时应用的要求。未来的工作将集中在设计复杂的人工神经网络来解决实时问题。确认这项工作得到了印度政府科学技术部（DST）的支持，该部门是SERB青年科学家快速跟踪计划的一部分。作者要感谢印度DST和印度泰米尔纳德邦爱因斯坦工程学院的管理和校长为设计和实施这项工作提供了设施和必要的支持。引用[1] 艾曼·优素福，卡里姆·穆罕默德，阿明·纳萨尔.一种可重构、通用和可编程的前馈神经网络。2012年IEEE第14届建模与仿真国际会议[2] 作者声明：John M.神经网络BP训练算法的FPGA实现。国际计算机应用杂志，2012：（0975[3] Packia Lakshmi，K，M. Subadra博士基于FPGA的片外训练MLP的设计与实现88Subadra Murugan等人/ AASRI Procedia 6（2014）82经典XOR问题和片上训练的需要。《国际计算机应用杂志》特刊（0975[4] 拉贾帕克塞·阿莫斯·贾加特奥蒙迪神经网络的FPGA实现”。ISBN-10 0-387- 28487-7，Spriger：2006[5] Janardan Misra，Indranil Saha b.硬件中的人工神经网络：二十年进展的调查。Elsevier，Neurocomputing 2010：pp：239[6] Lorena P. Vargas 1，Leiner Barba，Torres L Mattos.基于神经网络的手语识别系统的数字硬件实现。Journal of Physics：Conference Series：2011.[7] Packia Lakshmi，K，M. Subadra博士A survey on FPGA based MLP realization for on-chip learning2012;第4卷：ISSN 2229-5518。[8] 我是阿尼尔·巴瓦斯卡。基于FPGA的通用人工神经网络的实现。ITSI电气和电子工程汇刊，2013：2320[9] Suhap Sahin，Yasar Becerikli，Suleyman Yazic.基于FPGA的神经网络硬件实现。Springer-Verlag Berlin Heidelberg，ICONIP，2006：1105[10] Faycal Benrekia，Mokhtar Mounir Bouheda.气体传感器表征和多层感知器（MLP）硬件实现，用于使用现场可编程门阵列（FPGA）进行气体识别。Sensors journal 2013：pp：2967-2985.[11] Medhat Moussa和Shawki Areibi Kristian Nichols。在FPGA上实现BP网络的算术精度”，Springer，2006：pp.37-61。[12] Kuno Kollmann，Karl-Ragmar Riemschneider，Hans Christoph Zeidler .使用并行随机比特流的片上反向传播训练。IEEE：1996年。[13] Thamer khammas.用FPGA实现神经网络的S形激活函数。2012年，伊拉克al-ma'moon大学第 13届