神经形态技术下的边缘人工智能：人脸识别的案例研究

⃝可在www.sciencedirect.com在线获取ScienceDirectICTExpress 7（2021）152www.elsevier.com/locate/icte使用NeuroEdge计算系统的边缘AI前景：介绍一种新的神经形态技术Cosmas Ifeanyi Nwakanma，Jae-Woo Kim，Jae-Min Lee，Dong-Seong Kim韩国久茂国立技术大学IT融合工程系网络系统实验室接收日期：2021年1月16日;接收日期：2021年4月1日;接受日期：2021年5月3日2021年5月18日网上发售摘要本文提出了一个测试床演示的神经边缘计算的人脸识别使用一种新的神经形态芯片-NM 500。首先，介绍了NM 500的一般描述和重要规格。第二，人脸识别实验床的案例研究以证明芯片的功效和效率。神经形态技术提供了可扩展性和一致的识别时间，这是实时网络系统所需要的，并为实时计算提供了相当大的优势，使其几乎不受数据集大小的影响。在这项研究中，智能边缘计算技术引入使用NeuroEdge。使用人脸识别测试验证了性能。结果表明，使用神经形态技术，如NM 500芯片，节省了训练系统所需的时间，并且不会带来需要许多数据集进行有效训练的负担c2021韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：边缘设备;嵌入式系统;边缘人工智能;神经形态技术;训练时间1. 介绍从生物学中获得灵感来设计神经和感觉系统的硬件模型，神经形态技术最近随着诸如IBM TrueNorth、斯坦福大学的NeuroGrid以及Nepes和General Vision的NM 500等芯片的开发而引起了研究关注[1]。许多机器学习算法在开始呈现有用的结果之前需要大量的数据;然而，在实践中通常很难获得足够的数据。因此，需要不受这些挑战限制的系统。NM 500允许快速学习，即使是小数据集;因此，它自2017年成立以来，正在成为认知计算和人工智能的推动者。神经形态行业的利益相关者正在合作，使用NeuroMem技术芯片构建复杂的功能神经形态系统。预计到2025年，全球神经形态计算市场的价值将达到6.484亿美元[2]。利益相关者投资的主要焦点∗ 通讯作者。电子邮件地址： dskim@kumoh.ac.kr（D.- S. Kim）。同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2021.05.003最重要的是，在神经形态芯片的帮助下，增强了计算能力，降低了功耗。神经元芯片提供一致的识别时间，独立于知识库的大小。这减少了学习和识别所需的时间，以及由于具有第二参照系而产生错误的风险。同样，据估计，边缘计算市场将达到约100亿美元。3.24到2025年[3]。边缘计算是指设备中的数据处理概念，与云计算不同，云计算中的数据在数据中心处理。因此，边缘计算的关键目标之一是在收集数据时立即处理部分或全部数据。这证明了NeuroEdge等技术的增长是合理的，该技术适用于人工智能（AI），例如边缘上的人脸识别，也称为边缘AI。边缘神经形态技术的目标是：更低的功耗，小尺寸和本地学习[4]。物联网（IoT）设备数量的增加导致了对边缘数据处理的需求。这产生了以下优点：低延迟，能源效率和互联网带宽管理。在这项研究中，一种新的基于神经形态技术的产品NeuroEdge被引入作为Edge AI的可能候选者2405-9595/2021韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。C.I. Nwakanma，J.-W. 金，J. -M. Lee等人ICT Express 7（2021）152153这项研究的目的如下：详细描述NeuroEdge和NM 500芯片作为边缘AI的有前途的候选芯片。以人脸识别系统为例，验证了新型芯片NM 500的有效性。在此过程中，性能评估显示了NeuroEdge的内部学习和低功耗潜力。本文的其余部分组织如下：第2节介绍了相关的工作，包括最近的趋势，在使用神经形态技术的各种应用，如人脸识别。在第三节中，介绍了NeuroEdge和NM 500芯片的系统模型和框图。第四部分是绩效评估，第五部分是本文的结论。2. 相关工作：神经形态学技术及其应用神经形态技术最近已被应用于人脸识别和检测系统[4]。Spike神经网络（SNN）和神经形态技术已被用于规范自动跟踪功能，结合人工智能深度学习技术，2D与3D面部识别系统以及实时工业安全和监控。为了降低训练SNN的复杂性和开销要求，作者在[5]中开发了一种新的最大池化方法，使得它仅依赖于尖峰神经元模型，同时近似最大池化。该系统的性能优于最先进的系统，因为它具有更好的准确性和更好的收敛速度，同时节省了开销。作者在[6]中设计并制作了一个基于称为“Tianji”芯片的芯片的并行神经形态模型类似地，[7]提出了一种基于神经元系统的车道检测系统。他们能够离线学习各种类型和颜色的车道，并使用学习的车道模式检测道路上标记的车道。这种方法的优点是可以用少量的计算来检测车道[7]。在[8]中，作者使用IBM开发的“TrueNorth”神经形态芯片来开发用于商务会议室的视频流的人脸识别和跟踪。这使得能够生成这些房间中的人的列表以及基于节能深度神经网络分类的人脸检测的时间戳。使用基于Haar特征的分类器进行特征提取。尽管深度学习神经网络具有优势，但它们面临着能源消耗、数据管理和效率的挑战，类似于人类大脑的实际行为[9]。常规的机器学习算法基于已知的计算系统，诸如中央处理单元（CPU）、图形处理单元（GPU）、现场可编程门阵列（FGPA）和专用集成电路。这些都受到摩尔定律的限制Fig. 1. NeuroEdge的框图显示了NM 500芯片的位置。能源效率[10]。由于计算和数据存储之间的关系，冯·诺依曼体系结构也有局限性。为了克服这些问题，神经形态技术是基于SNN，模仿大脑，以保证可靠性，存储管理和低功率处理，导致增加的并行性和减少的能量预算。最先进的系统中的主要是IBM尽管对NM 500的研究仍处于起步阶段，但最近的一些工作表明它可能是一种有前途的芯片。[12]作者使用NM500为驾驶员设计和实施辅助系统。作者在[13]中证明了NM 500在嵌入式系统中权衡功耗和精度的能力作者在[14]中采用NM 500进行图像分类，并证明了芯片的能效潜力。最近，[15]部署了NM 500芯片来实现行人图像检测系统。据我们所知，这是NM 500首次部署到人脸识别系统中，同时展示了节能和处理时间的能力。在这项研究中，该芯片用于人脸识别，具有相当高的准确性。这项工作展示了由NM 500组成的NeuroEdge计算系统在人脸识别案例研究中的应用，以证明该芯片在人工智能项目的硬件实现中具有潜力3. NeuroEdge计算系统一个详细的方框图的神经边缘系统显示的作用和位置的NM 500芯片，是在图。1.一、NeuroEdge系统使用神经形态设备与Raspberry Pi相结合，以实现设备上的实时现场训练和推理。然而，NM 500是一种神经形态芯片，其神经元可以学习和识别来自任何数据源的模式，其能量和复杂性低于现代微处理器。NeuroEdge和NM 500是在GeneralVision Inc.的NeuroMem技术许可下生产的。[11 ]第10段。图图 3示出了··C.I. Nwakanma，J.-W. 金，J. -M. Lee等人ICT Express 7（2021）152154图二. NeuroEdge模块连接到计算机，内置摄像头用于面部识别。这是基于边缘的人脸识别，不需要大数据集。NM500及其在各种人工智能系统中的应用，如图像，语音或视频识别，分类和异常检测。4. 用于人脸识别在本节中，我们将逐步解释测试平台以及如何将其部署为边缘人脸识别。4.1. 硬件和软件要求由于神经形态芯片的成本和可用性，我们仅使用NepesAI的基于NM 500的NeuroEdge产品。该芯片由Nepes和General Vision于2017年制造。该芯片由大约576个神经元组成。与现有的基于软件的AI系统不同，NM 500配备了基于记忆的神经元架构，使用户能够在现场实时学习和识别数据。独立学习可以在低功耗下实现，其交互性使决策更快。此外，它采用并行架构设计，它 可 扩 展 。 为 了 增 加 或 扩 展 NM 500 的 数 量 ， 使 用NeuroBrick来堆叠可扩展的神经网络。无论神经元的数量如何，这都可以保持学习或识别数据所需的时间，从而可以通过并行连接多个芯片来轻松构建数百万个神经元的网络。4.2. NeuroEdge的硬件结构NeuroEdges是支持使用神经形态芯片和开放板实现边缘计算系统的设备。NeuroEdge基于开放板Raspberry Pi4，包括NeuroPi，它有两个内置的神经形态芯片，称为NM500。NeuroPi和Raspberry Pi通过SPI接口进行通信。硬件要 求 如 下 ： NeuroEdge 、 微 型 SD 卡 、 通 用 串 行 总 线（USB）C型电源和摄像头（USB型）。在我们的案例中，我们使用的是台式计算机;因此，我们需要一个显示器、HDMI电缆和键盘，如图2所示。NeuroEdge通过USB连 接 到 USB Cam 摄 像 头 ， 摄 像 头 串 行 接 口 连 接 到Raspberry Pi Camera V2。Raspberry Pi4的核心由BCM 2711组成。外围设备包括USB、I2C和SPI接口，以及蓝牙和Wi-Fi无线接口。因此，它可以添加传感器或摄像头麦克风来接收语音和图像等各种输入数据。嵌入式程序可以通过安装操作系统（称为Rasbian）和Linux程序开发工具来开发。NeuroPi板包含两个NM 500和一个可以控制它们的FPGA，板和RaspberryPi通过SPI接口进行通信。4.3. 通用和人工神经网络规范图3显示了NM 500在系统中的位置。可以观察到，应用领域可以是激光标记、面部识别，并且输入数据可以是视频、语音信号或文本。该图还显示，神经元响应可以用于识别、分类、异常检测、跟踪、匹配、聚类或新颖性检测。这解释了令人印象深刻的领域，图3.第三章。 NM500架构展示了NM50 0 芯片在人脸识别之外的各种可能前景和应用。C.I. Nwakanma，J.-W. 金，J. -M. Lee等人ICT Express 7（2021）152155∗∗∗表1NeuroEdge测试台的一般规格。项目类型规格Broadcom BCM2711 SoCCPU ARM Cortex-A72 1.5 GHzGPU VideoCore VI 500MHz内存2 GB LPDDR4存储32 GB（Micro SD）神经形态2* NM 500（最多1152个神经元）网络以太网、Wi-Fi、蓝牙视频输出Micro HDMI 2音频3.5 mm插孔USB USB 2.0 2/USB 3.0 2GPIO 40 Pin GPIO Extension Header电源5 Vdc（大于2 A）操作系统Raspbian Buster重量190克尺寸95.00< $68.00< $50.00 mmVESA 75表2NM 500的电气、输入/输出和人工神经网络属性。参数规范神经元容量576个神经元神经元内存大小256字节已确定、不确定或未知逻辑分类器RBF和KNN距离标准L1（曼哈顿），LSup单芯片时钟频率35 MHz18 MHz，适用于多芯片链I/O并行总线（26线）电气3.3 V I/O操作，1.2V内核1.2 V和3.3 V时，有源模式（CS_low）下功耗为封装64-pin WLP 4.6mm 4.5mm 0.77（mm）神经形态技术的应用。然而，为了演示，我们采用了人脸识别的案例研究。表1列出了测试台的一般规格，而表2列出了NM 500的ANN属性和电气和NM 500支持径向基函数（RBF）和k-最近邻（KNN）作为分类算法。在本研究中，RBF分类算法被用作基础。RBF是一种前馈神经网络，包含径向对称神经元的中间隐藏层[16]。该神经元使用非线性定律（通常假设为高斯）转换从指定输入向量到其相应中心的距离[11]。4.4. 用于人脸识别本节介绍了人脸识别的学习和分类过程，以验证神经形态芯片的性能。此外，使用仅CPU系统（Intel Xeon E5-2630）和GPU系统（NVIDIA RTX 2060）进行了相同的人脸识别。图图4示出了用于面部识别的测试台设置。本研究中的人脸识别程序是通过QT工具见 图 4 。 使 用 NeuroEdge AI 系 统 实 现 面 部 识 别 ， 显 示 NeuroEdge ，Raspberry Pi Camera V2和USB Cam Camera之间的连接。在这里，我们使用了OpenCV和其他支持包，如图所示。学习和分类简单。OpenCV安装在NeuroEdge中，以使用OpenCV库进行面部识别。首先，它从通过照相机获得的图像信息中检测面部部分。检测到的区域是感兴趣区域（ROI）。ROI信息被转换为NM 500可以通过特征提取过程学习的数据。我们已经使用NeuroShield评估模块实现了所有这些，该模块具有一个NM 500芯片，其规格已经说明。评估板对可能的神经元数量进行了限制，分别为576、1728、2880和4032。因此，我们根据这些限制提出了我们的评估结果[10]。4.5. 结果和讨论在成功安装相关软件包并使用OpenCV和NeuroEdge后，摄像头用于捕获面部，同时拖放ROI。并与CPU和GPU系统的计算结果进行了比较。针对嵌入式系统的三种场景（NM 500芯片、CPU和GPU），考虑了学习和分类的处理时间和功耗以及处理的能效。结果见图五、观察图中。5、NM 500所需的每个训练数据的平均能量、处理数据和训练模型所需的平均功耗和时间最少。这与表2和作者[10]中的规范一致，其中假设与CPU和GPU系统相比，神经形态具有更高的效率。4.6. 使用最先进的人脸识别网络进行验证为了进一步验证NeuroEdge的性能，我们将其性能与最先 进 的 网 络 进 行 了 比 较 ， 如 AlexNet ， ResNet-101 ，VGGNet-10，VGGNet-16和GoogleNet-24，改编自[17]。图 6 表 明 ， NeuroEdge 用 于 人 脸 识 别 的 准 确 性 高 于AlexNet、VGGNet-10、VGGNet-16和GoogleNet- 24，而与ResNet-101相当C.I. Nwakanma，J.-W. 金，J. -M. Lee等人ICT Express 7（2021）152156图五. NM500芯片与CPU和GPU系统的性能评估。平均值是通过取576、1728、2880和4032个神经元的相应值见 图 6 。 NeuroEdge （ 99.9% ） 与 AlexNet （ 96.15% ） 、 VGGNet-10（ 99.53% ） 、 VGGNet-16 （ 98.15% ） 、 GoogleNet-24 （ 99.63% ） 和ResNet-101（99.87%）等最新技术的准确性比较表明，Neuromorphic芯片是一种有前途的候选芯片。4.7. 用于人脸识别的NeuroEdge在各种人脸识别选项（如自动跟踪功能）中具有前景。在未来，随着管理COVID-19时代及以后的颠覆性技术的出现，NeuroEdge计算技术可能会在航空旅行（例如，在登机时识别人脸而不是登机牌）、跟踪工作场所的移动、快速数字化员工数据以及增强现代智能手机的功能以下是边缘计算基础设施增长所必需的驱动因素（因素），如[18]所总结的：生成的数据量：在这里，常见的例子是部署在大量数据不可用或大数据可用但被认为是隐私的情况下（医学图像的图像处理），通过智能可穿戴设备。在这种情况下，为了解决复杂的深度学习模型的问题，在称为数据独立模型压缩的过程中考虑压缩深度网络[18]。5. 结论在这项研究中，引入了NeuroEdge计算的概念，作为使用神经形态技术的Edge AI概念的扩展。该概念使用NepesAI Korea制造的新型芯片NM 500进行了演示，以展示神经形态技术作为无处不在的AI和边缘计算的推动者的潜力。为了验证概念证明，人脸识别被用作案例研究，并与ALexNet，GoogleNet，ResNet进行了比较。结果表明，NeuroEdge系统比最先进的网络具有更好的准确性。此外，从功耗和精度两个方面对芯片性能与CPU和GPU系统进行了比较。CRediT作者贡献声明Cosmas Ifeanyi Nwakanma：概念化，方法学，调查，写作-评论编辑。Jae-Woo Kim：监督，编辑，可视化。Jae-Min Lee ： Su- pervision ， Funding acquisition. Dong-Seong Kim：监督，资金收购。竞合利益作者声明，他们没有已知的可能影响本文所报告工作致谢这项工作得到了韩国MSIT的支持，由IITP监督的大信息技术研究中心支持计划（IITP-2020-2020-0-01612）。它还通过韩国教育部资助的韩国国家研究基金会（NRF）获 得 优 先 和 基 础 科 学 研 究 计 划 的 支 持（2018R1A6A1A03024003，2019R1I1A1A01063895）。引用[1] J.W.我是金Nwakanma，J.M. Lee，D.S. Kim，使用神经形态技术的边缘计算上的智能人脸识别，在：Proc。2021信息网络国际会议（ICOIN），韩国济州岛，2021年，pp。 514 -516，h t t p：/ / d x.多伊. 或g/10。1109/ICOIN50884. 2021。933967.[2] 全球神经形态计算市场研究报告，神经形态计算市场，市场研究未来，MRFR/ICT/3674- CR，2020，https：//www. 我很高兴看到这一点。com/reports/neuromorphic-computing-market-5110.[3] M.G. Kukkuru ， S. 莫 汉 ， S. Sarkar ， Edge Computing ， InforsysExternal Document 2019，Inforsys Center for Emerging TechnologySolutions，2019，pp. 1 -8，h t t p s：/ / w w w. 我是为了你。Com/service/incubating-ememergging-technolologies/offerings/Docum ments/edge-computing。pdf.C.I. Nwakanma，J.-W. 金，J. -M. Lee等人ICT Express 7（2021）152157[4] C.D. Schuman，T.E. Potok，R.M. 巴顿，J.D. Birdwell，M.E. 迪恩G.S.罗斯，J.S.普朗克，神经形态计算和神经网络在硬件中的调查 ， 2017 年 ， pp 。 1 -88 ， arXiv ， doi ： a r X i v ： 1 7 0 5.06963v1[cs.NE]。[5] S.郭湖，加-地王，英-地Dou，一种无开销的最大池化方法 对于SNN，IEEE嵌入式系统。Lett. 12（1）（2020）21//dx.doi.org/10.1109/LES.2019.2919244网站。[6] L. Shi，J. Pei，N. Deng，D.王湖，加-地邓，Y. Wang，Y. Zhang，F. Chen ， M. Zhao ， S. 宋 ， F. Zeng ， G. Li ， H. Li ， C. Ma ，Development of a neuromorphic computing system，in：Proc. 2015IEEEInternationalElectronDevicesMeeting （ IEDM ） ，http://dx.doi.org/10.1109/IEDM. 2015.7409624。[7] S. Kim ， T.G. Chang ， Neuromorphic Hardware accelerated Lanedetection system ， IEICE Trans.Inf.Syst.100-D （ 12 ） （ 2017 ）2871http://dx.doi.org/10.1587/transinf.2017PAL0004[8] D.S. Chevitarese ， M.N.D. Santos ， Real-time face tracking andrecognition on IBM neuromorphic chip ， in ： Proc. 2016 IEEEInternational Symposium on Multimedia（ISM），（2016），SanJose，CA，USA，2016，pp.667http://dx.doi.org/10.1109/ISM.2016.0142[9] B. Rajendran，A.塞巴斯蒂安，M。Schmuker，N. Srinivasa，E.Eleftheriou，信号处理应用的低功耗神经形态硬件：架构和系统级设 计 方 法 综 述 ， IEEE 信 号 处 理 。 Mag. 36 （ 6 ） （ 2019 ）97http://dx.doi.org/10.1109/[10] M.康，Y。李，M。Park，Energy efficiency of machine learning inembedded systems using neuromorphic hardware ， Electronics 9（1069）（2020）1http://dx.doi.org/10.3390/electronics9071069[11] Nepes Ai，NM 500用户手册版本1.6.3，General Vision和NepesKorea ， 修 订 版 ， 2019 年 ， [ 在 线 ] ， 可 访 问 ： http ： //www.theneuromorphic.com/nm500/网站。[12] J. Kim，New neuromorphic AI nm 500及其ADAS应用，收录于：Proc. AETA 2018- Recent Advances in Electrical Engineering andRelated Sciences：Theory and Application。AETA 2018，收录于：Springer 电 气 工 程 讲 义 ， 第 554 卷 ， 2020 年 ， http://dx.doi 。org/10.1007/978-3-030-14907-9_1。[13] Y.李，M。Park，在神经形态硬件加速的嵌入式系统上检测行人图像的功耗和准确性，在：Proc。2019第十届国际绿色和可持续计算会 议 （ IGSC ） ， 2019 年 ， pp 。 1 http://dx.doi.org/10 。1109/IGSC48788.2019.8957210。[14] V. Parmar，J. Ahn，M. Suri，使用低功耗神经形态硬件进行遥感的高光谱图像分类，在：Proc. 2019 International Joint Conference onNeural Networks （ IJCNN ） ， 布 达 佩 斯 ， 匈 牙 利 ， pp. 1http://dx.doi.org/10.1109/IJCNN.2019。8852001。[15] M.康，Y。李，M。Park，Energy efficiency of machine learning inembedded systems using neuromorphic hardware ， Electronics 9（1069）（2020）1http://dx.doi.org/10.3390/electronics9071069[16] H. 法 里 斯 岛 Aljarah ， S. Mirjalili ， Evolving radial basis functionnetworks using moth-flame optimizer ， in ： Handbook of NeuralComputation，AcademicPress，2017，pp.537-http://dx.doi.org/10.1016/[17] S. Minaee，A. Abdolrashidi，v. Su，M. Bennamoun，D. Zhang，使用 深 度 学 习 的 生 物 医 学 识 别 ： 调 查 ， 2020 年 ， pp. 1-https://paperswithcode.com/paper/biometric-[18] K. Bhardwaj，N.苏达河，巴西-地Marculescu，EdgeAI：物联网时代 深 度 学 习 的 愿 景 ， IEEEDes 。 测 试 （ 2019 ）http://dx.doi.org/10.1109/MDAT.2019.2952350。