软件影响15（2023）100473原始软件出版物基于并行卷积神经网络的忆阻交叉阵列癫痫发作检测和预测的仿真Chenqi Lia，Corey Lammieb，Amirali Amirsoleimanic，Mostafa Rahimi Azghadib，Roman Genovda多伦多大学工程科学系，42 St George St，Toronto，M5S 2E4，Ontario，Canadab詹姆斯库克大学科学与工程学院，1 James Cook Dr，Townsville，QLD 4811，Queensland，Australia约克大学电气工程与计算机科学系，地址：4700 Keele St，Toronto，M3J 1P3，Ontario，Canadad多伦多大学电气与计算机工程系，地址：42 St George St，Toronto，M5S 2E4，Ontario，Canada自动清洁装置保留字：CNN癫痫发作检测癫痫发作预测EEGRRAM忆阻交叉开关阵列A B标准对于癫痫发作的检测和预测，为了解决冯诺依曼架构的计算瓶颈，我们开发了一个内存中忆阻交叉开关为基础的加速器模拟器。 模拟器软件由基于Python的神经网络训练组件和基于MATLAB的忆阻交叉阵列组件组成。该软件为开发基于深度学习的信号处理任务提供了一个基线网络，以及一个研究权重映射方案以及设备和外围电路非理想性影响的平台。代码元数据当前代码版本v1用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2022-232Reproducible Capsule的永久链接https://codeocean.com/capsule/7908097/tree/v1法律代码许可证GNU v3.0使用git的代码版本控制系统使用MATLAB 2019b、Python、Bash的软件代码语言、工具和服务编译要求，运行环境依赖Python ≥3.7和MATLAB≥2019b。具体的Python要求列在：链接如果可用链接到开发人员文档/手册链接mostafa. jcu.edu.au1. 介绍癫痫发作的不可预测性和对癫痫潜在机制的缺乏了解给癫痫症状的管理带来了许多挑战[1-一个准确的癫痫发作预测系统将及时通知患者和急救人员，在癫痫发作发生之前进行干预。脑电图（EEG）是监测大脑活动的常用设备，可以检测与癫痫发作事件相关的活动变化。深度学习（DL）已被证明是解决许多工程问题的有前途的解决方案优于最先进的（SOTA）方法。DL网络的主要优势在于其自动提取特征的能力[4]。DL网络的主要缺点是增加了模型复杂度和计算时间。通过并行化，图形处理单元（GPU）可以减少DL网络的训练和推理时间，然而，在冯诺依曼架构中，在存储器和计算单元之间不断传输数据的需求难以并行化[5，6]。内存计算（IMC）解决了上述瓶颈，实现了乘法累加（MAC）操作的恒定时间复杂度，即Δ k（1）[7]。本文中的代码（和数据）已由Code Ocean认证为可复制：（https://codeocean.com/）。更多关于生殖器的信息徽章倡议可在https://www.elsevier.com/physical-sciences-and-engineering/computer-science/journals上查阅。*通讯作者。电子邮件地址：mostafa. jcu.edu.au（M.R. Azghadi）。https://doi.org/10.1016/j.simpa.2023.100473接收日期：2023年1月2日;接收日期：2023年1月22日;接受日期：2023年1月24日2665-9638/©2023作者。由Elsevier B. V.发布，这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impactsC. Li，C.Lammie，A.Amirsoleimani等人软件影响15（2023）1004732Fig. 1. 软件系统概述。表1波恩大学数据集的癫痫发作检测性能比较来源：改编自[8]。纸张预处理方法量化参数准确度（%）[9] 2019年10月21日[10] 1D-CNN16，778，144 92.00[11] 2D-CNN106，388 98.00[12] 2D-CNN 1，603，080 99.45Abdelhameed 等.（2021）2D-CNN 10，304，467100.00我们的1D-CNN10，77899.84* 未报告。使用我们的软件，我们使用采用IMC的忆阻交叉杆阵列模拟了并行卷积神经网络（CNN），并证明了我们的系统能够实现SOTA性能，同时与混合忆阻互补金属氧化物半导体（CMOS）加速器相比，网络参数减少2- 2800倍，延迟减少2个我们还研究了器件和电路非理想性的影响，并提出了新的方法来减轻这种影响。在这项工作中，我们描述的软件，使所采用的神经网络的训练和我们的混合忆阻CMOS加速器设计的模拟。2. 影响概述该软件由两个主要组件组成，一个基于Python的并行CNN训练模块和一个基于MATLAB的推理忆阻交叉开关模拟器（见图1）。①的人。目前支持SWEC-ETHZ、Bonn和CHBMIT三个数据集。2.1. 并行卷积神经网络使用Pytorch，在所有三个数据集上实现并测试了并行CNN架构。这有助于促进癫痫发作检测和预测方法的开发，一个轻量级的SOTACNN架构，供研究社区部署或改进。表1和表2提供了我们提出的并行CNN与文献中SOTA模型的癫痫发作检测和预测性能的比较。事实上，并行网络架构可以应用于各种基于时间序列的分类任务，例如EEG情感识别或心电图（ECG）心肌梗死检测。固定种子和确定性算法用于确保结果在运行中具有重现性和一致性。这样就可以对不同的网络架构、超参数和预处理技术进行公平的比较和探索。在训练期间，保存具有最佳准确度的模型的检查点。采用后处理脚本将.h5检查点转换为文本文件，作为基于Python的训练模块和基于MATLAB的crossbar模拟器之间的接口。保存的检查点不仅支持Python和MATLAB组件之间的通信，还支持未来的硬件部署调查和迁移学习。2.2. 忆阻交叉阵列仿真为了进行忆阻交叉杆阵列的仿真，A. Chen提出的考虑线路电阻和非线性器件特性的方法[20]。交叉开关模型源代码在MATLAB中实现，以便利用矩阵计算效率来求解每行给定输入电压下每列的输出交叉开关电流。将预训练好的网络以文本文件的形式导入并映射到7个64× 64crossbar阵列上。为了能够表示负权重和正权重，采用差分权重映射方案，其中左列和右列分别表示负权重和正权重。因此，真实权重是左右忆阻器权重之间虽然Chen的模型考虑了线路电阻和非线性器件特性，但它没有考虑其他器件和电路的非理想性。我们的软件改进了Chen���N闪烁关断器件、线路和源极电阻以及电导范围C. Li，C.Lammie，A.Amirsoleimani等人软件影响15（2023）1004733表2SWEC-ETHZ和CHB-MIT数据集的癫痫发作预测性能比较来源：改编自[8]。纸上法标准化参数灵敏度（%）特异性（%）准确度（%）FPRbCHB-MIT[13] 2D-CNN N/Rc81.20 N/Rc N/Rc0.16[10]a2D-CNN N/Rc N/R c N/Rc 92.00N/Rc [14] 2D-CNN 49，560 82.71 88.21 98.19N/Rc[15]a2D-CNN N/Rc88.80 88.60 88.70 N/Rc[16]a 3D-CNN 28，459，615 96.66 99.14 98.33 N/Rc[17]a2D-CNN 9，695，012 84.00 99.00 99.00 0.2[18] 1D-CNN 105，538 95.5599.68 99.64N/Rc我们的1D-CNN10，778 99.2498.68 99.01 0.47SWEC-ETHZ[19]a EnhancedHD[18] 1D-CNN 105，538 94.5799.86 99.81N/Rc我们的1D-CNN10，778 98.2297.02 97.540.99a表示报告了整个数据集的结果，未报告患者方面的性能b假阳性率（每小时）。c未报告。图二. 硬件非理想性对性能下降的影响。来源：改编自[8]。变化量所有的非理想性是通过改变的晶闸管的重量或输入电压和输出电流的交叉模拟。非理想情况的变化程度可以通过不同脚本的配置部分中的预定义变量进行自定义。因此，我们的仿真软件可以很容易地适应其他研究人员全面模拟他们的定制交叉开关阵列设计。图2总结了不同非理想性对我们提出的用于癫痫发作检测和预测的并行CNN的硬件性能的模拟影响。我们的模拟的一个有趣的应用是研究不同的网络权重映射方案和布局如何影响不同的非理想性的脆弱换句话说，如何映射交叉开关权重以最小化设备非理想性的影响？通过映射所有交叉权重并考虑非理想性，可以使用输入电压和交叉权重来求解输出电流。数字电路模块也可以通过相应的计算和操作的输出电流进行模拟。输出将来自交叉杆的数据馈送到后续阵列，直到计算出最终推断结果。可以对整个数据集重复该操作当我们将我们的系统应用于使用DL的癫痫发作检测和预测的应用时，我们的模拟器可以用于模拟采用矩阵向量乘法运算的任何算法。为了全面地对我们的忆阻推理加速器进行基准测试，对于所有3个数据集使用5个不同的种子来模拟每个非理想性的3到7度的变化。3. 结论和今后的改进在这项工作中，我们提出了一个端到端的流水线，用于训练和模拟混合忆阻CMOS加速器，用于癫痫发作检测和预测。基于Python的神经网络训练和验证组件可以促进基于DL的信号处理任务的未来工作。基于MATLAB的忆阻交叉开关C. Li，C.Lammie，A.Amirsoleimani等人软件影响15（2023）1004734阵列仿真为自定义干扰加速器提供了一个全面的基准，并提供了一个平台来研究权重映射方案和布局对系统易受非理想性影响的影响。对于我们的应用程序，采用固定的网络架构。MATLAB仿真组件依赖于固定网络结构和交叉开关配置的假设。不同网络架构权重到不同交叉开关阵列配置的自动映射将极大地促进从网络训练到仿真的端到端验证流水线。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢Corey Lammie的工作得到了JCU DRTPS和IBM博士的部分支持。研究金方案。Mostafa Rahimi Azghadi的工作得到了JCU Rising Star ECR奖学金的支持。Roman Genov和Amirali Amirsoleimani的工作得到了NSERC的支持。Roman Genov的工作也得到了CIHR的资助，资助号为149090、153037、146465和149090。引用[1]D.C. Patel，B.P. Tewari，L. Chaunsali，H. Sontheimer，癫痫病理生理学中的神经元-神经胶质相互作用，Nat. Rev. Neurosci. 20（5）（2019）282[2] G.P.布伦南，哥伦比亚特区亨舍尔，[3] S. Gasparini，E.费拉佐角苏埃里河谷Cianci，M.Ascoli，S.M.Cavalli，E.贝吉，V. Belcastro，A. Bianchi，P. Benna，R. Cantello，D. Consoli，F.A. De Falco，G.DiGennaro，A. Gambardella，G.L.Gigli，A.Iudice，A.拉巴特河米凯鲁奇，M. P. Palumbo，A.Primavera，F.Sartucci，P. Striano，F.维拉尼，E. 鲁索湾，澳-地De萨罗，联合阿古里亚，高血压，癫痫发作，和癫痫：病理生理学和管理回顾，神经。Sci. 40（9）（2019）1775-1783。[4] Y.莱昆湾，巴西-地本焦湾，澳-地Hinton，Deep learning，Nature 521（7553）（2015）436http://dx.doi.org/10.1038/nature14539[5] C. Li，M. Hu，Y. Li，H. Jiang，N. Ge，E. Montgomery，J. Zhang，W. 宋，N.Dávila ， C.E.格 雷夫 斯 ， Z 。 作 者： Li ， J.P. Strachan ， P. Lin， Z. Wang ， M.Barnell，Q. 吴先生，R.S. Williams，J.J. Yang，Q. Xia，Ancestion signal and image processing withlarge memristor crossbar，Nat. Electron. 1（1）（2018）52-http://dx.doi.org/[6] C. Lammie ， O. Krestinskaya ， A. 詹 姆 斯 ， M.R. Azghadi ， Variation-awarebinarized memristive networks，in：2019年第26届IEEE电子，电路和系统国际会议，ICECS，2019年，pp. 490http://dx.doi.org/10.1109/[7] C. Lammie ， W.Xiang ， M.R.Azghadi ， Towards memristive deep learningsystems for real-time mobile epileptic seizure prediction ， in ： 2021 IEEEInternationalSymposiumonCircuitsandSystems ， ISCAS ， 2021 ，http://dx.doi.org/10.1109/ISCAS51556.2021.9401080。[8] C. Li，C. Lammie，X. Dong，A. Amirsoleimani，M.R.阿兹加迪河Genov，通过并行忆阻卷积神经网络进行癫痫发作检测和预测，IEEE Trans.Biomed。电路系统（2022年）。[9] I.乌拉，M。Hussain，E. ul Haq Qazi、H. Eschalsamh，基于深度学习方法使用EEG脑信号进行癫痫检测的自动化系统，Expert Syst. Appl. 107（2018）61http://dx.doi.org/10.1016/j.eswa.2018.04。021号。[10] T. 温，Z. 张，深度卷积神经网络和自动编码器-基于EEG信号的无监督特征学习，IEEE Access 6（2018）25399-25410。[11]A. Abdelhameed，M. Bayoumi，一种用于癫痫儿童自动癫痫发作检测的深度学习方法。Comput. Neurosci. 15（2021）29.[12] 单位Türk，M.S.Özerdem，使用基于卷积的尺度图检测癫痫神经网络从EEG信号， 大脑 Sci.9（五）（2019年）115.[13] N.D.阮长湖Kuhlmann，M.R. Bonyadi，J. Yang，S.伊波利托岛Kavehei，卷积神经网络用于颅内和头皮脑电图的癫痫发作预测，神经网络。105（2018）104-111.[14] M.S. Hossain，S. U.阿明，M。Alsulaiman，G. Muhammad，将深度学习应用于癫痫发作检测和脑映射可视化，ACM Trans. 多媒体计算Commun.（TOMM）15（1s）（2019）1-17.[15] J. Cao，J. Zhu，W. Hu，黄毛菊A. Kummert，癫痫信号分类与深度EEG特征堆叠CNN，IEEE Trans. 科根Dev. 系统12（4）（2019）709[16] X.田镇邓，W。Ying，K.- S. Choi，D.吴湾，澳-地Qin，J. Wang，H. Shen，S.Wang ， Deepmulti-view featurelearning for EEG-based epileptic seizuredetection，IEEETrans. 神经系统康复中心Eng. 27（10）（2019）1962[17]W. Liang，H. 佩角，澳-地 蔡，Y. Wang，基于长期递归卷积网络的头皮EEG癫痫区识别和定位，神经计算396（2020）569-576。[18] X. Wang，X. Wang，W. Liu，Z.张氏T. Kärkkäinen，F. Cong，使用长期头皮和颅内EEG进行癫痫发作检测的一维卷积神经网络，神经计算459（2021）212-222。[19] A. Burrello，S.贝纳蒂湾辛德勒湖Benini，A. Rahimi，多维分类器的集成：具有自动iEEG电极选择的硬件友好的短延迟癫痫发作检测，IEEE J. Biomed。健康信息25（4）（2020）935-946。[20] A. Chen，一个综合交叉开关阵列模型与线电阻和非线性器件特性的解决方案，IEEETrans.ElectronDevices60（4）（2013）1318http://dx.doi.org/10.1109/TED.2013.2246791
我的内容管理
收起
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏 
我的下载 
下载帮助 
