基于Python的LSTM-SDM框架进行序列数据建模和预测

软件影响14（2022）100396原始软件出版物LSTM-SDM：一个面向序列数据建模NathBhandaria，BinodRumb，NawaRajPokhrelc，RamchandraRumd，柯沙布河达哈尔a美国罗德岛州布里斯托尔罗杰·威廉姆斯大学数学系b美国佛罗里达州博卡拉顿佛罗里达大西洋大学数学科学系c美国路易斯安那州新奥尔良市泽维尔大学物理与计算机科学系d美国田纳西州默弗里斯伯勒中田纳西州立大学数学科学系美国密苏里州柯克斯维尔杜鲁门州立大学统计系A R T I C L E I N F O保留字：LSTM预测深度学习时序数据建模数据科学A B标准LSTM-SDM是一个基于Python的集成计算框架，构建在Tensorflow/Keras之上，并编写在Python Notebook中。它提供了几个面向对象的功能，用于实现用于序列数据建模和时间序列预测的单层和多层LSTM模型。多个子程序混合在一起，以创建一个有益的用户友好的环境，促进数据探索和可视化，规范化和输入准备，超参数调整，性能评估，结果可视化和统计分析。我们利用LSTM-SDM框架预测股票市场指数，并观察到令人印象深刻的结果。该框架可以推广到解决其他几个现实世界的时间序列问题。代码元数据当前代码版本1.0用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2022-113Reproducible Capsule的永久链接https://codeocean.com/capsule/3511724/tree/v1法律代码许可证MIT许可证使用Google Colab的代码版本控制系统使用Python、Tensorflow、Keras的软件代码语言、工具和服务编译要求、操作环境依赖性代码可以在Anaconda或Google Colab中执行如果可用，链接到开发人员文档/手册N/A问题支持电子邮件gmail.com1. 介绍近年来，深度学习和神经网络架构的快速发展已经将商业、金融、健康、安全、软件和制造等许多行业转变为自动化预测过程[1技术的发展和数字化已经显著改变了利用机器学习进行预测过程的许多行业。许多数据驱动或基于算法的解决方案，从简单到复杂，应用于各种科学领域[4这些开发的算法缺乏一个统一的和专用的框架来预测序列数据，无论任何领域。例如，数据收集，数据争论，数据本文中的代码（和数据）已由Code Ocean认证为可复制：（https://codeocean.com/）。更多关于生殖器的信息徽章倡议可在https://www.elsevier.com/physical-sciences-and-engineering/computer-science/journals上查阅。∗通讯作者。电子邮件地址：hbhandari@rwu.edu（H.N.Bhandari），brimal2014@fau.edu（B. Risk），npokhrel@xula.edu（N.R. Pokhrel），ramchandra. mtsu.edu（R.Risk），kdahal@truman.edu（K.R.Dahal）。https://doi.org/10.1016/j.simpa.2022.100396接收日期：2022年6月26日;接收日期：2022年7月18日;接受日期：2022年7月22日2665-9638/©2022作者。由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impactsH.N. 班达里湾北卡罗来纳州，Pokhrel等人软件影响14（2022）1003962Fig. 1. LSTM-SDM框架示意图。图二. LSTM-SDM功能的工作流分析。执行预处理、算法实现和统计验证，而不将它们集成到整体框架中。因此，有必要提供一个全面的功能工具箱，使所有需要的工作在一个统一的整体。本研究介绍了长短期记忆-序列数据建模（LSTM-SDM），这是一个集成的深度学习框架，使用单层和多层LSTM架构，旨在对序列和时间序列数据进行最佳预测。LSTM-SDM的自动化过程通过图中的示意图进行了概述。1.一、此外，该过程的子组件包括（a）提取或收集预期学科预测所需的基本特征，（b）从数字和视觉上探索数据以获得其初步见解，（c）以与模型架构兼容的方式准备数据，（d）实现单层和多层LSTM合作深度学习架构，以及（e）使用超参数调整和统计验证选择最终的最优模型架构。LSTM-SDM框架已在最近发表的研究文章中用于预测股票市场指数的收盘价[112. 功能LSTM-SDM的整体功能如图2所示，可概括为三类：（a）数据探索和输入准备，（b）模型构建和评估，以及（c）结果可视化和统计分析。在第一阶段中，访问数据并通过时间序列图观察函数的作用是输出输入特征之间的线性相关性。������������������在观察了总体趋势和变异程度后，如果需要，可以使用降噪函数_������������������������������������������由于序列预测需要输入序列和基于时间步长或回看周期的相应输出，因此构造了基于给定时间步长返回（输入，输出）对的函数。函数的作用是将原始数据划分为训练验证（或训练测试）子集。���������������������������然后，将得到的子集使用正则化_正则化_正则化（）进行规范化。���������������������������在这个过程的后期，模型预测被逆变换成原始尺度，���������_���������_���������������������_���������������������������().框架的第二部分包括为给定数量的神经元、层和其他输入超参数（如学习）速率、批量大小、优化方法等。���������������LSTM_LSTM（）利用Tensorflow和Keras API通过实现子例程来构建所需的LSTM模型，该子例程称为���������������������������_���������������().用户可以利用验证数据并执行多个实验，以找到单层和多层LSTM模型的最佳超参数������������������������������������������������������������������������������������������������。函数的作用是：������������������������������ 调整过程是彻底的，自动的，配合和数据驱动 此外，SQL Server_SQL Server_SQL Server_SQL Server_L_SQL Server（）简化并自动执行大量单个和多层LSTM模型将数据、隐藏层、超参数、时间步长、测试分割、epochs、重复次数作为输入，并提供训练和测试数据的完整性能分数作为输出字典。关键的输入，如层，时间步长，特征数量，优化器，批量大小和学习率可以在这些例程中轻松自定义最后，模型选择是计算项目中的重要组成部分。输出结果可视化并进行统计分析。在结果可视化和统计分析类别中提供了几个功能，可帮助用户对结果进行丰富的可视化并执行统计测试。读取输出字典和创建预测图、误差图和性能分数图可以使用单个驱动程序例程轻松获得，名为_（）。������������������它结合了图中列出的多个子程序。二、 此外，函数_������������������������������������������������������������������������������设计用于进行正态性检验和双样本t检验的子程序。这一统计分析有助于验证其他实证实验得出的结论。3. 对相关领域的LSTM-SDM是一个集成的协作平台，通过预测LSTM架构的未来值来支持顺序数据建模从业者。它使用数据驱动的预测模型H.N. 班达里湾北卡罗来纳州，Pokhrel等人软件影响14（2022）1003963图3.第三章。建 议 的LSTM-SDM框架在标准&普尔500指数价格预测中 的 实 施 [12]。这些技术可以从时间序列数据中获得洞察力，并以最少的时间和精力预测未来趋势。它还与科学和研究界联系，以解决序列预测问题。通过与平台的互动，介绍了深度神经网络体系结构的工作机制知识和编程技巧。但是，只要对模型体系结构有基本的熟悉程度，就可以使用LSTM-SDM。从数据导入到模型选择的全程流程在框架中有系统地组织和封装。我们整合的面向对象的统一方法通过利用标准评估指标、高质量预测图和多种优化技术来确保结果的一致性和质量。预测的中间结果存储在单独的文件中，以便将来访问。开发的框架是使用一个模块化的工程方法，可以推广，无论H.N. 班达里湾北卡罗来纳州，Pokhrel等人软件影响14（2022）1003964任何域，如果数据显示时间序列模式。虽然当前的框架实现了LSTM架构，但它可以扩展到其他深度学习架构。处理序列数据的公司和研究人员可以使用该软件包来分析数据并做出明智的决策。4. 局限性和进一步改进LSTM-SDM为序列数据的监督建模提供了一个用户友好的计算框架。它可以通过集成额外的最先进的深度学习模型来改进，例如门控递归单元（GRU），卷积神经网络（CNN）和受限玻尔兹曼机（RBM），并增加功能以比较几个模型的性能。另一个改进可以是合并一个子例程，该子例程可以执行web抓取以提取文本数据，如新闻文章、客户反馈和财务报告。这些改进是我们今后工作的动力。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作确认作者要感谢美国尼泊尔数学家协会创造了一个合作研究的机会，导致了这项工作。阑尾 说明性实例我们最近在金融市场指数预测中实现了LSTM-SDM框架[12]，这是一种流行的序列数据建模应用。在这项研究中，目标是通过使用多变量输入序列来预测标准普尔500指数的第二天收盘价。使用选定的输入变量开发了单层和多层LSTM模型，并使用标准评估指标-均方根误差（RMSE），平均绝对百分比误差（MAPE）和相关系数（R）比较了它们的性能。图3给出了LSTM-SDM实现的总体策略和实验结果。数据的过程响应变量（即收盘价）的探索和输入变量之间的相关性见图。 3（a）其中LSTM-SDM模型构建和实现策略可以在图中找到。3（b）款。同样，图。3（c）提供了从实验中获得的一些关键结果。如需了解更多详细信息，请阅读全文[12]。引用[1]杨璐，《人工智能：进化、模型、应用和未来趋势》，J. Manag。Anal. 6（1）（2019）1[2]Oludare Isaac Abiodun ， Aman Jantan ， Abiodun Esther Omolara ， KemiVictoriaDada，Nachaat AbdElatif Mohamed，Humaira Arshad，人工神经网络应用的最新技术：调查，Heliyon 4（11）（2018）e00938。[3]Giang Nguyen ， Stefan Dlugolinsky， Martin Bobák ， Viet Tran， Alvaro LopezGarcia，PéracioHeredia，PeterMalík，LadislavHluchy`，Machinelearningnganddeeplearning frameworks and libraries for large-scale datamining：a survey，Artif. 内特尔修订版52（1）（2019）77[4]Alaa Sagheer，Mostafa Kotb，使用深度LSTM递归网络进行石油生产的时间序列预测，神经计算323（2019）203-213。[5]Ashutosh Kumar Dubey ， Abhishek Kumar ， Vicente García-Díaz ， ArpitKumarSharma，Kishan Kanhaiya，SARIMA和LSTM在预测时间序列数据中的研究和分析，Sustain。能源技术评估。47（2021）101474.[6]Samit Bhanja，Abhishek Das，Deep neural network for multivariate timeseriesforecasting ， in ： ProceedingsofInternationalConferenceonFrontiersinComputing and Systems，Springer，2021，pp. 267比277[7]Steefan Contractor，Moninya Roughan，前馈和lstm神经网络在预测和填补沿海海洋时间序列方面的功效：氧气，营养物和温度，前线。火星科学（2021年）。[8]Srinidhi Hiriyannaiah，总经理Siddesh，M.H.M Kiran，K.G. Srinivasa，心跳分类的LSTM深度神经网络的比较研究和分析，Health Technol。11（3）（2021）663-671。[9]布 莱克 A. Richards， Timothy P. Lillicrap， Philippe Beaudoin， Yoeli Bengio，RafalBogacz，Amelia Christensen，Claudia Clopath，Rui Ponte Costa，Archy deBerker，Surya Ganguli，et al.，神经科学的深度学习框架，NatureNeurosci。22（11）（2019）1761-1770.[10] 王兆然，Pearse A.放大图片创作者：Michael J. Cheung，Tien YinWong，DanielShu Wei Ting，人工智能和深度学习在眼科学中的应用，Artiff。内特尔（2020）1-34。[11] Nath Bhandari ， Binod Rounge ， Nawa Raj Pokhrel ， Ramchandra Rounge ，Keshab R. 拉金德拉？达哈尔 卡特里，预言股票市场指数us-ing LSTM，2022 ， http://dx.doi.org/10.24433/CO.5976425.v1 ， https ： //codeocean.com/capsule/3511724/tree/v1.[12] Nath Bhandari ， Binod Rounge ， Nawa Raj Pokhrel ， Ramchandra Rounge ，Keshab R.拉金德拉？达哈尔Khatri，Predicting stock market index usingLSTM，Mach.学习.（2022）100320.[13] Nawa Raj Pokhrel ， Keshab Dahal ， Ramchandra Rounge ， Nath Bhandari ，Rajendra K.C. Khatri，Binod Rendezvous，William Edward Hahn，使用深度学习模型预测Neutron指数价格，Mach。学习. Appl. （2022年）。