基于MCS和CEEMDAN的股票价格预测算法

智能系统与应用18（2023）200202使用CEEMDAN开发基于MCS的集合模式分解与机器智能Sandip Garai*，Ranjit Kumar PaulICAR-印度农业统计研究所，图书馆大道，普萨，新德里，印度110012A R T I C L EI N FO关键词：精度分解深度学习机器学习MCS验证A B S T R A C T在本文中，股票价格数据已经使用几种最先进的方法进行了预测，如随机模型，机器学习技术和深度学习算法。一个有效的分解方法reson-nating与这些机器智能（MI）模型已嵌入提升集成方法。最后，提出了一种基于模型置信集（MCS）的股票价格预测算法。使用随机森林（RF）预测了具有自适应噪声的完全包围经验模式分解（CEEMDAN）分解的正交子序列。然后，核岭回归（KRR）模型被用来组合这些预测，形成一个混合预测器。此外，使用核函数已经观察到预测性能的改善。自适应增强（AdaBoost）被发现可以刺激长短期记忆（LSTM）和门控递归单元（GRU）模型的预测准确性。CEEMDAN还提高了AdaBoost的性能。然而，从各种方法观察到的预测组合是一个很好的方法，以改善结果。尽管优化了所有模型组合的权重，但基于启发式MCS的最不重要的模型的平均之前的鼻烟被认为是一种有效的方法。MCS基于样本外预测或样本内预测性能废除不重要的模型，然后对优越的模型进行平均。拟议的方法进行了比较，现有的独立的技术，使用几个验证措施。然而，CEEMDAN与支持向量回归（CCEMDAN_SVR）模型已被发现是在当前情况下的最佳预测1. 介绍时间序列预测在多个研究领域中具有重要意义。它在金融市场、农业、气象、交通控制、电力消耗、工业发展和社会进步等多个领域有着广泛的应用。投资者和交易者对股票市场感兴趣，因为它是在短时间内获得高利润的一种方式。这是一个公众市场，人们可以投资和交易上市公司的股票。然而，在股票市场上赚钱并不是一件容易的事。而且，股票数据的本质是不容易理解的，因为金融市场中存在大量的风险。股票市场数据受到几个看不见的因素的影响。因此，来自世界各国都试图利用各种统计模型和计量模型来预测股票价格。股票数据的非平稳性、非正态性、非线性等基本特征使其具有很强的不可预测性。传统的预测期货价格的方法是基于期货价格受各种不确定性影响的非平稳性假设。主要用于此目的的方法是传统的计量经济学和统计建模技术，基于机器智能（MI）的方法和几种技术的集成。对现有数据进行预处理是必要的，有助于提高各种最先进方法的预测性能。已经尝试开发CEEMDAN上的算法缩略语：AdaBoost，自适应增强; ANN，人工神经网络; ARIMA，自回归积分移动平均; CEEMD，完全包络经验模态分解; CEEMDAN，带自适应噪声的完全包络经验模态分解; DL，深度学习; EEMD，包络经验模态分解; EMD，经验模态分解; GARCH，广义自回归条件异方差; GRU，门控递归单元; IMF，固有模态函数; KRR，核岭回归; LSTM，长短期记忆; MAE，平均绝对误差; MAPE，平均绝对百分比误差; MCS，模型置信集; MI，机器智能; ML，机器学习; RF，随机森林; RMSE，均方根误差; RRMSE，相对均方根误差; SSM，高级模型集; SVR，支持向量回归。* 通讯作者。电子邮件地址：sandipnicksandy@gmail.com（S. Garai），ranjitstat@gmail.com（R.K. Paul）。https://doi.org/10.1016/j.iswa.2023.200202接收日期：2022年10月15日;接收日期：2023年2月1日;接受日期：2023年2月10日2023年2月15日在线提供2667-3053/© 2023作者。由Elsevier Ltd.发布。这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表智能系统及其应用杂志主页：www.journals.elsevier.com/intelligent-systems-with-applicationsS. Garai和R.K. 保罗智能系统与应用18（2023）2002022基于混合方法，包括几个MI方法预测股票价格。对股票指数数据的CEEMDAN分解正交子序列进行预测，然后应用KRR模型将这些预测组合起来，得到一个混合预测器。此外，使用核函数已经观察到预测性能的改善。自适应提升（AdaBoost）已经被发现可以提高LSTM和GRU模型的预测精度。CEEMDAN还提高了AdaBoost的性能。最后，一种新的MCS为基础的组合方法被应用到选择最好的模型（S）从各种模型。1.1. 文献综述时间序列文献中广泛使用的统计和计量经济学建模技术是自回归综合移动平均（ARIMA）模型（Xiang和Zhuang，2013年，Paul等人，2013，Zhao和Wang，2014）和非线性域中的广义自回归条件异方差（GARCH）模型（Wei等人， 2010，Ahmed &Shabri，2014，Rakshitet al.，2021年）。ArunKumar等人（2021）试图预测流行病学趋势 使用ARIMA和季节性ARIMA（SARIMA）对几个国家的COVID-19病毒爆发造成的大流行进行评估，其中累积感染、康复和死亡病例是医疗保健系统准备工作中最重要的。Paul和Yeasin（2022）利用ARIMA和Gestival模型，其中包含外源变量，即，全国范围内的封锁，以观察新冠肺炎对印度5种主要豆类作物价格波动的影响。实际生活中的价格数据通常不是线性的，也不是静态的。因此，传统的模型不能有效地预测股票价格的非线性和非平稳行为。因此，试图探索基于机器学习（ML）的算法的效率，例如。例如，在一个实施例中，人工神经网络（ANN）（Paul &Sinha，2016，Prasad等人，2017年，Ramyar和Kianfar，2019年，Rajab和Sharma，2019年），支持向量回归（SVR）（Wang和Ma，2012年，Sa'nchez-Monedero等人， 2014，Yu等人，2016，Yu等人，2017）、随机森林（RF）（Moore等人， 1991 ，Breiman，1996，Schapire 等人，1998，Breiman，2001，Ascough等人，2008年，Prasad等人，2018年，Koch等人，2019）和核岭回归（KRR）（Hoerl和Kennard，1970，Hoerl和Kennard，1970，Welling，2013，Zhang等人， 2013年，El Alaoui和Mahoney，2014年，You等人，2018年）。为了提高预测精度，Qiu etal.（2014）开发了深度信念网络集成算法。他们还提供了混合方法，通过SVR收集来自多个基于深度学习（DL）的信念网络的输出。Saraiva等人（2021）比较了几种ML方法在预测日常径流序列。结果表明，人工神经网络比支持向量机（SVM）具有更高的预测精度。他们还提出并证明了Bootstrap和基于小波的神经网络（BWNN）模型在预测3-15天前的流量预测方面优于几个独立模型。Paul et al.（2022）比较了几种机器学习算法在17个印度市场预测易腐蔬菜的情况。他们观察到，广义回归神经网络（GRNN）是所有市场在这种情况下的最佳模型。递归神经网络（RNN）算法由于其通过拥有内部记忆来记住过去的特性而变得非常流行（Zhang et al.， 2018年）。然而，传统的随机模型是首选的，因为它们的准确性，简单性和鲁棒性的预测。虽然RNN不是银弹，但在现有的计量经济学和基于ML的模型中，它仍然是一种有竞争力的替代预测技术（Hewerage et al.， 2021年）。RNN架构中的消失梯度问题导致时间序列中的长期依赖性难以学习。为了解决这些问题，长短期记忆（LSTM）层（Hochreiter和Schmidhuber，1997 ， Aiolfi 和 Favero ， 2005 ， Fischer 和 Krauss ， 2018 ， Hu 和Chen，2018，Liang等人，2018年，Miao等人，2020，Gao等人，2020 ， Jeong 等 人 ， 2020 ， Yin 等 人 ， 2020 ） 和 门 控 循 环 单 元（GRU）（Gao等人， 2020，Cho等人， 2014，Chung例如，2015年，Park等人，2019，Zhang等人，2020，Pan等人，2020年）推出。Paterakis等人（2017）提出了深度多层感知器框架作为聚合能源需求预测方法。他们证明了所提出的算法优于其他7个ML模型，这些模型在他们的研究中用作基准。Dong等人（2021）指出，DL网络是高效的，但由于其复杂的网络架构，并且还限于确定性预测，因此它们是昂贵的。他们提出了一种基于K近邻（KNN）的深度网络来预测电力负荷。采用专门的算法，以获得最小的类别数和最大的预测效率。通过对5个澳大利亚系列的电力负荷进行区间预测，证明了他们提出的模型的优越性。Espinosa等人（2021）提出了稳健和精确的标准，以比较不同的MI（ML和DL）模型来预测空气污染物（例如，一氧化二氮）。他们利用每小时3年的一氧化二氮浓度的数据，并提供了24小时提前预测使用最好的模型。包围方法用于增加任何基于MI的算法AdaBoost算法用作集成技术，有助于减少各种MI算法的预测偏差以提高性能（Zhao et al.，2017，Sun等人，2018年，Bristone等人，2020，Busari和Lim，2021）。数据是任何现有预测模型的动力源泉。大量的数据和建模设计在文献中可用。我们需要的是一个熟练的机制，以有效的方式灌输这些数据，以产生有意义的结果。Saadallah和Morik（2021）指出，现有模型中没有一个在时间序列分析中普遍表现良好。他们提出了一种深度增强架构来学习具有线性权重的集合作为元算法，并测试了几个真实世界的数据集，证明了他们提出的技术的出色性能。Liyew和Melese（2021）利用历史降雨数据的相关变量来比较各种ML算法 ， 即 多 元 线 性 回 归 （ MLR ） ， RF 和 EXtreme Gradient Boosting（XGBoost），以预测每日降雨强度。Galicia et al.（2019）建议基于预测通过使用加权最小二乘法对MI算法进行加权，可以提高大数据相对于独立MI模型的预测性能。Cui等人（2021）报告称，基于分类集成学习框架的预测优于各种最先进的MI算法。Vaiciukynas等人（2021年）利用元学习方法来确定多个方法的集合的多样性和大小，以便在不影响准确性的情况下自适应地预测时间序列。然而，财务预测在任何业务中都起着至关重要的作用（Wang和Li，2018年，Gong等人，2019年）。Aljawazneh等人（2021）比较了知名DL模型与bagging和boosting集成分类器的效率，并表明基于6层多层感知器（MLP）的深度框架结合合成少数过采样技术和基于编辑最近邻（SMOTE-ENN）的平衡技术优于其他模型。Aras（2021）试图捕捉比特币的波动性，比特币在使用基于SVM的算法组合了许多GARCH类型的模型后，具有最高的市场资本进行荟萃分析。Ayala等人（2021）试图从一堆算法中找到并整合最好的ML算 法 ，以 帮 助 预测 股 票 市 场价 格 数 据的 技 术 指 标。Ibrahim 等 人（2021）调整了LSTM的超参数值 模型 使用 自适应 动态 颗粒 群优化与导引鲸优化算法（ADPSO-GWOA）相并使用优化的DL算法预测了最多提前2天的风力发电的每小时发电量。Lin等人（2021）给出了一种处理棘手问题的方法，即，非平稳、非线性、非正态、非参数和混沌的股票价格，并使用八卦方案进行有效的预测。为了捕捉一系列实例之间的时间演化依赖性，已经实现了大量的典型模型。它们中没有一个是通用的，可以有效地执行一般的每一个应用。因此，异构集成学习方法被认为是一种很好的方法。S. Garai和R.K. 保罗智能系统与应用18（2023）2002023Punia和Shankar（2022）提出了基于DL的集成方法进行需求预测的概念。Saadallah等人（2022）利用基于梯度的显着图对几个深度网络的集合进行在线修剪。显着图是必要的，以纳入几个模型和数据分布的动态和相对性质为了从数据集中提取有用的信息，强烈建议进行预处理（Paul&Ghosh，2013，Paul，2015，Gan等人，2018年，Hannah Jessie Rani等人，2019年）。在时间序列预测领域中，几个研究人员经常使用各种分解技术，如小波变换（WT）分析、傅立叶变换（FT）分析、经验模式分解（EMD）、变分模式分解（VMD）等（Prasad等人， 2018年，Lin等人，2021，Liu等人，2018年，Anjoy和Paul，2019年，Zuo等人，2020，Wang等人， 2020年，保罗和加赖，2022年，保罗和加赖，2021年）。（续）目录文献(EMD)、变分模式分解（VMD）等。优化技术（Ghaetchopogh，2022，Ghaetchopogh等人，2023，Ghaetchopogh et al.，2022，Ghachopogh，2022，Mohammadzadeh和Ghachopogh，2021，Ghachopogh等人， 2022年，Naseri和Ghachopogh，2022年，Mohammadzadeh和Ghachopogh，2021年，Abdollahzadeh和Ghachopogh，2022年，Samadi等人，（2020年，加福里和加什乔波，2022年）模型置信度集（MCS）（Hansen等人，2011年，塞缪尔和一个特定的模型可能在数据集上表现良好，但它的性能Mance可以在固有特征的其他数据集上变化。因此，一个有效的方法可能是汇集几种方法来预测一个系列。这自适应噪声完全包络经验模式分解（CEEMDAN）Sekkel，2017年）（Torres等人，（2011年）Bates和Granger（1969）提出了一种新的方法。 Domingos等人（2019）试图将ARIMA与MLP和SVR模型结合起来，组合模型可以处理不同的预测情景。Ghar-ehchopogh（2022）对量子启发的元启发式算法的应用进行了概述和评论。Ghaidchopogh等人（2023）显示了混沌准对立农田肥力算法（CQFFA）优于类似竞争对手算法的性能。Ghaetchopogh等人（2022）还回顾了SparrowSearch Algorithm（SSA），该算法以简单的方式使用几个参数进行优化SSA还避免了局部最优，本质上非常灵活。几种其他优化技术可以在各种文献中找到（Ghaghchopogh，2022，Mohammadzadeh和Ghaghchopogh ， 2021 ， Ghaghchopogh 等 人 ， 2022 年 ， Naseri 和Ghar-ehchopogh ， 2022 年 ， Mohammadzadeh 和 Ghahchopogh ，2021年，Abdollahzadeh和Ghahchopogh，2022年，Samadi等人，2020，Ghafori和Ghafchopogh，2022）。下面列出了一些有用模型的简要文献综述。目录文献一个单独的模型是受结构断裂和错误的规格，以不同的性质。因此，最好制定一个策略来找到更好的模型，并将来自它们的信息结合到特定的数据中，而不是将所有现有的方法结合起来。还有其他策略也可以根据样本外预测性能组合加权预测。但是，组合模型的相等权重通常被视为优于各种复杂的加权方案。如果模型数量大于样本量，则会产生严重的参数估计问题（Aiolfi和Favero，2005）。因此，在预测组合中增加一个额外的模型，额外的参数估计的估计成本也应该考虑在内。因此，在组合特定数据集的所有模型之前，我们应该首先分离出数据中表现最差的模型，然后组合模型的最佳子集，比如10%，20%或其他。模型置信度集（MCS）（Hansen等人， （Samuels and Sekkel，2017）自回归移动平均（ARIMA）广义自回归条件异方差（Xiang和Zhuang，2013，Paul等人，2013，Zhao和Wang，2014）（Wei等人，2010，Ahmed &Shabri，2014，Rakshit et al.， 2021年）做同样的事情，即，根据拟合模型的样本外或样本内性能找到最优模型集（SSM）。2. 方法季节性ARIMA（SARIMA）（ArunKumar等人， 2021年）人工神经网络（ANN）（Paul &Sinha，2016，Prasad等人，2017年，Ramyar和Kianfar，2019，Rajab和Sharma，2019）支持向量回归（SVR）（Wang和Ma，2012年，Sa'nchez-Monedero等人， 2014，Yu等人，2.1. EMD和改进经验模态分解（EMD）是一种自适应的数据分解技术，由Huang等人提出。（1998）既不需要正弦假设随机森林（RF）核岭回归（KRR）循环神经网络（RNN）长短期记忆（LSTM）门控经常性单元（GRU）多元线性回归（MLR）、随机森林（RF）和EX treme梯度提升（XGBoost）小波变换（ WT）分析，傅立叶变换（FT）分析，经验模态分解2016，Yu等人， 2017年）（Moore等人， 1991年，Breiman，1996年，Schapire等人，1998，Breiman，2001，Ascough等人，2008年，Prasad等人，2018年，Koch等人， 2019年度）（Hoerl和Kennard，1970，Hoerl和Kennard，1970，Welling，2013，Zhang等人，2013年，El Alaoui和Mahoney，2014年，You等人， 2018年第一季度）（Zhang等人，2018年，Heweldage等人，2021年）（Hochreiter和Schmidhuber，1997年，Aiolfi和Favero，2005年，Fischer和Krauss，2018年，Hu和Chen，2018年，Liang等人，2018年，Miao等人，2020，Gao等人， 2020，Jeong等人，2020，Yin等人，2020）（Gao等人，2020，Cho等人，2014，Chung等人，2015年，Park等人，2019年，张例如，2020，Pan等人，（Liyew和Melese，2021）（Prasad等人，2018年，Lin等人，2021，Liu等人，2018年，Anjoy和Paul，2019年，Zuo等人，2020，Wang等人，2020年，保罗和加赖，2022年，保罗和加赖，2021年）（下一栏）S. Garai和R.K. 保罗智能系统与应用18（2023）2002024数据中的各种频率结构（如FT）或预定义的函数集（如WT）。EMD过程可以将非平稳和非线性数据分解为各种本征模态函数（IMF）和残差。EMD将信号分解为高频分量，即信号的低频分量. 即，IMF和低频分量，即，残差在每个分解步骤中产生的残差通过EMD过程进一步分解，直到不再存在振荡。每个IMF和剩余都是独立的。要进行EMD分析，数据必须具有极值点，并且必须是非单调函数。端点效应和固有模态混合问题阻碍了基于EMD的分解过程。Wu和Huang（2009）提出的包围经验模态分解（EEMD）大大减少了模态混合问题，并提供了对EMD的 显 着 改 进 。 完 全 EEMD（ CEEMD ） （ Yeh 等 人 ，2010）和具有自适应噪声的CEEMD（CEEMDAN）（Torres等人，2011）是对原始分解方法的改进，解决了原始信号的重构问题。2.2. 安随着数据可用性的不断提高，基于MI的S. Garai和R.K. 保罗智能系统与应用18（2023）2002025={（）} ∈ ∈=（）下一页Fig. 1. ANN的示意图图2. SVR模型示意图建模是研究人员不能忽视的。人工神经网络就像人类大脑在基于机器的环境中一样工作。拥有各种有前途的属性，如数据驱动和人工神经网络的非参数性质，使他们在时间序列预测领域的吸引力。首先，人工神经网络需要很少的先验假设来预测数据中的未知关系。第二，从训练数据制定的关系可以映射到人工神经网络架构中看不见的数据。最后，ANN对于任何类型的数据，特别是具有非线性性质和非参数特性的数据具有非常复杂的泛化能力（Hornik等人，1989，Zhang等人，1998年）。多个输入节点和层用于将数据馈送到网络中。根据输入和对应的输出，隐藏层和每个隐藏层的隐藏神经元的数量可以变化。互连层之间的权重根据输入数据和输入参数进行更新。神经网络架构（图1）中使用的常见输入参数是隐藏层的数量、每层隐藏节点的数量、迭代次数学习率。均方误差（MSE）被用作重新训练网络和更新权重的标准。训练完成后，调整网络权重和偏差，将其应用于测试数据。2.3. SVRSVR是一种监督ML算法，通常用于将数据中的非线性关系建模为更高维的线性特征空间（图2），以便可以在线性域中获得预测。考虑一个数据集Sx j，y j，x jRn和y jR，j1， 2，其中xj是输入向量，yj是输出（标量），N是S的大小。“非线性SVR”的一般形式是（等式10）。 1）、f（x）=zT（x）+b（ 1）其中，：Rn→Rnh，这是一个非线性函数，它将点从输入空间映射到更高维的输出空间，输出空间可以是S. Garai和R.K. 保罗智能系统与应用18（2023）2002026∈（）下一页图3.第三章。SVR模型中损失函数的数据校正见图4。 岭迹无穷维，z R nh 是权重向量，b表示偏置。SVM （Cortes and Vapnik，1995）只不过是 线性约束二次规划（QP）的解，它总是唯一的和全局最优的。SVR是在监督学习技术的背景下发展起来的。后来，“Vapnik ε -不敏感损失函数”被引入，它阐明了这种技术在回归和时间序列问题领域的应用（图1）。 3）。2.4. RF决策树（DT）是数据挖掘中现成的ML过程。它们是鲁棒的，在这个意义上，他们是不变的缩放和其他变换的输入功能和不相关的特征值的包含。他们深入学习数据集中的不规则模式。因此，它们倾向于过度拟合具有低偏差但较高方差的数据。Bootstrap Aggregation或Bagging是一种流行的集成技术（Breiman，1996，Schapire等人，1998年）用于有效地训练基于DT的算法。在训练数据中选择具有替换的多个随机样本，并重复地拟合到多个深度DT，最后对这些树进行平均，RF给出最终的预测.使用输入预测器变量生成自举集合n棵树，其中n指示在自举过程中生成的树的数量。Bootstrap抽样通过每次向树显示不同的训练集来帮助对树进行decorrelating。允许最大数量的预测因子进入程序以产生未修剪的回归树。通过定义表示为mtry的输入变量的随机样本来选择最大预测分裂。来自自举集合的所有预测被组合在一起（打包）以获得响应变量本身的预测。因此，RF作为偏差-方差权衡来工作。然而，这在一定程度上增加了整体偏差。通过这种方式，它降低了可解释性，但在最终模型中提供了增强的性能2.5. KRRKRR是岭回归与核技巧和线性最小二乘技术与L2范数正则化的组合。Hoerl and Kennard（Hoerl and Kennard，1970）引入了岭回归。尽管KRR和SVR模型的形式相似，但它们在损失函数的使用上有所不同KRR使用平方误差S. Garai和R.K. 保罗智能系统与应用18（2023）2002027图五. LSTM层见图6。 GRU层见图7。 自动化预测S. Garai和R.K. 保罗智能系统与应用18（2023）2002028（≤）表1用于标准普尔500指数数据集预测的E× Haustive模型集随机模型机器学习（ML）CEEMDAAN-机器学习（CML）深度学习（DL）CEEMDAN-深度学习（CDL）1.ARIMA1.ML1：人工神经网络1.CML1：CEEMDAN_ANN1.DL1：LSTM1.CDL1：CEEMDAN_LSTM2.GARCH2.ML2：SVR2.CML2：CEEMDAN_SVR2.DL2：GRU2.CDL2：CEEMDAN_GRU3.ML3：RF3.CML3：CEEMDAN_RF3.DL3：AdaBoost-LSTM3.CDL3：CEEMDAN_AdaBoost-LSTM4.ML4：KRR_Lk4.CML4：CEEMDAN_RF_KRR_Lk4.DL4：AdaBoost-GRU4.CDL4：CEEMDAN_AdaBoost-GRU5.ML5：KRR_Pk5.CML5：CEEMDAN_RF_KRR_Pk6.ML6：KRR_Rk6.CML6：CEEMDAN_RF_KRR_Rk7.ML7：KRR_Sk7.CML7：CEEMDAN_RF_KRR_Sk表2数据说明最小676.53CV（%）45.78最大4796.64偏度0.84是说2156.50峰度-0.05SD987.31W0.92表3单位根检验测试S P 500ADF测试Dickey-Fuller-2.74滞后阶数15p值0.27PP测试Dickey-Fuller Z（α）-12.86截断滞后参数9损失函数，而SVR使用ε-不敏感损失函数。一个非常小的偏差0

下载后可阅读完整内容，剩余1页未读，立即下载