在线贯序超限学习机：广义正则化与遗忘机制

"本文提出了一种具有广义正则化与遗忘机制的在线贯序超限学习机算法，用于非平稳时间序列预测。该算法通过增量学习处理新样本，在线学习过程中结合遗忘机制来更新旧样本，以适应非平稳系统的动态变化。同时，通过引入广义的$l_2$正则化确保算法的稳定性和持续正则化效果。仿真结果证明，该算法在稳定性和预测精度上优于同类方法，特别适用于动态变化的时间序列预测任务。" 在线贯序超限学习机（Online Sequential Extreme Learning Machine, OSELM）是一种高效的学习算法，尤其适合处理大规模数据流和实时预测问题。它扩展了传统的极端学习机（ELM）概念，允许数据以连续流的形式进行学习，而无需重新训练整个模型。在非平稳时间序列预测中，数据特性会随着时间改变，因此需要算法能快速适应这些变化。 广义正则化是机器学习中的一个重要概念，它用于防止过拟合并提高模型的泛化能力。在本研究中，提出的广义$l_2$正则化不仅有助于控制模型复杂度，还可以在在线学习过程中持续作用，确保模型不会因为学习新的数据点而过度调整。这种正则化方法通常涉及到在损失函数中添加一个正则项，以惩罚权重过大，促使模型更加简洁。 遗忘机制是在线学习的关键组成部分，特别是在处理非平稳数据时。传统的学习算法可能会被早期的、可能已经失效的样本所影响，导致预测性能下降。遗忘机制通过降低旧样本的权重或完全忽略它们，使得算法能够更加关注最近的、与当前状态更相关的数据，从而提高对系统动态变化的追踪能力。 在时间序列预测中，遗忘因子是一个重要的参数，它决定了旧数据的遗忘速度。适当地调整遗忘因子可以平衡新旧数据的影响，以适应非平稳序列的特性。在本文中，遗忘因子被用来动态调整旧样本的贡献，以增强算法对非平稳系统动态变化的响应。 通过将广义正则化和遗忘机制结合到在线贯序超限学习机中，作者创建了一个更强大的工具，特别适用于那些随时间变化且难以用静态模型捕捉其规律的非平稳时间序列。仿真实验显示，这个改进后的算法在稳定性与预测精度方面均表现出色，验证了其在实际应用中的有效性。 这项工作为非平稳时间序列预测提供了一个有前景的方法，它通过在线学习、广义正则化和遗忘机制的集成，有效地解决了传统算法在处理动态数据时的局限性，为未来的研究提供了新的思路和参考。