多新息最小二乘法：随机回归模型参数估计的改进算法

随机回归模型的多新息最小二乘参数估计算法(三组)1主要探讨了一种针对线性回归模型的新型参数辨识方法。传统的最小二乘（LS）算法在处理参数估计时通常依赖于单个新息（即最新的观测数据点），而在本研究中，作者从新息修正的角度出发，引入了多新息最小二乘（MILS）算法。 MILS算法的核心在于在每次迭代过程中考虑多个新息（p>1，其中p表示新息的数量或向量长度），而非仅仅是一个点。这种方法的优势在于能够提高参数估计的精度，因为更多的信息被纳入到模型中，从而减少了噪声的影响，提高了模型的稳定性和准确性。 文章首先介绍了递推最小二乘法的基本原理，以及如何利用标准LS算法进行参数估计。然后，作者通过扩展新息概念，发展出的MILS算法，其在处理复杂随机过程和系统输出误差方面展现出优越的性能。对于某些情况下可能出现的数据丢失，文中还提出了变区间MILS算法，通过动态调整信息区间以适应不同情况。 此外，文章还讨论了随机过程理论和鞅理论在分析算法收敛性中的关键作用，这有助于理解和评估MILS算法的性能。例如，引用了随机过程理论和鞅理论的结果，如带遗忘因子的LS算法的性能界限一致性，以及ARMAX模型和双速率输出误差系统辅助模型LS算法的收敛性证明。 通过ARX系统的仿真结果，展示了MILS算法在实际应用中的有效性。这项工作不仅提升了参数估计的精度，还为处理随机过程中的线性回归模型提供了一种更为稳健和高效的辨识方法。关键词包括递归辨识、参数估计、最小二乘法、多新息辨识、收敛性以及随机过程，这些都是理解该算法核心思想和实现的关键要素。