正交最小二乘法：稳定性与应用探索

"这篇论文是1996年发表在《清华大学学报（自然科学版）》上的，作者是顾启桑，主要讨论了正交最小二乘算法的原理及其在ARMA模型结构辨识和时变AR模型参数估计中的应用。文章强调了正交最小二乘法相对于经典最小二乘法在数值稳定性和计算效率上的优势，并通过Householder变换、Givens变换以及它们的逆变换来实现算法。" 正交最小二乘算法是一种解决线性方程组问题的有效方法，特别是当面对高维矩阵和大条件数时，它能提供更好的数值稳定性。在经典最小二乘法中，通过求解法方程(ATA)x = ATB来找到最佳近似解，但这种方法可能会受到大条件数矩阵的舍入误差影响。正交最小二乘算法通过一系列正交变换，如Householder变换和Givens变换，将原始问题转换成更易于处理的形式。 Householder变换通过反射矩阵将矩阵的一列变为除了主元外的所有元素为零的向量，从而简化矩阵结构。Givens变换则通过一系列旋转操作来消除矩阵的非对角线元素，逐步将其转化为上三角形。这些变换降低了计算复杂性，同时减少了数值误差。 论文中提到，正交最小二乘法被应用于ARMA模型（自回归滑动平均模型）的结构辨识。ARMA模型是时间序列分析中的重要工具，用于描述具有自回归和滑动平均项的随机过程。正交最小二乘算法在这种情况下帮助识别模型的阶数和参数，从而更好地拟合数据。 此外，该方法还用于时变AR（自回归）模型的参数估计。时变AR模型考虑了参数随时间变化的情况，对于动态系统的研究非常有用。通过最小化残差矢量的范数，可以找到最优的参数估计，提高模型的预测能力。 这篇论文展示了正交最小二乘算法在实际问题中的应用价值，特别是在处理高维和不稳定数据时，其优势更为明显。这种方法不仅能够提高计算效率，还能确保在数值计算中的稳定性，对于理解和改进数据分析中的模型识别和参数估计过程具有重要意义。