广义最小二乘：系统辨识与噪声校正方法详解

广义最小二乘是系统辨识与建模中的重要方法，特别是在处理带有随机噪声的动态系统模型估计问题时。其基本思想是寻找使残差平方和最小化的参数估计，即使得观测值与模型预测之间的误差平方和达到最小。在给定的差分方程 \( A(\tau)y(k) = B(\tau)u(k) + w(k) \) 中，\( w(k) \) 表示白噪声，假设模型的结构已知，即矩阵 \( A \) 和 \( B \) 的大小分别为 \( n \times m \)。 在模型参数估计过程中，通常会将该线性系统转化为线性回归形式，通过观测序列 \( y(k) \) 和控制输入 \( u(k) \) 的历史值来构建特征向量 \( \phi(k) \)。例如，通过差分或滑动窗口技术，可以形成如 \( \phi_T(k) = [-y(k-1), ..., -y(k-n), u(k-1), ..., u(k-m)]^T \) 这样的序列，将系统表示为 \( y(k) = \phi_T(k)^T\theta + w(k) \)。 最小二乘法的核心目标是找到估计参数 \( \hat{\theta} \)，使得误差项 \( \epsilon(k) = y(k) - \phi_T(k)^T\hat{\theta} \) 的均值为零，并且矩阵 \( \Phi^T\Phi \) 是可逆的。当噪声 \( w(k) \) 满足独立同分布的白噪声特性时，最小二乘估计 \( \hat{\theta}_{LS} = (\Phi^T\Phi)^{-1}\Phi^Ty \) 可以有效应用。 然而，在实际问题中，噪声模型 \( C(\cdot) \) 往往未知，这可能导致最小二乘估计存在偏差。在这种情况下，广义最小二乘法引入了额外的噪声模型估计，通过先对输入/输出数据进行滤波，然后基于滤波后的数据进行估计，以减少模型偏差。这可能涉及迭代方法，如噪声方差估计、偏倚校正算法、辅助变量法、多步最小二乘以及相关最小二乘等技术。 广义最小二乘不仅考虑了系统的静态关系，还考虑了噪声的影响，提高了估计的稳健性。通过这些方法，系统辨识和建模可以更准确地捕捉到系统的动态行为，从而更好地服务于控制系统设计、信号处理等领域。在整个建模过程中，关键在于选择合适的滤波器结构 \( C(\cdot) \)，并确保模型估计的稳定性和有效性。