使用最小二乘法进行系统辨识的原理

最小二乘法是一种常用的参数估计方法，可以用于系统辨识中。其基本思想是利用已知的输入输出数据，通过对误差平方和最小化来估计系统的参数。

假设我们有一个线性动态系统，其输入为 $u(t)$，输出为 $y(t)$，状态为 $x(t)$，可以表示为：

$$
\begin{aligned}
\dot{x}(t) &= Ax(t) + Bu(t) \\
y(t) &= Cx(t) + Du(t)
\end{aligned}
$$

其中，$A,B,C,D$ 是系统的状态空间矩阵。

假设我们有 $N$ 个时刻的输入输出数据 $(u_1, y_1), (u_2, y_2), \cdots, (u_N, y_N)$，我们的目标是估计系统的状态空间矩阵。

我们可以假设估计的状态空间矩阵为 $\hat{A},\hat{B},\hat{C},\hat{D}$，那么我们可以将系统的输出表示为：

$$
\begin{aligned}
y(t) &= Cx(t) + Du(t) \\
&= C(A^{-1}\hat{A}x(t) + A^{-1}\hat{B}u(t)) + D u(t) \\
&= \hat{C}x(t) + \hat{D}u(t)
\end{aligned}
$$

其中，$\hat{C}=CA^{-1}\hat{A}+\hat{D}$，$\hat{D}=D$。

将上述式子带入到我们的数据中，得到：

$$
\begin{aligned}
y_1 &= \hat{C}x_1 + \hat{D}u_1 \\
y_2 &= \hat{C}x_2 + \hat{D}u_2 \\
\cdots \\
y_N &= \hat{C}x_N + \hat{D}u_N \\
\end{aligned}
$$

我们可以将上述式子表示为矩阵形式：

$$
\begin{bmatrix}
y_1 \\
y_2 \\
\vdots \\
y_N
\end{bmatrix}
=
\begin{bmatrix}
x_1^T & u_1^T \\
x_2^T & u_2^T \\
\vdots & \vdots \\
x_N^T & u_N^T
\end{bmatrix}
\begin{bmatrix}
\hat{C} \\
\hat{D}
\end{bmatrix}
$$

设上述矩阵为 $Y$，系数矩阵为 $X$，参数向量为 $\theta=[\hat{C},\hat{D}]^T$，则有：

$$
Y=X\theta
$$

我们的目标是最小化误差平方和 $J$：

$$
J=\sum_{i=1}^{N}(y_i-\hat{C}x_i-\hat{D}u_i)^2
$$

最小二乘法的基本思想是求解使得误差平方和 $J$ 最小的参数向量 $\theta$，即：

$$
\hat{\theta}=\arg\min_{\theta} J(\theta)
$$

我们可以对 $J$ 求导并令其为 $0$，得到：

$$
\hat{\theta}=(X^TX)^{-1}X^TY
$$

其中，$(X^TX)^{-1}X^T$ 称为最小二乘解。

通过上述方法，我们可以利用已知的输入输出数据，求得系统的状态空间矩阵的估计值。