如何求解超定方程组的最小二乘解

超定方程组是指方程组中未知数的个数大于方程的个数。最小二乘解是指使得方程组中的误差平方和最小的解。求解超定方程组的最小二乘解可以使用矩阵的伪逆来实现。

设超定方程组为 $Ax=b$，其中 $A$ 是 $m\times n$ 的矩阵，$m>n$，向量 $b$ 是 $m$ 维列向量。将超定方程组转化为误差方程 $e=Ax-b$，则误差平方和为 $||e||^2=e^Te=(Ax-b)^T(Ax-b)$。对误差平方和求导，得到：

$\frac{\partial ||e||^2}{\partial x} = 2A^T(Ax-b)$

令导数为零，解得 $x=(A^TA)^{-1}A^Tb$，这就是超定方程组的最小二乘解。其中 $(A^TA)^{-1}A^T$ 称为 $A$ 的伪逆矩阵，记作 $A^+$。因此最小二乘解可以写成 $x=A^+b$。

需要注意的是，如果 $A$ 的列向量线性相关，即 $A$ 的秩小于 $n$，则 $A^TA$ 是奇异矩阵，无法直接求逆。此时可以使用广义逆矩阵，也称为伪逆矩阵，来求解最小二乘解。