正规方程法求解线性回归

线性回归问题是一种最小二乘问题，可以使用正规方程法求解。假设我们有以下的训练数据：

$X = \begin{bmatrix} x_{1,1} & x_{1,2} & \cdots & x_{1,n} \\ x_{2,1} & x_{2,2} & \cdots & x_{2,n} \\ \vdots & \vdots & \ddots & \vdots \\ x_{m,1} & x_{m,2} & \cdots & x_{m,n} \end{bmatrix}$

$y = \begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_m \end{bmatrix}$

其中，$X$ 是 $m \times n$ 的矩阵，$y$ 是 $m \times 1$ 的向量，$m$ 是训练样本的数量，$n$ 是特征的数量。

我们需要求解一个线性模型 $h_\theta(x) = \theta_0 + \theta_1x_1 + \theta_2x_2 + \cdots + \theta_nx_n$，使得 $h_\theta(x)$ 尽可能地接近 $y$。我们定义误差函数为 $J(\theta) = \frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)}) - y^{(i)})^2$，其中 $x^{(i)}$ 是第 $i$ 个样本的特征向量。

我们需要求解的是最小化 $J(\theta)$ 的参数向量 $\theta$。我们可以通过求偏导数的方式，得到一个针对 $\theta$ 的闭式解，也就是正规方程：

$\theta = (X^TX)^{-1}X^Ty$

其中，$X^TX$ 是 $n \times n$ 的矩阵，$X^Ty$ 是 $n \times 1$ 的向量，$(X^TX)^{-1}$ 是 $n \times n$ 的逆矩阵。

最后，我们可以使用求得的 $\theta$，来预测新的样本的输出值。预测公式为：$y_{new} = \theta_0 + \theta_1x_{new,1} + \theta_2x_{new,2} + \cdots + \theta_nx_{new,n}$。