最小二乘法具体如何通过高阶多项式逼近目标函数

最小二乘法是一种通过最小化误差平方和来求解参数的方法。在高阶多项式逼近目标函数时，我们可以将目标函数表示为一个高阶多项式的形式，如：

$$f(x) = w_0 + w_1x + w_2x^2 + \cdots + w_dx^d$$

其中，$w_i$是多项式的系数，$d$是多项式的最高次数。我们可以使用最小二乘法来求解多项式系数$w_i$。

具体来说，我们需要找到一个训练集$D=\{(x_1,y_1),(x_2,y_2),\cdots,(x_n,y_n)\}$，其中$x_i$表示输入特征，$y_i$表示目标输出。我们希望通过训练集来学习多项式系数$w_i$，使得多项式在训练集上的误差平方和最小。误差平方和可以表示为：

$$S(w) = \sum_{i=1}^n(f(x_i)-y_i)^2$$

其中，$f(x_i)$表示多项式在输入$x_i$处的输出。我们可以将$S(w)$展开为：

$$S(w) = \sum_{i=1}^n(w_0 + w_1x_i + w_2x_i^2 + \cdots + w_dx_i^d - y_i)^2$$

我们的目标是找到一个$w$，使得$S(w)$最小。为了实现这个目标，我们可以令$S(w)$对$w_i$求导数，并令导数为0，得到一个线性方程组：

$$\begin{pmatrix}
n & \sum_{i=1}^nx_i & \sum_{i=1}^nx_i^2 & \cdots & \sum_{i=1}^nx_i^d \\
\sum_{i=1}^nx_i & \sum_{i=1}^nx_i^2 & \sum_{i=1}^nx_i^3 & \cdots & \sum_{i=1}^nx_i^{d+1} \\
\sum_{i=1}^nx_i^2 & \sum_{i=1}^nx_i^3 & \sum_{i=1}^nx_i^4 & \cdots & \sum_{i=1}^nx_i^{d+2} \\
\vdots & \vdots & \vdots & \ddots & \vdots \\
\sum_{i=1}^nx_i^d & \sum_{i=1}^nx_i^{d+1} & \sum_{i=1}^nx_i^{d+2} & \cdots & \sum_{i=1}^nx_i^{2d} \\
\end{pmatrix} \begin{pmatrix}
w_0 \\
w_1 \\
w_2 \\
\vdots \\
w_d \\
\end{pmatrix} = \begin{pmatrix}
\sum_{i=1}^ny_i \\
\sum_{i=1}^nx_iy_i \\
\sum_{i=1}^nx_i^2y_i \\
\vdots \\
\sum_{i=1}^nx_i^dy_i \\
\end{pmatrix}$$

解出上述线性方程组的解$w$，就是我们要求的多项式系数。通过这种方式，我们可以使用最小二乘法来实现高阶多项式逼近目标函数。