机器学习 线性回归 argmin详解

在线性回归中，我们通常使用最小二乘法来确定模型的参数。最小二乘法的思想是通过最小化观测值与模型预测值之间的差距来确定最佳的模型参数。具体来说，最小化的是残差平方和，即：

$argmin_w \sum_{i=1}^{n} (y_i - f(x_i))^2$

其中，$y_i$表示第$i$个观测值（因变量），$x_i$表示第$i$个样本的自变量，$f(x_i)$表示模型对$x_i$的预测值，$w$表示模型的参数。我们的目标是找到最优的$w$，使得上述残差平方和最小化。

为了求解这个问题，我们可以对$w$进行求导，令导数为0，从而得到最优的$w$值。具体来说，我们可以使用正规方程（normal equation）来求解最优的$w$，即：

$w = (X^TX)^{-1}X^Ty$

其中，$X$是$n\times p$的矩阵，表示样本的自变量，$y$是$n\times 1$的向量，表示样本的因变量。通过计算上述公式，我们可以得到最优的$w$值，从而确定模型的参数。

需要注意的是，当样本量很大时，求解最优的$w$可能会变得困难或者不可行。此时，我们可以采用梯度下降法（gradient descent）等优化算法来求解最优的$w$。梯度下降法的核心思想是通过迭代的方式，不断调整模型参数，使得损失函数最小化。具体来说，我们可以通过计算损失函数的梯度，来确定每次迭代的方向和步长。通过不断迭代，最终可以得到最优的$w$值。