线性回归的损失函数是什么

线性回归的损失函数通常使用均方误差（Mean Squared Error，MSE）表示，即将预测值与真实值之间的差值平方求和后取平均数。如果有 m 个样本，则线性回归的损失函数为：

L(w,b) = 1/m * Σi=1到m(yi - wxi - b)^2

其中，w 和 b 是线性回归模型中的参数，yi 是第 i 个样本的真实值，xi 是第 i 个样本的特征向量。

相关问题

线性回归损失函数推导

线性回归的损失函数通常采用最小二乘法，即将所有样本的预测值与真实值之差的平方和最小化。假设有 $m$ 个样本，每个样本有 $n$ 个特征，$x^{(i)}$ 表示第 $i$ 个样本的特征向量，$y^{(i)}$ 表示第 $i$ 个样本的真实值，$w$ 表示模型的参数向量，$b$ 表示模型的截距，则线性回归的模型可以表示为：

$$
\hat{y}^{(i)} = w^Tx^{(i)} + b
$$

其中 $\hat{y}^{(i)}$ 表示第 $i$ 个样本的预测值。对于所有的样本，我们可以定义损失函数 $J(w,b)$ 为：

$$
J(w,b) = \frac{1}{2m}\sum_{i=1}^{m}(\hat{y}^{(i)} - y^{(i)})^2
$$

其中 $\frac{1}{2}$ 是为了方便后续求导，$m$ 是样本数量。我们的目标是最小化损失函数 $J(w,b)$，即：

$$
\min_{w,b} J(w,b)
$$

为了求解最小化问题，我们需要对 $J(w,b)$ 分别对 $w$ 和 $b$ 求偏导数，并令其为 $0$，得到 $w$ 和 $b$ 的最优解。具体地，对 $w$ 求偏导数有：

$$
\begin{aligned}
\frac{\partial J(w,b)}{\partial w} &= \frac{1}{m}\sum_{i=1}^{m}(\hat{y}^{(i)} - y^{(i)})x^{(i)} \\
&= \frac{1}{m}\sum_{i=1}^{m}(w^Tx^{(i)} + b - y^{(i)})x^{(i)}
\end{aligned}
$$

对 $b$ 求偏导数有：

$$
\begin{aligned}
\frac{\partial J(w,b)}{\partial b} &= \frac{1}{m}\sum_{i=1}^{m}(\hat{y}^{(i)} - y^{(i)}) \\
&= \frac{1}{m}\sum_{i=1}^{m}(w^Tx^{(i)} + b - y^{(i)})
\end{aligned}
$$

令上述偏导数为 $0$，解得 $w$ 和 $b$ 的最优解为：

$$
\begin{aligned}
w &= (X^TX)^{-1}X^Ty \\
b &= \frac{1}{m}\sum_{i=1}^{m}(y^{(i)} - w^Tx^{(i)})
\end{aligned}
$$

其中 $X$ 是 $m \times n$ 的矩阵，每行表示一个样本的特征向量，$y$ 是 $m$ 维向量，表示所有样本的真实值。上述公式可以通过矩阵运算一次性求解，这就是线性回归的闭式解。如果样本数量很大，矩阵 $X^TX$ 可能不可逆，此时可以使用梯度下降等迭代算法求解。

线性回归损失函数名称

线性回归中常用的损失函数是均方误差（Mean Squared Error，MSE）。均方误差是通过计算预测值与真实值之间的差异的平方来衡量模型的性能。它的数学表达式为：

MSE = (1/n) * Σ(yi - ŷi)^2

其中，n是样本数量，yi是真实值，ŷi是模型的预测值。均方误差越小，表示模型的预测结果与真实值越接近。