Huber鲁棒损失函数

Huber鲁棒损失函数是一种使用鲁棒性回归的损失函数，相比于均方误差来说，它对异常值不敏感。在统计学习角度，它常常被用于分类问题上。Huber损失函数的定义是：对于小的a值误差函数是二次的，而对大的值误差函数是线性的。变量a表述residuals，用以描述观察值与预测值之差。Huber损失函数将平方损失和绝对值损失结合起来，既有均值无偏的敏感性，又有均值的最小变化估计器和无偏中值估计器的鲁棒性。在分类问题上，常常使用Huber损失函数的变形——modified Huber损失函数。

相关问题

huber损失函数图像

Huber损失函数是一种平滑的损失函数，它在回归问题中比均方误差（MSE）更加鲁棒。它的公式如下：

$$
L_{\delta}(y, \hat{y})=\begin{cases}
\frac{1}{2}(y-\hat{y})^{2} & \text { if } |y-\hat{y}| \leq \delta \\
\delta \cdot|y-\hat{y}|-\frac{1}{2} \delta^{2} & \text { otherwise }
\end{cases}
$$

其中，$y$是实际值，$\hat{y}$是预测值，$\delta$是Huber损失函数的超参数，用于控制损失函数的平滑程度。

下面是当$\delta=1$时，Huber损失函数的图像，可以看到它在$|y-\hat{y}|\leq1$时，使用平方误差，此时它是一个二次函数；在$|y-\hat{y}|>1$时，使用绝对误差，此时它是一个斜率为$\delta$的直线。


huber损失函数是什么

Huber损失函数是一种用于回归问题的损失函数，它可以对异常值（outliers）具有一定程度的鲁棒性。与均方误差（MSE）和平均绝对误差（MAE）相比，Huber损失函数在处理较小的误差时具有MAE的优点，在处理较大的误差时具有MSE的优点。它的数学表达式如下：

$$
L_{\delta}(y,f(x))=\begin{cases}
\frac{1}{2}(y-f(x))^2, & |y-f(x)| \leq \delta \\
\delta(|y-f(x)|-\frac{1}{2}\delta), & |y-f(x)| > \delta
\end{cases}
$$

其中，$y$是真实值，$f(x)$是模型的预测值，$\delta$是一个超参数，表示当$|y-f(x)|$小于等于$\delta$时，使用平方误差；当$|y-f(x)|$大于$\delta$时，使用绝对误差。