focall1 loss推导
时间: 2024-01-06 10:04:33 浏览: 30
Focal Loss是一种用于解决类别不平衡问题的损失函数,它可以将难以分类的样本(即误分类样本)的权重降低,从而提高模型在少数类上的精度。下面我们来推导一下Focal Loss的公式:
假设输入为$x$,真实标签为$y$,预测结果为$p$,则交叉熵损失函数的公式为:
$$
CE(p, y)=-\sum_{i}y_{i}\log(p_{i})
$$
其中,$i$表示类别的下标。当样本属于少数类时,$y_i$为1,$p_i$为预测的概率值;当样本属于多数类时,$y_i$为0,$p_i$为预测的概率值。
Focal Loss的公式为:
$$
FL(p, y)=-\sum_{i}y_{i}(1-p_{i})^{\gamma}\log(p_{i})
$$
其中,$\gamma$是一个可调参数,控制难分类样本的权重降低的速度。当$\gamma>0$时,难分类样本的权重降低得更快,因此模型会更加关注少数类样本的训练。
我们将交叉熵损失函数中的$p_i$替换成$(1-p_{i})^\gamma p_{i}$,可以得到Focal Loss的公式:
$$
\begin{aligned}
FL(p, y)&=-\sum_{i}y_{i}(1-p_{i})^{\gamma}\log(p_{i})\\
&=-\sum_{i}y_{i}(1-(1-p_{i})^{\gamma})\log((1-p_{i})^\gamma p_{i})\\
&=-\sum_{i}y_{i}(1-p_{i})^{\gamma}\log(1-p_{i})+\sum_{i}y_{i}(1-p_{i})^{\gamma}\log(p_{i})\\
&=-\sum_{i}(1-y_{i})p_{i}^{\gamma}\log(p_{i})-\sum_{i}y_{i}(1-p_{i})^{\gamma}\log(1-p_{i})
\end{aligned}
$$
综上,Focal Loss的公式为:
$$
FL(p, y)=-\sum_{i}(1-y_{i})p_{i}^{\gamma}\log(p_{i})-\sum_{i}y_{i}(1-p_{i})^{\gamma}\log(1-p_{i})
$$
相关推荐
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)