w1[1,-1,0] w2[0,1,-1] w3[-1,-1,0]softmax的第c个分类面法向量wc的更新方式
时间: 2023-10-03 15:11:29 浏览: 47
假设softmax的第$c$个分类面法向量为$w_c=[w_{c1},w_{c2},w_{c3}]^T$,则它的更新方式可以使用梯度下降法来进行实现。具体而言,对于一个样本$(x,y)$,其中$x=[x_1,x_2,x_3]$表示输入特征,$y$为对应的标签,则softmax的输出可以表示为:
$$
\hat{y}=\mathrm{softmax}(w_1^Tx,w_2^Tx,w_3^Tx)=\left[\frac{\exp(w_1^Tx)}{\sum_{i=1}^3\exp(w_i^Tx)},\frac{\exp(w_2^Tx)}{\sum_{i=1}^3\exp(w_i^Tx)},\frac{\exp(w_3^Tx)}{\sum_{i=1}^3\exp(w_i^Tx)}\right]
$$
其中,$\mathrm{softmax}(\cdot)$表示softmax函数,$w_i^Tx$表示向量$w_i$和$x$的内积。假设真实标签为$y_k$,则softmax的损失函数可以表示为:
$$
L=-\log \hat{y}_k=-\log \frac{\exp(w_k^Tx)}{\sum_{i=1}^3\exp(w_i^Tx)}
$$
为了更新分类面法向量$w_c$,我们需要计算$L$对$w_{c1},w_{c2},w_{c3}$的偏导数。根据链式法则,有:
$$
\frac{\partial L}{\partial w_{ci}}=\frac{\partial L}{\partial \hat{y}_k}\frac{\partial \hat{y}_k}{\partial w_{ci}}-\sum_{j=1,j\neq k}^3\frac{\partial L}{\partial \hat{y}_j}\frac{\partial \hat{y}_j}{\partial w_{ci}}
$$
其中,$\frac{\partial L}{\partial \hat{y}_k}=-\frac{1}{\hat{y}_k}$,$\frac{\partial \hat{y}_k}{\partial w_{ci}}=\hat{y}_k(1-\hat{y}_i)x_i$,$\frac{\partial \hat{y}_j}{\partial w_{ci}}=-\hat{y}_j\hat{y}_i x_i$。将上述式子带入可得:
$$
\frac{\partial L}{\partial w_{ci}}=-\frac{1}{\hat{y}_k}\hat{y}_k(1-\hat{y}_i)x_i+\sum_{j=1,j\neq k}^3\frac{1}{\hat{y}_j}\hat{y}_j\hat{y}_ix_i=-x_i(\delta_{ik}-\hat{y}_i)
$$
其中,$\delta_{ik}$为Kronecker delta符号,当$i=k$时为1,否则为0。因此,分类面法向量$w_c$的更新方式可以表示为:
$$
w_{ci} \leftarrow w_{ci}-\eta \frac{\partial L}{\partial w_{ci}}=w_{ci}+\eta x_i(\delta_{ik}-\hat{y}_i)
$$
其中,$\eta$为学习率。通过多次迭代更新,可以使分类面法向量$w_c$逐渐收敛到最优值。
相关推荐
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)