卷积层反向传播参数更新公式
时间: 2023-11-25 16:08:09 浏览: 45
在卷积神经网络中,反向传播算法用于计算梯度,并且使用梯度下降算法更新卷积层的参数。假设我们有一个输入特征图 $X$,卷积核 $W$,偏置 $b$ 和输出特征图 $Y$,则卷积层反向传播参数更新的公式如下:
$$
\begin{aligned}
\frac{\partial L}{\partial W_{i, j, k, l}} &= \sum_{n=1}^{N} \sum_{p=1}^{P} \sum_{q=1}^{Q} \frac{\partial L}{\partial Y_{n, p, q}} \cdot X_{n, p+i-1, q+j-1, k} \\
\frac{\partial L}{\partial b_k} &= \sum_{n=1}^{N} \sum_{p=1}^{P} \sum_{q=1}^{Q} \frac{\partial L}{\partial Y_{n, p, q}} \cdot 1 \\
\frac{\partial L}{\partial X_{n, i, j, k}} &= \sum_{r=1}^{R} \sum_{s=1}^{S} \sum_{t=1}^{T} W_{r, s, t, k} \cdot \frac{\partial L}{\partial Y_{n, i-r+1, j-s+1, t}}
\end{aligned}
$$
其中,$L$ 是损失函数,$N$ 是数据样本个数,$P$、$Q$ 是输入特征图的高度和宽度,$R$、$S$、$T$ 是卷积核的高度、宽度和深度。$\frac{\partial L}{\partial W_{i, j, k, l}}$ 表示损失函数 $L$ 对卷积核 $W_{i, j, k, l}$ 的偏导数,$\frac{\partial L}{\partial b_k}$ 表示损失函数 $L$ 对偏置 $b_k$ 的偏导数,$\frac{\partial L}{\partial X_{n, i, j, k}}$ 表示损失函数 $L$ 对输入特征图 $X_{n, i, j, k}$ 的偏导数。
相关推荐
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)