batch normalization 的反向传播是什么样的
时间: 2024-05-26 21:16:22 浏览: 15
Batch Normalization的反向传播可以用链式法则来推导。下面是一个简单的推导过程:
假设输入为$x$,BN层的输出为$y$,其归一化后的值为$\hat{y}$,缩放和移位后的输出为$z$,BN层的参数为$\gamma$和$\beta$,损失函数为$L$。
则有:
$$\hat{y}=\frac{x-\mu_B}{\sqrt{\sigma_B^2+\epsilon}}$$
$$y=\gamma\hat{y}+\beta$$
其中,$\mu_B$和$\sigma_B^2$分别是批量的均值和方差,$\epsilon$是一个很小的常数,防止分母为零。
BN层的反向传播分为两部分:对$\gamma$和$\beta$的梯度和对输入$x$的梯度。
首先,对$\gamma$和$\beta$的梯度可以直接计算:
$$\frac{\partial L}{\partial \gamma}=\sum_{i=1}^n\frac{\partial L}{\partial y_i}\hat{y_i}$$
$$\frac{\partial L}{\partial \beta}=\sum_{i=1}^n\frac{\partial L}{\partial y_i}$$
接下来,我们需要计算对输入$x$的梯度。我们可以先计算$\frac{\partial L}{\partial \hat{y}}$,然后通过链式法则计算出$\frac{\partial L}{\partial x}$:
$$\frac{\partial L}{\partial \hat{y_i}}=\frac{\partial L}{\partial y_i}\gamma$$
$$\frac{\partial L}{\partial \sigma_B^2}=\sum_{i=1}^n\frac{\partial L}{\partial \hat{y_i}}(x_i-\mu_B)(-\frac{1}{2})(\sigma_B^2+\epsilon)^{-\frac{3}{2}}$$
$$\frac{\partial L}{\partial \mu_B}=-\frac{1}{\sqrt{\sigma_B^2+\epsilon}}\sum_{i=1}^n\frac{\partial L}{\partial \hat{y_i}}+\frac{\partial L}{\partial \sigma_B^2}\frac{1}{n}\sum_{i=1}^n-2(x_i-\mu_B)$$
$$\frac{\partial L}{\partial x_i}=\frac{\partial L}{\partial \hat{y_i}}\frac{1}{\sqrt{\sigma_B^2+\epsilon}}+\frac{\partial L}{\partial \sigma_B^2}\frac{2(x_i-\mu_B)}{n}+\frac{\partial L}{\partial \mu_B}\frac{1}{n}$$
其中,$\frac{\partial L}{\partial \mu_B}$和$\frac{\partial L}{\partial \sigma_B^2}$可以通过反向传播递归计算得到。
最后,我们可以使用$\frac{\partial L}{\partial x}$更新网络的权重参数。
相关推荐
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)