CBAM注意力机制的数学推导
时间: 2024-02-18 07:57:53 浏览: 24
CBAM(Convolutional Block Attention Module)是一种用于图像分类和目标检测任务的注意力机制。它通过引入通道注意力和空间注意力两个模块,来提高模型对图像特征的建模能力。
CBAM的数学推导如下:
1. 通道注意力模块(Channel Attention Module):
假设输入特征图为X,其尺寸为C×H×W,其中C是通道数,H和W分别是高度和宽度。通道注意力模块的目标是学习一个权重向量,用于对每个通道进行加权。首先,通过全局平均池化操作对输入特征图进行降维,得到一个C维的向量:
A = GlobalAvgPool(X)
其中A的维度为C×1×1。然后,通过两个全连接层将A映射为一个C维的权重向量:
W = FC(ReLU(FC(A)))
其中FC表示全连接层,ReLU表示激活函数。最后,将权重向量W与输入特征图X进行逐通道相乘,得到加权后的特征图:
Y = X ⊗ Sigmoid(W)
其中⊗表示逐元素相乘操作,Sigmoid表示Sigmoid函数。
2. 空间注意力模块(Spatial Attention Module):
假设输入特征图为X,其尺寸为C×H×W。空间注意力模块的目标是学习一个权重矩阵,用于对每个空间位置进行加权。首先,通过两个卷积层将输入特征图X映射为两个特征图:
M = Conv(X)
N = Conv(X)
其中Conv表示卷积操作。然后,将M和N沿着通道维度进行拼接,得到一个2C维的特征图:
Z = Concat(M, N)
其中Concat表示拼接操作。接下来,通过一个卷积层将Z映射为一个C维的权重矩阵:
W = Conv(Z)
最后,将权重矩阵W与输入特征图X进行逐元素相乘,得到加权后的特征图:
Y = X ⊗ Sigmoid(W)
以上就是CBAM注意力机制的数学推导。
相关推荐
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)