CBAM将空间注意力和通道注意力综合起来的公式推导

CBAM (Convolutional Block Attention Module) 是一种融合了空间注意力和通道注意力的模块。它的公式推导如下：

首先，通过卷积层和池化层获得输入特征图 $F$，再通过两个独立的线性层 $f_{s}$ 和 $f_{c}$ 得到空间注意力 $M_{s}$ 和通道注意力 $M_{c}$。其中，$f_{s}$ 和 $f_{c}$ 都是全连接层。

空间注意力 $M_{s}$ 的推导：

$$M_{s} =softmax(f_{s}(F))$$

通道注意力 $M_{c}$ 的推导：

$$M_{c} =softmax(f_{c}(F))$$

最后，将两个注意力权重相乘得到最终的注意力权重 $M$

$$M=M_{s} \times M_{c}$$

接着，用注意力权重 $M$ 去乘输入特征图 $F$ 得到最终输出特征图 $F^{'}$

$$F^{'}=M \times F$$

这就是 CBAM 的推导过程。