注意力机制 残差模块

注意力机制是一种在深度学习中常用的技术，用于增强模型对重要特征的关注。其中，Squeeze-and-Excitation Network (SENet) 和 Convolutional Block Attention Module (CBAM) 都是基于注意力机制的深度学习方法。

SENet通过一个小型的子网络，自动学习得到一组权重，对特征图的各个通道进行加权。这样可以增强有用特征通道的重要性，削弱冗余特征通道的影响。SENet的基本模块包括一个全局平均池化层，用于提取特征图的全局信息，然后通过一系列的全连接层和激活函数来学习通道权重，最后将权重应用于特征图上。[3]

CBAM是一个卷积注意力机制模块，相比于SENet，它多了一个空间（spatial）attention。CBAM的基本模块包括两个部分：channel attention和spatial attention。channel attention通过全局最大池化和一系列的卷积操作来学习通道权重，然后将权重应用于特征图上。spatial attention则通过池化和卷积操作来学习特征图的空间权重，进一步提升模型的性能。CBAM可以添加在任意网络的卷积层后面，提升模型的表达能力和性能。[2]

深度残差收缩网络也是一种基于注意力机制的深度学习方法，它由许多基本模块堆叠而成。每个基本模块都有一个子网络，用于自动学习得到一组阈值，用于特征图的软阈值化。通过这种方式，每个样本都有着自己独特的一组阈值。[1]

综上所述，注意力机制和残差模块是深度学习中常用的技术，它们通过学习权重或阈值来增强模型对重要特征的关注，从而提升模型的性能。