Shuffle attention

Shuffle Attention (SA)是一种有效的注意力机制模块，用于改善深度神经网络的性能。SA模块将输入的特征映射划分为多个组，并使用Shuffle单元将通道注意和空间注意集成到每个组的一个块中。具体而言，SA首先将通道尺寸分组为多个子特征，然后并行处理它们。对于每个子特征，SA利用Shuffle单元来描述空间和通道维度上的特征依赖关系。然后，对所有子特征进行聚合，并利用“channel shuffle”算子来实现不同子特征之间的信息传递。

SA模块的总体架构包括通道注意分支和空间注意分支。通道注意分支使用全局平均池化（GAP）生成通道的统计信息，并通过参数缩放和移动通道向量进行处理。空间注意分支使用群体范数生成空间的统计信息，并创建一个类似于通道分支的紧凑特征。然后，这两个分支被连接起来，所有子特征被聚合，最后使用“channel shuffle”操作符来实现不同子特征之间的信息传递。

通过实验验证，SA模块在不同深度的网络中展示出良好的效果。在早期阶段，不同类别之间的特征分布相似，表明不同类别可能共享特征组的重要性。而在更深的层次上，不同类别对特征的鉴别价值表现出差异，每个组的激活更具有类别特异性。然而，SA 5_2模块在不同类别上表现出相似的模式，说明它在网络的重新校准方面相对不那么重要。