SE注意力机制的代码

SE注意力机制（Squeeze-Excitation，简称SE）是一种用于提升卷积神经网络(CNN)性能的技术，它通过学习输入特征图的全局依赖并调整每个通道的重要性。在编码阶段，SE层会压缩特征图到一个一维向量，然后通过两个全连接层分别计算全局平均值（squeeze）和自适应加权（excitation）。下面是一个简单的Python（Keras库）实现SE注意力块的例子：

from keras.layers import Layer
import tensorflow as tf

class SqueezeExcite(Layer):
    def __init__(self, ratio=16, **kwargs):
        self.ratio = ratio
        super(SqueezeExcite, self).__init__(**kwargs)

    def build(self, input_shape):
        self.channel_axis = -1
        if input_shape[self.channel_axis] is None:
            raise ValueError('The channel dimension of the inputs '
                             'should be defined. Found `None`.')
        num_channels = int(input_shape[self.channel_axis])
        self.global_avg_pool = GlobalAveragePooling2D(data_format='channels_last')
        self.dense_1 = Dense(num_channels // self.ratio, activation='relu', name='se_reduce')
        self.dense_2 = Dense(num_channels, activation='sigmoid', name='se_expand')

    def call(self, inputs):
        x = self.global_avg_pool(inputs)
        x = self.dense_1(x)
        x = self.dense_2(x)
        scale = tf.expand_dims(x, axis=self.channel_axis)
        return inputs * scale

# 使用示例：
input_tensor = Input(shape=(height, width, channels))
x = Conv2D(...)(input_tensor)
x = SqueezeExcite()(x)

在这个例子中，`ratio`参数决定了压缩后的通道数，`GlobalAveragePooling2D`用于提取特征的全局信息，随后经过两层全连接层处理，最后再将结果扩展回原始通道维度，应用于输入特征。