keras 残差块 神经网络

残差块是指在神经网络中，将输入数据与输出数据进行加和操作，从而构建出一个跨层连接的模块。这种跨层连接可以帮助网络更好地学习特征，避免梯度消失等问题，从而提高网络的性能。在 Keras 中，可以通过使用 Residual 模块来实现残差块。

Residual 模块的基本结构如下：

def residual_module(inputs, num_filters, stride, chanDim, reduce=False, reg=0.0001, bnEps=2e-5, bnMom=0.9):
    shortcut = inputs

    bn1 = BatchNormalization(axis=chanDim, epsilon=bnEps, momentum=bnMom)(inputs)
    act1 = Activation("relu")(bn1)
    conv1 = Conv2D(int(num_filters * 0.25), (1, 1), use_bias=False, kernel_regularizer=l2(reg))(act1)

    bn2 = BatchNormalization(axis=chanDim, epsilon=bnEps, momentum=bnMom)(conv1)
    act2 = Activation("relu")(bn2)
    conv2 = Conv2D(int(num_filters * 0.25), (3, 3), strides=stride, padding="same", use_bias=False, kernel_regularizer=l2(reg))(act2)

    bn3 = BatchNormalization(axis=chanDim, epsilon=bnEps, momentum=bnMom)(conv2)
    act3 = Activation("relu")(bn3)
    conv3 = Conv2D(num_filters, (1, 1), use_bias=False, kernel_regularizer=l2(reg))(act3)

    if reduce:
        shortcut = Conv2D(num_filters, (1, 1), strides=stride, use_bias=False, kernel_regularizer=l2(reg))(act1)

    x = add([conv3, shortcut])

    return x

其中，inputs 表示输入数据，num_filters 表示输出通道数，stride 表示步长，chanDim 表示通道维度，reduce 表示是否需要降维，reg 表示正则化系数，bnEps 和 bnMom 分别表示 BatchNormalization 层的 epsilon 和 momentum 参数。

在 Residual 模块中，首先对输入数据进行 BatchNormalization 和 ReLU 激活操作，然后通过 1x1 卷积将通道数降低到原来的 1/4，接着通过 3x3 卷积进行特征提取，最后再通过 1x1 卷积将通道数恢复到原来的大小。如果需要降维，则在第一个 1x1 卷积层后添加一个步长为 stride 的卷积层。最后将输入数据与输出数据进行加和操作，得到残差块的输出。