BatchNorm-ReLU层怎么写

在Python的深度学习库TensorFlow或PyTorch中，BatchNorm1D和ReLU的组合通常是作为神经网络架构的一部分来实现的。下面是一个简单的例子：

**TensorFlow（tf.keras API）:**

import tensorflow as tf

def create_batch_norm_relu_layer(input_shape):
    layer = tf.keras.layers.BatchNormalization(axis=-1)
    layer = tf.keras.layers.ReLU()
    
    model_input = tf.keras.Input(shape=input_shape)
    x = layer(model_input)
    return tf.keras.Model(inputs=model_input, outputs=x)

在这个例子中，我们首先创建了一个`BatchNormalization`层，指定其沿着最后一个维度（axis=-1）做归一化。然后接上一个`ReLU`层，该层会对前一层的输出进行非线性变换。最后，我们定义了输入和输出，构建了一个Keras模型。

**PyTorch:**

import torch.nn as nn

class BNReLU(nn.Module):
    def __init__(self):
        super(BNReLU, self).__init__()
        self.bn = nn.BatchNorm1d(num_features)
        self.relu = nn.ReLU()

    def forward(self, x):
        x = self.bn(x)
        x = self.relu(x)
        return x

在这段代码里，我们定义了一个名为`BNReLU`的模块，包含`BatchNorm1d`层和`ReLU`层。在`forward`函数中，先进行批量归一化再应用ReLU。