如何在一个神经网络类中添加正则化和归一化

在神经网络类中添加正则化和归一化通常是为了防止过拟合并改善模型的泛化能力。以下是这两个步骤在Python（例如使用Keras库）中如何实现：

**1. 正则化（L1或L2 Regularization）**
- L1正则化（也称为Lasso回归）通过在损失函数中添加权重向量的绝对值总和惩罚项。在Keras中，可以使用`tf.keras.regularizers.l1` 或 `tf.keras.regularizers.l2`：

from tensorflow.keras import regularizers

model.add(Dense(units=hidden_units, activation='relu', kernel_regularizer=regularizers.l2(0.001)))

- L2正则化（Ridge回归）则是通过添加权重平方和的惩罚项。设置相同的`l2()`函数即可。

**2. 归一化（Normalization）**
- 标准化（Z-score normalization）将特征缩放到均值为0，标准差为1的范围内：

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 在模型层中，如果需要应用标准化，可以在输入之前使用Dense层作为占位：
model.add(Dense(units=hidden_units, input_shape=(input_dim,), activation='relu'))
model.layers[0].trainable = False  # 防止在训练过程中更新scaler

- 均值-方差归一化（Min-Max scaling）把数据缩放到0到1之间：

X_train_normalized = (X_train - X_train.min()) / (X_train.max() - X_train.min())

完成上述操作后，在训练模型时，记得先对输入数据进行预处理。