如何添加l2正则化

要添加L2正则化，您可以在模型的损失函数中添加一个称为“L2损失”的项。L2损失是所有权重的平方和的乘积，然后乘以一个正则化系数lambda。这将强制模型权重保持较小的值，从而减少过拟合的风险。您可以使用以下伪代码来实现这个过程：

import tensorflow as tf

# 定义模型
model = tf.keras.Sequential([
  # 添加层
])

# 定义损失函数和优化器
loss_fn = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True)
optimizer = tf.keras.optimizers.Adam()

# 添加L2正则化
lambda_val = 0.01

# 在损失函数中添加L2损失项
@tf.function
def loss_with_regularization(model, x, y):
  logits = model(x)
  loss = loss_fn(y_true=y, y_pred=logits)
  l2_loss = tf.add_n([tf.nn.l2_loss(v) for v in model.trainable_variables])
  total_loss = loss + lambda_val * l2_loss
  return total_loss

# 训练模型
train_ds = tf.data.Dataset.from_tensor_slices((x_train, y_train)).shuffle(10000).batch(32)
for epoch in range(num_epochs):
  for x_batch, y_batch in train_ds:
    with tf.GradientTape() as tape:
      loss = loss_with_regularization(model, x_batch, y_batch)
    grads = tape.gradient(loss, model.trainable_variables)
    optimizer.apply_gradients(zip(grads, model.trainable_variables))

在这个例子中，我们使用TensorFlow Keras API来构建模型，然后定义了一个新的损失函数“loss_with_regularization”，它计算原始损失函数的值，并添加了一个L2损失项。请注意，L2正则化的强度由lambda_val参数控制。您可以根据需要调整它的值，以获得更好的效果。