tf2 adam手动添加 L2 正则化项到损失函数中代码

在 Tensorflow 2 中，可以使用 `tf.keras.regularizers` 中的 L2 正则化器来手动添加 L2 正则化项到损失函数中。以下是一个示例代码：

import tensorflow as tf

# 定义 L2 正则化器
l2_reg = tf.keras.regularizers.l2(0.01)

# 定义模型
model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, activation='relu', kernel_regularizer=l2_reg),
    tf.keras.layers.Dense(32, activation='relu', kernel_regularizer=l2_reg),
    tf.keras.layers.Dense(10, activation='softmax')
])

# 定义损失函数（包括 L2 正则化项）
loss_fn = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True) + sum(model.losses)

# 编译模型
model.compile(optimizer='adam', loss=loss_fn, metrics=['accuracy'])

在上面的代码中，我们首先定义了一个 L2 正则化器 `l2_reg`，它将会在每个有参数的层中添加一个 L2 正则化项。然后，我们在定义模型时将该正则化器作为参数传递给每个有参数的层的 `kernel_regularizer` 参数中。接着，我们定义了一个损失函数 `loss_fn`，它由交叉熵损失和所有层的 L2 正则化项之和组成。最后，我们使用编译模型时将损失函数设置为 `loss_fn`。

需要注意的是，当我们使用 `model.losses` 来获取所有层的正则化项时，它只会返回当前计算图中的正则化项，因此需要在训练模型之前至少执行一次前向传播操作。