tf.layers.batch_normalization改写

使用或替代 tf.layers.batch_normalization 进行批归一化
在 TensorFlow 中，tf.layers.batch_normalization 是用于执行批量标准化的操作。然而，在较新的版本中推荐使用更灵活和功能更强的层实现方式。
对于批归一化的应用，可以采用如下方法：
方法一：使用 Keras 层 API 实现批归一化
Keras 提供了一个更高层次的接口来构建神经网络模型，其中包含了 BatchNormalization 层可以直接调用[^1]。
import tensorflow as tf
from tensorflow.keras.layers import Input, Dense, BatchNormalization

input_layer = Input(shape=(784,))
dense_layer = Dense(256)(input_layer)
bn_layer = BatchNormalization()(dense_layer)

model = tf.keras.Model(inputs=input_layer, outputs=bn_layer)
登录后复制
这种方法不仅简化了代码编写过程，还提供了更好的兼容性和扩展性。
方法二：自定义批归一化函数
如果希望更加深入理解或者有特殊需求，则可以选择自己动手创建一个类似的批处理规范化函数[^2]。
def batch_norm(x, is_training=True):
beta = tf.Variable(tf.constant(0.0, shape=[x.shape[-1]]), name='beta', trainable=True)
gamma = tf.Variable(tf.constant(1.0, shape=[x.shape[-1]]), name='gamma', trainable=True)

axises = list(range(len(x.get_shape()) - 1))
batch_mean, batch_var = tf.nn.moments(x, axes=axises)

ema = tf.train.ExponentialMovingAverage(decay=0.99)

def mean_var_with_update():
ema_apply_op = ema.apply([batch_mean, batch_var])
with tf.control_dependencies([ema_apply_op]):
return tf.identity(batch_mean), tf.identity(batch_var)

mean, var = tf.cond(is_training,
true_fn=mean_var_with_update,
false_fn=lambda: (ema.average(batch_mean), ema.average(batch_var)))

normed = tf.nn.batch_normalization(x, mean, var, beta, gamma, 1e-3)
return normed
登录后复制
此段代码实现了基本的批归一化逻辑，并通过指数移动平均保存训练期间计算得到的均值与方差以便于推理阶段使用。