layerNormalization实现weight Normalization

虽然`LayerNormalization`和`WeightNormalization`都是归一化技术，但它们的实现方式是不同的。`WeightNormalization`是对卷积层或全连接层中的权重进行归一化处理，而`LayerNormalization`是对神经网络中的每一层进行归一化处理。

虽然两者实现方式不同，但可以通过一定的方法将`LayerNormalization`应用到权重上，从而实现`WeightNormalization`。具体来说，可以将完全连接层或卷积层的权重矩阵进行重构，获得一个与原始权重矩阵等价的矩阵，然后将该矩阵送入`LayerNormalization`层进行归一化处理。

下面是一个示例代码，演示了如何使用`LayerNormalization`实现`WeightNormalization`：

import tensorflow as tf

class WeightNormalization(tf.keras.layers.Layer):
    def __init__(self, axis=-1, **kwargs):
        super(WeightNormalization, self).__init__(**kwargs)
        self.axis = axis

    def build(self, input_shape):
        self.w = self.add_weight(shape=(input_shape[-1],),
                                 name='kernel',
                                 initializer='glorot_normal',
                                 trainable=True)
        self.bias = self.add_weight(shape=(input_shape[-1],),
                                    name='bias',
                                    initializer='zeros',
                                    trainable=True)
        super(WeightNormalization, self).build(input_shape)

    def call(self, inputs):
        # 获取权重矩阵的标准差和均值
        mean = tf.math.reduce_mean(self.w, axis=self.axis, keepdims=True)
        var = tf.math.reduce_std(self.w, axis=self.axis, keepdims=True)
        # 归一化权重矩阵
        w_norm = (self.w - mean) / (var + 1e-10)
        # 计算输出张量
        output = tf.matmul(inputs, tf.transpose(w_norm))
        # 加上偏置项
        output = tf.nn.bias_add(output, self.bias)
        return output

# 定义一个完全连接层
fc = tf.keras.layers.Dense(units=64, activation='relu')

# 对权重进行归一化处理
fc_norm = WeightNormalization()(fc)

# 对输出进行归一化处理
output_norm = tf.keras.layers.LayerNormalization()(fc_norm)

在上述代码中，我们定义了一个`WeightNormalization`类，该类继承自`tf.keras.layers.Layer`类。在该类中，我们定义了一个可训练的权重矩阵`w`和偏置项`bias`，在`call()`方法中对权重矩阵进行了归一化处理，并将其与输入张量相乘得到输出张量。然后，我们使用`WeightNormalization`对完全连接层的权重进行归一化处理，并使用`LayerNormalization`对输出进行归一化处理。