tf.contrib.layers.variance_scaling_initializer( )

`tf.contrib.layers.variance_scaling_initializer()` 是 TensorFlow 中的一个初始化器函数，用于初始化神经网络中的权重。该函数采用了一种比较先进的初始化方法，即"Variance Scaling Initialization"，可以有效地缓解梯度消失和梯度爆炸的问题，提高神经网络的训练效果。

该函数的语法如下：

tf.contrib.layers.variance_scaling_initializer(factor=2.0, mode='FAN_IN', uniform=False, seed=None, dtype=tf.float32)

参数说明：

- `factor`：用于缩放输出的标准偏差的因子。默认值为 2.0。
- `mode`：确定使用的缩放方式。可以是 "FAN_IN"（输入节点数量），"FAN_OUT"（输出节点数量）或 "FAN_AVG"（输入和输出节点数量的平均值）。默认值为 "FAN_IN"。
- `uniform`：如果为 True，则从均匀分布中采样，否则从正态分布中采样。默认值为 False。
- `seed`：随机数生成器的种子。默认为 None。
- `dtype`：所需的初始化数据类型。默认为 tf.float32。

使用示例：

import tensorflow as tf

# 定义一个全连接层，使用 variance scaling 初始化权重
fc1 = tf.layers.dense(inputs=x, units=256, activation=tf.nn.relu, kernel_initializer=tf.contrib.layers.variance_scaling_initializer())

# 定义一个卷积层，使用 variance scaling 初始化卷积核
conv1 = tf.layers.conv2d(inputs=x, filters=32, kernel_size=[3, 3], padding="same", activation=tf.nn.relu, kernel_initializer=tf.contrib.layers.variance_scaling_initializer())