tensorflow1.8神经网络数据归一化

在神经网络中，数据归一化是非常重要的一步，可以提高训练效率，减少训练时间和提高模型的精度。下面是在tensorflow1.8中实现数据归一化的方法：

1. 使用tf.nn.batch_normalization函数进行归一化

batch normalization可以在网络层与网络层之间进行归一化，通常是在卷积层或全连接层后面进行归一化。使用batch normalization需要定义一些参数，例如均值和方差，可以使用tf.nn.moments函数计算。

示例代码：

import tensorflow as tf

# 输入数据
x = tf.placeholder(tf.float32, [None, 784])

# 定义网络结构
W1 = tf.Variable(tf.truncated_normal([784, 256], stddev=0.1))
b1 = tf.Variable(tf.zeros([256]))
L1 = tf.nn.relu(tf.matmul(x, W1) + b1)

# 归一化
mean, variance = tf.nn.moments(L1, [0])
L1 = tf.nn.batch_normalization(L1, mean, variance, None, None, 1e-6)

# 定义输出层
W2 = tf.Variable(tf.truncated_normal([256, 10], stddev=0.1))
b2 = tf.Variable(tf.zeros([10]))
y = tf.matmul(L1, W2) + b2

# 定义损失函数
y_ = tf.placeholder(tf.float32, [None, 10])
cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits_v2(logits=y, labels=y_))

# 定义优化器
train_step = tf.train.AdamOptimizer(0.001).minimize(cross_entropy)

# 训练模型
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    for i in range(1000):
        batch_xs, batch_ys = mnist.train.next_batch(100)
        sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})

2. 使用tf.layers.batch_normalization函数进行归一化

在tensorflow1.8中，可以使用tf.layers.batch_normalization函数进行归一化，这个函数比较方便，只需要设置一些参数即可。

示例代码：

import tensorflow as tf

# 输入数据
x = tf.placeholder(tf.float32, [None, 784])

# 定义网络结构
W1 = tf.Variable(tf.truncated_normal([784, 256], stddev=0.1))
b1 = tf.Variable(tf.zeros([256]))
L1 = tf.nn.relu(tf.matmul(x, W1) + b1)

# 归一化
L1 = tf.layers.batch_normalization(L1, training=True)

# 定义输出层
W2 = tf.Variable(tf.truncated_normal([256, 10], stddev=0.1))
b2 = tf.Variable(tf.zeros([10]))
y = tf.matmul(L1, W2) + b2

# 定义损失函数
y_ = tf.placeholder(tf.float32, [None, 10])
cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits_v2(logits=y, labels=y_))

# 定义优化器
train_step = tf.train.AdamOptimizer(0.001).minimize(cross_entropy)

# 训练模型
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    for i in range(1000):
        batch_xs, batch_ys = mnist.train.next_batch(100)
        sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})

以上是在tensorflow1.8中实现神经网络数据归一化的方法。