tf加载MNIST数据集并进行预处理
时间: 2023-12-03 13:50:49 浏览: 88
以下是使用TensorFlow加载MNIST数据集并进行预处理的示例代码:
```
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
# 下载并读取数据集
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)
# 定义占位符
x = tf.placeholder(tf.float32, [None, 784])
y_true = tf.placeholder(tf.float32, [None, 10])
# 将输入数据reshape为28x28的图片
x_image = tf.reshape(x, [-1, 28, 28, 1])
# 数据归一化
x_image = x_image / 255.0
# 定义卷积层
conv1 = tf.layers.conv2d(inputs=x_image, filters=32, kernel_size=[5, 5], padding="same", activation=tf.nn.relu)
pool1 = tf.layers.max_pooling2d(inputs=conv1, pool_size=[2, 2], strides=2)
# 定义全连接层
pool1_flat = tf.reshape(pool1, [-1, 14 * 14 * 32])
fc1 = tf.layers.dense(inputs=pool1_flat, units=1024, activation=tf.nn.relu)
dropout1 = tf.layers.dropout(inputs=fc1, rate=0.4)
# 定义输出层
y_pred = tf.layers.dense(inputs=dropout1, units=10)
# 定义损失函数
cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_true, logits=y_pred))
# 定义优化器
train_step = tf.train.AdamOptimizer(learning_rate=0.001).minimize(cross_entropy)
# 定义正确率
correct_prediction = tf.equal(tf.argmax(y_pred, 1), tf.argmax(y_true, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
# 训练模型
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
for i in range(1000):
batch_x, batch_y = mnist.train.next_batch(100)
_, loss = sess.run([train_step, cross_entropy], feed_dict={x: batch_x, y_true: batch_y})
if i % 100 == 0:
acc = sess.run(accuracy, feed_dict={x: mnist.test.images, y_true: mnist.test.labels})
print("Step:", i, "Loss:", loss, "Accuracy:", acc)
```
在这个例子中,我们使用了TensorFlow内置的`input_data`模块来下载和读取MNIST数据集。数据集包括训练集、验证集和测试集,每个集合都包含图片和对应的标签。我们将训练集和验证集合并,将测试集用于测试模型性能。
在预处理阶段,我们将输入数据reshape为28x28的图片,并进行了归一化处理。在模型中,我们使用了一个卷积层和一个全连接层来构建模型,同时加入了dropout来防止过拟合。最后我们定义了损失函数、优化器和正确率,并训练模型。
阅读全文