如何从如何从csv文件构建文件构建Tensorflow的数据集的数据集
从csv文件构建Tensorflow的数据集
当我们有一系列CSV文件，如何构建Tensorflow的数据集呢?
基本步骤基本步骤
获得一组CSV文件的路径
将这组文件名，转成文件名对应的dataset => file_dataset
根据file_dataset中的每个文件名，读取文件内容 生成一个内容的dataset => content_dataset
这样的多个content_dataset, 拼接起来，形成一整个dataset
因为读出来的每条记录都是string类型， 所以还需要对每条记录做decode
存在一个这样的变量train_filenames
pprint.pprint(train_filenames)
# ['generate_csv\train_00.csv',
# 'generate_csv\train_01.csv',
# 'generate_csv\train_02.csv',
# 'generate_csv\train_03.csv',
# 'generate_csv\train_04.csv',
# 'generate_csv\train_05.csv',
# 'generate_csv\train_06.csv',
# 'generate_csv\train_07.csv',
# 'generate_csv\train_08.csv',
# 'generate_csv\train_09.csv',
# 'generate_csv\train_10.csv',
# 'generate_csv\train_11.csv',
# 'generate_csv\train_12.csv',
# 'generate_csv\train_13.csv',
# 'generate_csv\train_14.csv',
# 'generate_csv\train_15.csv',
# 'generate_csv\train_16.csv',
# 'generate_csv\train_17.csv',
# 'generate_csv\train_18.csv',
# 'generate_csv\train_19.csv']
接着，我们用提前定义好的API构建文件名数据集file_dataset
filename_dataset = tf.data.Dataset.list_files(train_filenames)
for filename in filename_dataset:
print(filename)
#tf.Tensor(b'generate_csv\train_09.csv', shape=(), dtype=string)
#tf.Tensor(b'generate_csv\train_19.csv', shape=(), dtype=string)
#tf.Tensor(b'generate_csv\train_03.csv', shape=(), dtype=string)
#tf.Tensor(b'generate_csv\train_01.csv', shape=(), dtype=string)
#tf.Tensor(b'generate_csv\train_14.csv', shape=(), dtype=string)
#tf.Tensor(b'generate_csv\train_17.csv', shape=(), dtype=string)
#tf.Tensor(b'generate_csv\train_15.csv', shape=(), dtype=string)
#tf.Tensor(b'generate_csv\train_06.csv', shape=(), dtype=string)
#tf.Tensor(b'generate_csv\train_05.csv', shape=(), dtype=string)
#tf.Tensor(b'generate_csv\train_07.csv', shape=(), dtype=string)
#tf.Tensor(b'generate_csv\train_11.csv', shape=(), dtype=string)
#tf.Tensor(b'generate_csv\train_02.csv', shape=(), dtype=string)
#tf.Tensor(b'generate_csv\train_12.csv', shape=(), dtype=string)
#tf.Tensor(b'generate_csv\train_13.csv', shape=(), dtype=string)
#tf.Tensor(b'generate_csv\train_10.csv', shape=(), dtype=string)
#tf.Tensor(b'generate_csv\train_16.csv', shape=(), dtype=string)
#tf.Tensor(b'generate_csv\train_18.csv', shape=(), dtype=string)
#tf.Tensor(b'generate_csv\train_00.csv', shape=(), dtype=string)
#tf.Tensor(b'generate_csv\train_04.csv', shape=(), dtype=string)
#tf.Tensor(b'generate_csv\train_08.csv', shape=(), dtype=string)
第三步， 根据每个文件名，去读取文件里面的内容
dataset = filename_dataset.interleave(
lambda filename: tf.data.TextLineDataset(filename).skip(1),
cycle_length=5
)
for line in dataset.take(3):
print(line)
评论0