请用python写以下代码:一共有2000个csv格式的表格文件,每一个csv格式的文件有20万行数据,把每一个csv格式文件从前往后每一万行取出当作新的一个csv格式文件,最后得到40000个csv格式文件
时间: 2024-03-01 14:53:49 浏览: 103
python 借助numpy保存数据为csv格式的实现方法
5星 · 资源好评率100%
以下是可能的Python代码实现:
```python
import os
import pandas as pd
# 设置原始文件夹路径、新文件夹路径和行数间隔
input_folder = 'path/to/original/folder'
output_folder = 'path/to/new/folder'
row_interval = 10000
# 获取原始文件夹下所有csv文件
files = [f for f in os.listdir(input_folder) if f.endswith('.csv')]
# 遍历每个csv文件
for file in files:
# 读取csv文件
df = pd.read_csv(os.path.join(input_folder, file))
# 获取csv文件行数
num_rows = df.shape[0]
# 遍历每一万行数据
for i in range(0, num_rows, row_interval):
# 获取当前行数范围
start = i
end = min(i + row_interval, num_rows)
# 获取当前行数范围内的数据
df_subset = df.iloc[start:end]
# 构造新文件名
new_file_name = f"{os.path.splitext(file)[0]}_{i+1}-{end}.csv"
# 写入新csv文件
df_subset.to_csv(os.path.join(output_folder, new_file_name), index=False)
```
上述代码将遍历指定的原始文件夹中所有以.csv结尾的文件。对于每个文件,它将读取文件并获取行数。然后,它将遍历每一万行数据,并将其保存为新的.csv文件,新文件的名称包括原始文件名和行数范围。最终,40000个新文件将保存在指定的新文件夹中。
阅读全文