读取文件夹里的所有.csv文件并作为数据集
时间: 2024-02-12 13:02:45 浏览: 25
可以使用Python的pandas库来读取文件夹中的所有CSV文件并将它们合并为一个数据集。可以按照以下步骤操作:
1. 导入pandas库:
```
import pandas as pd
```
2. 使用pandas的read_csv函数读取文件夹中的所有CSV文件并将它们存储在一个列表中:
```
import os
csv_folder_path = 'path/to/csv/folder'
csv_files = [os.path.join(csv_folder_path, f) for f in os.listdir(csv_folder_path) if f.endswith('.csv')]
dfs = []
for csv_file in csv_files:
df = pd.read_csv(csv_file)
dfs.append(df)
```
这将读取文件夹中的所有CSV文件,并将它们存储在dfs列表中。
3. 使用pandas的concat函数将数据框合并为一个数据集:
```
dataset = pd.concat(dfs, ignore_index=True)
```
这将把dfs列表中的所有数据框合并为一个数据集。
完成以上步骤后,您就可以使用dataset变量来访问所有CSV文件的数据了。