如何一次性导入多个数据集
时间: 2024-01-18 10:04:36 浏览: 36
在Python中,我们可以使用for循环遍历多个文件,并将它们合并成一个数据集。以下是一个示例代码,它可以将多个csv文件合并成一个数据集。假设这些csv文件都在同一个文件夹中,并且它们的文件名都以“data_”开头,后面跟着一个数字,例如:data_1.csv、data_2.csv等。
```python
import os
import pandas as pd
# 定义文件夹路径和文件名前缀
folder_path = 'data_folder/'
file_prefix = 'data_'
# 获取文件夹中的所有csv文件名
file_names = [file_name for file_name in os.listdir(folder_path) if file_name.startswith(file_prefix)]
# 遍历文件名列表,读取每个csv文件并合并
df = pd.DataFrame()
for file_name in file_names:
file_path = os.path.join(folder_path, file_name)
temp_df = pd.read_csv(file_path, encoding='utf-8')
df = pd.concat([df, temp_df], ignore_index=True)
# 输出合并后的数据集
print(df.head())
```
在这个示例代码中,我们首先定义了文件夹路径和文件名前缀。然后,使用os.listdir()函数获取文件夹中所有以“data_”开头的csv文件名,并将它们存储在一个列表中。接着,我们使用for循环遍历文件名列表,读取每个csv文件,并将它们合并成一个数据集。最后,我们输出合并后的数据集。
需要注意的是,多个数据集的合并可能会涉及到数据清洗、列名重命名等操作,具体操作取决于数据集本身的特点。
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)