pandas读取文件夹下的所有文件并合成一个df
时间: 2024-09-19 14:15:13 浏览: 48
Pandas是一个强大的数据处理库,用于Python,它可以方便地读取和操作各种数据源,包括文件。如果你想将文件夹下的所有CSV、Excel或其他支持的文件合并成一个DataFrame,可以按照以下步骤进行:
1. 首先,导入`pandas`库和`glob`库,后者用于查找指定路径下所有符合条件的文件名。
```python
import pandas as pd
import glob
```
2. 确定文件所在的文件夹路径,并使用`glob.glob()`函数列出所有相关的文件路径。
```python
folder_path = 'your_folder_path' # 替换为你实际的文件夹路径
file_list = glob.glob(folder_path + '/*.csv') # 假设都是CSV文件,如果是其他格式需要相应调整
```
3. 使用循环遍历文件列表,对每个文件应用`pd.read_csv()`或`pd.read_excel()`等函数,然后将结果添加到一个列表里。
```python
dfs = []
for file in file_list:
df_temp = pd.read_csv(file)
dfs.append(df_temp)
```
4. 最后,你可以选择直接将所有DataFrame连接起来,或者使用`pd.concat()`函数以某种方式合并它们(如按列拼接或者按行堆叠)。
```python
# 如果所有文件的结构相同,可以直接合并
all_data = pd.concat(dfs)
# 或者按行堆叠
all_data_stacked = pd.concat(dfs, ignore_index=True) # ignore_index=True会使索引从0开始
# 根据需求选择适合的合并策略
```
阅读全文