遍历文件夹读csv,合并dataframe
时间: 2023-03-05 08:27:00 浏览: 112
你好!要遍历文件夹并读取其中的CSV文件,然后将它们合并成一个DataFrame,可以按照以下步骤操作:
1. 导入必要的Python库,例如pandas和os。
2. 创建一个空的DataFrame,用于存储CSV文件的数据。
3. 使用os库的walk方法遍历文件夹中的所有CSV文件。
4. 对于每个CSV文件,使用pandas库的read_csv方法读取数据,并将其存储在一个DataFrame中。
5. 将该DataFrame追加到之前创建的空DataFrame中,使用pandas库的concat方法进行合并。
6. 处理合并后的DataFrame,例如删除重复行或处理缺失数据。
以下是示例代码:
```python
import pandas as pd
import os
# 创建一个空的DataFrame
merged_df = pd.DataFrame()
# 遍历文件夹中的CSV文件
for root, dirs, files in os.walk("your_directory_path"):
for file in files:
if file.endswith(".csv"):
# 读取CSV文件
csv_path = os.path.join(root, file)
csv_df = pd.read_csv(csv_path)
# 将DataFrame追加到merged_df中
merged_df = pd.concat([merged_df, csv_df])
# 处理合并后的DataFrame
merged_df = merged_df.drop_duplicates()
merged_df = merged_df.dropna()
```
请将"your_directory_path"替换为你要遍历的文件夹路径。
阅读全文