多个csv文件如何重新拆分
时间: 2024-09-23 22:13:07 浏览: 37
当你需要将多个CSV文件合并成单个文件或将一个大CSV文件拆分成小文件时,可以按照以下步骤操作:
1. **合并CSV文件**:
- 使用Python的pandas库:首先导入`pandas`,然后读取每个CSV文件,将它们添加到一个DataFrame列表中,最后用`concat`函数合并所有数据框,再用`to_csv`保存到一个新的CSV文件。
```python
import pandas as pd
dfs = [pd.read_csv(file) for file in ['file1.csv', 'file2.csv']] # 指定所有文件路径
combined_df = pd.concat(dfs)
combined_df.to_csv('merged_file.csv', index=False) # 合并后保存
```
2. **拆分大CSV文件**:
- 可以根据行数、特定列的值或其他条件分割文件。同样使用pandas,你可以遍历每行,当满足某个条件时就另存一行到新的文件。
```python
def split_by_condition(df, out_dir, condition_column, target_values):
for value in target_values:
df_split = df[df[condition_column] == value]
df_split.to_csv(f'{out_dir}/{value}.csv', index=False)
df = pd.read_csv('large_file.csv')
split_by_condition(df, 'output_directory', 'split_column', ['value1', 'value2'])
```
阅读全文