python 批量处理 csv
时间: 2024-08-10 09:01:48 浏览: 46
python批量处理csv并存储
在Python中,批量处理CSV文件通常涉及到读取、操作数据并写入新的CSV文件。Pandas库是Python中非常流行的数据分析工具,它提供了高效的功能来处理这种任务。以下是使用Pandas进行批量CSV处理的基本步骤:
1. 导入库:
```python
import pandas as pd
```
2. 读取CSV文件:
```python
# 如果有多个文件,可以用列表存储文件名
files = ['file1.csv', 'file2.csv', 'file3.csv']
data_frames = [pd.read_csv(file) for file in files]
```
3. 数据预处理或操作(例如清洗、转换、合并等):
```python
def process_data(df):
# 这里可以添加各种数据处理函数,如数据清洗、计算新列等
df['new_column'] = df['column1'] + df['column2']
return df
processed_dataframes = [process_data(frame) for frame in data_frames]
```
4. 写入新的CSV文件:
```python
for i, processed_df in enumerate(processed_dataframes):
output_file = f"output_{i+1}.csv"
processed_df.to_csv(output_file, index=False)
```
在这个例子中,`index=False`表示不保存行索引到CSV文件。
阅读全文