比较两个csv文件并删除重复内容
时间: 2023-09-10 08:10:51 浏览: 266
对比两个文件去掉另外一个的重复记录
4星 · 用户满意度95%
可以使用Python中的pandas库来实现。具体步骤如下:
1. 使用pandas中的read_csv()函数读取两个csv文件并存储为两个DataFrame对象。
2. 使用pandas中的merge()函数将两个DataFrame对象按照指定的列合并为一个DataFrame对象。
3. 使用pandas中的drop_duplicates()函数删除重复内容。
4. 使用pandas中的to_csv()函数将处理后的结果存储为新的csv文件。
以下是示例代码:
```python
import pandas as pd
# 读取两个csv文件
df1 = pd.read_csv('file1.csv')
df2 = pd.read_csv('file2.csv')
# 合并DataFrame对象
merged = pd.merge(df1, df2, on=['column_name'])
# 删除重复内容
non_duplicates = merged.drop_duplicates()
# 存储为新的csv文件
non_duplicates.to_csv('new_file.csv', index=False)
```
阅读全文