比较两个csv文件并删除重复内容

可以使用Python中的pandas库来实现。具体步骤如下：

1. 使用pandas中的read_csv()函数读取两个csv文件并存储为两个DataFrame对象。
2. 使用pandas中的merge()函数将两个DataFrame对象按照指定的列合并为一个DataFrame对象。
3. 使用pandas中的drop_duplicates()函数删除重复内容。
4. 使用pandas中的to_csv()函数将处理后的结果存储为新的csv文件。

以下是示例代码：

import pandas as pd

# 读取两个csv文件
df1 = pd.read_csv('file1.csv')
df2 = pd.read_csv('file2.csv')

# 合并DataFrame对象
merged = pd.merge(df1, df2, on=['column_name'])

# 删除重复内容
non_duplicates = merged.drop_duplicates()

# 存储为新的csv文件
non_duplicates.to_csv('new_file.csv', index=False)

相关问题

如何根据两个csv中相同的内容 匹配相应的数据

如果您想要根据两个 CSV 文件中相同的内容（比如某一列）匹配相应的数据，可以使用 Pandas 提供的 merge() 函数，通过设置合并的键来实现。具体的操作步骤如下：

1. 使用 Pandas 的 read_csv() 函数读取两个 CSV 文件，并将它们转换为 dataFrame 对象。

import pandas as pd

# 读取两个 CSV 文件
df1 = pd.read_csv('file1.csv')
df2 = pd.read_csv('file2.csv')

2. 使用 merge() 函数将两个 dataFrame 对象合并为一个，并通过设置合并的键（比如某一列）来匹配相同内容的数据。

# 合并两个 dataFrame 对象
merged_df = pd.merge(df1, df2, on='相同列名')

3. 根据需要，您可以进一步处理合并后的数据，比如删除重复的行或者不需要的列。

# 删除重复的行
merged_df = merged_df.drop_duplicates()

# 删除不需要的列
merged_df = merged_df.drop(['列名1', '列名2'], axis=1)

通过以上步骤，您可以很容易地根据两个 CSV 中相同的内容匹配相应的数据。

假设要比较的两个csv文件分别为1.csv和2.csv，两个文件都只有三列，要比较的两列数据分别为第1列和第2列且有重复行，找出2.csv中存在但1.csv中不存在的行

如果两个csv文件中有重复行，则需要在合并之前先进行去重，否则会影响比较结果。以下是示例代码：

import pandas as pd

def compare_and_write(file1, file2):
    # 读取两个csv文件
    data1 = pd.read_csv(file1)
    data2 = pd.read_csv(file2)

    # 去除两个数据集中的重复行
    data1.drop_duplicates(subset=[data1.columns[0], data1.columns[1]], keep=False, inplace=True)
    data2.drop_duplicates(subset=[data2.columns[0], data2.columns[1]], keep=False, inplace=True)

    # 将两个数据合并成一个DataFrame
    merged_data = pd.concat([data1, data2])

    # 根据第1列和第2列进行去重
    merged_data.drop_duplicates(subset=[merged_data.columns[0], merged_data.columns[1]], keep=False, inplace=True)

    # 找出2.csv中存在但1.csv中不存在的行
    non_existing_rows = merged_data[merged_data.index >= len(data1)]

    # 将结果写入新的csv文件
    non_existing_rows.to_csv('result.csv', index=False)

compare_and_write('1.csv', '2.csv')

注意，这里的去重操作是通过drop_duplicates()函数实现的，其中subset参数指定要去重的列，keep参数指定保留哪个重复行，这里选择了keep=False表示删除所有重复行。