python csv文件列删除重复

你可以使用 `pandas` 库来删除 CSV 文件中的重复记录。使用 `drop_duplicates()` 方法，可以很容易地删除重复的行。

以下是一个示例代码：

import pandas as pd

df = pd.read_csv('example.csv') # 读取 CSV 文件
df = df.drop_duplicates(subset=['column_name']) # 删除指定列中的重复项
df.to_csv('example.csv', index=False) # 将结果保存回 CSV 文件中

在这个示例中，我们首先使用 `pandas` 库的 `read_csv()` 方法将 CSV 文件读取为数据帧。然后，我们使用 `drop_duplicates()` 方法删除指定列中的重复项，其中 `subset` 参数指定要删除重复项的列名。最后，我们使用 `to_csv()` 方法将更改后的数据帧保存回 CSV 文件中，`index=False` 参数指定不保存索引列。

注意：在保存结果回 CSV 文件之前，一定要确保备份原始文件以防止意外的数据丢失。

相关问题

python删除CSV文件列重复字符串

要删除 CSV 文件中某列中的重复字符串，可以使用 Pandas 库。

假设你有一个名为 `data.csv` 的 CSV 文件，其中包含以下数据：

id,name,age
1,Alice,20
2,Bob,22
3,Charlie,25
4,Alice,20
5,David,27

要删除 `name` 列中的重复字符串，可以按照以下步骤操作：

1. 导入 Pandas 库：

import pandas as pd

2. 读取 CSV 文件并创建 DataFrame：

df = pd.read_csv('data.csv')

3. 选择要删除重复字符串的列并进行去重：

df['name'] = df['name'].drop_duplicates()

4. 将 DataFrame 写回 CSV 文件：

df.to_csv('data.csv', index=False)

完整代码如下：

import pandas as pd

df = pd.read_csv('data.csv')
df['name'] = df['name'].drop_duplicates()
df.to_csv('data.csv', index=False)

执行完毕后，`data.csv` 文件中的 `name` 列将只包含不重复的字符串：

id,name,age
1,Alice,20
2,Bob,22
3,Charlie,25
5,David,27

python删除CSV文件列重复字符串对应的行

可以按照以下步骤来完成：

1. 读取CSV文件，将数据存储在一个二维列表中。

2. 找到重复字符串对应的列，并记录下来。

3. 遍历二维列表，将每一行的对应列的值存储在一个集合中，如果集合中已经存在该值，则说明该行需要被删除。

4. 创建一个新的二维列表，将需要保留的行添加到其中。

5. 将新的二维列表写入CSV文件。

下面是示例代码，假设要删除第二列中重复的字符串对应的行：

import csv

filename = 'data.csv'
duplicate_col = 1

# Step 1: Read CSV file
data = []
with open(filename, 'r') as f:
    reader = csv.reader(f)
    for row in reader:
        data.append(row)

# Step 2: Find duplicate values in column
values = set()
duplicates = set()
for row in data:
    value = row[duplicate_col]
    if value in values:
        duplicates.add(value)
    else:
        values.add(value)

# Step 3: Filter out duplicate rows
new_data = []
for row in data:
    if row[duplicate_col] not in duplicates:
        new_data.append(row)

# Step 4: Write new data to CSV file
with open(filename, 'w', newline='') as f:
    writer = csv.writer(f)
    for row in new_data:
        writer.writerow(row)

注意，以上代码只是一个示例，实际使用时需要根据具体情况进行修改。