python dataframe 去重

在Python的Pandas库中，DataFrame去重通常是指去除重复的行。DataFrame中可能存在基于某些列的重复数据，我们想要保留唯一的数据集。你可以通过`drop_duplicates()`函数来进行去重操作。这个函数可以根据指定的列（默认是所有列）检查重复，并返回一个新的DataFrame，其中不包含重复行。

以下是基本的步骤：

import pandas as pd

# 假设df是一个DataFrame
df = df.drop_duplicates()  # 如果你想删除所有重复行
df = df.drop_duplicates(subset=['column_name'])  # 如果你想只基于特定列 'column_name' 删除重复

# 你可以选择保留第一次出现的重复行，设置keep='first'
df = df.drop_duplicates(keep='first')

# 返回的结果将自动更新原 DataFrame，如果你不想改变原数据，可以先复制一份再操作
new_df = df.copy().drop_duplicates()