dataframe去重复的数值

DataFrame 是一种常用的数据结构，在 Python 中，如 Pandas 库中用于处理表格型数据。当数据中存在重复的行（即数值），我们通常需要对这些重复值进行管理和清理，以便于分析和展示清晰的结果。Pandas 提供了多种方法来删除或处理 DataFrame 中的重复值。

1. **drop_duplicates()** 函数：这是一个常用的方法，它可以删除完全相同的行（默认行为）。例如：

df_unique = df.drop_duplicates()

如果你想要基于特定列进行去重，可以这样指定：

df_unique = df.drop_duplicates(subset=['column1', 'column2'])

2. **duplicated()** 方法：这个方法会返回一个布尔 Series，标记哪些行是重复的，你可以用这个结果筛选原始 DataFrame 或者直接调用 `df[duplicated()]` 删除重复行。

3. **keep参数**：在 `drop_duplicates()` 中，可以设置 `keep` 参数决定保留重复值的行为，比如 `'first'` 保留第一个出现的， `'last'` 保留最后一个出现的，或者 `'inplace'` 在原地修改数据框。

df.drop_duplicates(keep='first', inplace=True)