pandas data.duplicated() subset如何处理编号列的影响

`pandas` 库中的 `data.duplicated()` 方法用于检测 DataFrame 中的重复行。当设置 `subset` 参数时，该方法仅会考虑 `subset` 参数中指定的列来判断哪些行是重复的。如果你想要在检测重复行时排除编号列的影响，可以将编号列排除在 `subset` 参数之外。

例如，假设你有一个包含编号列 `id` 和其他数据列的 DataFrame `df`。如果你只想根据其他某些列来判断数据中的重复项，可以这样使用 `duplicated()` 方法：

# 假设 DataFrame 'df' 中的 'id', 'column1', 'column2' 是列名
# 想要基于 'column1' 和 'column2' 来检测重复项，而不考虑 'id' 列

# 创建一个包含 'id', 'column1', 'column2' 的示例 DataFrame
import pandas as pd
import numpy as np

df = pd.DataFrame({
    'id': [1, 2, 3, 2, 1],
    'column1': ['A', 'B', 'C', 'B', 'A'],
    'column2': [1, 2, 3, 2, 1]
})

# 使用 subset 参数排除 'id' 列
duplicates = df.duplicated(subset=['column1', 'column2'])

# 标记重复项，True 表示重复
print(duplicates)

# 获取不重复的数据（基于 'column1' 和 'column2' 列）
unique_data = df[~duplicates]
print(unique_data)

在上面的代码中，`duplicated(subset=['column1', 'column2'])` 表示只根据 'column1' 和 'column2' 列来检测重复项。返回的布尔序列 `duplicates` 中的 `True` 值表示对应行在 'column1' 和 'column2' 上是重复的。