python pandas取出重复数据

可以使用pandas中的drop_duplicates方法来取出重复数据。例如，对于一个名为df的DataFrame对象，可以使用以下命令取出重复行：

df.drop_duplicates()

该方法会返回一个去除重复数据后的新的DataFrame对象，其中仅保留了第一个出现的重复行。可以通过指定subset参数来选择特定的列来判断重复数据。

相关问题

pandas取出相同数据值的列

可以使用 `duplicated()` 方法和布尔索引来取出相同数据值的列。

假设你有一个 DataFrame `df`，其中包含多个列，可以按如下方式取出相同数据值的列：

import pandas as pd

# 创建 DataFrame
data = {'A': [1, 2, 3, 4],
        'B': [1, 4, 3, 4],
        'C': [1, 4, 5, 6]}
df = pd.DataFrame(data)

# 取出相同数据值的列
dup_cols = df.loc[:, df.duplicated(keep=False)]
print(dup_cols)

输出结果为：

   A  B
0  1  1
1  2  4
2  3  3
3  4  4

在上述示例中，`df.duplicated(keep=False)` 返回一个布尔序列，指示哪些列具有重复的数据值。然后，使用 `loc` 方法选择这些列的所有行。最后，使用 `print` 函数显示结果。

pandas 某一列中如果出现重复数据，将当前行和出现重复数据的行进行比较

可以通过 pandas 的 `duplicated()` 和 `groupby()` 方法来实现。

首先，使用 `duplicated()` 方法检查某一列是否有重复数据。例如，我们要查找 DataFrame `df` 中列名为 `col1` 的列是否有重复数据：

duplicates = df['col1'].duplicated()

`duplicates` 是一个布尔型的 Series，其中 `True` 表示该行数据在 `col1` 中有重复数据。

接下来，使用 `groupby()` 方法按照 `col1` 进行分组，然后使用 `transform()` 方法将分组后的数据与原始数据进行比较。例如，我们要将重复数据与其对应行进行比较，并将结果保存在新的列 `compare_col` 中：

compare_col = df.groupby('col1')['col2'].transform(lambda x: x == x[duplicates])
df['compare_col'] = compare_col

上述代码中，`groupby('col1')['col2']` 表示将 DataFrame 按照 `col1` 进行分组，并取出每个分组中的 `col2` 列。`transform()` 方法将每个分组中的 `col2` 列与重复数据进行比较，然后返回一个布尔型的 Series，表示比较结果。最后，将该 Series 赋值给新的列 `compare_col`。

这样，就可以将出现重复数据的行和当前行进行比较，并将结果保存在新的列中了。