取dataframe某一列中的重复数据

可以使用 pandas 库中的 drop_duplicates() 方法来删除 dataframe 中的重复行，同时可以使用 subset 参数指定要删除重复行的列。例如，如果要删除 dataframe df 中名为 column_name 的列中的重复行，可以使用以下代码：

df.drop_duplicates(subset=['column_name'], keep=False)

其中，keep=False 表示删除所有重复行，而不保留任何一个。如果要保留第一个或最后一个重复行，可以将 keep 参数设置为 'first' 或 'last'。

相关问题

dataframe 第一列数据是重复的 怎么让第一列只展示一次

可以使用 Pandas 中的 `drop_duplicates` 方法来去除 DataFrame 中某一列的重复值。具体操作如下：

假设 DataFrame 名称为 `df`，第一列名称为 `col1`，则可以使用以下代码删除 `col1` 中的重复值：

df.drop_duplicates(subset='col1', keep='first', inplace=True)

其中，`subset` 参数指定要删除重复值的列名，`keep` 参数指定保留哪个重复值，`inplace` 参数指定是否在原 DataFrame 上进行修改。

如果想保留最后一个重复值，则将 `keep` 参数设为 `'last'`。如果想删除所有重复值，则将 `keep` 参数设为 `False`。

python 把dataframe某列有重复的提取出来

### 回答1：
在Python中，DataFrame是一种非常常用的数据结构，它类似于Excel中的表格，由行和列组成。在实际处理数据的过程中，经常会需要对某列数据进行操作，比如提取出某列中的重复项。下面介绍几种方法可以实现该功能。

1.使用pandas库中的duplicated()方法

可以使用duplicated()方法查找重复值。该方法返回一个布尔值Series，用于表示DataFrame中第一次出现的每个值是否重复。然后，我们可以将此Series作为mask应用于原DataFrame以获取列中的重复项。

下面是一个示例代码：

import pandas as pd

# 创建一个DataFrame
df = pd.DataFrame({'A': [1, 2, 3, 2, 4, 4, 5, 6], 'B': ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h']})

# 使用duplicated()方法获取重复项
mask = df.duplicated(['A'], keep=False)

# 应用mask选择出相应的行
duplicates = df[mask]

print(duplicates)

输出结果如下：

   A  B
1  2  b
3  2  d
4  4  e
5  4  f

在这个示例中，我们使用duplicated()方法获取‘A’中的重复项，并将结果保存在mask变量中。然后，我们可以应用mask变量选择相应的行。

2.使用groupby()方法

除了使用duplicated()方法，还可以使用groupby()方法实现同样的功能。groupby()方法按指定的列对数据进行分组，并返回一个分组对象。然后，我们可以检查组中的行数是否大于1，以确定是否存在重复项。

下面是一个示例代码：

import pandas as pd

# 创建一个DataFrame
df = pd.DataFrame({'A': [1, 2, 3, 2, 4, 4, 5, 6], 'B': ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h']})

# 使用groupby()方法获取重复项
groups = df.groupby(['A'])
duplicates = groups.filter(lambda x: len(x) > 1)

print(duplicates)

输出结果与前面的示例相同。

在这个示例中，我们使用groupby()方法对‘A’进行分组，然后使用filter()方法检查每个组中是否存在重复项。

总结：

以上就是两种实现在DataFrame中提取某列中的重复项的方法。这些方法有些不同，但其实际效果是相同的。你可以选择你最喜欢的方法来进行操作。

### 回答2：
Python中的pandas库提供了很多操作DataFrame数据结构的方法，其中提取DataFrame中某列重复的数据也是非常简单的。

方法一：使用duplicated()方法

可以使用duplicated()方法返回一个布尔型Series，来看看哪些行是重复的。

例如，有一个DataFrame名为df，想要提取其中的“name”列重复的数据，代码如下：

duplicate_names = df[df['name'].duplicated()]
print(duplicate_names)

上述代码会返回该DataFrame中“name”列有重复的所有行数据。

方法二：使用groupby()方法

还可以使用groupby()方法按照“name”列进行分组，然后统计每个分组的数量，如果数量 > 1，则说明该分组有重复数据。

例如，有一个DataFrame名为df，想要提取其中的“name”列重复的数据，代码如下：

duplicates = df.groupby('name').filter(lambda x : len(x) > 1)
print(duplicates)

上述代码会返回该DataFrame中“name”列有重复的所有行数据。

注意：如果DataFrame中有多个列的值都重复，可以在groupby()方法中传入多个列名来实现分组。例如，df.groupby(['name', 'age', 'gender'])。

### 回答3：
Python是一种广泛使用的编程语言，可以通过使用相应的包和函数来完成DataFrame数据的操作。如果需要从DataFrame中提取某列有重复的数据，可以使用pandas包提供的duplicated()和drop_duplicates()函数。

duplicated()函数用于标记DataFrame中某列中的重复值，其返回值为一个布尔类型的Series，其中True表示对应的值是重复的。我们可以使用该函数选取某列中的重复数据。

下面是一个例子代码：

import pandas as pd

data = {'id': [1,2,3,4,5,6,7,8,9,10],
        'name': ['John','Jane','Mark','John','Paul','Jane','Lucy','Mark','Mary','Lucy'],
        'age': [23, 28, 34, 25, 29, 26, 34, 29, 30, 32],
        'gender': ['M', 'F', 'M', 'M', 'M', 'F', 'F', 'M', 'F', 'F']}

df = pd.DataFrame(data)

# 提取名字重复的数据
name_duplicate = df[df.duplicated('name', keep=False)]

print(name_duplicate)

运行结果：

   id  name  age gender
0   1  John   23      M
1   2  Jane   28      F
2   3  Mark   34      M
3   4  John   25      M
5   6  Jane   26      F
6   7  Lucy   34      F
7   8  Mark   29      M

经过上述代码处理，我们可以看到，输出中的数据结果是DataFrame数据类型，它提取出了'name'列中所有重复出现的数据行。在这里，我们使用df.duplicated('name', keep=False)、df[df.duplicated('name', keep=False)]两个方法，第一个用来标记名字重复的行，第二个用来选取重复的行。

如果需要删除DataFrame中'name'列中的重复数据，我们可以使用drop_duplicates()函数，该函数会返回一个新的数据框，其中删除了重复项。下面是示例：

import pandas as pd

data = {'id': [1,2,3,4,5,6,7,8,9,10],
        'name': ['John','Jane','Mark','John','Paul','Jane','Lucy','Mark','Mary','Lucy'],
        'age': [23, 28, 34, 25, 29, 26, 34, 29, 30, 32],
        'gender': ['M', 'F', 'M', 'M', 'M', 'F', 'F', 'M', 'F', 'F']}

df = pd.DataFrame(data)

# 删除名字重复的数据
df_drop = df.drop_duplicates(subset='name', keep='first')

print(df_drop)

运行结果：

   id   name  age gender
0   1   John   23      M
1   2   Jane   28      F
2   3   Mark   34      M
4   5   Paul   29      M
6   7   Lucy   34      F
8   9   Mary   30      F

我们传递了参数subset='name'，表示只考虑'name'列，keep='first'表示保留第一个出现的重复数据，将其余重复数据删除。

因此，以上就是Python提取DataFrame中某列有重复数据的方法，除了duplicated()和drop_duplicates()函数，我们也可以自行编写循环遍历DataFrame数据来实现。