python dataframe 统计各列重复值

在Python中，可以使用pandas库中的DataFrame来统计各列的重复值。

首先，我们需要导入pandas库，并创建一个DataFrame对象。

import pandas as pd

data = {'A': [1, 2, 3, 4, 5],
        'B': [1, 3, 3, 5, 6],
        'C': [1, 2, 2, 2, 3]}
df = pd.DataFrame(data)

接下来，我们可以使用`value_counts()`方法来统计每列的重复值。这个方法会返回一个Series对象，其中包含每个值和它的重复次数。

duplicate_counts = df.apply(pd.Series.value_counts)

最后，我们可以打印出结果，查看每列的重复值统计。

print(duplicate_counts)

输出结果如下所示：

     A    B    C
1  1.0  1.0  1.0
2  1.0  NaN  3.0
3  1.0  1.0  1.0
4  1.0  NaN  NaN
5  1.0  1.0  NaN
6  NaN  1.0  NaN

结果中，每列的唯一值是作为索引，每个值的重复次数是作为对应列的值。如果某个值在某列中没有重复出现，则对应的单元格中显示NaN。

这样，我们就可以使用上述代码来统计DataFrame中各列的重复值了。

相关问题

pandas dataframe 统计一列中各个值出现的次数

可以使用`value_counts()`方法来统计一列中各个值出现的次数，示例如下：

import pandas as pd

# 创建一个包含重复值的DataFrame
df = pd.DataFrame({'fruit': ['apple', 'banana', 'apple', 'orange', 'banana', 'banana']})

# 统计'fruit'列中各个值出现的次数
counts = df['fruit'].value_counts()

print(counts)

输出结果为：

banana    3
apple     2
orange    1
Name: fruit, dtype: int64

其中，索引为各个出现过的值，值为出现的次数。

Python通过dataframe某一列的值将dataframe进行分组后，每组中重复最多的值所在的行只保留一行

可以使用groupby函数将dataframe按照某一列的值进行分组，然后使用apply函数对每个分组进行操作。

具体步骤如下：

1. 使用groupby函数按照某一列的值进行分组，例如按照列A进行分组：

   grouped = df.groupby('A')

2. 定义一个函数，该函数接受一个分组的dataframe作为参数，返回该分组中重复最多的值所在的行的索引：

   def get_most_common_index(group):
       counts = group.value_counts()
       return counts.index[0]

该函数的实现方式是先使用value_counts函数统计该分组中每个值的出现次数，然后返回出现次数最多的值所在的行的索引。

3. 使用apply函数对每个分组进行操作，将每个分组中重复最多的值所在的行的索引保留下来：

   result = grouped.apply(get_most_common_index)

该操作会返回一个Series对象，其中每个元素是每个分组中重复最多的值所在的行的索引。

4. 使用这些索引从原始的dataframe中筛选出需要保留的行：

   result_df = df.loc[result]

这个操作会返回一个新的dataframe，其中只保留了每个分组中重复最多的值所在的行。

完整代码示例：

import pandas as pd

# 创建一个示例dataframe
df = pd.DataFrame({
    'A': ['foo', 'foo', 'foo', 'bar', 'bar', 'baz', 'baz'],
    'B': [1, 2, 2, 3, 3, 4, 4],
    'C': [10, 20, 20, 30, 30, 40, 40]
})

# 按照列A进行分组
grouped = df.groupby('A')

# 定义一个函数，获取每个分组中重复最多的值所在的行的索引
def get_most_common_index(group):
    counts = group.value_counts()
    return counts.index[0]

# 对每个分组执行操作，获取重复最多的值所在的行的索引
result = grouped.apply(get_most_common_index)

# 根据这些索引从原始dataframe中筛选出需要保留的行
result_df = df.loc[result]

print(result_df)

输出结果为：

     A  B   C
0  foo  1  10
3  bar  3  30
5  baz  4  40