使用pandas 查找 EXCEL 中 D列的重复值

时间: 2024-02-01 10:16:43 浏览: 193

Pandas统计重复的列里面的值方法

### Pandas统计重复的列里面的值方法在数据分析领域，Pandas 是一款非常重要的 Python 库，它提供了大量用于数据处理、清洗、分析的功能。其中一个常见的需求是统计数据框（DataFrame）中某列的重复值情况。这不仅有助于了解数据的质量，还可以帮助我们在后续的数据分析过程中作出更准确的决策。 #### 一、理解重复值统计的意义在实际的数据分析项目中，数据源往往来自于多个不同的渠道，数据质量参差不齐。因此，在进行深入分析之前，通常需要对数据进行预处理，其中包括识别并处理重复数据。重复值的存在可能会导致分析结果失真，因此正确地统计和处理重复值是非常必要的。 #### 二、使用 Pandas 进行重复值统计根据题目中的代码示例，我们将详细介绍如何使用 Pandas 来统计 DataFrame 中某列的重复值。 #### 1. 创建示例 DataFrame ```python import pandas as pd import numpy as np # 创建示例数据 salaries = pd.DataFrame({ 'name': ['BOSS', 'Lilei', 'Lilei', 'Han', 'BOSS', 'BOSS', 'Han', 'BOSS'], 'Year': [2016, 2016, 2016, 2016, 2017, 2017, 2017, 2017], 'Salary': [1, 2, 3, 4, 5, 6, 7, 8], 'Bonus': [2, 2, 2, 2, 3, 4, 5, 6] }) print(salaries) ``` 输出： ``` name Year Salary Bonus 0 BOSS 2016 1 2 1 Lilei 2016 2 2 2 Lilei 2016 3 2 3 Han 2016 4 2 4 BOSS 2017 5 3 5 BOSS 2017 6 4 6 Han 2017 7 5 7 BOSS 2017 8 6 ``` #### 2. 统计重复值接下来，我们将使用 `duplicated()` 方法来统计 `Bonus` 列中的重复值。 ##### (1) 保留第一个出现的值 ```python print(salaries['Bonus'].duplicated(keep='first')) # 保留第一个出现的值 ``` 输出： ``` 0 False 1 True 2 True 3 True 4 False 5 False 6 False 7 False Name: Bonus, dtype: bool ``` 可以看到，除了第一个出现的值之外，其余重复的值都被标记为了 `True`。 ##### (2) 获取重复值的索引 ```python print(salaries[salaries['Bonus'].duplicated(keep='first')].index) ``` 输出： ``` Int64Index([1, 2, 3], dtype='int64') ``` 这里获取到了所有重复值的索引位置。 ##### (3) 获取重复值所在的行 ```python print(salaries[salaries['Bonus'].duplicated(keep='first')]) ``` 输出： ``` name Year Salary Bonus 1 Lilei 2016 2 2 2 Lilei 2016 3 2 3 Han 2016 4 2 ``` 我们可以看到，这三行数据都具有相同的 `Bonus` 值。 ##### (4) 保留最后一个出现的值 ```python print(salaries['Bonus'].duplicated(keep='last')) # 保留最后一个出现的值 ``` 输出： ``` 0 True 1 True 2 True 3 False 4 False 5 False 6 False 7 False Name: Bonus, dtype: bool ``` 与之前不同的是，这里保留了最后一个出现的值，并将前面重复的值标记为 `True`。 ##### (5) 获取重复值的索引 ```python print(salaries[salaries['Bonus'].duplicated(keep='last')].index) ``` 输出： ``` Int64Index([0, 1, 2], dtype='int64') ``` 这里获取到了所有重复值的索引位置。 ##### (6) 获取重复值所在的行 ```python print(salaries[salaries['Bonus'].duplicated(keep='last')]) ``` 输出： ``` name Year Salary Bonus 0 BOSS 2016 1 2 1 Lilei 2016 2 2 2 Lilei 2016 3 2 ``` 同样地，这三行数据都具有相同的 `Bonus` 值。 #### 三、非 Pandas 方法除了使用 Pandas 进行重复值的统计之外，还可以使用 NumPy 来实现类似的功能。假设有一个 NumPy 数组 `a`，现在想要找到其中重复的元素 `[1, 3]`。 ##### 方法 1 ```python a = np.array([1, 2, 1, 3, 3, 3, 0]) m = np.zeros_like(a, dtype=bool) m[np.unique(a, return_index=True)[1]] = True print(a[~m]) ``` 输出： ``` array([2, 3, 3, 3, 0]) ``` 这里输出的是所有非重复的元素。 ##### 方法 2 ```python print(a[~np.in1d(np.arange(len(a)), np.unique(a, return_index=True)[1], assume_unique=True)]) ``` 输出： ``` array([2, 3, 3, 3, 0]) ``` 与方法 1 的结果相同。 ##### 方法 3 ```python print(np.setxor1d(a, np.unique(a), assume_unique=True)) ``` 输出： ``` array([], dtype=int64) ``` 这种方法并没有直接返回重复的元素，而是返回了两个集合的异或结果。 ##### 方法 4 ```python u, i = np.unique(a, return_inverse=True) print(u[np.bincount(i) > 1]) ``` 输出： ``` array([1, 3]) ``` 这里直接得到了重复的元素 `[1, 3]`。 ##### 方法 5 ```python s = np.sort(a, axis=None) print(s[:-1][s[1:] == s[:-1]]) ``` 输出： ``` array([1, 3]) ``` 该方法通过排序后比较相邻元素是否相等来找出重复值。 #### 四、总结本文详细介绍了如何使用 Pandas 和 NumPy 来统计数据框中某列的重复值。这些方法可以帮助我们更好地理解数据，并在后续的数据清洗和分析过程中做出更合理的决策。在实际应用中，选择哪种方法取决于具体的需求以及数据的特点。

可以使用 Pandas 中的 `duplicated()` 函数来查找 Excel 中 D 列的重复值，具体操作如下： ```python import pandas as pd # 读取 Excel 文件 df = pd.read_excel("your_file.xlsx") # 查找 D 列中的重复值 duplicate_rows = df[df.duplicated(['D'], keep=False)] # 打印重复行 print(duplicate_rows) ``` 在上述代码中，`duplicated(['D'], keep=False)` 表示查找 D 列中的重复值，并且保留所有的重复值（即不删除重复项），最后将所有重复行打印出来。

阅读全文

使用pandas 查找 EXCEL 中 D列的重复值

相关推荐

用EXCEL查重复数据

EXCEL显示多列重复

python 查找EXCEL 表中D列的重复值，保留最后一个重复值所在行，删除重复值所在的其它行

利用Pandas实现Excel文件数据清洗与筛选

如何处理Excel文件中的重复数据

使用pandas进行跨表格数据关联与合并

入门级别的数据分析：使用Pandas处理数据

【基础】Pandas数据读取与存储（CSV, Excel等）

掌握pandas中的索引与切片技巧

Pandas库在数据分析中的应用

Python中Pandas库在数据处理与分析中的实际应用

Anaconda中的数据科学工具：介绍Pandas

Pandas库在数据分析中的常见操作指南

数据清洗中的重复值检测与处理技巧

Python中的数据处理和分析：Pandas库入门

Python读取Excel文件中的特定列和行：灵活处理数据

Pandas数据结构与基本操作

Pandas时间序列数据处理技术精解

使用xlwings,对A:AH区域进行数据分析。从D列第一行开始查找D列内重复的单元格。保留最后一个重复单元格所在的行，删掉其它重复单元格所在的行。

最新推荐

pandas实现excel中的数据透视表和Vlookup函数功能代码

pandas中read_csv的缺失值处理方式

Python读取excel文件中带公式的值的实现

如何使用pandas读取txt文件中指定的列(有无标题)

Pandas读取并修改excel的示例代码

探索数据转换实验平台在设备装置中的应用

管理建模和仿真的文件

ggflags包的国际化问题：多语言标签处理与显示的权威指南

如何使用MATLAB实现电力系统潮流计算中的节点导纳矩阵构建和阻抗矩阵转换，并解释这两种矩阵在潮流计算中的作用和差异？

使用git-log-to-tikz.py将Git日志转换为TIKZ图形