Pandas 取列最后一个数

时间: 2024-03-18 22:45:03 浏览: 156

Pandas统计重复的列里面的值方法

### Pandas统计重复的列里面的值方法在数据分析领域，Pandas 是一款非常重要的 Python 库，它提供了大量用于数据处理、清洗、分析的功能。其中一个常见的需求是统计数据框（DataFrame）中某列的重复值情况。这不仅有助于了解数据的质量，还可以帮助我们在后续的数据分析过程中作出更准确的决策。 #### 一、理解重复值统计的意义在实际的数据分析项目中，数据源往往来自于多个不同的渠道，数据质量参差不齐。因此，在进行深入分析之前，通常需要对数据进行预处理，其中包括识别并处理重复数据。重复值的存在可能会导致分析结果失真，因此正确地统计和处理重复值是非常必要的。 #### 二、使用 Pandas 进行重复值统计根据题目中的代码示例，我们将详细介绍如何使用 Pandas 来统计 DataFrame 中某列的重复值。 #### 1. 创建示例 DataFrame ```python import pandas as pd import numpy as np # 创建示例数据 salaries = pd.DataFrame({ 'name': ['BOSS', 'Lilei', 'Lilei', 'Han', 'BOSS', 'BOSS', 'Han', 'BOSS'], 'Year': [2016, 2016, 2016, 2016, 2017, 2017, 2017, 2017], 'Salary': [1, 2, 3, 4, 5, 6, 7, 8], 'Bonus': [2, 2, 2, 2, 3, 4, 5, 6] }) print(salaries) ``` 输出： ``` name Year Salary Bonus 0 BOSS 2016 1 2 1 Lilei 2016 2 2 2 Lilei 2016 3 2 3 Han 2016 4 2 4 BOSS 2017 5 3 5 BOSS 2017 6 4 6 Han 2017 7 5 7 BOSS 2017 8 6 ``` #### 2. 统计重复值接下来，我们将使用 `duplicated()` 方法来统计 `Bonus` 列中的重复值。 ##### (1) 保留第一个出现的值 ```python print(salaries['Bonus'].duplicated(keep='first')) # 保留第一个出现的值 ``` 输出： ``` 0 False 1 True 2 True 3 True 4 False 5 False 6 False 7 False Name: Bonus, dtype: bool ``` 可以看到，除了第一个出现的值之外，其余重复的值都被标记为了 `True`。 ##### (2) 获取重复值的索引 ```python print(salaries[salaries['Bonus'].duplicated(keep='first')].index) ``` 输出： ``` Int64Index([1, 2, 3], dtype='int64') ``` 这里获取到了所有重复值的索引位置。 ##### (3) 获取重复值所在的行 ```python print(salaries[salaries['Bonus'].duplicated(keep='first')]) ``` 输出： ``` name Year Salary Bonus 1 Lilei 2016 2 2 2 Lilei 2016 3 2 3 Han 2016 4 2 ``` 我们可以看到，这三行数据都具有相同的 `Bonus` 值。 ##### (4) 保留最后一个出现的值 ```python print(salaries['Bonus'].duplicated(keep='last')) # 保留最后一个出现的值 ``` 输出： ``` 0 True 1 True 2 True 3 False 4 False 5 False 6 False 7 False Name: Bonus, dtype: bool ``` 与之前不同的是，这里保留了最后一个出现的值，并将前面重复的值标记为 `True`。 ##### (5) 获取重复值的索引 ```python print(salaries[salaries['Bonus'].duplicated(keep='last')].index) ``` 输出： ``` Int64Index([0, 1, 2], dtype='int64') ``` 这里获取到了所有重复值的索引位置。 ##### (6) 获取重复值所在的行 ```python print(salaries[salaries['Bonus'].duplicated(keep='last')]) ``` 输出： ``` name Year Salary Bonus 0 BOSS 2016 1 2 1 Lilei 2016 2 2 2 Lilei 2016 3 2 ``` 同样地，这三行数据都具有相同的 `Bonus` 值。 #### 三、非 Pandas 方法除了使用 Pandas 进行重复值的统计之外，还可以使用 NumPy 来实现类似的功能。假设有一个 NumPy 数组 `a`，现在想要找到其中重复的元素 `[1, 3]`。 ##### 方法 1 ```python a = np.array([1, 2, 1, 3, 3, 3, 0]) m = np.zeros_like(a, dtype=bool) m[np.unique(a, return_index=True)[1]] = True print(a[~m]) ``` 输出： ``` array([2, 3, 3, 3, 0]) ``` 这里输出的是所有非重复的元素。 ##### 方法 2 ```python print(a[~np.in1d(np.arange(len(a)), np.unique(a, return_index=True)[1], assume_unique=True)]) ``` 输出： ``` array([2, 3, 3, 3, 0]) ``` 与方法 1 的结果相同。 ##### 方法 3 ```python print(np.setxor1d(a, np.unique(a), assume_unique=True)) ``` 输出： ``` array([], dtype=int64) ``` 这种方法并没有直接返回重复的元素，而是返回了两个集合的异或结果。 ##### 方法 4 ```python u, i = np.unique(a, return_inverse=True) print(u[np.bincount(i) > 1]) ``` 输出： ``` array([1, 3]) ``` 这里直接得到了重复的元素 `[1, 3]`。 ##### 方法 5 ```python s = np.sort(a, axis=None) print(s[:-1][s[1:] == s[:-1]]) ``` 输出： ``` array([1, 3]) ``` 该方法通过排序后比较相邻元素是否相等来找出重复值。 #### 四、总结本文详细介绍了如何使用 Pandas 和 NumPy 来统计数据框中某列的重复值。这些方法可以帮助我们更好地理解数据，并在后续的数据清洗和分析过程中做出更合理的决策。在实际应用中，选择哪种方法取决于具体的需求以及数据的特点。

你可以使用 Pandas 中的 `.iloc` 方法来获取 DataFrame 中某一列的最后一个数。例如，假设你要获取 DataFrame 中名为 `column_name` 的列的最后一个数，你可以使用以下代码： ```python last_value = df['column_name'].iloc[-1] ``` 其中，`df` 是指你的 DataFrame 对象。`['column_name']` 指定了要获取的列名，`.iloc[-1]` 则表示获取该列的最后一个值。

阅读全文

Pandas 取列最后一个数

相关推荐

pandas DataFrame 根据多列的值做判断,生成新的列值实例

一场Pandas与SQL的巅峰大战三1

pandas取某列最后一个值

pandas不取最后一列

pandas 取每个月最后一天

两个pandas取交集，按照第一列

两个pandas取并集，两个相同列，不同行值，完整代码

pandas 取某列等于某个值的情况下的dataframe

pandas 分组取中位数

pandas取其中几列

pandas对列求对数

用python的pandas库写一个用dataframe函数取一列数据的函数

pandas取字符串中的一段

python使用pandas读取csv再取其中某一列

pandas库取均值

pandas 两个dataframe取差集

pandas，读入多个csv，把它们的第2列取出来，按列concat到新的csv，并为新csv的每列指定一个新的列名，并为每列开始增加一个新的元素，元素值为文件扩展名，列名为输入csv文件名？

pandas 输出第二列

pandas读取breast_cancer数据集，查看最后一列的数据

最新推荐

使用Python Pandas处理亿级数据的方法

16-17 数据挖掘算法基础 - 分类与回归1(1).ipynb

C语言数组操作：高度检查器编程实践

管理建模和仿真的文件

【KUKA系统变量进阶】：揭秘从理论到实践的5大关键技巧

如何使用Python编程语言创建一个具有动态爱心图案作为背景并添加文字'天天开心（高级版）'的图形界面？

基于Swift开发的嘉定单车LBS iOS应用项目解析

"互动学习：行动中的多样性与论文攻读经历"

PROTEUS符号定制指南：个性化元件创建与修改的全面攻略

https://www.lagou.com/wn/爬取该网页职位名称，薪资待遇，学历，企业类型，工作地点数据保存为CSV文件的python代码