# Handle duplicates duplicate_rows_data = df[df.duplicated()] print("number of duplicate rows: ", duplicate_rows_data.shape)

这段代码是用来处理DataFrame数据中的重复行的。首先，使用 `df[df.duplicated()]` 找出数据中所有的重复行（即每个列的值都相同的行），并将其保存到 `duplicate_rows_data` 变量中。然后，使用 `duplicate_rows_data.shape` 输出重复行的数量。

该代码可以帮助我们查找数据中的重复行，并决定如何处理这些行，例如保留第一个或最后一个重复行，或者删除所有重复行。具体的处理方法需要根据具体情况来决定。

相关问题

我已经默认df.duplicated选择的是所有列，那为什么结果出来后，明明不是完全重复的行，df.duplicated却认为它是重复的

当你使用`pandas.DataFrame.duplicated()`函数检查数据框是否包含重复行时，默认情况下，它会基于所有列的值来进行判断。如果某一行中某一列有缺失值，而其他列的值与其他行匹配，那么这一行会被标记为重复，即使从某个特定的角度来看这行并不完全相同。

`duplicated()`方法采用的是精确匹配规则（"keep=False"`），这意味着如果有任一列的值不同，该行就会被视为非重复。如果你想排除那些仅有一两个非关键列（如ID或时间戳）不同的情况，可以设置`subset`参数，指定只考虑某些列进行比较：

# 例如，如果我们只想基于列A和列B判断是否重复
duplicate_rows = df.duplicated(subset=['column_A', 'column_B'], keep=False)

如果你确定不应该基于部分列识别重复，可以尝试`keep='first'`或`keep=True`，这样只会保留第一次出现的行，并忽略后面的重复：

unique_rows = df.drop_duplicates(subset=['column_A', 'column_B'], keep='first')

第1关：Pandas数据清洗 200 任务要求 参考答案 记录 评论7 任务描述 相关知识 缺失值处理 检查缺失值 处理缺失值 重复值处理 检查重复值 重复值处理 异常值处理 检测异常值 异常值处理 编程要求 测试说明 任务描述 本关任务：读取数据，输出删除NA值以及重复值之后的结果，并重置索引列。 相关知识 数据清洗的目的有两个，第一是通过清洗让数据可用。第二是让数据变的更适合进行后续的分析工作。换句话说就是有”脏”数据要洗，干净的数据也要洗。 缺失值处理 检查缺失值 Pandas提供了isnull()和notnull()两个函数来检测数据中的NaN值。Series和DataFrame对象都可以使用。 df = pd.DataFrame({ "one": [1, 2, np.nan, 5, np.nan, np.nan, 68], "two": ["a","b","c",np.nan,"f",np.nan,"g"]}) df.isnull() # notnull()则相反，非空的显示True 输出： one two 0 False False 1 False False 2 True False 3 False True 4 True False 5 True True 6 False False 处理缺失值 Pandas中可以通过fillna()函数来用非空数据填充NA值，如果想排除缺少的值，可以使用dropna()函数。 填充： df = pd.DataFrame({ "one": [1, 2, np.nan, 5, np.nan, np.nan, 68], "two": ["a","b","c",np.nan,"f",np.nan,"g"]}) df.fillna("a") #可以填充标量 输出： one two 0 1 a 1 2 b 2 a c 3 5 a 4 a f 5 a a 6 68 g 删除缺失值时，可以传入axis参数，axis=0时则整行被删除，反之则整列被删除。默认值为0。 df = pd.DataFrame({ "one": [1, 2, np.nan, 5, np.nan, np.nan, 68], "two": ["a","b","c",np.nan,"f",np.nan,"g"]}) df.dropna() 输出： one two 0 1.0 a 1 2.0 b 6 68.0 g 重复值处理 检查重复值 Pandas中的duplicated()返回bool的Series序列表示该行是不是重复值。 df = pd.DataFrame({ "one": [1, 2, np.nan, 1, np.nan, np.nan, 68], "two": [1,"b","c",1,"f",np.nan,"g"]}) df.duplicated() 输出： 0 False 1 False 2 False 3 True 4 False 5 False 6 False dtype: bool 重复值处理 drop_duplicates()直接对重复数据（行）进行删除，返回DataFrame。 df = pd.DataFrame({ "one": [1, 2, np.nan, 1, np.nan, np.nan, 68], "two": [1,"b","c",1,"f",np.nan,"g"]}) df.drop_duplicates() 输出: one two 0 1.0 1 1 2.0 b 2 NaN c 4 NaN f 5 NaN NaN 6 68.0 g 可以传入一个列名参数，该列的所有重复行将会删除： df.drop_duplicates("one") 输出： one two 0 1.0 1 1 2.0 b 2 NaN c 6 68.0 g 异常值处理 检测异常值 发现异常值的方法是对数据进行描述性统计。使用describe函数可以生成描述统计结果，然后观察异常值的存在。超出数据正常范围的值即为异常值。 data ={ 'Name':pd.Series(['Tom','James','Ricky','Vin','Steve','Minsu','Jack','Lee']), 'Age':pd.Series(

### 数据清洗概述

数据清洗是数据科学工作流程中的重要环节，直接影响模型质量和分析结果的可靠性[^1]。本节将详细介绍如何使用 Pandas 进行数据清洗，涵盖缺失值、重复值和异常值的具体处理方法。

#### 处理缺失值

##### 检测缺失值
为了检测 DataFrame 中是否存在缺失值，可以使用 `isnull()` 函数来生成布尔矩阵，其中 True 表示存在缺失值：

import pandas as pd
print(df.isnull())

也可以通过 `any` 和 `all` 来汇总整个 DataFrame 或列是否有任何缺失值：

print(np.any(pd.isnull(df)))  # 如果有任何缺失值，则返回 True
print(np.all(pd.notnull(df)))  # 如果没有任何缺失值，则返回 True

##### 删除缺失值
当决定删除含有缺失值的记录时，可采用 `dropna()` 方法：

cleaned_df = df.dropna()

此命令会默认移除所有包含至少一个 NaN 的行；可以通过参数调整行为，例如仅在特定列无缺失的情况下保留该行。

##### 填充缺失值
对于希望保留但需填补的信息，`fillna()` 提供了多种策略，如均值填充：

df['column_name'].fillna(value=df['column_name'].mean(), inplace=True)

或者指定固定数值或其他逻辑进行填充。

#### 处理重复值

##### 检查重复项
利用 `duplicated()` 可以找出哪些行与其他行完全相同：

duplicate_rows = df[df.duplicated()]

这有助于识别潜在冗余并评估其影响范围。

##### 移除重复项
一旦确认要消除这些副本，调用 `drop_duplicates()` 即可实现这一目标：

unique_df = df.drop_duplicates()

同样支持按选定字段组合去重。

#### 检测与处理异常值

针对异常值问题，通常先基于业务理解设定合理区间外的数据视为异常点。一种常见做法是在可视化基础上结合统计量辅助判断，之后采取适当措施修正或剔除它们。例如，替换超出上下限的极值为边界处取值或是直接将其设为空缺待补救。

# 替换无穷大/负无穷大的值为NaN后再清理
df.replace([np.inf, -np.inf], np.nan).dropna(axis=1)

# 对于已知分布特性的变量，考虑应用Z-score等标准化技术筛选离群点
from scipy import stats
z_scores = stats.zscore(df.select_dtypes(include=[np.number]))
abs_z_scores = abs(z_scores)
filtered_entries = (abs_z_scores < 3).all(axis=1)
new_df = df[filtered_entries]

上述过程展示了完整的数据预处理链路，确保输入至后续建模阶段的数据集质量可靠稳定。