pandas去除异常行

在Pandas中，去除异常行通常是指处理数据集中包含缺失值、错误值或不符合预期的数据记录。有几种常见的方法可以实现这个目标：

1. **dropna()**：这个函数用于删除含有缺失值的行。你可以选择性地删除所有含有缺失值（默认）、仅含某一列缺失值或多列缺失值的行。

   df = df.dropna()  # 删除所有含有缺失值的行
   df = df.dropna(subset=['column_name'])  # 删除特定列含有缺失值的行

2. **drop_duplicates()**：如果数据中有重复的行，可以使用此函数删除重复项，可以根据一列或多列的值来判断是否重复。

   df = df.drop_duplicates()  # 默认删除所有列的重复项
   df = df.drop_duplicates(subset='column_name')  # 指定按某列去重

3. **isnull() 和 notnull()**：检查数据是否存在缺失值，然后利用布尔索引来过滤掉异常行。

   mask = df['column_name'].notnull()  # 创建一个布尔系列，True表示非空
   df = df[mask]  # 保留非空值的行

4. **异常值处理**：对于数值型异常值，可以设定阈值范围，比如超过某个标准差的值视为异常，然后删除或替换它们。

   Q1, Q3 = df['column_name'].quantile([0.25, 0.75])
   IQR = Q3 - Q1
   df = df[~((df['column_name'] < (Q1 - 1.5 * IQR)) |(df['column_name'] > (Q3 + 1.5 * IQR)))].dropna()