Jupyter Notebook 中的数据处理与清洗技巧

# 1. 数据导入与概览

数据是任何数据分析工作的基础，正确导入并初步观察数据是数据处理的第一步。本章将介绍如何在 Jupyter Notebook 中进行数据导入与概览，包括导入数据集、查看数据集信息、数据预览与初步观察等操作。

### 导入数据集
在数据处理过程中，我们通常会使用 pandas 库来处理数据。pandas 提供了丰富的数据结构和函数，可以方便地导入各种格式的数据文件，如 CSV、Excel、SQL 数据库等。下面是导入数据集的示例代码：

import pandas as pd

# 从 CSV 文件导入数据集
df = pd.read_csv('data.csv')

# 从 Excel 文件导入数据集
df = pd.read_excel('data.xlsx')

# 从 SQL 数据库导入数据集
import sqlite3
conn = sqlite3.connect('database.db')
df = pd.read_sql_query("SELECT * FROM table", conn)

### 查看数据集信息
在导入数据集后，我们需要查看数据集的基本信息，包括数据的维度、列名、数据类型、缺失值情况等。使用 `info()` 方法可以快速查看数据集的信息：

# 查看数据集信息
df.info()

### 数据预览与初步观察
除了查看数据集的信息外，我们还可以通过 `head()`、`tail()` 等方法预览数据集的前几行或后几行，以便对数据的结构有更直观的认识：

# 查看数据集的前几行
df.head()

# 查看数据集的后几行
df.tail()

通过以上操作，我们可以对导入的数据集有一个初步的了解，为后续的数据清洗与处理奠定基础。

# 2. 数据清洗与处理

数据清洗与处理是数据分析中至关重要的一环，通过对数据进行清洗与处理可以使数据更加准确、完整，从而提高后续分析的准确性和可信度。本章将介绍常见的数据清洗与处理技巧，包括处理缺失值、处理重复值、数据类型转换和异常值处理。

### 处理缺失值
数据中经常会存在缺失值，缺失值会影响计算结果与分析结论。常见的处理方法包括删除缺失值、填充缺失值等。

下表展示了一个包含缺失值的数据集示例，我们将演示如何处理这些缺失值。

| 姓名 | 年龄 | 性别 | 成绩 |
|--------|------|------|------|
| 小明 | 25 | 男 | 85 |
| 小红 | 30 | 女 | NaN |
| 小华 | NaN | 男 | 77 |
| 小李 | 28 | 男 | 92 |

# 处理缺失值示例代码
import pandas as pd

data = {'姓名': ['小明', '小红', '小华', '小李'],
        '年龄': [25, 30, None, 28],
        '性别': ['男', '女', '男', '男'],
        '成绩': [85, None, 77, 92]}

df = pd.DataFrame(data)
# 删除包含缺失值的行
df.dropna(inplace=True)

处理后的数据集将删除包含缺失值的行，保留完整的数据。

### 处理重复值
数据中可能存在重复值，重复值会影响数据分析结果的准确性。常见的处理方式包括删除重复值、保留唯一值等。

下面的代码演示了如何处理重复值：

# 处理重复值示例代码
# 假设 df 是包含重复值的数据集
df.drop_duplicates(inplace=True)

通过上述代码，我们可以将数据集中的重复值删除，确保数据的唯一性。

以上是数据清洗与处理中处理缺失值和重复值的示例，接下来我们将继续介绍数据类型转换和异常值处理等内容。

# 3. 数据筛选与排序

在数据处理过程中，数据筛选与排序是非常常见的操作。通过筛选我们可以选择感兴趣的数据子集，而排序则可以按照特定的规则对数据进行排列。在本章节，我们将介绍如何进行数据筛选与排序的操作。

### 1. 条件筛选

在数据框中，我们经常需要根据某些条件来筛选出符合条件的数据行。下面的示例演示了如何使用 Pandas 进行条件筛选：

import pandas as pd

# 创建示例数据
data = {'A': [1, 2, 3, 4, 5],
        'B': ['a', 'b', 'c', 'd', 'e']}
df = pd.DataFrame(data)

# 根据条件筛选
filtered_df = df[df['A'] > 2]
print(filtered_df)

通过以上代码，我们可以根据列'A'的值大于2的条件筛选出符合条件的数据行。

### 2. 列选择与过滤

除了对行进行筛选，有时也需要对列进行选择和过滤。Pandas 提供了简单的方式来实现：

# 选择特定列
selected_columns = df[['A', 'B']]
print(selected_columns)

# 过滤列
filtered_columns = df.drop('A', axis=1)
print(fi