【数据处理技巧】：在Pandas DataFrame中巧妙添加新行与列


参考资源链接：[python中pandas.DataFrame对行与列求和及添加新行与列示例](https://wenku.csdn.net/doc/cyhdalx4m0?spm=1055.2635.3001.10343)
# 1. Pandas库概述与数据结构基础

## 1.1 Pandas库简介
Pandas是一个开源的Python数据分析库，由Wes McKinney于2008年发起。它提供了高性能、易用的数据结构和数据分析工具。Pandas主要依赖NumPy，支持丰富的数据结构，如Series和DataFrame，用于处理结构化（表格、多维、异质）和时间序列数据。Pandas是数据分析和科学计算社区中不可或缺的工具之一。

## 1.2 Pandas的发展与应用
Pandas的成功在于其简单易用的接口和强大的数据处理能力。它广泛应用于金融、统计、社交科学研究、互联网数据抓取和分析等领域。例如，在金融领域，分析师可以使用Pandas来处理和分析股票市场的历史数据，创建图表和预测模型。

## 1.3 Pandas数据结构基础
Pandas最核心的数据结构是Series和DataFrame。Series是一个一维的标签数组，能够存储任何数据类型（整数、字符串、浮点数、Python对象等）。DataFrame是一个二维的标签数据结构，可以看作是一个表格或者说是Series对象的容器。DataFrame非常适合处理表格数据，并且能够处理异构类型的数据。

通过这一章的介绍，我们可以了解到Pandas作为一个强大的数据处理库，其关键在于它提供的高效数据结构和一系列用于数据清洗、分析和可视化的工具。在后续的章节中，我们将逐步探索如何利用Pandas的数据结构，进行数据分析与处理。

# 2. DataFrame的基本操作

## 2.1 DataFrame数据类型和属性

### 2.1.1 DataFrame数据类型简介

在Pandas库中，`DataFrame`是一个二维的、大小可变的、潜在异质型的表格型数据结构。它由行和列组成，每行和每列都可以有自己的标签，这些标签被称为索引（index）和列名（columns）。这种结构非常适合于处理结构化数据集，允许快速插入、删除和选择数据行和列。

`DataFrame`的核心数据类型是`ndarray`（即n维数组），它被封装在一个Pandas的`DataFrame`对象中。与`ndarray`相比，`DataFrame`拥有许多额外的特性，包括能够处理不同的数据类型（`object`、`float64`、`int64`、`bool`等），以及能够定义列和行的名称标签。

每个`DataFrame`都由几个关键部分构成，包括：

- **Index**：一个轴标签，用于标识行。
- **Columns**：另一个轴标签，用于标识列。
- **Data**：实际的数据，通常存储为一个`ndarray`对象。

下面是一个简单的例子，展示如何创建一个`DataFrame`：

import pandas as pd
from numpy.random import randn

# 创建一个随机数的DataFrame
df = pd.DataFrame(randn(4, 3), columns=['A', 'B', 'C'])

# 查看DataFrame信息
print(df)

输出的`DataFrame`将包含由`randn`函数生成的随机数据，并且具有3列，分别标记为A、B和C。

### 2.1.2 探索DataFrame的关键属性

`DataFrame`对象有许多内置属性，这些属性可以帮助我们了解数据集的基本特征：

- `df.shape`：返回一个元组，表示DataFrame的维度（行数和列数）。
- `df.columns`：返回列标签的索引对象。
- `df.index`：返回行标签的索引对象。
- `df.dtypes`：返回每个列的数据类型。

print(f"Shape of DataFrame: {df.shape}")
print(f"Columns: {df.columns}")
print(f"Index: {df.index}")
print(f"Data types: \n{df.dtypes}")

利用这些属性，我们可以快速检查数据集的结构和内容类型，确保数据在进一步分析之前格式正确。

## 2.2 DataFrame的索引与选择技术

### 2.2.1 索引的重要性与类型

索引在`DataFrame`中起着至关重要的作用，它不仅帮助我们定位数据集中的行和列，还可以作为其他数据结构（如字典）的键。Pandas提供了多种索引方式，包括：

- **位置索引**（基于行号）
- **标签索引**（基于行或列标签）
- **布尔索引**（基于条件表达式）

默认情况下，`DataFrame`使用整数位置索引。我们可以使用`iloc`属性来通过位置索引数据，使用`loc`属性通过标签索引数据。`iloc`仅使用整数进行位置定位，而`loc`则可以使用行标签、列标签或它们的组合。

### 2.2.2 利用条件筛选数据

筛选`DataFrame`中的数据通常需要使用条件表达式。例如，如果我们想要找出所有数值大于某个阈值的行，可以使用布尔索引。Pandas中的条件筛选通过逻辑运算符（如`==`、`!=`、`>`、`<`等）来实现。

# 假设我们想筛选列A中值大于0的行
filtered_df = df[df['A'] > 0]

print(filtered_df)

在上述代码中，`df['A'] > 0`创建了一个布尔序列，然后这个布尔序列被用来从原始`DataFrame`中选择满足条件的行。

### 2.2.3 使用切片和掩码选择数据

切片操作在`DataFrame`中非常直观，可以用来选择行或列的子集。切片操作通过使用`:`符号来指定开始和结束的位置，就像在Python列表中一样。

# 选择前两行
first_two_rows = df.iloc[:2]

# 选择第三列
third_column = df.iloc[:, 2]

print(first_two_rows)
print(third_column)

掩码是另一种选择数据的方法，它允许我们根据更复杂的条件进行数据筛选。与简单的布尔索引相比，掩码可以更灵活地定义条件，例如组合多个条件。

# 创建一个掩码，例如：找出列A值大于0且列B值小于0的行
mask = (df['A'] > 0) & (df['B'] < 0)

# 使用掩码选择数据
masked_df = df[mask]

print(masked_df)

掩码通常与`&`（与）、`|`（或）等逻辑运算符结合使用，可以组合多个条件来筛选数据。

## 2.3 DataFrame的数据修改与缺失值处理

### 2.3.1 修改数据值的策略

修改`DataFrame`中的数据通常需要直接指定新值，并配合索引器来定位需要修改的数据位置。我们可以使用`.loc`或`.iloc`来实现这一点。

例如，如果我们想要修改列'A'中第1行的数据为100，可以这样做：

df.loc[0, 'A'] = 100  # 第0行，列'A'

print(df)

在某些情况下，我们也可能需要对数据进行批量修改。这可以通过直接对整个列赋值来实现，前提是新值与列的长度相匹配。

# 修改列'B'的所有值为0
df['B'] = 0

print(df)

### 2.3.2 处理缺失数据的方法

在处理数据时，经常会遇到数据缺失的情况，Pandas提供了多种工具来处理这些缺失值。处理缺失值的第一步通常是识别它们，Pandas中表示缺失值的典型方式有`np.nan`、`None`或者空字符串。

import numpy as np

# 创建一个含有缺失值的DataFrame
df = pd.DataFrame({'A': [1, 2, np.nan], 'B': [np.nan, 5, 6]})

print(df)

处理缺失值的方法包括：

- 使用`dropna()`删除缺失值。
- 使用`fillna()`填充缺失值。
- 使用`isnull()`或`notnull()`检测缺失值。

# 删除包含缺失值的所有行
df_dropped = df.dropna()

# 使用0填充缺失值
df_filled = df.fillna(0)

# 检测缺失值并返回一个布尔型DataFrame
df_isnull = df.isnull()

print(df_dropped)
print(df_filled)
print(df_isnull)

选择哪种处理方法取决于具体的数据分析任务和数据的质量要求。在某些情况下，删除缺失值是不可取的，因为它可能会导致数据丢失过多。在其他情况下，填充缺失值可能是必要的，因为缺失的数据可能影响模型的准确性。

# 3. 在DataFrame中添加新行和列的技巧

## 3.1 添加新行的方法与实践

### 3.1