Python数据处理：pandas合併与重塑

"Python科学计算与数据处理-pandas(2).ppt" 在Python的科学计算领域，pandas库扮演着至关重要的角色，它提供了强大的数据规整化和处理能力。本讲义主要涵盖了如何使用pandas进行数据集的合并、重塑以及数据转换等核心功能。 1. 合并数据集 在pandas中，合并数据集是通过`pandas.merge`、`Pandas.concat`和`combine_first`等方法实现的。`merge`函数允许根据一个或多个键（通常是共享的列）将不同的DataFrame连接在一起，类似于SQL中的JOIN操作。例如，通过两个包含共同键（如'key'）的DataFrame，可以将它们按键进行合并。当键存在重复时，`merge`可以处理多对一或多对多的关系。 ```python >>> df1 = DataFrame({'key': ['b', 'b', 'a', 'c', 'a', 'a', 'b'], 'data1': range(7)}) >>> df2 = DataFrame({'key': ['a', 'b', 'd'], 'data2': range(3)}) >>> pd.merge(df1, df2) ``` 这段代码展示了如何进行数据库风格的DataFrame合并，未指定键时，默认使用重叠列名作为键。 2. 重塑和轴向旋转 pandas提供了多种方式来改变数据结构，包括重塑层次化索引和将数据从“长格式”转换为“宽格式”。层次化索引（Hierarchical indexing）允许在一个轴上使用多级索引，这样可以更有效地处理复杂的数据结构。而将数据从“长格式”转为“宽格式”通常用于将具有多个变量的观测值整理成表格形式，便于分析。 3. 数据转换 数据转换包括去除重复数据、使用函数或映射进行数据转换、替换值、重命名轴索引等。例如，`drop_duplicates`方法可以移除数据中的重复行，`apply`函数可以对数据应用自定义的转换函数，`replace`用于替换特定值，`rename`则用于更改轴索引的名称。 4. 离散化和面元划分 pandas还支持数据的离散化和面元划分，这在处理连续数据或者创建分箱（bins）时非常有用。例如，`cut`和`qcut`函数可以将连续数据分割成若干区间，方便进行分组分析。 5. 异常值检测和过滤 异常值检测和过滤是数据预处理的重要环节。pandas提供了诸如`isnull`和`notnull`等方法来检查和过滤缺失值，还可以使用条件表达式来筛选数据，去除不符合条件的观测值。 6. 排列和随机采样 为了进行排序或获取样本数据，可以使用`sort_values`进行排序，`sample`则用于从DataFrame或Series中随机抽取样本。 7. 计算指标/哑变量 在统计分析和建模中，经常需要创建新特征或哑变量（dummy variables）。pandas的`get_dummies`函数可以将分类变量转换为二进制形式，便于模型处理。 pandas为数据科学家提供了强大的工具，用于数据清洗、整理和分析，大大简化了在数据分析和建模过程中的数据准备阶段的工作。通过熟练掌握pandas的这些功能，可以高效地处理各种类型和规模的数据集。