pandas 的pandas的用法

时间: 2024-07-16 11:01:27 浏览: 59

pandas基础使用教程.pdf

pandas，目录 1. 常用方法 pandas.Series 2. pandas.DataFrame ([data],[index]) 根据行建立数据 3. pandas.DataFrame ({dic}) 根据列建立数据 4. pandas.DataFrame（[list]）根据数据建立列数据 5. loc / iloc 数据筛选 6. 多级行索引 7. 使用 pandas.MultiIndex 显式创建多级行索引 8. 多级行索引的升维及降维 9. 在DataFrame 中添加列 insert 10. 排序 sort 11. 根据多级索引进行数据统计 12. 简易合并 pandas.concat 13. pandas.merge 合并与链接 14. 列统计函数 describe 15. groupby 分组运算 16. pivot_table 数据透视表 17. 高性能列间运算 eval 与 query ### pandas基础使用教程知识点概述 #### 1. pandas.Series `pandas.Series` 是一个一维数组对象，它能够保存任何数据类型（整型、字符串、浮点型等）。一个 `Series` 可以被看作是具有统一类型的数据数组，并且带有标签。 **参数解释**： - `data`：数据内容，可以是列表、字典或其他可迭代对象。 - `index`：索引标签，默认为整数索引。 - `dtype`：数据类型，默认自动推断。 - `name`：名称，默认为 None。 - `copy`：是否复制数据，默认为 False。 - `fastpath`：内部使用，通常不需要设置。 **示例**： ```python # 默认索引从 0 开始 list_series = pd.Series(['a', 'b', 'c']) print(list_series) # 输出: # 0 a # 1 b # 2 c # dtype: object # 自定义索引 list_series = pd.Series(['Leslie', 'Jack', 'Mike'], index=[2, 1, 3]) print(list_series) # 输出: # 2 Leslie # 1 Jack # 3 Mike # dtype: object # 通过字典创建 Series list_series = pd.Series({'2': 'Leslie', '1': 'Jack', '3': 'Mike'}) print(list_series) # 输出: # 2 Leslie # 1 Jack # 3 Mike # dtype: object # 指定索引并筛选 list_series = pd.Series({'2': 'Leslie', '1': 'Jack', '3': 'Mike'}, index=[2, 3]) print(list_series) # 输出: # 2 Leslie # 3 Mike # dtype: object # 指定列名 price = pd.Series(['68', '90'], name='price', index=['JAVA IN ACTION', 'Python Data Science Handbook']) print(price) # 输出: # JAVA IN ACTION 68 # Python Data Science Handbook 90 # Name: price, dtype: object ``` #### 2. pandas.DataFrame - 根据行建立数据 `DataFrame` 是一个表格型数据结构，它包含一组有序的列，每列可以是不同的值类型（例如整数、字符串、浮点数等）。DataFrame 的行和列都有标签，这提供了丰富的功能用于数据分析。 **创建 DataFrame 方法**： - 通过列表创建 DataFrame - 通过字典创建 DataFrame - 通过数据创建 DataFrame **示例**： ```python # 通过列表创建 DataFrame df_list = pd.DataFrame([[1, 2], [3, 4]], columns=['A', 'B']) print(df_list) # 输出: # A B # 0 1 2 # 1 3 4 # 通过字典创建 DataFrame df_dict = pd.DataFrame({'A': [1, 2], 'B': [3, 4]}) print(df_dict) # 输出: # A B # 0 1 3 # 1 2 4 # 通过数据创建 DataFrame data = {'A': [1, 2], 'B': [3, 4]} df_data = pd.DataFrame(data) print(df_data) # 输出: # A B # 0 1 3 # 1 2 4 ``` #### 3. pandas.DataFrame - 根据列建立数据通过提供一个字典，其中键作为列名，值作为对应的 Series 或者列表来构建 DataFrame。 **示例**： ```python # 通过字典创建 DataFrame df_dict = pd.DataFrame({'A': [1, 2], 'B': [3, 4]}) print(df_dict) # 输出: # A B # 0 1 3 # 1 2 4 ``` #### 4. pandas.DataFrame - 根据数据建立列数据通过提供一个列表，其中每个元素也是一个列表或元组，每个内部列表或元组代表一列数据。 **示例**： ```python # 通过列表创建 DataFrame df_list = pd.DataFrame([[1, 2], [3, 4]], columns=['A', 'B']) print(df_list) # 输出: # A B # 0 1 2 # 1 3 4 ``` #### 5. loc / iloc - 数据筛选 `loc` 和 `iloc` 是两种不同的数据选择方法，它们分别基于标签和位置进行数据的选择。 - `loc`：基于标签进行选择。 - `iloc`：基于位置进行选择。 **示例**： ```python df = pd.DataFrame({'A': [1, 2], 'B': [3, 4]}) print(df.loc[0]) # 选择第一行 print(df.iloc[0]) # 选择第一行 ``` 接下来，我们将继续探讨多级行索引、多级行索引的升维及降维、在 DataFrame 中添加列、排序、根据多级索引进行数据统计等高级主题。 --- ### 继续深入学习 pandas #### 6. 多级行索引在 pandas 中，可以创建具有多个层次的索引，这些索引可用于更复杂的数据结构。 **创建多级索引**： ```python import pandas as pd # 创建 MultiIndex index = pd.MultiIndex.from_tuples([('a', 1), ('a', 2), ('b', 1), ('b', 2)]) df = pd.DataFrame({'A': [1, 2, 3, 4]}, index=index) print(df) # 输出: # A # a 1 1 # 2 2 # b 1 3 # 2 4 ``` #### 7. 使用 pandas.MultiIndex 显式创建多级行索引显式地创建多级索引可以通过 `pd.MultiIndex.from_tuples` 或其他构造方法来实现。 **示例**： ```python index = pd.MultiIndex.from_tuples([('a', 1), ('a', 2), ('b', 1), ('b', 2)], names=['letter', 'number']) df = pd.DataFrame({'A': [1, 2, 3, 4]}, index=index) print(df) # 输出: # A # letter number # a 1 1 # 2 2 # b 1 3 # 2 4 ``` #### 8. 多级行索引的升维及降维通过增加或减少层次可以改变多级索引的维度。 **升维**： ```python df = df.unstack(level=1) print(df) # 输出: # A # letter 1 2 # a 1 2 # b 3 4 ``` **降维**： ```python df = df.stack() print(df) # 输出: # letter number # a 1 1 # 2 2 # b 1 3 # 2 4 # Name: A, dtype: int64 ``` #### 9. 在 DataFrame 中添加列可以使用 `insert` 方法在 DataFrame 中插入新列。 **示例**： ```python df = pd.DataFrame({'A': [1, 2], 'B': [3, 4]}) df.insert(0, 'C', [5, 6]) print(df) # 输出: # C A B # 0 5 1 3 # 1 6 2 4 ``` #### 10. 排序 DataFrame 可以按列进行排序。 **示例**： ```python df = pd.DataFrame({'A': [1, 2], 'B': [3, 4]}) df_sorted = df.sort_values(by='A') print(df_sorted) # 输出: # A B # 0 1 3 # 1 2 4 ``` #### 11. 根据多级索引进行数据统计使用多级索引的数据可以方便地进行聚合操作。 **示例**： ```python df = pd.DataFrame({'A': [1, 2, 3, 4], 'B': [5, 6, 7, 8]}, index=pd.MultiIndex.from_tuples([('a', 1), ('a', 2), ('b', 1), ('b', 2)])) print(df.groupby(level=0).sum()) # 输出: # A B # a 3 11 # b 7 15 ``` #### 12. 简易合并 pandas.concat `concat` 函数可以将多个 DataFrame 沿着一个轴合并在一起。 **示例**： ```python df1 = pd.DataFrame({'A': ['A0', 'A1'], 'B': ['B0', 'B1']}) df2 = pd.DataFrame({'A': ['A2', 'A3'], 'B': ['B2', 'B3']}) result = pd.concat([df1, df2]) print(result) # 输出: # A B # 0 A0 B0 # 1 A1 B1 # 0 A2 B2 # 1 A3 B3 ``` #### 13. pandas.merge - 合并与链接 `merge` 函数可以根据一个或多个键将不同 DataFrame 进行合并。 **示例**： ```python df1 = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3'], 'A': ['A0', 'A1', 'A2', 'A3']}) df2 = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3'], 'B': ['B0', 'B1', 'B2', 'B3']}) result = pd.merge(df1, df2, on='key') print(result) # 输出: # key A B # 0 K0 A0 B0 # 1 K1 A1 B1 # 2 K2 A2 B2 # 3 K3 A3 B3 ``` #### 14. 列统计函数 describe `describe` 方法提供数据的基本统计信息，如计数、平均值、标准差等。 **示例**： ```python df = pd.DataFrame({'A': [1, 2, 3, 4], 'B': [5, 6, 7, 8]}) print(df.describe()) # 输出: # A B # count 4.0 4.0 # mean 2.5 6.5 # std 1.118034 1.118034 # min 1.0 5.0 # 25% 1.5 5.5 # 50% 2.5 6.5 # 75% 3.5 7.5 # max 4.0 8.0 ``` #### 15. groupby - 分组运算 `groupby` 方法可以根据一个或多个键将数据分组，并对每个组执行计算。 **示例**： ```python df = pd.DataFrame({'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'], 'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'], 'C': np.random.randn(8), 'D': np.random.randn(8)}) grouped = df.groupby('A').sum() print(grouped) # 输出: # C D # A # bar -0.456224 0.584617 # foo 0.350121 -0.424742 ``` #### 16. pivot_table - 数据透视表 `pivot_table` 方法可以轻松地创建复杂的汇总表格。 **示例**： ```python df = pd.DataFrame({'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'], 'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'], 'C': np.random.randn(8), 'D': np.random.randn(8)}) pivot_table = pd.pivot_table(df, values='D', index=['A'], columns=['B']) print(pivot_table) # 输出: # B one two three # A # bar -0.063994 -0.046832 0.584617 # foo -0.506491 0.350121 -0.424742 ``` #### 17. 高性能列间运算 eval 与 query `eval` 和 `query` 方法可以高效地执行列间的数学运算和条件查询。 **示例**： ```python df = pd.DataFrame({'A': [1, 2, 3, 4], 'B': [5, 6, 7, 8]}) df['C'] = df.eval('A + B') # 计算 A + B 的结果 print(df) # 输出: # A B C # 0 1 5 6 # 1 2 6 8 # 2 3 7 10 # 3 4 8 12 # 查询满足条件的数据 filtered = df.query('C > 7') print(filtered) # 输出: # A B C # 2 3 7 10 # 3 4 8 12 ``` 以上就是本教程涵盖的所有知识点。通过这些基础知识和高级技巧的学习，你可以更加熟练地使用 pandas 进行数据处理和分析。

Pandas是一个强大的数据处理库，它允许用户轻松地对结构化数据进行清洗、操作和分析。它的核心有两个重要的数据结构：Series（一维带标签数组）和DataFrame（二维表格型数据结构，类似于电子表格）。以下是Pandas的一些基本用法： 1. **导入模块**：首先需要通过`import pandas as pd`语句导入pandas模块。 ```python import pandas as pd ``` 2. **创建Series**：可以使用字典或者列表创建Series。 ```python data = {'Name': ['Tom', 'Nick', 'John'], 'Age': [20, 21, 19]} s = pd.Series(data) ``` 3. **创建DataFrame**：可以用字典、列表的列表，或者其他pandas数据结构初始化。 ```python df = pd.DataFrame(data) ``` 4. **读取文件**：支持多种数据源，如CSV、Excel、SQL等。 ```python df = pd.read_csv('file.csv') ``` 5. **数据清洗**：提供大量函数用于处理缺失值、重复值和异常值。 ```python df.dropna() # 删除含有缺失值的行 df.fillna(value) # 填充缺失值 ``` 6. **数据筛选和分组**： ```python df[df['Age'] > 20] # 筛选年龄大于20的记录 grouped = df.groupby('Name') # 按名字分组 ``` 7. **数据分析和统计**：如计算描述性统计、聚合等。 ```python df.describe() # 计算统计摘要 df['Age'].mean() # 年龄的平均值 ```

阅读全文

pandas 的pandas的用法

相关推荐

python之pandas用法大全

Pandas手册.pdf

pandas的使用方法

pandas

Pandas

pandas用法自整理

2 pandas用法1

python pandas用法

pandas库的使用方法

pandas主要用法

Python中pandas用法

python的pandas用法

python pandas 使用方法

关于组织参加“第八届‘泰迪杯’数据挖掘挑战赛”的通知-4页

PyMySQL-1.1.0rc1.tar.gz

技术资料分享CC2530中文数据手册完全版非常好的技术资料.zip

docker构建php开发环境

VB程序实例59_系统信息_显示分辨率.zip

pytz-2016.7-py2.6.egg

最新推荐

使用Python Pandas处理亿级数据的方法

Python使用pandas对数据进行差分运算的方法

Python Pandas分组聚合的实现方法

Python Pandas找到缺失值的位置方法

pandas对指定列进行填充的方法

StarModAPI: StarMade 模组开发的Java API工具包

管理建模和仿真的文件

R语言数据清洗术：Poisson分布下的异常值检测法

设计一个简易的Python问答程序

PHP疫情上报管理系统开发与数据库实现详解