Python pandas：基础操作实战，包括筛选、数据转换与统计

在Python的Pandas库中，进行数据分析和处理是必不可少的一部分。本文将深入探讨一系列基本的编程题目，这些操作涵盖了Pandas库的核心功能，包括数据筛选、增删改查等。Pandas是数据科学领域中的强大工具，特别适合处理结构化数据，如表格数据。 首先，我们来看几个关于数据筛选的例子： 1. **按年份分组计数**：`df.groupby("year").size()` 这个命令用于对数据集按年份进行分组，并计算每个年份内二手车的数量，这对于了解数据的时间分布很有帮助。 2. **数据编码**：`df["transmission"]=df["transmission"].map({"Manual":0,"Automatic":1})` 是对分类变量（如"transmission"）进行编码，将其转换为数值形式，便于后续处理。 3. **导出CSV**：`data_to_csv("",index=False)` 用于将DataFrame保存到CSV文件，index=False表示不保留行索引。 接下来，我们关注数据清洗和类型转换： 4. **时间戳类型转换**：`df["timestamp"]=pd.to_datetime(df["timestamp"])` 将时间戳列转换为日期时间格式，以便进行更精细的时间分析。 5. **添加新列**：`df["hour"]=df["timestamp"].dt.hour` 和 `df["month"]=df["timestamp"].dt.month` 分别创建了小时和月份列，用于按时间划分数据。 6. **计算月度统计**：`df_agg=df.groupby("month")["hum"].mean().reset_index()` 通过groupby函数按月份计算湿度的平均值，然后reset_index将索引转换回列。 7. **条件筛选**：`df=df.query("wind_speed<10 and hum>90")` 通过query方法根据特定条件（如风速小于10且湿度大于90）筛选数据。 此外，还有数据操作和管理： 8. **数据复制**：`df.copy()` 创建数据的副本，防止原始数据被意外修改。 9. **删除重复行**：`df.drop_duplicates()` 用于去除数据集中重复的行，`df[df.duplicated()]` 则显示重复行的位置。 10. **列类型筛选**：`df.select_dtypes(include=["object"])` 选择数据集中对象类型（如字符串）的列。 11. **数据类型转换**：`df[column]=df[column].astype('category')` 将某些列转换为类别（category）类型，节省存储空间并支持离散数据的高效编码。 12. **数值类型列筛选**：`df.select_dtypes(include=["float","int"])` 提取包含数值（浮点数和整数）的数据列。 以上是一些基本的Pandas编程操作，熟练掌握这些技能可以让你在数据处理和分析过程中游刃有余。通过组合这些基础操作，你可以解决各种复杂的数据问题，进一步提升数据科学项目的效率和准确性。