pyspark 常用操作

Pyspark是一个开源的大数据处理框架，用于分布式数据处理和分析。以下是Pyspark常用操作的一些示例：

1. 数据读取和写入：使用Pyspark可以从各种数据源中读取数据，如Hadoop分布式文件系统(HDFS)、关系型数据库或CSV文件等。示例代码如下：

   # 从CSV文件中读取数据
   df = spark.read.csv("data.csv")
   
   # 将数据写入HDFS
   df.write.format("csv").mode("overwrite").save("hdfs://path/to/save")

2. 数据转换：Pyspark提供了丰富的数据转换操作，如选择特定列、添加新列、过滤数据等。示例代码如下：

   # 选择特定列
   df.select("column1", "column2")
   
   # 添加新列
   df.withColumn("new_column", df.column1 + df.column2)
   
   # 过滤数据
   df.filter(df.column1 > 10)

3. 聚合操作：Pyspark支持各种聚合操作，如求和、平均、最大值、最小值等。示例代码如下：

   # 求和
   df.groupBy("column1").sum("column2")
   
   # 平均值
   df.groupBy("column1").avg("column2")
   
   # 最大值
   df.groupBy("column1").max("column2")
   
   # 最小值
   df.groupBy("column1").min("column2")

4. 排序和分区：Pyspark可以对数据进行排序和分区，以便更好地组织和处理数据。示例代码如下：

   # 按特定列排序
   df.orderBy("column1")
   
   # 按多个列排序
   df.orderBy("column1", "column2")
   
   # 按特定列分区
   df.repartition("column1")
   
   # 按多个列分区
   df.repartition("column1", "column2")

以上只是Pyspark常用操作的一些示例，Pyspark还提供了许多其他功能，如窗口函数、连接操作等，可以根据具体需求进行学习和应用。