Pyspark程序与spark交互流程

Pyspark程序与Spark的交互流程如下：

1. 导入必要的模块和类：

from pyspark.sql import SparkSession

2. 创建SparkSession对象：

spark = SparkSession.builder \
    .appName("SparkApp") \
    .getOrCreate()

3. 使用SparkSession对象创建DataFrame或RDD：

# 创建DataFrame
df = spark.read.csv("data.csv", header=True, inferSchema=True)

# 创建RDD
rdd = spark.sparkContext.parallelize([1, 2, 3, 4, 5])

4. 对DataFrame或RDD进行操作和转换：

# DataFrame操作
df.show()
df.filter(df.age > 30).show()

# RDD操作
rdd.map(lambda x: x * 2).collect()
rdd.filter(lambda x: x % 2 == 0).collect()

5. 执行Spark作业：

# DataFrame作业
result = df.groupBy("name").count().collect()

# RDD作业
result = rdd.reduce(lambda x, y: x + y)

6. 关闭SparkSession对象：

spark.stop()