spark DataFrame 使用方法

Spark DataFrame是一种分布式数据集，类似于关系型数据库中的表格。以下是使用Spark DataFrame的方法：

1. 创建DataFrame

可以使用SparkSession的createDataFrame方法从不同的数据源创建DataFrame。例如，从一个RDD创建DataFrame：

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("DataFrameExample").getOrCreate()

# Create an RDD
rdd = spark.sparkContext.parallelize([(1, "John"), (2, "Mary"), (3, "Bob")])

# Create a DataFrame from the RDD
df = spark.createDataFrame(rdd, ["id", "name"])

2. 显示DataFrame

使用show方法可以显示DataFrame的内容：

df.show()

3. 执行DataFrame操作

DataFrame支持各种操作，例如选取特定的列、过滤行、聚合数据等等。下面是一些常见的操作：

- 选取特定的列：

df.select("name").show()

- 过滤行：

df.filter(df["id"] > 1).show()

- 聚合数据：

from pyspark.sql.functions import mean

df.agg(mean("id")).show()

4. 写入DataFrame

可以将DataFrame写入不同的数据源中，例如写入Parquet文件：

df.write.parquet("path/to/parquet")

5. 读取DataFrame

可以从不同的数据源中读取DataFrame，例如从Parquet文件中读取：

df = spark.read.parquet("path/to/parquet")

以上是Spark DataFrame的一些基本使用方法。DataFrame提供了很多高级功能，例如窗口函数、连接操作等等，可以根据具体需求进行学习和使用。