2. DataFrame与RDD的联系与区别。（用操作示例加以说明）

DataFrame 和 RDD 都是 Spark 中的数据结构，但是它们有许多区别和联系。

联系：

1. 都是分布式数据结构，能够在各个节点上并行处理数据。
2. 都支持函数式编程，具有不变性和懒加载等特性。
3. 都可以通过编程语言（如 Python，Java，Scala）进行操作和处理。

区别：

1. DataFrame 是基于 RDD 的高级抽象，提供了更高效的数据处理方式和更加丰富的 API。DataFrame 可以理解为一张表格，每列有名称和类型，可以通过 SQL 或 DataFrame API 进行查询、过滤、聚合等操作。而 RDD 是一个弹性分布式数据集，可以进行 Map、Reduce、Filter 等操作，但是需要手动管理数据的结构和类型。
2. DataFrame 支持自动的优化和执行计划生成，可以通过 Catalyst 框架来优化查询计划，提高查询性能。而 RDD 需要手动进行分区和缓存等操作来提高性能。
3. DataFrame 支持多种数据源，如 CSV、JSON、Parquet 等文件格式，以及 Hive、MySQL、PostgreSQL 等数据库。而 RDD 目前只支持 Hadoop 的输入输出格式和基本的数据类型（如文本、序列化对象等）。
4. DataFrame 可以使用 Spark SQL 来进行查询，还可以使用 Python、Java、Scala 等语言的 API 进行操作。而 RDD 可以使用 Spark 的核心 API 进行操作。

操作示例：

创建 DataFrame：

# 导入模块
from pyspark.sql import SparkSession

# 创建 SparkSession 对象
spark = SparkSession.builder.appName("example").getOrCreate()

# 创建 DataFrame
df = spark.createDataFrame([(1, "A"), (2, "B"), (3, "C")], ["id", "name"])

# 显示 DataFrame
df.show()

创建 RDD：

# 导入模块
from pyspark import SparkContext

# 创建 SparkContext 对象
sc = SparkContext(appName="example")

# 创建 RDD
rdd = sc.parallelize([(1, "A"), (2, "B"), (3, "C")])

# 显示 RDD
rdd.collect()