spark sql 中 dataframe 和 sql

### Spark SQL 中 DataFrame 与 SQL 的关系及用法

#### 关系说明
Spark SQL 提供了一致的方式处理结构化数据，无论是通过 SQL 表达还是编程接口中的 DataFrame API。两者紧密集成，在内部表示上几乎相同，这意味着可以轻松地在二者之间切换[^1]。

#### 使用区别

##### 数据Frame API 特点
- **强类型安全**：编译期即可发现错误。
- **函数链式调用**：采用方法级联的形式构建复杂查询逻辑。
- **API灵活性高**：适合程序动态生成查询条件的应用场景。

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("example").getOrCreate()
data = [("James", "", "Smith"), ("Anna", "Rose", ""), ("Robert", "", "Williams")]
columns = ["firstname", "middlename", "lastname"]

df = spark.createDataFrame(data, columns)

# 链式调用示例
filtered_df = df.filter(df.firstname == 'James').select("firstname", "lastname")
filtered_df.show()

##### SQL 查询特点
- **易读性强**：对于熟悉传统数据库的人来说更直观。
- **交互式分析友好**：便于执行一次性脚本或探索性数据分析任务。
- **兼容现有工具**：能够利用已有的BI报表工具和ETL流程。

CREATE TEMP VIEW people AS SELECT * FROM VALUES ('James', '', 'Smith'), ('Anna', 'Rose', ''), ('Robert', '', 'Williams') AS t(firstname, middlename, lastname);

SELECT firstname, lastname FROM people WHERE firstname = 'James';

#### 场景应用建议

当面对复杂的业务逻辑转换或是需要频繁修改查询计划时，推荐使用 DataFrame API 来实现更加灵活高效的解决方案；而对于简单的查询需求、即席查询或者是希望保持与已有系统的良好衔接，则更适合选用 SQL 接口来完成工作[^2]。