sparksql set 变量

### 如何在 Spark SQL 中设置和使用变量

在 Python 编写的 Spark 应用程序中，可以通过多种方式向 Spark SQL 查询传递参数。一种常见的方式是利用 `DataFrame` API 和字符串插值来动态构建查询语句。

对于简单的变量替换操作，可以采用如下方法：

from pyspark.sql import SparkSession

# 创建 SparkSession 实例
spark = SparkSession.builder \
    .appName("VariableExample") \
    .master("local[*]") \
    .getOrCreate()

# 定义要使用的变量
my_variable_value = "exampleValue"

# 使用 f-string 或 format 方法将变量嵌入到 SQL 字符串内
query_with_var = f"""
SELECT * FROM my_table WHERE column_name = '{my_variable_value}'
"""

df_result = spark.sql(query_with_var)

df_result.show()

另一种更安全的方法是通过绑定参数的方式来防止 SQL 注入攻击：

from pyspark.sql import Row

data = [("John",), ("Jane",)]
rdd = spark.sparkContext.parallelize(data)
peopleDF = rdd.map(lambda x: Row(name=x[0])).toDF()

name_to_find = "John"
filtered_df = peopleDF.createOrReplaceTempView("temp_people")

safe_query = """
SELECT name FROM temp_people WHERE name LIKE ?
"""

result_df = spark.sql(safe_query.replace('?', "'" + name_to_find + "'"))

result_df.show()

值得注意的是，在某些情况下直接使用 `OFFSET` 子句可能会遇到不兼容的问题[^3]；因此如果涉及到分页逻辑，则需考虑其他替代方案如基于窗口函数实现相同效果。

为了提高性能并减少网络传输开销，当需要频繁访问不变的数据集时可引入广播变量机制[^4]。这允许开发者预先加载较小规模却经常被引用的数据结构至各个工作节点上供后续任务调用而无需重复发送这些数据。