spark shell中的spark sql config配置怎么打印出来

在Spark Shell中可以使用以下命令打印出Spark SQL的配置：

scala> spark.conf.getAll.filter(_._1.startsWith("spark.sql")).foreach(println)

该命令将打印出所有以“spark.sql”开头的配置项及其对应的值。

相关问题

spark shell将执行的sql写入hdfs

要将Spark Shell执行的SQL写入HDFS，可以按照以下步骤操作：

1. 在Spark Shell中执行SQL语句，并将结果保存为DataFrame，例如：

val sqlResult = spark.sql("SELECT * FROM table_name")

2. 将DataFrame写入HDFS，例如：

sqlResult.write.format("csv").save("hdfs://path/to/hdfs")

这将把DataFrame以CSV格式写入HDFS指定的路径。你也可以选择其他格式，如Parquet或JSON，只需将“csv”替换为相应的格式即可。

请注意，你需要在Spark Shell中首先配置HDFS连接，以便能够访问HDFS。可以使用以下命令进行配置：

spark.conf.set("spark.hadoop.fs.defaultFS", "hdfs://namenode:port")

将“namenode”和“port”替换为你的HDFS名称节点和端口号。

在shell 中 spark-sql 的调试

在shell中调试Spark SQL可以采用以下步骤：

1. 打开终端，进入Spark安装目录下的bin目录，输入spark-sql命令进入Spark SQL交互式界面。

2. 在Spark SQL交互式界面中，输入set spark.sql.shuffle.partitions=10命令，设置shuffle分区数为10，以便更好地调试。

3. 输入show tables命令，查看当前Spark SQL环境中的所有表。

4. 输入select * from table_name命令，查看指定表中的数据。

5. 输入explain select * from table_name命令，查看指定SQL语句的执行计划。

6. 输入quit命令，退出Spark SQL交互式界面。

通过以上步骤，可以在shell中进行Spark SQL的调试。