spark shell执行sql后写入hdfs

要在Spark中使用shell执行SQL并将结果写入HDFS，可以使用以下命令：

spark-shell --master yarn --deploy-mode client --conf spark.hadoop.fs.defaultFS=hdfs://<namenode>:<port> --conf spark.sql.parquet.compression.codec=snappy -e "<your_sql_statement>" -o <output_directory>

其中，`spark-shell` 命令用于启动Spark Shell，`--master yarn --deploy-mode client` 指定了运行模式和资源管理器，`--conf` 选项用于配置Spark的运行参数，`spark.hadoop.fs.defaultFS` 指定了HDFS的地址，`spark.sql.parquet.compression.codec` 指定了写入文件时使用的压缩编码方式。

`-e` 选项后面跟着要执行的SQL语句，`-o` 选项指定了结果文件的输出目录。执行完命令后，Spark Shell会将查询结果写入指定的输出目录中。

如果你想在代码中访问这个输出文件，可以使用以下命令：

val df = spark.read.format("parquet").option("header","true").option("inferSchema","true").load("<output_directory>")
df.show()

这个命令会将输出文件加载到DataFrame中，并将其打印出来。这里我们使用了Parquet格式读取，但是你可以根据实际情况选择其他格式。