spark she ll执行完得sql后写入hdfs

要在Spark中使用shell执行SQL并将结果写入HDFS，可以使用以下命令：

spark-shell --master yarn --deploy-mode client --conf spark.hadoop.fs.defaultFS=hdfs://<namenode>:<port> --conf spark.sql.parquet.compression.codec=snappy

这个命令会启动Spark Shell，并且将配置好HDFS参数。接下来，在Spark Shell中执行你的SQL语句，并将结果保存到一个DataFrame中：

val df = spark.sql("<your_sql_statement>")

这个命令会将查询结果保存到一个DataFrame中。

最后，你可以将DataFrame写入HDFS中的指定目录：

df.write.format("parquet").option("compression", "snappy").mode("overwrite").save("<output_directory>")

这个命令会将DataFrame以Parquet格式写入HDFS中的指定目录。其中，`compression` 选项指定写入文件时使用的压缩编码方式，`mode` 选项指定写入模式（覆盖或追加）。

如果你想在代码中访问这个输出文件，可以使用以下命令：

val df = spark.read.format("parquet").option("header","true").option("inferSchema","true").load("<output_directory>")
df.show()

这个命令会将输出文件加载到DataFrame中，并将其打印出来。这里我们使用了Parquet格式读取，但是你可以根据实际情况选择其他格式。