spark shell将执行的sql写入hdfs

要将Spark Shell执行的SQL写入HDFS，可以按照以下步骤操作：

1. 在Spark Shell中执行SQL语句，并将结果保存为DataFrame，例如：

val sqlResult = spark.sql("SELECT * FROM table_name")

2. 将DataFrame写入HDFS，例如：

sqlResult.write.format("csv").save("hdfs://path/to/hdfs")

这将把DataFrame以CSV格式写入HDFS指定的路径。你也可以选择其他格式，如Parquet或JSON，只需将“csv”替换为相应的格式即可。

请注意，你需要在Spark Shell中首先配置HDFS连接，以便能够访问HDFS。可以使用以下命令进行配置：

spark.conf.set("spark.hadoop.fs.defaultFS", "hdfs://namenode:port")

将“namenode”和“port”替换为你的HDFS名称节点和端口号。

相关问题

spark shell执行sql后写入hdfs

要在Spark中使用shell执行SQL并将结果写入HDFS，可以使用以下命令：

spark-shell --master yarn --deploy-mode client --conf spark.hadoop.fs.defaultFS=hdfs://<namenode>:<port> --conf spark.sql.parquet.compression.codec=snappy -e "<your_sql_statement>" -o <output_directory>

其中，`spark-shell` 命令用于启动Spark Shell，`--master yarn --deploy-mode client` 指定了运行模式和资源管理器，`--conf` 选项用于配置Spark的运行参数，`spark.hadoop.fs.defaultFS` 指定了HDFS的地址，`spark.sql.parquet.compression.codec` 指定了写入文件时使用的压缩编码方式。

`-e` 选项后面跟着要执行的SQL语句，`-o` 选项指定了结果文件的输出目录。执行完命令后，Spark Shell会将查询结果写入指定的输出目录中。

如果你想在代码中访问这个输出文件，可以使用以下命令：

val df = spark.read.format("parquet").option("header","true").option("inferSchema","true").load("<output_directory>")
df.show()

这个命令会将输出文件加载到DataFrame中，并将其打印出来。这里我们使用了Parquet格式读取，但是你可以根据实际情况选择其他格式。

spark she ll执行完得sql后写入hdfs

要在Spark中使用shell执行SQL并将结果写入HDFS，可以使用以下命令：

spark-shell --master yarn --deploy-mode client --conf spark.hadoop.fs.defaultFS=hdfs://<namenode>:<port> --conf spark.sql.parquet.compression.codec=snappy

这个命令会启动Spark Shell，并且将配置好HDFS参数。接下来，在Spark Shell中执行你的SQL语句，并将结果保存到一个DataFrame中：

val df = spark.sql("<your_sql_statement>")

这个命令会将查询结果保存到一个DataFrame中。

最后，你可以将DataFrame写入HDFS中的指定目录：

df.write.format("parquet").option("compression", "snappy").mode("overwrite").save("<output_directory>")

这个命令会将DataFrame以Parquet格式写入HDFS中的指定目录。其中，`compression` 选项指定写入文件时使用的压缩编码方式，`mode` 选项指定写入模式（覆盖或追加）。

如果你想在代码中访问这个输出文件，可以使用以下命令：

val df = spark.read.format("parquet").option("header","true").option("inferSchema","true").load("<output_directory>")
df.show()

这个命令会将输出文件加载到DataFrame中，并将其打印出来。这里我们使用了Parquet格式读取，但是你可以根据实际情况选择其他格式。