spark用shell读取hdfs gz文件方式 注册表

要在Spark中用shell读取HDFS上的GZ文件，可以使用以下命令：

spark-shell --master yarn --deploy-mode client --conf spark.hadoop.fs.defaultFS=hdfs://<namenode>:<port> --conf spark.hadoop.mapreduce.input.fileinputformat.input.dir.recursive=true --conf spark.hadoop.mapreduce.input.fileinputformat.input.dir=<path_to_directory_containing_gz_files> --conf spark.sql.parquet.compression.codec=uncompressed

这个命令会启动spark-shell，并且将HDFS上指定目录中的所有GZ文件加载为Spark表。其中 `--conf` 选项用于配置Spark的运行参数，其中 `spark.hadoop.fs.defaultFS` 指定了HDFS的地址，`spark.hadoop.mapreduce.input.fileinputformat.input.dir.recursive` 指定了递归读取目录中的文件，`spark.hadoop.mapreduce.input.fileinputformat.input.dir` 指定了要读取的目录。最后一个选项 `spark.sql.parquet.compression.codec` 是用于指定读取的文件不进行压缩解码。

如果你想在代码中访问这个表，可以使用以下命令：

val df = spark.read.format("csv").option("header","true").option("inferSchema","true").load("<path_to_directory_containing_gz_files>")
df.show()

这个命令会将表加载到DataFrame中，并将其打印出来。这里我们使用了CSV格式读取，但是你可以根据实际情况选择其他格式。