spark shell 读取hdfswen文件方式 注册表

要在 Spark Shell 中读取 HDFS 文件并将其注册为表，可以按照以下步骤进行：

1. 在 Spark Shell 中，创建一个 SparkSession 对象：

spark = SparkSession.builder.appName("read-hdfs").getOrCreate()

2. 使用 SparkSession 对象的 `read` 方法读取 HDFS 文件，并将其转换为 DataFrame 对象：

df = spark.read.format("parquet").load("hdfs://<hdfs_host>:<hdfs_port>/<path_to_file>")

其中，`format` 参数指定了文件格式（这里是 Parquet），`load` 参数指定了 HDFS 文件的路径。

3. 使用 `createOrReplaceTempView` 方法将 DataFrame 对象注册为一个临时表：

df.createOrReplaceTempView("my_table")

现在，可以在 Spark Shell 中执行 SQL 查询来操作这个表了：

spark.sql("SELECT * FROM my_table WHERE ...")